Python大學(xué)教程：面向計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)

譯者序
前言
閱讀前的準(zhǔn)備工作
第1章　計(jì)算機(jī)和Python簡(jiǎn)介1
1.1　簡(jiǎn)介1
1.2　硬件和軟件2
1.2.1　摩爾定律3
1.2.2　計(jì)算機(jī)組成3
1.3　數(shù)據(jù)層級(jí)結(jié)構(gòu)4
1.4　機(jī)器語言、匯編語言和高級(jí)語言7
1.5　對(duì)象技術(shù)簡(jiǎn)介8
1.6　操作系統(tǒng)10
1.7　Python13
1.8　庫14
1.8.1　Python標(biāo)準(zhǔn)庫15
1.8.2　數(shù)據(jù)科學(xué)庫15
1.9　其他流行的編程語言16
1.10　實(shí)踐練習(xí)：使用IPython和
　Jupyter Notebook17
1.10.1　將IPython的交互式模式
　當(dāng)作計(jì)算器使用17
1.10.2　使用IPython解釋器執(zhí)行
　Python程序19
1.10.3　在Jupyter Notebook中
　編寫和執(zhí)行代碼20
1.11　互聯(lián)網(wǎng)和萬維網(wǎng)24
1.11.1　互聯(lián)網(wǎng)：網(wǎng)絡(luò)的網(wǎng)絡(luò)25
1.11.2　萬維網(wǎng)：使互聯(lián)網(wǎng)變得對(duì)
　用戶友好25
1.11.3　云計(jì)算25
1.11.4　物聯(lián)網(wǎng)26
1.12　軟件技術(shù)27
1.13　大數(shù)據(jù)有多大28
1.13.1　大數(shù)據(jù)分析32
1.13.2　數(shù)據(jù)科學(xué)和大數(shù)據(jù)正在
　改變世界：用例33
1.14　案例研究：一個(gè)大數(shù)據(jù)移動(dòng)
　應(yīng)用34
1.15　數(shù)據(jù)科學(xué)入門：人工智能—
　計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)的交叉
　學(xué)科35
第2章　Python程序設(shè)計(jì)概述41
2.1　簡(jiǎn)介41
2.2　變量和賦值語句41
2.3　算術(shù)運(yùn)算43
2.4　print函數(shù)、單引號(hào)字符串和
　雙引號(hào)字符串47
2.5　三引號(hào)字符串48
2.6　從用戶處獲得輸入50
2.7　決策：if語句和比較操作符52
2.8　對(duì)象和動(dòng)態(tài)類型56
2.9　數(shù)據(jù)科學(xué)入門：描述性統(tǒng)計(jì)學(xué)
　基礎(chǔ)知識(shí)58
2.10　小結(jié)60
第3章　控制語句和程序開發(fā)63
3.1　簡(jiǎn)介63
3.2　算法63
3.3　偽代碼64
3.4　控制語句64
3.5　if語句66
3.6　if...else和if...elif...else
　語句69
3.7　while語句73
3.8　for語句74
3.8.1　可迭代變量、列表和
　迭代器75
3.8.2　內(nèi)置range函數(shù)76
3.9　增廣賦值76
3.10　程序開發(fā)：序列控制重復(fù)77
3.10.1　需求說明78
3.10.2　算法的偽代碼形式78
3.10.3　Python中算法的編碼79
3.10.4　格式化字符串79
3.11　程序開發(fā)：衛(wèi)士控制重復(fù)80
3.12　程序開發(fā)：嵌套控制語句83
3.13　內(nèi)置函數(shù)range：深入審視87
3.14　使用Decimal類型表達(dá)貨幣
　總量88
3.15　break和continue語句91
3.16　布爾操作符and、or和not92
3.17　數(shù)據(jù)科學(xué)入門：趨中度量—
　平均數(shù)、中位數(shù)、眾數(shù)95
3.18　小結(jié)96
第4章　函數(shù)102
4.1　簡(jiǎn)介102
4.2　函數(shù)的定義102
4.3　多參數(shù)函數(shù)105
4.4　隨機(jī)數(shù)生成106
4.5　案例研究：碰運(yùn)氣游戲109
4.6　Python標(biāo)準(zhǔn)庫112
4.7　math模塊函數(shù)113
4.8　IPython的Tab補(bǔ)全114
4.9　缺省形參值115
4.10　關(guān)鍵字實(shí)參116
4.11　任意實(shí)參表117
4.12　方法：屬于對(duì)象的函數(shù)118
4.13　作用域規(guī)則118
4.14　import：深入審視120
4.15　函數(shù)的實(shí)參傳遞：深入討論122
4.16　函數(shù)調(diào)用棧124
4.17　函數(shù)式程序設(shè)計(jì)126
4.18　數(shù)據(jù)科學(xué)入門：離中度量127
4.19　小結(jié)129
第5章　序列：列表和元組133
5.1　簡(jiǎn)介133
5.2　列表133
5.3　元組138
5.4　序列解包140
5.5　序列切片143
5.6　del語句146
5.7　給函數(shù)傳遞列表147
5.8　列表排序148
5.9　序列搜索150
5.10　其他列表方法152
5.11　用列表模擬棧154
5.12　列表解析155
5.13　生成器表達(dá)式157
5.14　過濾器、映射和化簡(jiǎn)158
5.15　其他序列處理函數(shù)160
5.16　二維列表162
5.17　數(shù)據(jù)科學(xué)入門：模擬和靜態(tài)
　可視化166
5.17.1　擲600、60 000和6 000 000
　　　　次骰子的簡(jiǎn)單圖示166
5.17.2　擲骰實(shí)驗(yàn)的頻數(shù)和百分比
　的可視化167
5.18　小結(jié)174
第6章　字典和集合182
6.1　簡(jiǎn)介182
6.2　字典182
6.2.1　創(chuàng)建字典183
6.2.2　遍歷字典184
6.2.3　基本字典操作184
6.2.4　字典方法keys和
　values186
6.2.5　字典比較188
6.2.6　樣例：學(xué)生成績(jī)字典188
6.2.7　樣例：詞頻統(tǒng)計(jì)189
6.2.8　字典方法update191
6.2.9　字典解析192
6.3　集合192
6.3.1　集合比較194
6.3.2　集合的數(shù)學(xué)操作196
6.3.3　集合的可變操作符和
　方法197
6.3.4　集合解析199
6.4　數(shù)據(jù)科學(xué)入門：動(dòng)態(tài)可視化199
6.4.1　了解動(dòng)態(tài)可視化199
6.4.2　實(shí)現(xiàn)動(dòng)態(tài)可視化202
6.5　小結(jié)204
第7章　使用NumPy進(jìn)行面向
　數(shù)組的編程208
7.1　簡(jiǎn)介208
7.2　從已有數(shù)據(jù)中創(chuàng)建array209
7.3　array屬性210
7.4　用特定值填充array212
7.5　從值域中創(chuàng)建array212
7.6　列表和array的性能：引入
　%timeit214
7.7　array操作符216
7.8　NumPy計(jì)算方法218
7.9　普適函數(shù)220
7.10　索引和切片221
7.11　視圖：淺拷貝223
7.12　深拷貝225
7.13　重塑和轉(zhuǎn)置226
7.14　數(shù)據(jù)科學(xué)入門：pandas Series
　和DataFrame229
7.14.1　pandas Series229
7.14.2　DataFrame233
7.15　小結(jié)241
第8章　字符串：深入審視247
8.1　簡(jiǎn)介247
8.2　格式化字符串248
8.2.1　表示類型248
8.2.2　域?qū)捄蛯?duì)齊249
8.2.3　數(shù)值格式化250
8.2.4　字符串的format
　方法251
8.3　拼接和重復(fù)字符串252
8.4　刪除字符串的空白符253
8.5　字符大小寫轉(zhuǎn)換254
8.6　字符串的比較操作符255
8.7　子串搜索255
8.8　子串替換257
8.9　字符串拆分和合并257
8.10　字符和字符測(cè)試方法260
8.11　原生字符串260
8.12　正則表達(dá)式簡(jiǎn)介261
8.12.1　re模塊和fullmatch
　函數(shù)262
8.12.2　子串替換和字符串拆分265
8.12.3　其他搜索函數(shù)和匹配
　訪問266
8.13　數(shù)據(jù)科學(xué)入門：pandas、正則
　表達(dá)式和數(shù)據(jù)整理269
8.14　小結(jié)273
第9章　文件和異常278
9.1　簡(jiǎn)介278
9.2　文件279
9.3　文本文件處理279
9.3.1　向文本文件中寫入數(shù)據(jù)：
　with語句簡(jiǎn)介280
9.3.2　從文本文件中讀取數(shù)據(jù)281
9.4　更新文本文件283
9.5　使用JSON進(jìn)行序列化285
9.6　使用pickle進(jìn)行序列化和
　反序列化存在的安全問題288
9.7　關(guān)于文件的其他補(bǔ)充288
9.8　異常處理289
9.8.1　除0異常和非法輸入289
9.8.2　try語句290
9.8.3　在一個(gè)except子句中
　捕獲多個(gè)異常293
9.8.4　函數(shù)或方法能夠拋出什么
　異常293
9.8.5　try代碼組應(yīng)該封裝什么
　代碼293
9.9　finally子句293
9.10　顯式拋出異常296
9.11　（可選）棧展開和回溯296
9.12　數(shù)據(jù)科學(xué)入門：CSV文件綜合
　處理298
9.12.1　Python標(biāo)準(zhǔn)庫模塊
　csv298
9.12.2　將CVS文件讀入pandas
　DataFrame301
9.12.3　讀取Titanic disaster
　數(shù)據(jù)集302
9.12.4　對(duì)Titanic disaster數(shù)據(jù)集
　進(jìn)行簡(jiǎn)單的數(shù)據(jù)分析303
9.12.5　乘客年齡直方圖304
9.13　小結(jié)305
第10章　面向?qū)ο蟪绦蛟O(shè)計(jì)311
10.1　簡(jiǎn)介311
10.2　自定義Account類313
10.2.1　Account類的試用313
10.2.2　Account類的定義314
10.2.3　組合：對(duì)象引用作為
　類的成員316
10.3　屬性訪問控制317
10.4　用于訪問數(shù)據(jù)的屬性318
10.4.1　Time類的試用318
10.4.2　Time類的定義320
10.4.3　Time類定義的設(shè)計(jì)
　說明324
10.5　“私有”屬性模擬325
10.6　案例研究：洗牌和切牌327
10.6.1　Card和DeckofCards
　類的試用327
10.6.2　Card類：引入類屬性328
10.6.3　DeckOfCards類330
10.6.4　使用Matplotlib顯示
　卡牌圖像332
10.7　繼承：基類和子類335
10.8　構(gòu)建繼承層次：引入多態(tài)性337
10.8.1　基類Commission-
　Employee337
10.8.2　子類SalariedCom-
　missionEmployee340
10.8.3　CommissionEmployee
　和SalariedCommis-
　sionEmployee的
　多態(tài)處理343
10.8.4　基于對(duì)象和面向?qū)ο?br />　程序設(shè)計(jì)的補(bǔ)充344
10.9　鴨子類型和多態(tài)344
10.10　操作符重載346
10.10.1　Complex類的試用346
10.10.2　Complex類的定義347
10.11　異常類層次和自定義異常處理349
10.12　有名元組350
10.13　Python 3.7的新數(shù)據(jù)類簡(jiǎn)介351
10.13.1　創(chuàng)建Card數(shù)據(jù)類352
10.13.2　使用Card數(shù)據(jù)類354
10.13.3　數(shù)據(jù)類相較有名元組的
　優(yōu)勢(shì)356
10.13.4　數(shù)據(jù)類相較傳統(tǒng)類的
　優(yōu)勢(shì)357
10.14　使用文檔字符串和doctest
　進(jìn)行單元測(cè)試357
10.15　命名空間和作用域361
10.16　數(shù)據(jù)科學(xué)入門：時(shí)間序列和
　簡(jiǎn)單線性回歸364
10.17　小結(jié)372
第11章　計(jì)算機(jī)科學(xué)思維：遞歸、
　搜索、排序和大O380
11.1　簡(jiǎn)介380
11.2　階乘381
11.3　遞歸階乘樣例381
11.4　遞歸斐波那契數(shù)列樣例383
11.5　遞歸與迭代386
11.6　搜索與排序387
11.7　線性搜索388
11.8　算法的效率：大O389
11.9　二分搜索390
11.9.1　二分搜索實(shí)現(xiàn)391
11.9.2　二分搜索的大O表示393
11.10　排序算法394
11.11　選擇排序394
11.11.1　選擇排序?qū)崿F(xiàn)394
11.11.2　實(shí)用工具函數(shù)
　print_pass396
11.11.3　選擇排序的大O表示396
11.12　插入排序397
11.12.1　插入排序?qū)崿F(xiàn)397
11.12.2　插入排序的大O表示399
11.13　歸并排序399
11.13.1　歸并排序?qū)崿F(xiàn)400
11.13.2　歸并排序的大O表示403
11.14　搜索和排序算法的大O總結(jié)404
11.15　可視化算法404
11.15.1　生成器函數(shù)406
11.15.2　實(shí)現(xiàn)選擇排序動(dòng)畫407
11.16　小結(jié)412
第12章　自然語言處理418
12.1　簡(jiǎn)介418
12.2　TextBlob419
12.2.1　創(chuàng)建一個(gè)TextBlob421
12.2.2　語料化：文本的斷句和
　取詞421
12.2.3　詞性標(biāo)記422
12.2.4　提取名詞短語423
12.2.5　使用TextBlob的默認(rèn)情
　感分析器進(jìn)行情感分析423
12.2.6　使用NaiveBayesAnalyzer
　進(jìn)行情感分析425
12.2.7　語言檢測(cè)和翻譯426
12.2.8　變形：復(fù)數(shù)化和單數(shù)化428
12.2.9　拼寫檢查和更正429
12.2.10　規(guī)范化：詞干提取和
　詞形還原430
12.2.11　詞頻430
12.2.12　從WordNet中獲取定
　義、同義詞和反義詞431
12.2.13　刪除停止詞433
12.2.14　n-gram模型435
12.3　用柱狀圖和詞云進(jìn)行詞頻
　可視化436
12.3.1　用pandas進(jìn)行詞頻
　可視化436
12.3.2　用詞云進(jìn)行詞頻可視化439
12.4　使用Textatistic進(jìn)行可讀性
　評(píng)估441
12.5　使用spaCy進(jìn)行命名實(shí)體識(shí)別443
12.6　使用spaCy進(jìn)行相似性檢測(cè)445
12.7　其他NLP庫和工具446
12.8　機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的自然
　語言應(yīng)用447
12.9　自然語言數(shù)據(jù)集447
12.10　小結(jié)448
第13章　Twitter數(shù)據(jù)挖掘452
13.1　簡(jiǎn)介452
13.2　Twitter API概況454
13.3　創(chuàng)建一個(gè)Twitter賬戶455
13.4　獲取Twitter憑證—創(chuàng)建
　一個(gè)app455
13.5　推文中有什么457
13.6　Tweepy460
13.7　通過Tweepy與Twitter進(jìn)行
　身份驗(yàn)證460
13.8　從Twitter賬戶中獲取信息461
13.9　Tweepy Cursor簡(jiǎn)介：獲取一個(gè)
　賬戶的關(guān)注者和好友463
13.9.1　確定一個(gè)賬戶的關(guān)注者464
13.9.2　確定一個(gè)賬戶的關(guān)注
　對(duì)象466
13.9.3　獲取一個(gè)用戶的近期
　推文466
13.10　搜索近期推文468
13.11　趨勢(shì)發(fā)現(xiàn)：Twitter趨勢(shì)API470
13.11.1　熱門話題的地點(diǎn)470
13.11.2　獲取熱門話題列表471
13.11.3　根據(jù)熱門話題創(chuàng)建
　詞云473
13.12　分析推文前的清洗/預(yù)處理
　過程474
13.13　Twitter流處理API476
13.13.1　創(chuàng)建StreamListener
　的子類476
13.13.2　流處理初始化478
13.14　推文情感分析480
13.15　地理編碼與地圖顯示484
13.15.1　推文的獲取和地圖顯示485
13.15.2　tweetutilities.py
　中的實(shí)用工具函數(shù)488
13.15.3　LocationListener類490
13.16　存儲(chǔ)推文的方法491
13.17　Twitter和時(shí)間序列492
13.18　小結(jié)492
第14章　IBM Watson和認(rèn)知計(jì)算496
14.1　簡(jiǎn)介496
14.2　IBM云賬戶和云控制臺(tái)498
14.3　Watson服務(wù)498
14.4　額外的服務(wù)和工具501
14.5　Watson開發(fā)者云Python SDK503
14.6　案例研究：旅行者隨身翻譯
　應(yīng)用504
14.6.1　運(yùn)行前準(zhǔn)備504
14.6.2　運(yùn)行應(yīng)用505
14.6.3　SimpleLanguage-
　Translator.py腳本
　詳細(xì)解讀506
14.7　Watson資源515
14.8　小結(jié)517
第15章　機(jī)器學(xué)習(xí)：分類、回歸和
　聚類520
15.1　簡(jiǎn)介520
15.1.1　scikit-learn521
15.1.2　機(jī)器學(xué)習(xí)的類型522
15.1.3　scikit-learn自帶的數(shù)據(jù)集523
15.1.4　典型數(shù)據(jù)科學(xué)研究步驟524
15.2　案例研究：用k近鄰算法和Digits
　數(shù)據(jù)集進(jìn)行分類（第1部分）524
15.2.1　k近鄰算法525
15.2.2　加載數(shù)據(jù)集526
15.2.3　可視化數(shù)據(jù)530
15.2.4　將數(shù)據(jù)分為訓(xùn)練集和
　測(cè)試集532
15.2.5　創(chuàng)建模型533
15.2.6　訓(xùn)練模型533
15.2.7　預(yù)測(cè)數(shù)字類別534
15.3　案例研究：用k近鄰算法和Digits
　數(shù)據(jù)集進(jìn)行分類（第2部分）535
15.3.1　模型準(zhǔn)確度指標(biāo)536
15.3.2　k折交叉驗(yàn)證539
15.3.3　運(yùn)行多個(gè)模型以選擇
　模型540
15.3.4　超參數(shù)調(diào)整541
15.4　案例研究：時(shí)間序列和簡(jiǎn)單
　線性回歸542
15.5　案例研究：基于加利福尼亞
　房?jī)r(jià)數(shù)據(jù)集的多元線性回歸547
15.5.1　加載數(shù)據(jù)集547
15.5.2　使用pandas探索數(shù)據(jù)549
15.5.3　可視化特征551
15.5.4　將數(shù)據(jù)分為訓(xùn)練集和
　測(cè)試集554
15.5.5　訓(xùn)練模型555
15.5.6　測(cè)試模型556
15.5.7　可視化預(yù)測(cè)房?jī)r(jià)和期望
　房?jī)r(jià)556
15.5.8　回歸模型指標(biāo)557
15.5.9　選擇模型558
15.6　案例研究：無監(jiān)督學(xué)習(xí)（第1
　部分）—降維559
15.7　案例研究：無監(jiān)督學(xué)習(xí)（第2
　部分）—k均值聚類562
15.7.1　加載Iris數(shù)據(jù)集563
15.7.2　探索Iris數(shù)據(jù)集：使用
　pandas進(jìn)行描述性統(tǒng)計(jì)565
15.7.3　使用Seaborn的pairplot
　可視化數(shù)據(jù)集566
15.7.4　使用KMeans評(píng)估器569
15.7.5　主成分分析降維570
15.7.6　選擇聚類評(píng)估器572
15.8　小結(jié)574
第16章　深度學(xué)習(xí)581
16.1　簡(jiǎn)介581
16.1.1　深度學(xué)習(xí)應(yīng)用583
16.1.2　深度學(xué)習(xí)演示583
16.1.3　Keras資源584
16.2　Keras內(nèi)置數(shù)據(jù)集584
16.3　自定義Anaconda環(huán)境585
16.4　神經(jīng)網(wǎng)絡(luò)586
16.5　張量587
16.6　視覺處理的卷積神經(jīng)網(wǎng)絡(luò)和使用
　MNIST數(shù)據(jù)集的多分類器589
16.6.1　加載MNIST數(shù)據(jù)集590
16.6.2　數(shù)據(jù)觀察591
16.6.3　數(shù)據(jù)準(zhǔn)備592
16.6.4　構(gòu)造神經(jīng)網(wǎng)絡(luò)594
16.6.5　訓(xùn)練和評(píng)估模型602
16.6.6　保存和加載模型606
16.7　用TensorBoard進(jìn)行神經(jīng)網(wǎng)絡(luò)
　訓(xùn)練的可視化607
16.8　ConvnetJS：基于瀏覽器的深度
　學(xué)習(xí)訓(xùn)練和可視化609
16.9　序列處理的循環(huán)神經(jīng)網(wǎng)絡(luò)：使用
　IMDb數(shù)據(jù)集進(jìn)行情感分析610
16.9.1　加載IMDb電影點(diǎn)評(píng)
　數(shù)據(jù)集611
16.9.2　數(shù)據(jù)觀察612
16.9.3　數(shù)據(jù)準(zhǔn)備614
16.9.4　構(gòu)造神經(jīng)網(wǎng)絡(luò)615
16.9.5　訓(xùn)練和評(píng)估模型618
16.10　深度學(xué)習(xí)模型調(diào)參618
16.11　ImageNet上預(yù)訓(xùn)練的卷積
　神經(jīng)網(wǎng)絡(luò)模型619
16.12　強(qiáng)化學(xué)習(xí)621
16.12.1　Deep Q-Learning621
16.12.2　OpenAI Gym622
16.13　小結(jié)622
第17章　大數(shù)據(jù)：Hadoop、Spark、
　NoSQL和IoT629
17.1　簡(jiǎn)介629
17.2　關(guān)系型數(shù)據(jù)庫和結(jié)構(gòu)化查詢
　語言632
17.2.1　books數(shù)據(jù)庫634
17.2.2　SELECT查詢637
17.2.3　WHERE子句638
17.2.4　ORDER BY子句639
17.2.5　合并來自多個(gè)表的數(shù)據(jù)：
　INNER JOIN640
17.2.6　INSERT INTO語句641
17.2.7　UPDATE語句642
17.2.8　DELETE FROM語句642
17.3　NoSQL和NewSQL大數(shù)據(jù)
　數(shù)據(jù)庫：導(dǎo)覽644
17.3.1　NoSQL鍵值數(shù)據(jù)庫644
17.3.2　NoSQL文檔數(shù)據(jù)庫644
17.3.3　NoSQL列數(shù)據(jù)庫645
17.3.4　NoSQL圖數(shù)據(jù)庫645
17.3.5　NewSQL數(shù)據(jù)庫646
17.4　案例研究：MongoDB JSON
　文檔數(shù)據(jù)庫647
17.4.1　創(chuàng)建MongoDB Atlas
　集群647
17.4.2　將tweet注入
　MongoDB648
17.5　Hadoop656
17.5.1　Hadoop概述656
17.5.2　用MapReduce匯總Romeo
　and Juliet的詞長(zhǎng)度659
17.5.3　在Microsoft Azure
　HDInsight上創(chuàng)建
　Apache Hadoop集群659
17.5.4　Hadoop Streaming660
17.5.5　實(shí)現(xiàn)mapper661
17.5.6　實(shí)現(xiàn)reducer661
17.5.7　準(zhǔn)備運(yùn)行MapReduce
　示例662
17.5.8　運(yùn)行MapReduce
　作業(yè)663
17.6　Spark666
17.6.1　Spark概述666
17.6.2　Docker和Jupyter
　Docker棧667
17.6.3　使用Spark進(jìn)行詞
　統(tǒng)計(jì)669
17.6.4　在Microsoft Azure上運(yùn)行
　Spark Word Count672
17.7　Spark流：使用pyspark-
　notebook Docker棧進(jìn)行
　Twitter哈希標(biāo)注統(tǒng)計(jì)675
17.7.1　將tweet注入套接字675
17.7.2　tweet哈希標(biāo)注匯總：
　Spark SQL簡(jiǎn)介678
17.8　物聯(lián)網(wǎng)和儀表盤684
17.8.1　發(fā)布和訂閱685
17.8.2　用Freeboard儀表盤可視化
　PubNub樣本實(shí)時(shí)流685
17.8.3　用Python模擬聯(lián)網(wǎng)的
　恒溫器687
17.8.4　使用freeboard.io創(chuàng)建
　儀表盤689
17.8.5　創(chuàng)建Python PubNub
　訂閱器690
17.9　小結(jié)694