大數(shù)據(jù)分析：理論、方法及應用

譯者序
前言
第1章　什么是數(shù)據(jù)科學1
1.1　計算機科學、數(shù)據(jù)科學和真正的科學1
1.2　從數(shù)據(jù)中提出有趣的問題3
1.2.1　棒球百科全書3
1.2.2　互聯(lián)網(wǎng)電影數(shù)據(jù)庫6
1.2.3　Google Ngrams7
1.2.4　紐約出租車記錄9
1.3　數(shù)據(jù)的屬性11
1.3.1　結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)11
1.3.2　定量數(shù)據(jù)與類別數(shù)據(jù)11
1.3.3　大數(shù)據(jù)與小數(shù)據(jù)12
1.4　分類與回歸12
1.5　關(guān)于數(shù)據(jù)科學的電視節(jié)目：The Quant Shop13
1.6　關(guān)于實戰(zhàn)故事15
1.7　實戰(zhàn)故事：回答正確的問題16
1.8　章節(jié)注釋17
1.9　練習17
第2章　數(shù)學基礎(chǔ)20
2.1　概率20
2.1.1　概率與統(tǒng)計21
2.1.2　復合事件與獨立事件22
2.1.3　條件概率23
2.1.4　概率分布23
2.2　描述性統(tǒng)計25
2.2.1　中心性度量25
2.2.2　變異性度量26
2.2.3　解釋方差27
2.2.4　描述分布29
2.3　相關(guān)性分析29
2.3.1　相關(guān)系數(shù)：皮爾遜和斯皮爾曼秩30
2.3.2　相關(guān)的強弱與顯著性31
2.3.3　相關(guān)性并不意味著因果關(guān)系33
2.3.4　用自相關(guān)檢測周期性34
2.4　對數(shù)35
2.4.1　對數(shù)與乘法概率35
2.4.2　對數(shù)和比率35
2.4.3　對數(shù)與正規(guī)化偏態(tài)分布36
2.5　實戰(zhàn)故事：契合設(shè)計師基因37
2.6　章節(jié)注釋39
2.7　練習39
第3章　數(shù)據(jù)整理42
3.1　數(shù)據(jù)科學語言42
3.1.1　notebook環(huán)境的重要性44
3.1.2　標準數(shù)據(jù)格式45
3.2　數(shù)據(jù)收集47
3.2.1　搜索47
3.2.2　爬取49
3.2.3　網(wǎng)絡(luò)日志50
3.3　數(shù)據(jù)清洗50
3.3.1　錯誤與偽影51
3.3.2　數(shù)據(jù)兼容性52
3.3.3　處理缺失值56
3.3.4　離群值檢測57
3.4　實戰(zhàn)故事：打敗市場58
3.5　眾包59
3.5.1　一便士的實驗59
3.5.2　什么時候有群體智慧60
3.5.3　聚合機制61
3.5.4　眾包服務62
3.5.5　游戲化65
3.6　章節(jié)注釋66
3.7　練習66
第4章　得分和排名69
4.1　體重指數(shù)70
4.2　開發(fā)評分系統(tǒng)72
4.2.1　黃金標準和代理72
4.2.2　排名與得分72
4.2.3　識別良好的評分函數(shù)74
4.3　Z得分和歸一化75
4.4　高級排名技術(shù)76
4.4.1　Elo排名76
4.4.2　合并排名78
4.4.3　基于有向圖的排名80
4.4.4　PageRank80
4.5　實戰(zhàn)故事：Clyde的復仇81
4.6　阿羅不可能性定理83
4.7　實戰(zhàn)故事：誰更大84
4.8　章節(jié)注釋87
4.9　練習87
第5章　統(tǒng)計分析89
5.1　統(tǒng)計分布90
5.1.1　二項分布90
5.1.2　正態(tài)分布91
5.1.3　正態(tài)分布的含義93
5.1.4　泊松分布93
5.1.5　冪律分布95
5.2　從分布中采樣97
5.3　統(tǒng)計顯著性99
5.3.1　顯著性的意義100
5.3.2　t檢驗：比較總體均值101
5.3.3　Kolmogorov-Smirnov檢驗102
5.3.4　Bonferroni校正104
5.3.5　錯誤發(fā)現(xiàn)率104
5.4　實戰(zhàn)故事：發(fā)現(xiàn)青春之泉105
5.5　置換檢驗與p值106
5.5.1　產(chǎn)生隨機排列108
5.5.2　迪馬吉奧的連勝紀錄109
5.6　貝葉斯定理110
5.7　章節(jié)注釋111
5.8　練習111
第6章　數(shù)據(jù)可視化114
6.1　探索性數(shù)據(jù)分析115
6.1.1　面對新的數(shù)據(jù)集115
6.1.2　匯總統(tǒng)計量和Anscombe四重線117
6.1.3　可視化工具119
6.2　發(fā)展可視化美學119
6.2.1　最大化數(shù)據(jù)墨水比率120
6.2.2　最小化謊言因子121
6.2.3　最大限度地減少圖表垃圾122
6.2.4　恰當?shù)目s放和標注123
6.2.5　有效使用顏色和陰影124
6.2.6　重復的力量125
6.3　圖表類型125
6.3.1　表格數(shù)據(jù)127
6.3.2　點狀圖和折線圖128
6.3.3　散點圖131
6.3.4　條形圖和餅圖133
6.3.5　直方圖135
6.3.6　數(shù)據(jù)地圖137
6.4　出色的可視化139
6.4.1　Marey的火車時刻表139
6.4.2　斯諾的霍亂地圖140
6.4.3　紐約氣象年141
6.5　讀圖141
6.5.1　模糊分布141
6.5.2　過度解釋方差142
6.6　交互式可視化143
6.7　實戰(zhàn)故事：TextMap144
6.8　章節(jié)注釋146
6.9　練習146
第7章　數(shù)學模型149
7.1　建模哲學149
7.1.1　奧卡姆剃刀原理149
7.1.2　權(quán)衡偏差與方差150
7.1.3　Nate Silver會怎么做150
7.2　模型分類152
7.2.1　線性模型與非線性模型152
7.2.2　黑盒與描述性模型152
7.2.3　第一原理與數(shù)據(jù)驅(qū)動模型153
7.2.4　隨機模型與確定性模型154
7.2.5　平面模型與分層模型155
7.3　基準模型155
7.3.1　分類的基準模型155
7.3.2　價值預測的基準模型156
7.4　評估模型157
7.4.1　評估分類器158
7.4.2　受試者工作特征曲線161
7.4.3　評估多類系統(tǒng)162
7.4.4　評估價值預測模型164
7.5　評估環(huán)境165
7.5.1　數(shù)據(jù)衛(wèi)生評估167
7.5.2　放大小型評估集167
7.6　實戰(zhàn)故事：100%準確169
7.7　模擬模型170
7.8　實戰(zhàn)故事：經(jīng)過計算的賭注170
7.9　章節(jié)注釋1