精通機器學習算法

目錄
前言
第1 章 機器學習模型基礎(chǔ) 1
1.1 模型和數(shù)據(jù) 1
1.2 機器學習模型的特性 21
1.2.1 可學習性 21
1.2.2 模型能力 22
1.2.3 估計器的偏差 25
1.2.4 估計器的方差 28
1.3 本章小結(jié) 32
擴展閱讀 32
第2 章 損失函數(shù)和正則化 33
2.1 損失函數(shù)和代價函數(shù)的定義 33
2.2 正則化 39
2.3 本章小結(jié) 46
擴展閱讀 46
第3 章 半監(jiān)督學習導論 47
3.1 半監(jiān)督學習場景 47
3.1.1 因果場景 48
3.1.2 直推學習 49
3.1.3 歸納學習 50
3.1.4 半監(jiān)督假設(shè) 50
3.2 生成式高斯混合 54
3.2.1 生成式高斯混合理論 54
3.2.2 生成式高斯混合模型實例 56
3.2.3 生成式高斯混合小結(jié) 62
3.3 自訓練算法 64
3.3.1 自訓練理論 64
3.3.2 鳶尾屬植物數(shù)據(jù)集的自訓練實例 66
3.3.3 自訓練小結(jié) 69
3.4 協(xié)同訓練算法 70
3.4.1 協(xié)同訓練理論 70
3.4.2 葡萄酒數(shù)據(jù)集的協(xié)同訓練實例 71
3.4.3 協(xié)同訓練小結(jié) 76
3.5 本章小結(jié) 76
擴展閱讀 · 76
第4 章 高級半監(jiān)督分類 · 78
4.1 對比悲觀似然估計 78
4.1.1 對比悲觀似然估計理論 79
4.1.2 對比悲觀似然估計實例 80
4.1.3 對比悲觀似然估計小結(jié) 84
4.2 半監(jiān)督支持向量機（S3VM） · 84
4.2.1 S3VM 理論 84
4.2.2 S3VM 實例 87
4.2.3 S3VM 小結(jié) 93
4.3 直推支持向量機（TSVM） · 93
4.3.1 TSVM 理論 94
4.3.2 TSVM 實例 94
4.3.3 TSVM 小結(jié) ·102
4.4 本章小結(jié) 103
擴展閱讀 103
第5 章 基于圖的半監(jiān)督學習 105
5.1 標簽傳播算法 105
5.1.1 標簽傳播算法實例 ·108
5.1.2 scikit-learn 的標簽傳播算法 112
5.2 標簽擴散算法 114
5.2.1 標簽擴散算法實例 · 116
5.2.2 拉普拉斯矩陣正則化提升平滑度 · 117
5.3 基于馬爾可夫隨機游走的標簽傳播算法 121
5.4 流形學習 126
5.4.1 等距特征映射流形學習算法 ·126
5.4.2 局部線性嵌入算法 · 129
5.4.3 拉普拉斯譜嵌入算法 · 131
5.4.4 t-SNE 133
5.5 本章小結(jié) 137
擴展閱讀 137
第6 章 聚類和無監(jiān)督學習模型 139
6.1 k 近鄰（KNN）算法 139
6.1.1 k ? d 樹 143
6.1.2 球樹 · 143
6.1.3 KNN 模型的擬合 144
6.1.4 scikit-learn 的KNN 實例 145
6.2 k 均值 147
6.2.1 k 均值 方法 · 150
6.2.2 scikit-learn 的k 均值算法實例 151
6.3 評估指標 154
6.3.1 一致性評分 · 155
6.3.2 完整性評分 · 155
6.3.3 調(diào)整蘭德指數(shù)（相似性） · 156
6.3.4 輪廓系數(shù) · 157
6.4 本章小結(jié) 160
擴展閱讀 161
第7 章 高級聚類和無監(jiān)督學習模型 162
7.1 模糊c 均值 162
7.2 譜聚類 168
7.3 DBSCAN 174
7.3.1 scikit-learn 的DBSCAN 實例 177
7.3.2 DBSCAN 結(jié)果的分析 180
7.4 本章小結(jié) 183
擴展閱讀 184
第8 章 面向營銷的聚類和無監(jiān)督學習模型 185
8.1 雙聚類 185
8.2 利用Apriori 算法的購物籃分析 190
8.3 本章小結(jié) 195
擴展閱讀 195
第9 章 廣義線性模型和回歸 197
9.1 廣義線性模型 197
9.1.1 小二乘估計 ·198
9.1.2 小二乘估計的偏差和方差 ·201
9.1.3 Python 實現(xiàn)的線性回歸實例 ·201
9.1.4 利用Statsmodels 計算線性回歸的置信區(qū)間 ·204
9.1.5 利用胡貝爾損失（Huber loss）提高應對異值點的魯棒性 ·207
9.2 其他回歸方法 209
9.2.1 嶺回歸 ·210
9.2.2 采用Lasso 回歸和邏輯回歸的風險建模 214
9.2.3 多項式回歸 ·219
9.2.4 保序回歸 ·226
9.3 本章小結(jié) 228
擴展閱讀 229
第10 章 時序分析導論 · 230
10.1 時間序列 · 230
10.2 時序的線性模型 · 233
10.2.1 自相關(guān) 234
10.2.2 AR、MA 和ARMA 過程 ·236
10.3 本章小結(jié) · 242
擴展閱讀 243
第11 章 貝葉斯網(wǎng)絡(luò)和隱馬爾可夫模型 · 244
11.1 條件概率與貝葉斯定理 · 244
11.2 貝葉斯網(wǎng)絡(luò) · 248
11.2.1 從貝葉斯網(wǎng)絡(luò)中采樣 248
11.2.2 PyMC3 采樣 257
11.2.3 PyStan 采樣 264
11.3 隱馬爾可夫模型 · 269
11.3.1 前向 ? 后向算法 270
11.3.2 維特比算法 276
11.4 本章小結(jié) · 280
擴展閱讀 281
第12 章 期望算法 · 282
12.1 MLE 和MAP 學習 282
12.2 期望算法 284
12.2.1 凸函數(shù)與詹森不等式 285
12.2.2 詹森不等式在期望算法中的應用 287
12.2.3 參數(shù)估計示例 288
12.3 高斯混合模型 291
12.3.1 利用scikit-learn 的高斯混合示例 293
12.3.2 利用AIC 和BIC 確定的高斯分布數(shù)量 · 296
12.3.3 利用貝葉斯高斯混合的自動分布選擇 298
12.4 本章小結(jié) 300
擴展閱讀 300
第13 章 成分分析和降維 · 301
13.1 因子分析 301
13.1.1 線性關(guān)系分析 302
13.1.2 利用scikit-learn 的因子分析示例 304
13.2 主成分分析 308
13.2.1 成分重要性評價 309
13.2.2 利用scikit-learn 的PCA 示例 · 312
13.2.3 核PCA 313
13.2.4 稀疏PCA 316
13.3 獨立成分分析 318
13.4 隱馬爾可夫模型的補充知識 322
13.5 本章小結(jié) 322
擴展閱讀 323
第14 章 赫布學習 · 324
14.1 赫布法則 324
14.1.1 協(xié)方差法則分析 329
14.1.2 權(quán)重向量穩(wěn)定化與奧佳法則 332
14.2 桑格網(wǎng)絡(luò) 333
14.3 魯布納 ? 塔萬網(wǎng)絡(luò)（Rubner-Tavan’s network） · 339
14.4 自組織映射 344
14.4.1 科霍寧映射 346
14.4.2 自組織映射示例 348
14.5 本章小結(jié) · 352
擴展閱讀 352
第15 章 集成學習基礎(chǔ) · 354
15.1 集成學習基礎(chǔ) · 354
15.2 隨機森林 · 356
15.2.1 隨機森林基礎(chǔ) 356
15.2.2 使用決策樹的原因 358
15.2.3 隨機森林與偏差 ? 方差權(quán)衡 359
15.2.4 scikit learn 的隨機森林示例 ·361
15.3 AdaBoost · 367
15.3.1 AdaBoost.SAMME 371
15.3.2 AdaBoost.SAMME.R 372
15.3.3 AdaBoost.R2 ·374
15.3.4 利用scikit learn 的AdaBoost 實例 377
15.4 本章小結(jié) · 382
擴展閱讀 382
第16 章 高級提升算法 · 383
16.1 梯度提升 · 383
16.1.1 梯度提升的損失函數(shù) 386
16.1.2 利用scikit-learn 的梯度樹提升示例 387
16.1.3 利用XGBoost 的梯度提升示例 390
16.2 投票分類器集成 · 395
16.3 集成學習作為模型選擇 · 399
16.4 本章小結(jié) · 400
擴展閱讀 401
第17 章 神經(jīng)網(wǎng)絡(luò)建模 · 402
17.1 基本的人工神經(jīng)元 · 402
17.2 感知機 · 403
17.3 多層感知機 · 409
17.4 反向傳播算法 · 413
17.4.1 隨機梯度下降（SGD） 415
17.4.2 權(quán)重初始化 417
17.4.3 利用TensorFlow 和Keras 的多層感知機示例 419
17.5 本章小結(jié) 423
擴展閱讀 423
第18 章 神經(jīng)網(wǎng)絡(luò)優(yōu)化 · 425
18.1 優(yōu)化算法 425
18.1.1 梯度攝動 427
18.1.2 動量（momentum）和涅斯捷羅夫動量（Nesterov momentum） 427
18.1.3 RMSProp 自適應算法 429
18.1.4 Adam 算法 430
18.1.5 AdaGrad 算法 431
18.1.6 AdaDelta 算法 432
18.2 正則化和暫棄 434
18.2.1 正則化 434
18.2.2 暫棄（dropout） 436
18.3 批量歸一化 442
18.4 本章小結(jié) 446
擴展閱讀 446
第19 章 深度卷積網(wǎng)絡(luò) · 448
19.1 深度卷積網(wǎng)絡(luò) 448
19.2 卷積算子 449
19.2.1 二維離散卷積 451
19.2.2 空洞卷積 455
19.2.3 可分離卷積 456
19.2.4 轉(zhuǎn)置卷積 457
19.3 池化層 457
19.4 TensorFlow 和Keras 的深度卷積網(wǎng)絡(luò)算法示例 461
19.5 本章小結(jié) 471
擴展閱讀 472
第20 章 循環(huán)神經(jīng)網(wǎng)絡(luò) · 473
20.1 循環(huán)網(wǎng)絡(luò) 473
20.1.1 時間反向傳播 474
20.1.2 BPTT 的局限 475
20.2 長短期記憶 476
20.2.1 門控循環(huán)單元（GRU） 480
20.2.2 利用TensorFlow 和Keras 的LSTM 示例 482
20.3 遷移學習 · 487
20.4 本章小結(jié) · 489
擴展閱讀 489
第21 章 自編碼器 · 491
21.1 自編碼器 · 491
21.2 去噪自編碼器 · 500
21.3 稀疏自編碼器 · 502
21.4 變分自編碼器 · 507
21.5 本章小結(jié) · 514
擴展閱讀 515
第22 章 生成對抗網(wǎng)絡(luò)導論 · 516
22.1 對抗訓練 · 516
22.2 深度卷積生成對抗網(wǎng)絡(luò) · 519
22.2.1 利用TensorFlow 的DCGAN 示例 519
22.2.2 模式崩潰 526
22.3 瓦薩斯坦恩生成對抗網(wǎng)絡(luò)· 528
22.4 本章小結(jié) · 535
擴展閱讀 536
第23 章 深度置信網(wǎng)絡(luò) · 537
23.1 馬爾可夫隨機場簡介 · 537
23.2 受限玻爾茲曼機 · 539
23.3 深度置信網(wǎng)絡(luò) · 542
23.3.1 Python 實現(xiàn)的無監(jiān)督深度置信網(wǎng)絡(luò)示例 544
23.3.2 Python 實現(xiàn)的監(jiān)督DBN 示例 ·546
23.4 本章小結(jié) · 549
擴展閱讀 550
第24 章 強化學習導論 · 551
24.1 強化學習的基本概念 · 551
24.1.1 馬爾可夫決策過程 552
24.1.2 環(huán)境 553
24.1.3 策略 556
24.2 策略迭代 557
24.3 值迭代 565
24.4 TD(0)算法 571
24.5 本章小結(jié) 579
擴展閱讀 580
第25 章 高級策略估計算法 · 581
25.1 TD(λ)算法 581
25.1.1 更復雜棋盤環(huán)境的TD(λ)應用 585
25.1.2 棋盤格環(huán)境中的玩家 ? 評委TD(0)示例 · 593
25.2 SARSA 算法 599
25.3 Q 學習 605
25.3.1 棋盤環(huán)境中的Q 學習示例 606
25.3.2 用神經(jīng)網(wǎng)絡(luò)建立策略模型的Q 學習示例 609
25.4 基于策略梯度的直接策略搜索 620
25.5 本章小結(jié) 627
擴展閱讀 627
后記 629