模式識(shí)別與機(jī)器學(xué)習(xí)

目錄
第1章引言1
1.1基本概念1
1.1.1投票選舉2
1.1.2三個(gè)小皮匠勝過(guò)諸葛亮3
1.1.3主動(dòng)學(xué)習(xí)4
1.2典型的機(jī)器學(xué)習(xí)系統(tǒng)5
1.2.1醫(yī)學(xué)圖像診斷5
1.2.2時(shí)間序列識(shí)別6
1.2.3對(duì)話系統(tǒng)7
1.2.4異常檢測(cè)8
1.3前沿研究方向舉例9
1.3.1多視圖機(jī)器學(xué)習(xí)9
1.3.2強(qiáng)化學(xué)習(xí)11
1.3.3可信人工智能11
1.4后續(xù)章節(jié)安排13
參考文獻(xiàn)13
第2章貝葉斯學(xué)習(xí)基礎(chǔ)15
2.1貝葉斯公式16
2.2貝葉斯決策18
2.2.1最小錯(cuò)誤率貝葉斯決策18
2.2.2最小風(fēng)險(xiǎn)貝葉斯決策21
2.3分類(lèi)器的相關(guān)概念23
2.3.1分類(lèi)器、判別函數(shù)和決策面24
2.3.2分類(lèi)器的錯(cuò)誤率25
2.4基于高斯分布的貝葉斯分類(lèi)器26
2.5樸素貝葉斯分類(lèi)器32
2.6參數(shù)估計(jì)33
2.6.1最大似然估計(jì)33
2.6.2最大后驗(yàn)估計(jì)35
2.6.3期望最大化算法36
2.6.4貝葉斯參數(shù)估計(jì)37
思考與計(jì)算38
參考文獻(xiàn)39
第3章邏輯回歸40
3.1線性回歸41
3.1.1最小二乘與最大似然44
3.1.2正則化最小二乘與最大后驗(yàn)47
3.2貝葉斯線性回歸50
3.3邏輯回歸52
3.3.1二類(lèi)邏輯回歸52
3.3.2多類(lèi)邏輯回歸55
3.4貝葉斯邏輯回歸56
思考與計(jì)算60
參考文獻(xiàn)60
第4章概率圖模型基礎(chǔ)61
4.1有向圖模型63
4.1.1模型表示63
4.1.2條件獨(dú)立性65
4.1.3常見(jiàn)的有向圖模型71
4.2無(wú)向圖模型73
4.2.1模型表示73
4.2.2條件獨(dú)立性74
4.2.3常見(jiàn)的無(wú)向圖模型81
4.3圖模型中的推理82
4.3.1鏈?zhǔn)浇Y(jié)構(gòu)82
4.3.2樹(shù)結(jié)構(gòu)84
4.3.3因子圖84
4.3.4和積算法85
4.3.5最大和算法92
思考與計(jì)算94
參考文獻(xiàn)95
第5章隱馬爾可夫模型96
5.1模型表示97
5.2模型推理100
5.2.1邊緣似然的推理101
5.2.2隱狀態(tài)序列的推理107
5.2.3隱狀態(tài)邊緣后驗(yàn)的推理108
5.3參數(shù)學(xué)習(xí)109
5.4模型擴(kuò)展111
思考與計(jì)算115
參考文獻(xiàn)116
第6章條件隨機(jī)場(chǎng)117
6.1模型表示118
6.1.1線性鏈條件隨機(jī)場(chǎng)120
6.1.2一般的條件隨機(jī)場(chǎng)121
6.1.3條件隨機(jī)場(chǎng)的特征函數(shù)122
6.2模型推理124
6.2.1前向—后向算法125
6.2.2維特比算法129
6.3參數(shù)學(xué)習(xí)130
6.4線性鏈條件隨機(jī)場(chǎng)與隱馬爾可夫模型132
6.5模型擴(kuò)展133
思考與計(jì)算133
參考文獻(xiàn)134
第7章支持向量機(jī)135
7.1大間隔原理136
7.2基本分類(lèi)模型137
7.3拉格朗日對(duì)偶優(yōu)化138
7.4線性不可分?jǐn)?shù)據(jù)的分類(lèi)140
7.4.1松弛變量140
7.4.2核方法142
7.5支持向量機(jī)回歸144
7.6模型擴(kuò)展146
思考與計(jì)算146
參考文獻(xiàn)147
第8章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)148
8.1感知機(jī)149
8.2多層神經(jīng)網(wǎng)絡(luò)151
8.2.1神經(jīng)元151
8.2.2多層神經(jīng)網(wǎng)絡(luò)模型153
8.2.3反向傳播算法155
8.3深度神經(jīng)網(wǎng)絡(luò)159
8.3.1淺層與深度神經(jīng)網(wǎng)絡(luò)159
8.3.2過(guò)擬合問(wèn)題160
8.3.3局部極值問(wèn)題162
8.3.4梯度消失問(wèn)題163
8.4常用的深度神經(jīng)網(wǎng)絡(luò)166
8.4.1自編碼網(wǎng)絡(luò)166
8.4.2深度玻爾茲曼機(jī)168
8.4.3深度信念網(wǎng)絡(luò)169
8.4.4卷積神經(jīng)網(wǎng)絡(luò)170
8.4.5循環(huán)神經(jīng)網(wǎng)絡(luò)174
8.4.6Transformer177
思考與計(jì)算180
參考文獻(xiàn)181
第9章高斯過(guò)程183
9.1高斯過(guò)程的定義184
9.2高斯過(guò)程回歸模型185
9.2.1權(quán)重空間185
9.2.2函數(shù)空間189
9.3高斯過(guò)程分類(lèi)模型192
9.3.1模型表示193
9.3.2近似推理方法195
9.4高斯過(guò)程與支持向量機(jī)199
9.5高斯過(guò)程與人工神經(jīng)網(wǎng)絡(luò)200
9.6模型擴(kuò)展201
思考與計(jì)算203
參考文獻(xiàn)203
第10章聚類(lèi)205
10.1K均值聚類(lèi)206
10.1.1算法介紹206
10.1.2模糊K均值聚類(lèi)209
10.2譜聚類(lèi)210
10.3高斯混合模型聚類(lèi)217
10.3.1模型表示217
10.3.2模型推理與參數(shù)估計(jì)218
10.3.3無(wú)限高斯混合模型219
思考與計(jì)算222
參考文獻(xiàn)223
第11章主成分分析與相關(guān)的譜方法224
11.1主成分分析225
11.1.1最大化方差225
11.1.2最小化誤差227
11.1.3主成分分析與KL變換229
11.2概率PCA230
11.3核PCA232
11.4相關(guān)的譜方法234
11.4.1線性判別分析234
11.4.2典型相關(guān)分析237
思考與計(jì)算242
參考文獻(xiàn)243
第12章確定性近似推理244
12.1近似推理的應(yīng)用場(chǎng)景245
12.2拉普拉斯近似245
12.3變分平均場(chǎng)近似247
12.3.1基本理論247
12.3.2相關(guān)問(wèn)題250
12.4期望傳播近似253
12.4.1基本理論253
12.4.2相關(guān)問(wèn)題256
思考與計(jì)算259
參考文獻(xiàn)259
第13章隨機(jī)近似推理260
13.1采樣方法的評(píng)價(jià)標(biāo)準(zhǔn)261
13.2基本的采樣方法262
13.2.1均勻采樣變換263
13.2.2拒絕采樣264
13.2.3重要性采樣265
13.3馬爾可夫鏈蒙特卡洛267
13.3.1MetropolisHastings采樣267
13.3.2Gibbs采樣269
13.3.3切片采樣271
13.3.4哈密爾頓蒙特卡洛采樣274
思考與計(jì)算277
參考文獻(xiàn)278
第14章強(qiáng)化學(xué)習(xí)280
14.1基本概念與理論基礎(chǔ)281
14.2規(guī)劃: 有環(huán)境模型的預(yù)測(cè)與控制286
14.2.1策略迭代287
14.2.2值迭代288
14.3無(wú)環(huán)境模型的控制: 基于值函數(shù)290
14.3.1蒙特卡洛控制291
14.3.2時(shí)序差分控制: SARSA292
14.3.3基于Q學(xué)習(xí)的異策略控制293
14.3.4基于Q學(xué)習(xí)的深度Q網(wǎng)絡(luò)控制295
14.4無(wú)環(huán)境模型的控制: 基于策略296
14.4.1蒙特卡洛策略梯度法和REINFORCE算法297
14.4.2行動(dòng)者—評(píng)論者算法299
思考與計(jì)算300
參考文獻(xiàn)301
附錄A近鄰法302
A.1最近鄰法302
A.2最近鄰法的錯(cuò)誤率分析302
A.3k近鄰法305
參考文獻(xiàn)306
附錄B決策樹(shù)307
B.1基本原理307
B.2信息增益和信息增益比309
B.3代表性算法311
參考文獻(xiàn)313
附錄C向量微積分314
C.1向量微分314
C.1.1常用定義314
C.1.2求導(dǎo)規(guī)則316
C.2向量積分319
參考文獻(xiàn)322
附錄D隨機(jī)變量的變換323
D.1概率密度中的變量變換323
D.2期望中的變量變換326
參考文獻(xiàn)327