神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

譯者序
前言
致謝
作者簡介
第1章神經(jīng)網(wǎng)絡(luò)概論111簡介1
12神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)3
121單層計算網(wǎng)絡(luò)：感知機(jī)3
122多層神經(jīng)網(wǎng)絡(luò)13
123多層網(wǎng)絡(luò)即計算圖15
13利用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)16
14神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的實(shí)際問題19
141過擬合問題19
142梯度消失與梯度爆炸問題22
143收斂問題22
144局部最優(yōu)和偽最優(yōu)22
145計算上的挑戰(zhàn)23
15復(fù)合函數(shù)的能力之謎23
151非線性激活函數(shù)的重要性25
152利用深度以減少參數(shù)26
153非常規(guī)網(wǎng)絡(luò)架構(gòu)27
16常見網(wǎng)絡(luò)架構(gòu)28
161淺層模型模擬基礎(chǔ)機(jī)器學(xué)習(xí)方法28
162徑向基函數(shù)網(wǎng)絡(luò)29
163受限玻爾茲曼機(jī)29
164循環(huán)神經(jīng)網(wǎng)絡(luò)30
165卷積神經(jīng)網(wǎng)絡(luò)31
166層次特征工程與預(yù)訓(xùn)練模型32
17高級主題34
171強(qiáng)化學(xué)習(xí)34
172分離數(shù)據(jù)存儲和計算34
173生成對抗網(wǎng)絡(luò)35
18兩個基準(zhǔn)35
181MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫35
182ImageNet數(shù)據(jù)庫36
19總結(jié)37
110參考資料說明37
1101視頻講座38
1102軟件資源39
111練習(xí)39
第2章基于淺層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)41
21簡介41
22二分類模型的神經(jīng)架構(gòu)42
221復(fù)習(xí)感知機(jī)42
222最小二乘回歸44
223邏輯回歸47
224支持向量機(jī)49
23多分類模型的神經(jīng)架構(gòu)50
231多分類感知機(jī)51
232WestonWatkins支持向量機(jī)52
233多重邏輯回歸（softmax分類器）53
234應(yīng)用于多分類的分層softmax54
24反向傳播可以用于特征選擇和神經(jīng)網(wǎng)絡(luò)的可解釋性54
25使用自編碼器進(jìn)行矩陣分解55
251自編碼器的基本原則55
252非線性激活函數(shù)59
253深度自編碼器60
254應(yīng)用于離群點(diǎn)檢測62
255當(dāng)隱藏層比輸入層維數(shù)高時63
256其他應(yīng)用63
257推薦系統(tǒng)：行索引到行值的預(yù)測65
258討論67
26word2vec：簡單神經(jīng)架構(gòu)的應(yīng)用67
261連續(xù)詞袋的神經(jīng)嵌入68
262skipgram模型的神經(jīng)嵌入70
263word2vec（SGNS）是邏輯矩陣分解74
264原始skipgram模型是多項(xiàng)式矩陣分解76
27圖嵌入的簡單神經(jīng)架構(gòu)76
271處理任意數(shù)量的邊78
272多項(xiàng)式模型78
273與DeepWalk和node2vec的聯(lián)系78
28總結(jié)78
29參考資料說明79
210練習(xí)80
第3章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練8231簡介82
32反向傳播的詳細(xì)討論83
321計算圖抽象中的反向傳播83
322前來拯救的動態(tài)規(guī)劃87
323使用激活后變量的反向傳播88
324使用激活前變量的反向傳播89
325不同激活函數(shù)的更新示例91
326以向量為中心的反向傳播的解耦視圖92
327多輸出節(jié)點(diǎn)及隱藏節(jié)點(diǎn)下的損失函數(shù)94
328小批量隨機(jī)梯度下降95
329用于解決共享權(quán)重的反向傳播技巧96
3210檢查梯度計算的正確性97
33設(shè)置和初始化問題98
331調(diào)整超參數(shù)98
332特征預(yù)處理99
333初始化100
34梯度消失和梯度爆炸問題101
341對梯度比例影響的幾何理解102
342部分解決：激活函數(shù)的選擇103
343死亡神經(jīng)元和“腦損傷”104
35梯度下降策略105
351學(xué)習(xí)率衰減105
352基于動量的學(xué)習(xí)106
353參數(shù)特異的學(xué)習(xí)率108
354懸崖和高階不穩(wěn)定性111
355梯度截斷112
356二階導(dǎo)數(shù)112
357Polyak平均118
358局部極小值和偽極小值119
36批歸一化120
37加速與壓縮的實(shí)用技巧123
371GPU加速123
372并行和分布式實(shí)現(xiàn)125
373模型壓縮的算法技巧126
38總結(jié)128
39參考資料說明128
310練習(xí)130
第4章讓深度學(xué)習(xí)器學(xué)會泛化132
41簡介132
42偏差方差權(quán)衡135
43模型調(diào)優(yōu)和評估中的泛化問題138
431用留出法和交叉驗(yàn)證法進(jìn)行評估139
432大規(guī)模訓(xùn)練中的問題140
433如何檢測需要收集更多的數(shù)據(jù)141
44基于懲罰的正則化141
441與注入噪聲的聯(lián)系142
442L1正則化143
443選擇L1正則化還是L2正則化143
444對隱藏單元進(jìn)行懲罰：學(xué)習(xí)稀疏表示144
45集成方法145
451裝袋和下采樣145
452參數(shù)模型選擇和平均146
453隨機(jī)連接刪除146
454Dropout147
455數(shù)據(jù)擾動集成149
46早停149
47無監(jiān)督預(yù)訓(xùn)練150
471無監(jiān)督預(yù)訓(xùn)練的變體153
472如何進(jìn)行監(jiān)督預(yù)訓(xùn)練154
48繼續(xù)學(xué)習(xí)與課程學(xué)習(xí)154
481繼續(xù)學(xué)習(xí)155
482課程學(xué)習(xí)156
49共享參數(shù)156
410無監(jiān)督應(yīng)用中的正則化157
4101基于值的懲罰：稀疏自編碼器157
4102噪聲注入：去噪自編碼器157
4103基于梯度的懲罰：收縮自編碼器158
4104隱藏層概率結(jié)構(gòu)：變分自編碼器161
411總結(jié)166
412參考資料說明166
413練習(xí)168
第5章徑向基函數(shù)網(wǎng)絡(luò)169
51簡介169
52RBF網(wǎng)絡(luò)的訓(xùn)練171
521訓(xùn)練隱藏層171