深度學(xué)習(xí)：基于案例理解深度神經(jīng)網(wǎng)絡(luò)

譯者序 \n
前言 \n
審校者簡介 \n
致謝 \n
第1章　計算圖和TensorFlow1 \n
1.1　如何構(gòu)建Python環(huán)境1 \n
1.1.1　創(chuàng)建環(huán)境3 \n
1.1.2　安裝TensorFlow7 \n
1.1.3　Jupyter記事本8 \n
1.2　TensorFlow基本介紹10 \n
1.2.1　計算圖10 \n
1.2.2　張量12 \n
1.2.3　創(chuàng)建和運行計算圖13 \n
1.2.4　包含tf.constant的計算圖13 \n
1.2.5　包含tf.Variable的計算圖14 \n
1.2.6　包含tf. placeholder的計算圖15 \n
1.2.7　運行和計算的區(qū)別18 \n
1.2.8　節(jié)點之間的依賴關(guān)系18 \n
1.2.9　創(chuàng)建和關(guān)閉會話的技巧19 \n
第2章　單一神經(jīng)元21 \n
2.1　神經(jīng)元結(jié)構(gòu)21 \n
2.1.1　矩陣表示法23 \n
2.1.2　Python實現(xiàn)技巧：循環(huán)和NumPy24 \n
2.1.3　激活函數(shù)25 \n
2.1.4　代價函數(shù)和梯度下降：學(xué)習(xí)率的特點32 \n
2.1.5　學(xué)習(xí)率的應(yīng)用示例34 \n
2.1.6　TensorFlow中的線性回歸示例38 \n
2.2　邏輯回歸示例47 \n
2.2.1　代價函數(shù)47 \n
2.2.2　激活函數(shù)48 \n
2.2.3　數(shù)據(jù)集48 \n
2.2.4　TensorFlow實現(xiàn)51 \n
2.3　參考文獻54 \n
第3章　前饋神經(jīng)網(wǎng)絡(luò)56 \n
3.1　網(wǎng)絡(luò)架構(gòu)57 \n
3.1.1　神經(jīng)元的輸出59 \n
3.1.2　矩陣維度小結(jié)59 \n
3.1.3　示例：三層網(wǎng)絡(luò)的方程59 \n
3.1.4　全連接網(wǎng)絡(luò)中的超參數(shù)60 \n
3.2　用于多元分類的softmax函數(shù)60 \n
3.3　過擬合簡要介紹61 \n
3.3.1　過擬合示例61 \n
3.3.2　基本誤差分析66 \n
3.4　Zalando數(shù)據(jù)集68 \n
3.5　使用TensorFlow構(gòu)建模型71 \n
3.5.1　網(wǎng)絡(luò)架構(gòu)71 \n
3.5.2　softmax函數(shù)的標(biāo)簽轉(zhuǎn)換：獨熱編碼73 \n
3.5.3　TensorFlow模型74 \n
3.6　梯度下降變體77 \n
3.6.1　批量梯度下降77 \n
3.6.2　隨機梯度下降78 \n
3.6.3　小批量梯度下降79 \n
3.6.4　各種變體比較80 \n
3.7　錯誤預(yù)測示例84 \n
3.8　權(quán)重初始化84 \n
3.9　有效添加多個層87 \n
3.10　增加隱藏層的優(yōu)點89 \n
3.11　比較不同網(wǎng)絡(luò)89 \n
3.12　選擇正確網(wǎng)絡(luò)的技巧92 \n
第4章　訓(xùn)練神經(jīng)網(wǎng)絡(luò)93 \n
4.1　動態(tài)學(xué)習(xí)率衰減93 \n
4.1.1　迭代還是周期94 \n
4.1.2　階梯式衰減95 \n
4.1.3　步長衰減96 \n
4.1.4　逆時衰減98 \n
4.1.5　指數(shù)衰減100 \n
4.1.6　自然指數(shù)衰減101 \n
4.1.7　TensorFlow實現(xiàn)105 \n
4.1.8　將方法應(yīng)用于Zalando數(shù)據(jù)集108 \n
4.2　常用優(yōu)化器109 \n
4.2.1　指數(shù)加權(quán)平均109 \n
4.2.2　Momentum112 \n
4.2.3　RMSProp115 \n
4.2.4　Adam117 \n
4.2.5　應(yīng)該使用哪種優(yōu)化器117 \n
4.3　自己開發(fā)的優(yōu)化器示例118 \n
第5章　正則化123 \n
5.1　復(fù)雜網(wǎng)絡(luò)和過擬合123 \n
5.2　什么是正則化127 \n
5.3　?p范數(shù)128 \n
5.4　?2正則化128 \n
5.4.1　?2正則化原理128 \n
5.4.2　TensorFlow實現(xiàn)129 \n
5.5　?1正則化136 \n
5.5.1　?1正則化原理與TensorFlow實現(xiàn)137 \n
5.5.2　權(quán)重真的趨于零嗎137 \n
5.6　Dropout140 \n
5.7　Early Stopping143 \n
5.8　其他方法144 \n
第6章　指標(biāo)分析145 \n
6.1　人工水平表現(xiàn)和貝葉斯誤差146 \n
6.2　關(guān)于人工水平表現(xiàn)的故事148 \n
6.3　MNIST中的人工水平表現(xiàn)149 \n
6.4　偏差150 \n
6.5　指標(biāo)分析圖151 \n
6.6　訓(xùn)練集過擬合151 \n
6.7　測試集152 \n
6.8　如何拆分數(shù)據(jù)集153 \n
6.9　不平衡類分布：會發(fā)生什么157 \n
6.10　精確率、召回率和F1指標(biāo)161 \n
6.11　不同分布的數(shù)據(jù)集164 \n
6.12　k折交叉驗證170 \n
6.13　手動指標(biāo)分析示例177 \n
第7章　超參數(shù)調(diào)優(yōu)183 \n
7.1　黑盒優(yōu)化183 \n
7.2　黑盒函數(shù)注意事項184 \n
7.3　超參數(shù)調(diào)優(yōu)問題185 \n
7.4　黑盒問題示例186 \n
7.5　網(wǎng)格搜索186 \n
7.6　隨機搜索190 \n
7.7　粗到細優(yōu)化192 \n
7.8　貝葉斯優(yōu)化195 \n
7.8.1　Nadaraya-Watson回歸195 \n
7.8.2　高斯過程195 \n
7.8.3　平穩(wěn)過程196 \n
7.8.4　用高斯過程預(yù)測196 \n
7.8.5　采集函數(shù)200 \n
7.8.6　上置信界（UCB）201 \n
7.8.7　示例201 \n
7.9　對數(shù)尺度采樣207 \n
7.10　使用Zalando數(shù)據(jù)集的超參數(shù)調(diào)優(yōu)208 \n
7.11　徑向基函數(shù)注意事項214 \n
第8章　卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)216 \n
8.1　卷積核和過濾器216 \n
8.2　卷積217 \n
8.3　卷積運算示例223 \n
8.4　池化227 \n
8.5　構(gòu)建CNN塊230 \n
8.5.1　卷積層230 \n
8.5.2　池化層231 \n
8.5.3　各層的疊加231 \n
8.5.4　CNN示例232 \n
8.6　RNN介紹237 \n
8.6.1　符號237 \n
8.6.2　RNN的基本原理238 \n
8.6.3　循環(huán)神經(jīng)網(wǎng)絡(luò)名稱的由來239 \n
8.6.4　學(xué)會統(tǒng)計239 \n
第9章　研究項目244 \n
9.1　問題描述244 \n
9.2　數(shù)學(xué)模型246 \n
9.3　回歸問題246 \n
9.4　數(shù)據(jù)準備250 \n
9.5　模型訓(xùn)練258 \n
第10章　從零開始進行邏輯回歸261 \n
10.1　邏輯回歸的數(shù)學(xué)背景262 \n
10.2　Python實現(xiàn)264 \n
10.3　模型測試266 \n
10.3.1　數(shù)據(jù)集準備267 \n
10.3.2　運行測試268 \n
10.4　結(jié)論268