Python深度學習

第1章深度學習介紹1

1.1歷史背景1

1.2相關領域的進展3

1.3先決條件3

1.4后續(xù)章節(jié)概述4

1.5安裝所需函數(shù)庫4

第2章機器學習基礎5

2.1直覺5

2.2二元分類5

2.3回歸6

2.4泛化7

2.5正規(guī)化12

2.6總結14

第3章前饋神經(jīng)網(wǎng)絡15

3.1單元15

3.1.1神經(jīng)網(wǎng)絡的整體結構16

3.1.2用向量形式表示神經(jīng)網(wǎng)絡17

3.1.3評估神經(jīng)網(wǎng)絡的輸出18

3.1.4神經(jīng)網(wǎng)絡訓練19

3.2使用極大似然估計成本函數(shù)20

3.2.1二元交叉熵20

3.2.2交叉熵21

3.2.3平方差21

3.2.4損失函數(shù)總結22

3.3單元/激活函數(shù)/層的類型22

3.3.1線性單元23

3.3.2Sigmoid單元23

3.3.3Softmax層23

3.3.4線性整流函數(shù)24

3.3.5雙曲正切25

3.4用AutoGrad手寫神經(jīng)網(wǎng)絡25

3.5總結27

第4章Theano介紹28

4.1什么是Theano28

4.2上手Theano28

4.3總結50

第5章卷積神經(jīng)網(wǎng)絡52

5.1卷積操作52

5.2池化操作56

5.3卷積-探測-池化57

5.4其他卷積59

5.5CNN背后的直覺61

5.6總結61

第6章遞歸神經(jīng)網(wǎng)絡62

6.1RNN基礎62

6.2訓練RNN65

6.3雙向RNN69

6.4梯度爆炸和梯度消失72

6.5梯度削減72

6.6長短期記憶73

6.7總結75

第7章Keras介紹76

7.1單層神經(jīng)網(wǎng)絡76

7.2兩層神經(jīng)網(wǎng)絡77

7.2.1用于多元分類的兩層神經(jīng)網(wǎng)絡79

7.2.2兩層神經(jīng)網(wǎng)絡的回歸80

7.3Keras快速迭代82

7.3.1使用Keras構建卷積神經(jīng)網(wǎng)絡（CNN）85

7.3.2使用Keras構建LSTM88

7.4總結90

第8章隨機梯度下降91

8.1優(yōu)化問題91

8.2最速下降的方法92

8.3批量，隨機（單例和迷你批）下降93

8.3.1批量93

8.3.2隨機單例93

8.3.3隨機迷你批93

8.3.4批量VS隨機93

8.4SGD的挑戰(zhàn)94

8.4.1局部最小值94

8.4.2鞍點94

8.4.3選擇學習速率95

8.4.4窄谷中進展緩慢96

8.5SGD的算法變體97

8.5.1動量97

8.5.2Nesterov加速梯度（NAS）97

8.5.3退火和學習速率計劃?98

8.5.4Adagrad98

8.5.5RMSProp99

8.5.6Adadelta99

8.5.7Adam99

8.5.8彈性反向傳播100

8.5.9平衡SGD100

8.6使用SGD的技巧和提示100

8.6.1輸入數(shù)據(jù)預處理101

8.6.2激活函數(shù)的選擇101

8.6.3預處理目標值101

8.6.4參數(shù)初始化102

8.6.5打散數(shù)據(jù)102

8.6.6批標準化102

8.6.7提前停止102

8.6.8梯度噪聲102

8.7并行和分布式SGD103

8.7.1Hogwild103

8.7.2Downpour103

8.8用Downhill動手實踐SGD104

8.9總結109

第9章自動求導110

9.1數(shù)值求導110

9.2符號求導111

9.3自動求導基礎112

9.3.1正向/正切線性模型113

9.3.2反向/余切/伴隨線性模式115

9.3.3自動求導實現(xiàn)117

9.4源代碼轉換117

9.5運算符重載117

9.6用Autograd實現(xiàn)自動求導118

9.7總結122

第10章GPU介紹123

10.1基于GPU計算的關鍵要素123

10.2OpenCL系統(tǒng)物理視圖124

10.3OpenCL系統(tǒng)的邏輯視圖125

10.4OpenCL設備上的邏輯內(nèi)存空間126

10.5OpenCL設備的編程模型127

10.6索引的符號128

10.7總結132