詳解深度學(xué)習(xí)：基于TensorFlow和Keras學(xué)習(xí)RNN

第 1章　數(shù)學(xué)準(zhǔn)備 001
1．1　偏微分　001
1．1．1　導(dǎo)函數(shù)和偏導(dǎo)函數(shù)　001
1．1．2　微分系數(shù)與偏微分系數(shù)　003
1．1．3　偏微分的基本公式　006
1．1．4　復(fù)合函數(shù)的偏微分　007
1．1．5　拓展全微分　009
1．2　線性代數(shù)　011
1．2．1　向量　011
1．2．1．1　向量的基礎(chǔ)知識(shí)　011
1．2．1．2　向量的和與標(biāo)量倍數(shù)　011
1．2．1．3　向量的內(nèi)積　012
1．2．2　矩陣　013
1．2．2．1　矩陣的基礎(chǔ)知識(shí)　013
1．2．2．2　矩陣的和與標(biāo)量倍數(shù)　014
1．2．2．3　矩陣的乘積　014
1．2．2．4　正則矩陣與逆矩陣　016
1．2．2．5　轉(zhuǎn)置矩陣　017
1．3　小結(jié)　018
第　2章 Python準(zhǔn)備　019
2．1　Python 2和Python 3　020
2．2　Anaconda發(fā)行版　021
2．3　Python的基礎(chǔ)知識(shí)　025
2．3．1　Python程序的執(zhí)行　025
2．3．2　數(shù)據(jù)類型　026
2．3．2．1　類型是什么　026
2．3．2．2　字符串類型　027
2．3．2．3　數(shù)值類型　028
2．3．2．4　布爾類型　030
2．3．3　變量　031
2．3．3．1　變量是什么　031
2．3．3．2　變量與類型　032
2．3．4　數(shù)據(jù)結(jié)構(gòu)　033
2．3．4．1　列表　033
2．3．4．2　字典　034
2．3．5　運(yùn)算　035
2．3．5．1　運(yùn)算符與操作數(shù)　035
2．3．5．2　算術(shù)運(yùn)算的運(yùn)算符　036
2．3．5．3　賦值運(yùn)算符　036
2．3．6　基本結(jié)構(gòu)　038
2．3．6．1　if語(yǔ)句　038
2．3．6．2　while語(yǔ)句　039
2．3．6．3　for語(yǔ)句　041
2．3．7　函數(shù)　043
2．3．8　類　045
2．3．9　庫(kù)　048
2．4　NumPy　049
2．4．1　NumPy數(shù)組　049
2．4．2　使用NumPy進(jìn)行向量和矩陣的計(jì)算　051
2．4．3　數(shù)組和多維數(shù)組的生成　053
2．4．4　切片　054
2．4．5　廣播　056
2．5　面向深度學(xué)習(xí)的庫(kù)　058
2．5．1　TensorFlow　058
2．5．2　Keras　059
2．5．3　參考Theano　060
2．6　小結(jié)　063
第3章　神經(jīng)網(wǎng)絡(luò)　065
3．1　什么是神經(jīng)網(wǎng)絡(luò)　065
3．1．1　腦和神經(jīng)元　065
3．1．2　深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)　066
3．2　作為電路的神經(jīng)網(wǎng)絡(luò)　067
3．2．1　簡(jiǎn)單的模型化　067
3．2．2　邏輯電路　069
3．2．2．1　邏輯門　069
3．2．2．2　與門　069
3．2．2．3　或門　072
3．2．2．4　非門　074
3．3　簡(jiǎn)單感知機(jī)　075
3．3．1　模型化　075
3．3．2　實(shí)現(xiàn)　077
3．4　邏輯回歸　081
3．4．1　階躍函數(shù)與sigmoid函數(shù)　081
3．4．2　模型化　082
3．4．2．1　似然函數(shù)與交叉熵誤差函數(shù)　082
3．4．2．2　梯度下降法　084
3．4．2．3　隨機(jī)梯度下降法與小批量梯度下降法　085
3．4．3　實(shí)現(xiàn)　086
3．4．3．1　使用TensorFlow的實(shí)現(xiàn)　086
3．4．3．2　使用Keras的實(shí)現(xiàn)　092
3．4．4　拓展sigmoid函數(shù)與概率密度函數(shù)、累積分布函數(shù)　096
3．4．5　拓展梯度下降法和局部最優(yōu)解　099
3．5　多分類邏輯回歸　101
3．5．1　softmax函數(shù)　101
3．5．2　模型化　102
3．5．3　實(shí)現(xiàn)　106
3．5．3．1　使用TensorFlow的實(shí)現(xiàn)　106
3．5．3．2　使用Keras的實(shí)現(xiàn)　110
3．6　多層感知機(jī)　111
3．6．1　非線性分類　111
3．6．1．1　異或門　111
3．6．1．2　邏輯門的組合　113
3．6．2　模型化　115
3．6．3　實(shí)現(xiàn)　119
3．6．3．1　使用TensorFlow的實(shí)現(xiàn)　119
3．6．3．2　使用Keras的實(shí)現(xiàn)　122
3．7　模型的評(píng)估　123
3．7．1　從分類到預(yù)測(cè)　123
3．7．2　預(yù)測(cè)的評(píng)估　124
3．7．3　簡(jiǎn)單的實(shí)驗(yàn)　126
3．8　小結(jié)　131
第4章　深度神經(jīng)網(wǎng)絡(luò)　133
4．1　進(jìn)入深度學(xué)習(xí)之前的準(zhǔn)備　133
4．2　訓(xùn)練過(guò)程中的問(wèn)題　138
4．2．1　梯度消失問(wèn)題　138
4．2．2　過(guò)擬合問(wèn)題　141
4．3　訓(xùn)練的高效化　142
4．3．1　激活函數(shù)　143
4．3．1．1　雙曲正切函數(shù)　143
4．3．1．2　ReLU　145
4．3．1．3　Leaky ReLU　147
4．3．1．4　Parametric ReLU　149
4．3．2　Dropout　152
4．4　代碼的設(shè)計(jì)　157
4．4．1　基本設(shè)計(jì)　157
4．4．1．1　使用TensorFlow的實(shí)現(xiàn)　157
4．4．1．2　使用Keras的實(shí)現(xiàn)　160
4．4．1．3　拓展對(duì)TensorFlow模型進(jìn)行類封裝　161
4．4．2　訓(xùn)練的可視化　166
4．4．2．1　使用TensorFlow的實(shí)現(xiàn)　167
4．4．2．2　使用Keras的實(shí)現(xiàn)　172
4．5　高級(jí)技術(shù)　176
4．5．1　數(shù)據(jù)的正則化與權(quán)重的初始化　176
4．5．2　學(xué)習(xí)率的設(shè)置　179
4．5．2．1　動(dòng)量　179
4．5．2．2　Nesterov動(dòng)量　180
4．5．2．3　Adagrad　181
4．5．2．4　Adadelta　182
4．5．2．5　RMSprop　184
4．5．2．6　Adam　185
4．5．3　早停法　187
4．5．4　Batch Normalization　190
4．6　小結(jié)　195
第5章　循環(huán)神經(jīng)網(wǎng)絡(luò)　197
5．1　基本概念　197
5．1．1　時(shí)間序列數(shù)據(jù)　197
5．1．2　過(guò)去的隱藏層　199
5．1．3　基于時(shí)間的反向傳播算法　202
5．1．4　實(shí)現(xiàn)　204
5．1．4．1　準(zhǔn)備時(shí)間序列數(shù)據(jù)　205
5．1．4．2　使用TensorFlow的實(shí)現(xiàn)　207
5．1．4．3　使用Keras的實(shí)現(xiàn)　214
5．2　LSTM　215
5．2．1　LSTM 塊　215
5．2．2　CEC、輸入門和輸出門　217
5．2．2．1　穩(wěn)態(tài)誤差　217
5．2．2．2　輸入權(quán)重沖突和輸出權(quán)重沖突　219
5．2．3　遺忘門　220
5．2．4　窺視孔連接　222
5．2．5　模型化　223
5．2．6　實(shí)現(xiàn)　227
5．2．7　長(zhǎng)期依賴信息的訓(xùn)練評(píng)估——Adding Problem　229
5．3　GRU　232
5．3．1　模型化　232
5．3．2　實(shí)現(xiàn)　233
5．4　小結(jié)　235
第6章　循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　237
6．1　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)　237
6．1．1　未來(lái)的隱藏層　237
6．1．2　前向、后向傳播　239
6．1．3　MNIST的預(yù)測(cè)　241
6．1．3．1　轉(zhuǎn)換為時(shí)間序列數(shù)據(jù)　241
6．1．3．2　使用TensorFlow的實(shí)現(xiàn)　242
6．1．3．3　使用Keras的實(shí)現(xiàn)　245
6．2　循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器- 解碼器　246
6．2．1　序列到序列模型　246
6．2．2　簡(jiǎn)單的問(wèn)答系統(tǒng)　247
6．2．2．1　設(shè)置問(wèn)題——加法的訓(xùn)練　247
6．2．2．2　數(shù)據(jù)的準(zhǔn)備　248
6．2．2．3　使用TensorFlow的實(shí)現(xiàn)　251
6．2．2．4　使用Keras的實(shí)現(xiàn)　260
6．3　注意力模型　261
6．3．1　時(shí)間的權(quán)重　261
6．3．2　LSTM中的注意力機(jī)制　263
6．4　記憶網(wǎng)絡(luò)　265
6．4．1　記憶外部化　265
6．4．2　應(yīng)用于問(wèn)答系統(tǒng)　266
6．4．2．1　bAbi任務(wù)　266
6．4．2．2　模型化　267
6．4．3　實(shí)現(xiàn)　269
6．4．3．1　數(shù)據(jù)的準(zhǔn)備　269
6．4．3．2　使用TensorFlow的實(shí)現(xiàn)　272
6．5　小結(jié)　276
附錄　279
A．1　模型的保存和讀取　279
A．1．1　使用TensorFlow時(shí)的處理　279
A．1．2　使用Keras時(shí)的處理　284
A．2　TensorBoard　285
A．3　tf．contrib．learn　292