TensorFlow深度學(xué)習(xí)：數(shù)學(xué)原理與Python實(shí)戰(zhàn)進(jìn)階

原書前言
第1章　數(shù)學(xué)基礎(chǔ)//1
　1.1 線性代數(shù)//2
　　1.1.1　向量//2
　　1.1.2　標(biāo)量//2
　　1.1.3　矩陣//3
　　1.1.4　張量//3
　　1.1.5　矩陣的運(yùn)算和操作//4
　　1.1.6　向量的線性獨(dú)立//6
　　1.1.7　矩陣的秩//8
　　1.1.8　單位矩陣或恒等運(yùn)算符//8
　　1.1.9　矩陣的行列式//9
　　1.1.10　逆矩陣//10
　　1.1.11　向量的范數(shù)（模）//11
　　1.1.12　偽逆矩陣//12
　　1.1.13　以特定向量為方向的單位向量//12
　　1.1.14　一個(gè)向量在另一個(gè)向量方向上的投影（或射影）//12
　　1.1.15　特征向量//12
　1.2　微積分//17
　　1.2.1　微分//17
　　1.2.2　函數(shù)的梯度//17
　　1.2.3　連續(xù)偏導(dǎo)數(shù)//18
　　1.2.4　海森矩陣//18
　　1.2.5　函數(shù)的極大值和極小值//18
　　1.2.6　局部極小值和全局最小值//20
　　1.2.7　半正定以及正定矩陣//21
　　1.2.8　凸集//21
　　1.2.9　凸函數(shù)//22
　　1.2.10　非凸函數(shù)//22
1.2.11　多變量凸函數(shù)以及非凸函數(shù)范例//23
　　1.2.12　泰勒級(jí)數(shù)//24
　1.3　概率//24
　　1.3.1　并集、交集和條件概率//25
　　1.3.2　事件交集概率的鏈?zhǔn)椒▌t//26
　　1.3.3　互斥事件//26
　　1.3.4　事件獨(dú)立性//27
　　1.3.5　事件條件獨(dú)立性//27
　　1.3.6　貝葉斯定理（公式）//27
　　1.3.7　概率質(zhì)量函數(shù)//28
　　1.3.8　概率密度函數(shù)//28
　　1.3.9　隨機(jī)變量的數(shù)學(xué)期望//28
　　1.3.10　隨機(jī)變量的方差//28
　　1.3.11　偏度和峰度//29
　　1.3.12　協(xié)方差//30
　　1.3.13　相關(guān)性系數(shù)//31
　　1.3.14　一些常見的概率分布//31
　　1.3.15　似然函數(shù)//34
　　1.3.16　最大似然估計(jì)//35
　　1.3.17　假設(shè)檢驗(yàn)和p值//36
　1.4　機(jī)器學(xué)習(xí)算法的制定與優(yōu)化算法//38
　　1.4.1　監(jiān)督學(xué)習(xí)//38
　　1.4.2　無監(jiān)督學(xué)習(xí)//45
　　1.4.3　機(jī)器學(xué)習(xí)的優(yōu)化算法//45
　　1.4.4　約束優(yōu)化問題//53
　1.5　機(jī)器學(xué)習(xí)中的幾個(gè)重要主題//54
　　1.5.1　降維方法//54
　　1.5.2　正則化//5
　　1.5.3　約束優(yōu)化問題中的正則化//59
　1.6　總結(jié)//60
第2章　深度學(xué)習(xí)概念和TensorFlow介紹//61
　2.1　深度學(xué)習(xí)及其發(fā)展//61
　2.2　感知機(jī)和感知機(jī)學(xué)習(xí)算法//63
　　2.2.1　感知機(jī)學(xué)習(xí)的幾何解釋//65
　　2.2.2　感知機(jī)學(xué)習(xí)的局限性//66
　　2.2.3　非線性需求//68
　　2.2.4　隱藏層感知機(jī)的非線性激活函數(shù)//69
　　2.2.5　神經(jīng)元或感知機(jī)的不同激活函數(shù)//70
　　2.2.6　多層感知機(jī)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則//74
　　2.2.7　梯度計(jì)算的反向傳播//75
　　2.2.8　反向傳播方法推廣到梯度計(jì)算//76
　2.3　TensorFlow //82
　　2.3.1　常見的深度學(xué)習(xí)包//82
　　2.3.2　TensorFlow的安裝//83
　　2.3.3　TensorFlow的開發(fā)基礎(chǔ)//83
　　2.3.4　深度學(xué)習(xí)視角下的梯度下降優(yōu)化方法//86
　　2.3.5　隨機(jī)梯度下降的小批量方法中的學(xué)習(xí)率//90
　　2.3.6　TensorFlow中的優(yōu)化器//90
　　2.3.7　TensorFlow實(shí)現(xiàn)XOR//96
　　2.3.8　TensorFlow中的線性回歸//100
　　2.3.9　使用全批量梯度下降的SoftMax函數(shù)多分類//103
　　2.3.10　使用隨機(jī)梯度下降的SoftMax函數(shù)多分類//105
　2.4　GPU //107
　2.5　總結(jié)//108
第3章　卷積神經(jīng)網(wǎng)絡(luò)//109
　3.1　卷積操作//109
　　3.1.1　線性時(shí)不變和線性移不變系統(tǒng)//109
　　3.1.2　一維信號(hào)的卷積//111
　3.2　模擬信號(hào)和數(shù)字信號(hào)//112
　　3.2.1　二維和三維信號(hào)//113
　3.3　二維卷積//114
　　3.3.1　二維單位階躍函數(shù)//114
　　3.3.2　LSI系統(tǒng)中單位階躍響應(yīng)信號(hào)的二維卷積//115
　　3.3.3　不同的LSI系統(tǒng)中圖像的二維卷積//117
　3.4　常見的圖像處理濾波器//120
　　3.4.1　均值濾波器//120
　　3.4.2　中值濾波器//122
　　3.4.3　高斯濾波器//122
　　3.4.4　梯度濾波器//123
　　3.4.5　Sobel邊緣檢測濾波器//125
　　3.4.6　恒等變換//127
　3.5　卷積神經(jīng)網(wǎng)絡(luò)//128
　3.6　卷積神經(jīng)網(wǎng)絡(luò)的組成部分//128
　　3.6.1　輸入層//129
　　3.6.2　卷積層//129
　　3.6.3　池化層//131
　3.7　卷積層中的反向傳播//131
　3.8　池化層中的反向傳播//134
　3.9　卷積中的權(quán)值共享及其優(yōu)點(diǎn)//136
　3.10　平移同變性//136
　3.11　池化的平移不變性//137
　3.12　舍棄層和正則化//138
　3.13　MNIST數(shù)據(jù)集上進(jìn)行手寫數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)//140
　3.14　用來解決現(xiàn)實(shí)問題的卷積神經(jīng)網(wǎng)絡(luò)//144
　3.15　批規(guī)范化//151
　3.16　卷積神經(jīng)網(wǎng)絡(luò)中的幾種不同的網(wǎng)絡(luò)架構(gòu)//153
　　3.16.1　LeNet//153
　　3.16.2　AlexNet//154
　　3.16.3　VGG16//155
　　3.16.4　ResNet//156
　3.17　遷移學(xué)習(xí)//157
　　3.17.1　遷移學(xué)習(xí)的使用指導(dǎo)//158
　　3.17.2　使用谷歌InceptionV3網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)//159
　　3.17.3　使用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)遷移學(xué)習(xí)//162
　3.18　總結(jié)//166
第4章　基于循環(huán)神經(jīng)網(wǎng)絡(luò)的自然語言處理//167
　4.1　向量空間模型//167
　4.2　單詞的向量表示//170
　4.3　Word2Vec//170
　　4.3.1　CBOW //171
　　4.3.2　CBOW 在TensorFlow中的實(shí)現(xiàn)//173
　　4.3.3　詞向量嵌入的Skip-gram模型//176
　　4.3.4　Skip-gram在TensorFlow中的實(shí)現(xiàn)//178
　　4.3.5　基于全局共現(xiàn)方法的詞向量//181
　　4.3.6　GloVe//186
　　4.3.7　詞向量類比法//188
　4.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的介紹//191
　　4.4.1　語言建模//193
　　4.4.2　用循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法預(yù)測句子中的下一個(gè)詞的對(duì)比//193
　　4.4.3　基于時(shí)間的反向傳播//194
　　4.4.4　循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度消失與爆炸問題//196
　　4.4.5　循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度消失與爆炸問題的解決方法//198
　　4.4.6　LSTM//199
　　4.4.7　LSTM在減少梯度爆炸和梯度消失問題中的應(yīng)用//200
　　4.4.8　在TensorFlow中使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行MNIST數(shù)字識(shí)別//201
　　4.4.9　門控循環(huán)單元//210
　　4.4.10　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)//211
　4.5　總結(jié)//212
第5章　用受限玻爾茲曼機(jī)和自編碼器進(jìn)行無監(jiān)督學(xué)習(xí)//214
　5.1　玻爾茲曼分布//214
　5.2　貝葉斯推斷：似然、先驗(yàn)和后驗(yàn)概率分布//215
　5.3　MCMC采樣方法//219
　　5.3.11　Metropolis算法//222
　5.4　受限玻爾茲曼機(jī)//226
　　5.4.1　訓(xùn)練受限玻爾茲曼機(jī)//229
　　5.4.2　吉布斯采樣//233
　　5.4.3　塊吉布斯采樣//234
　　5.4.4　Burn-in階段和吉布斯采樣中的樣本生成//235
　　5.4.5　基于吉布斯采樣的受限玻爾茲曼機(jī)//235
　　5.4.6　對(duì)比散度//236
　　5.4.7　受限玻爾茲曼機(jī)的TensorFlow實(shí)現(xiàn)//237
　　5.4.8　基于受限玻爾茲曼機(jī)的協(xié)同過濾//239
　　5.4.9　深度置信網(wǎng)絡(luò)//244
　5.5　自編碼器//248
　　5.5.1　基于自編碼器的監(jiān)督式特征學(xué)習(xí)//250
　　5.5.2　KL散度//251
　　5.5.3　稀疏自編碼器//251
　　5.5.4　稀疏自編碼器的TensorFlow實(shí)現(xiàn)//253
　　5.5.5　去噪自編碼器//255
　　5.5.6　去噪自編碼器的TensorFlow實(shí)現(xiàn)//256
　5.6　PCA和ZCA白化//262
　5.7　總結(jié)//264
第6章　高級(jí)神經(jīng)網(wǎng)絡(luò)//265
　6.1　圖像分割//265
　　6.1.1　基于像素強(qiáng)度直方圖的二元閾值分割方法//265
　　6.1.2　大津法//266
　　6.1.3　用于圖像分割的分水嶺算法//268
　　6.1.4　使用K-means聚類進(jìn)行圖像分割//272
　　6.1.5　語義分割//274
　　6.1.6　滑動(dòng)窗口方法//274
　　6.1.7　全卷積網(wǎng)絡(luò)//275
　　6.1.8　全卷積網(wǎng)絡(luò)的下采樣和上采樣//277
　　6.1.9　U-Net//281
　　6.1.10　在TensorFlow中使用全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割//283
　6.2　圖像分類和定位網(wǎng)絡(luò)//290
　6.3　物體檢測//292
　　6.3.1　R-CNN//293
　　6.3.2　Fast和Faster-CNN//294
　6.4　生成式對(duì)抗網(wǎng)絡(luò)//295
　　6.4.1　極大極小和極小極大問題//295
　　6.4.2　零和博弈//297
　　6.4.3　極小極大和鞍點(diǎn)//298
　　6.4.4　生成式對(duì)抗網(wǎng)絡(luò)的損失函數(shù)和訓(xùn)練//300
　　6.4.5　生成器的梯度消弭//302
　　6.4.6　生成式對(duì)抗網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn)//302
　6.5　生成環(huán)境下的TensorFlow模型應(yīng)用//305
　6.6　總結(jié)//308