TensorFlow深度學(xué)習(xí)應(yīng)用開發(fā)實(shí)戰(zhàn)

目錄
任務(wù)1深度學(xué)習(xí)簡(jiǎn)介與開發(fā)環(huán)境搭建1
1.1深度學(xué)習(xí)的發(fā)展及應(yīng)用1
1.1.1深度學(xué)習(xí)的發(fā)展歷程1
1.1.2深度學(xué)習(xí)的應(yīng)用領(lǐng)域4
1.2深度學(xué)習(xí)框架簡(jiǎn)介7
1.2.1TensorFlow7
1.2.2Caffe8
1.2.3PyTorch8
1.2.4MXNet8
1.2.5不同框架的對(duì)比9
1.3開發(fā)環(huán)境搭建9
1.3.1Windows環(huán)境下的安裝配置9
1.3.2Linux環(huán)境下的安裝配置20
1.4本章小結(jié)25
1.5本章習(xí)題26
任務(wù)2構(gòu)建二維數(shù)據(jù)擬合模型28
2.1TensorFlow運(yùn)行機(jī)制28
2.1.1TensorFlow系統(tǒng)架構(gòu)29
2.1.2構(gòu)建計(jì)算圖30
2.1.3在會(huì)話中運(yùn)行計(jì)算圖31
2.1.4指定GPU設(shè)備34
2.2TensorFlow數(shù)據(jù)模型35
2.2.1張量及屬性35
2.2.2類型轉(zhuǎn)換38
2.2.3形狀變換39
2.3變量的定義與使用40
2.3.1變量的定義與初始化40
2.3.2隨機(jī)初始化變量41
2.3.3獲取變量42
2.3.4共享變量43
2.4占位符與數(shù)據(jù)喂入機(jī)制44
2.4.1占位符定義44
2.4.2數(shù)據(jù)喂入45
2.5模型的保存與恢復(fù)45
2.5.1模型保存45
2.5.2模型恢復(fù)47
2.6構(gòu)建二維數(shù)據(jù)擬合模型48
2.6.1準(zhǔn)備數(shù)據(jù)48
2.6.2搭建模型49
2.6.3反向傳播49
2.6.4迭代訓(xùn)練50
2.6.5使用模型51
2.7本章小結(jié)51
2.8本章習(xí)題52
任務(wù)3構(gòu)建泰坦尼克號(hào)生還率模型55
3.1M-P神經(jīng)元擬合原理55
3.1.1M-P神經(jīng)元模型55
3.1.2訓(xùn)練神經(jīng)元58
3.2激活函數(shù)實(shí)現(xiàn)神經(jīng)元非線化59
3.2.1激活函數(shù)的作用59
3.2.2Sigmoid激活函數(shù)59
3.2.3Tanh激活函數(shù)61
3.2.4Relu激活函數(shù)62
3.3BP神經(jīng)網(wǎng)絡(luò)模型63
3.3.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)64
3.3.2神經(jīng)網(wǎng)絡(luò)向前傳輸推導(dǎo)65
3.3.3神經(jīng)網(wǎng)絡(luò)向前傳輸實(shí)踐67
3.3.4構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型68
3.4損失函數(shù)調(diào)整誤差71
3.4.1交叉熵?fù)p失函數(shù)71
3.4.2均方誤差損失函數(shù)72
3.5梯度下降72
3.5.1梯度下降的作用及常用方法72
3.5.2梯度下降使模型最小偏差實(shí)踐74
3.6模型優(yōu)化75
3.6.1學(xué)習(xí)率控制參數(shù)更新速度75
3.6.2正則化減少過擬合現(xiàn)象76
3.7構(gòu)建泰坦尼克號(hào)生還率模型80
3.7.1數(shù)據(jù)讀取及預(yù)處理80
3.7.2搭建向前傳輸過程82
3.7.3迭代訓(xùn)練82
3.8本章小結(jié)83
3.9本章習(xí)題83
任務(wù)4構(gòu)建手寫字識(shí)別模型86
4.1MNIST數(shù)據(jù)集86
4.1.1MNIST數(shù)據(jù)集簡(jiǎn)介86
4.1.2下載MNIST數(shù)據(jù)集88
4.1.3圖像的矩陣表示89
4.1.4標(biāo)簽的獨(dú)熱表示90
4.2構(gòu)建識(shí)別MNIST模型91
4.2.1MNIST手寫字模型簡(jiǎn)介91
4.2.2定義模型節(jié)點(diǎn)參數(shù)92
4.2.3網(wǎng)絡(luò)向前傳輸過程93
4.2.4網(wǎng)絡(luò)參數(shù)優(yōu)化94
4.2.5訓(xùn)練并保存模型95
4.3模型驗(yàn)證96
4.3.1驗(yàn)證集驗(yàn)證模型96
4.3.2識(shí)別自定義圖片97
4.4本章小結(jié)100
4.5本章習(xí)題100
任務(wù)5LeNet-5模型識(shí)別手寫字102
5.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特征102
5.1.1卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介102
5.1.2卷積物理含義104
5.1.3網(wǎng)絡(luò)結(jié)構(gòu)特征106
5.2卷積神經(jīng)網(wǎng)絡(luò)函數(shù)108
5.2.1卷積操作108
5.2.2池化操作112
5.2.3DropOut機(jī)制116
5.3卷積高級(jí)操作118
5.3.1多通道卷積118
5.3.2多卷積核120
5.3.3反卷積122
5.4LeNet-5識(shí)別手寫字124
5.4.1LeNet-5模型簡(jiǎn)介124
5.4.2構(gòu)建向前傳輸模型125
5.4.3優(yōu)化模型128
5.4.4訓(xùn)練保存模型130
5.4.5驗(yàn)證模型131
5.5本章小結(jié)132
5.6本章習(xí)題133
任務(wù)6打造CIFAR-10圖像識(shí)別模型136
6.1CIFAR-10數(shù)據(jù)集簡(jiǎn)介136
6.1.1CIFAR-10數(shù)據(jù)集簡(jiǎn)介136
6.1.2下載CIFAR-10數(shù)據(jù)集137
6.2讀取CIFAR-10數(shù)據(jù)138
6.2.1讀取并顯示圖片138
6.2.2將標(biāo)簽表示成獨(dú)熱139
6.3數(shù)據(jù)增強(qiáng)140
6.3.1圖像幾何變換140
6.3.2圖像色彩調(diào)整144
6.3.3圖像的標(biāo)準(zhǔn)化146
6.3.4圖像標(biāo)注147
6.4構(gòu)建CIFAR-10圖像識(shí)別模型149
6.4.1數(shù)據(jù)批量讀取149
6.4.2模型構(gòu)建150
6.4.3訓(xùn)練并預(yù)測(cè)154
6.5ImageNet圖像識(shí)別模型155
6.5.1ImageNet數(shù)據(jù)集簡(jiǎn)介155
6.5.2歷代ImageNet識(shí)別模型156
6.6本章小結(jié)158
6.7本章習(xí)題158
任務(wù)7可視化性別識(shí)別模型160
7.1在程序中使用TensorBoard160
7.1.1TensorBoard基本介紹160
7.1.2TensorBoard使用步驟161
7.2TensorBoard可視化163
7.2.1標(biāo)量與直方圖可視化163
7.2.2卷積過程可視化167
7.2.3訓(xùn)練過程可視化171
7.3可視化性別識(shí)別模型174
7.3.1模型簡(jiǎn)介174
7.3.2讀取數(shù)據(jù)集175
7.3.3訓(xùn)練模型176
7.3.4可視化模型179
7.4本章小結(jié)180
7.5本章習(xí)題180
任務(wù)8理解tf.data數(shù)據(jù)處理框架182
8.1Dataset的基本機(jī)制182
8.1.1Dataset數(shù)據(jù)處理框架182
8.1.2創(chuàng)建Dataset183
8.2Iterator迭代數(shù)據(jù)集184
8.2.1單次迭代器184
8.2.2可初始化迭代器185
8.2.3可重新初始化迭代器186
8.2.4可饋送迭代器187
8.3Dataset數(shù)據(jù)批處理188
8.3.1直接批處理188
8.3.2預(yù)處理后批處理189
8.4Dataset數(shù)據(jù)集構(gòu)建與解析190
8.4.1數(shù)據(jù)集預(yù)處理190
8.4.2構(gòu)建TFRecordDataset數(shù)據(jù)集191
8.4.3從tf.train.Example中解析數(shù)據(jù)192
8.5本章小結(jié)193
8.6本章習(xí)題194
附錄人工智能數(shù)學(xué)基礎(chǔ)196