深度學(xué)習(xí)原理與PyTorch實(shí)戰(zhàn)

目　　錄
第　1章 深度學(xué)習(xí)簡(jiǎn)介　1
1．1　深度學(xué)習(xí)與人工智能　1
1．2　深度學(xué)習(xí)的歷史淵源　2
1．2．1　從感知機(jī)到人工神經(jīng)網(wǎng)絡(luò)　3
1．2．2　深度學(xué)習(xí)時(shí)代　4
1．2．3　巨頭之間的角逐　5
1．3　深度學(xué)習(xí)的影響因素　6
1．3．1　大數(shù)據(jù)　6
1．3．2　深度網(wǎng)絡(luò)架構(gòu)　7
1．3．3　GPU　11
1．4　深度學(xué)習(xí)為什么如此成功　11
1．4．1　特征學(xué)習(xí)（representation learning）　11
1．4．2　遷移學(xué)習(xí)（transfer learning）　12
1．5　小結(jié)　13
參考文獻(xiàn)　14
第　2章 PyTorch簡(jiǎn)介　15
2．1　PyTorch安裝　15
2．2　初識(shí)PyTorch　15
2．2．1　與Python的完美融合　16
2．2．2　張量計(jì)算　16
2．2．3　動(dòng)態(tài)計(jì)算圖　20
2．3　PyTorch實(shí)例：預(yù)測(cè)房?jī)r(jià)　27
2．3．1　準(zhǔn)備數(shù)據(jù)　27
2．3．2　模型設(shè)計(jì)　28
2．3．3　訓(xùn)練　29
2．3．4　預(yù)測(cè)　31
2．3．5　術(shù)語(yǔ)匯總　32
2．4　小結(jié)　33
第3章　單車預(yù)測(cè)器：你的第 一個(gè)
神經(jīng)網(wǎng)絡(luò)　35
3．1　共享單車的煩惱　35
3．2　單車預(yù)測(cè)器1．0　37
3．2．1　神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介　37
3．2．2　人工神經(jīng)元　38
3．2．3　兩個(gè)隱含層神經(jīng)元　40
3．2．4　訓(xùn)練與運(yùn)行　42
3．2．5　失敗的神經(jīng)預(yù)測(cè)器　43
3．2．6　過(guò)擬合　48
3．3　單車預(yù)測(cè)器2．0　49
3．3．1　數(shù)據(jù)的預(yù)處理過(guò)程　49
3．3．2　構(gòu)建神經(jīng)網(wǎng)絡(luò)　52
3．3．3　測(cè)試神經(jīng)網(wǎng)絡(luò)　55
3．4　剖析神經(jīng)網(wǎng)絡(luò)Neu　57
3．5　小結(jié)　61
3．6　Q&A　61
第4章　機(jī)器也懂感情——中文情緒
分類器　63
4．1　神經(jīng)網(wǎng)絡(luò)分類器　64
4．1．1　如何用神經(jīng)網(wǎng)絡(luò)做分類　64
4．1．2　分類問(wèn)題的損失函數(shù)　66
4．2　詞袋模型分類器　67
4．2．1　詞袋模型簡(jiǎn)介　68
4．2．2　搭建簡(jiǎn)單文本分類器　69
4．3　程序?qū)崿F(xiàn)　70
4．3．1　數(shù)據(jù)獲取　70
4．3．2　數(shù)據(jù)處理　74
4．3．3　文本數(shù)據(jù)向量化　75
4．3．4　劃分?jǐn)?shù)據(jù)集　76
4．3．5　建立神經(jīng)網(wǎng)絡(luò)　78
4．4　運(yùn)行結(jié)果　80
4．5　剖析神經(jīng)網(wǎng)絡(luò)　81
4．6　小結(jié)　85
4．7　Q&A　85
第5章　手寫(xiě)數(shù)字識(shí)別器——認(rèn)識(shí)卷積
神經(jīng)網(wǎng)絡(luò)　87
5．1　什么是卷積神經(jīng)網(wǎng)絡(luò)　88
5．1．1　手寫(xiě)數(shù)字識(shí)別任務(wù)的CNN
網(wǎng)絡(luò)及運(yùn)算過(guò)程　88
5．1．2　卷積運(yùn)算操作　90
5．1．3　池化操作　96
5．1．4　立體卷積核　97
5．1．5　超參數(shù)與參數(shù)　98
5．1．6　其他說(shuō)明　99
5．2　手寫(xiě)數(shù)字識(shí)別器　100
5．2．1　數(shù)據(jù)準(zhǔn)備　100
5．2．2　構(gòu)建網(wǎng)絡(luò)　103
5．2．3　運(yùn)行模型　105
5．2．4　測(cè)試模型　106
5．3　剖析卷積神經(jīng)網(wǎng)絡(luò)　107
5．3．1　第 一層卷積核與特征圖　107
5．3．2　第二層卷積核與特征圖　109
5．3．3　卷積神經(jīng)網(wǎng)絡(luò)的健壯性試驗(yàn)　110
5．4　小結(jié)　112
5．5　Q&A　112
5．6　擴(kuò)展閱讀　112
第6章　手寫(xiě)數(shù)字加法機(jī)——遷移學(xué)習(xí)　113
6．1　什么是遷移學(xué)習(xí)　114
6．1．1　遷移學(xué)習(xí)的由來(lái)　114
6．1．2　遷移學(xué)習(xí)的分類　115
6．1．3　遷移學(xué)習(xí)的意義　115
6．1．4　如何用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移
學(xué)習(xí)　116
6．2　應(yīng)用案例：遷移學(xué)習(xí)如何抗擊貧困　118
6．2．1　背景介紹　118
6．2．2　方法探尋　119
6．2．3　遷移學(xué)習(xí)方法　120
6．3　螞蟻還是蜜蜂：遷移大型卷積神經(jīng)
網(wǎng)絡(luò)　121
6．3．1　任務(wù)描述與初步嘗試　121
6．3．2　ResNet與模型遷移　122
6．3．3　代碼實(shí)現(xiàn)　123
6．3．4　結(jié)果分析　127
6．3．5　更多的模型與數(shù)據(jù)　128
6．4　手寫(xiě)數(shù)字加法機(jī)　128
6．4．1　網(wǎng)絡(luò)架構(gòu)　128
6．4．2　代碼實(shí)現(xiàn)　129
6．4．3　訓(xùn)練與測(cè)試　136
6．4．4　結(jié)果　138
6．4．5　大規(guī)模實(shí)驗(yàn)　138
6．5　小結(jié)　143
6．6　實(shí)踐項(xiàng)目：遷移與效率　143
第7章　你自己的Prisma——圖像
風(fēng)格遷移　145
7．1　什么是風(fēng)格遷移　145
7．1．1　什么是風(fēng)格　145
7．1．2　風(fēng)格遷移的涵義　146
7．2　風(fēng)格遷移技術(shù)發(fā)展簡(jiǎn)史　147
7．2．1　神經(jīng)網(wǎng)絡(luò)之前的風(fēng)格遷移　147
7．2．2　特定風(fēng)格的實(shí)現(xiàn)　148
7．3　神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移　149
7．3．1　神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移的優(yōu)勢(shì)　150
7．3．2　神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移的基本
思想　150
7．3．3　卷積神經(jīng)網(wǎng)絡(luò)的選取　151
7．3．4　內(nèi)容損失　152
7．3．5　風(fēng)格損失　152
7．3．6　風(fēng)格損失原理分析　153
7．3．7　損失函數(shù)與優(yōu)化　156
7．4　神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移實(shí)戰(zhàn)　157
7．4．1　準(zhǔn)備工作　157
7．4．2　建立風(fēng)格遷移網(wǎng)絡(luò)　159
7．4．3　風(fēng)格遷移訓(xùn)練　162
7．5　小結(jié)　165
7．6　擴(kuò)展閱讀　165
第8章　人工智能造假術(shù)——圖像生成
與對(duì)抗學(xué)習(xí)　166
8．1　反卷積與圖像生成　169
8．1．1　CNN回顧　169
8．1．2　反卷積操作　171
8．1．3　反池化過(guò)程　173
8．1．4　反卷積與分?jǐn)?shù)步伐　174
8．1．5　輸出圖像尺寸公式　175
8．1．6　批正則化技術(shù)　176
8．2　圖像生成實(shí)驗(yàn)1——最小均方誤差
模型　177
8．2．1　模型思路　177
8．2．2　代碼實(shí)現(xiàn)　178
8．2．3　運(yùn)行結(jié)果　182
8．3　圖像生成實(shí)驗(yàn)2——生成器-識(shí)別器
模型　184
8．3．1　生成器-識(shí)別器模型的實(shí)現(xiàn)　184
8．3．2　對(duì)抗樣本　187
8．4　圖像生成實(shí)驗(yàn)3——生成對(duì)抗網(wǎng)絡(luò)
GAN　190
8．4．1　GAN的總體架構(gòu)　191
8．4．2　程序?qū)崿F(xiàn)　192
8．4．3　結(jié)果展示　195
8．5　小結(jié)　197
8．6　Q&A　197
8．7　擴(kuò)展閱讀　198
第9章　詞匯的星空——神經(jīng)語(yǔ)言模型
與Word2Vec　199
9．1　詞向量技術(shù)介紹　199
9．1．1　初識(shí)詞向量　199
9．1．2　傳統(tǒng)編碼方式　200
9．2　NPLM：神經(jīng)概率語(yǔ)言模型　201
9．2．1　NPLM的基本思想　202
9．2．2　NPLM的運(yùn)作過(guò)程詳解　202
9．2．3　讀取NPLM中的詞向量　205
9．2．4　NPLM的編碼實(shí)現(xiàn)　206
9．2．5　運(yùn)行結(jié)果　209
9．2．6　NPLM的總結(jié)與局限　211
9．3　Word2Vec　211
9．3．1　CBOW模型和Skip-gram模型的結(jié)構(gòu)　211
9．3．2　層級(jí)軟最大　213
9．3．3　負(fù)采樣　213
9．3．4　總結(jié)及分析　214
9．4　Word2Vec的應(yīng)用　214
9．4．1　在自己的語(yǔ)料庫(kù)上訓(xùn)練Word2Vec詞向量　214
9．4．2　調(diào)用現(xiàn)成的詞向量　216
9．4．3　女人-男人＝皇后-國(guó)王　218
9．4．4　使用向量的空間位置進(jìn)行詞對(duì)詞翻譯　220
9．4．5　Word2Vec小結(jié)　221
9．5　小結(jié)　221
9．5　Q&A　222
第　10章 LSTM作曲機(jī)——序列生成
模型　224
10．1　序列生成問(wèn)題　224
10．2　RNN與LSTM　225
10．2．1　RNN　226
10．2．2　LSTM　231
10．3　簡(jiǎn)單01序列的學(xué)習(xí)問(wèn)題　235
10．3．1　RNN的序列學(xué)習(xí)　236
10．3．2　LSTM的序列學(xué)習(xí)　245
10．4　LSTM作曲機(jī)　248
10．4．1　MIDI文件　248
10．4．2　數(shù)據(jù)準(zhǔn)備　249
10．4．3　模型結(jié)構(gòu)　249
10．4．4　代碼實(shí)現(xiàn)　250
10．5　小結(jié)　259
10．6　Q&A　259
10．7　擴(kuò)展閱讀　259