TensorFlow自然語言處理及應用

第1章 TensorFlow與編程 1
1.1 語言與系統(tǒng)的支持 1
1.2 TensFlow的特點 2
1.3 TensorFlow的環(huán)境搭建 3
1.3.1 安裝環(huán)境介紹 3
1.3.2 安裝TensorFlow 5
1.3.3 安裝測試 6
1.4 張量 7
1.4.1 張量的概念 7
1.4.2 張量的使用 8
1.4.3 NumPy庫 9
1.4.4 張量的階 10
1.4.5 張量的形狀 10
1.5 認識變量 11
1.5.1 變量的創(chuàng)建 11
1.5.2 變量的初始化 19
1.6 矩陣的操作 21
1.6.1 矩陣的生成 22
1.6.2 矩陣的變換 25
1.7 圖的實現(xiàn) 31
1.8 會話的實現(xiàn) 34
1.9 讀取數(shù)據(jù)方式 36
1.9.1 列表格式 37
1.9.2 讀取圖像數(shù)據(jù) 38
第2章 自然語言處理與深度學習基礎(chǔ) 40
2.1 自然語言概述 40
2.1.1 自然語言處理面臨的困難 40
2.1.2 自然語言處理的發(fā)展趨勢 41
2.1.3 自然語言處理的特點 42
2.2 NLP技術(shù)前沿與未來趨勢 43
2.2.1 挑戰(zhàn)與突破 43
2.2.2 人機交互的未來 43
2.2.3 未來發(fā)展趨勢與展望 44
2.2.4 技術(shù)挑戰(zhàn)與解決路徑 44
2.3 深度學習 44
2.3.1 深度學習背景 45
2.3.2 深度學習的核心思想 46
2.3.3 深度學習的應用 47
2.4 深度學習的優(yōu)勢與劣勢 51
第3章 神經(jīng)網(wǎng)絡算法基礎(chǔ) 52
3.1 激活函數(shù)及實現(xiàn) 53
3.1.1 激活函數(shù)的用途 53
3.1.2 幾種激活函數(shù) 53
3.1.3 幾種激活函數(shù)的繪圖 57
3.2 門函數(shù)及實現(xiàn) 59
3.3 單個神經(jīng)元的擴展及實現(xiàn) 62
3.4 構(gòu)建多層神經(jīng)網(wǎng)絡 65
第4章 詞嵌入 69
4.1 詞嵌入概述 69
4.2 分布式表示 69
4.2.1 分布式假設 70
4.2.2 共現(xiàn)矩陣 70
4.2.3 存在的問題 73
4.3 jieba分詞處理 73
4.3.1 jieba庫的三種模式和常用函數(shù) 74
4.3.2 jieba庫分詞的其他操作 75
4.3.3 中文詞頻統(tǒng)計實例 81
4.4 離散表示 82
4.4.1 one-hot編碼 82
4.4.2 詞袋模型 87
4.4.3 TF-IDF算法 90
4.4.4 n-gram模型 92
4.5 word2vec模型 98
4.5.1 word2vec模型介紹 98
4.5.2 word2vec模型結(jié)構(gòu) 103
4.5.3 Skip-gram算法 105
4.5.4 CBOW算法 106
4.5.5 CBOW算法與Skip-gram算法的對比 107
4.5.6 算法改進 108
4.5.7 訓練概率 109
4.5.8 word2vec實現(xiàn) 110
第5章 卷積神經(jīng)網(wǎng)絡分析與文本分類 120
5.1 全連接網(wǎng)絡的局限性 120
5.2 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu) 121
5.2.1 卷積層 122
5.2.2 池化層 129
5.2.3 全連接層 131
5.3 卷積神經(jīng)網(wǎng)絡的訓練 131
5.3.1 池化層反向傳播 132
5.3.2 卷積層反向傳播 134
5.4 卷積神經(jīng)網(wǎng)絡的實現(xiàn) 139
5.4.1 識別0和1數(shù)字 139
5.4.2 預測MNIST數(shù)字 145
5.5 NLP的卷積 149
5.5.1 NLP卷積概述 149
5.5.2 用于文本分類的CNN 151
第6章 幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡 161
6.1 AlexNet 161
6.1.1 AlexNet的結(jié)構(gòu) 161
6.1.2 AlexNet的亮點 162
6.1.3 AlexNet的實現(xiàn) 163
6.2 DeepID網(wǎng)絡 168
6.3 VGGNet 169
6.3.1 VGGNet的特點 169
6.3.2 VGGNet的結(jié)構(gòu) 169
6.3.3 VGGNet的實現(xiàn) 171
6.4 Inception Net 175
6.4.1 Inception Net的原理 175
6.4.2 Inception Net的經(jīng)典應用 176
6.5 ResNet 181
6.5.1 ResNet的結(jié)構(gòu) 181
6.5.2 ResNet的實現(xiàn) 184
第7章 循環(huán)神經(jīng)網(wǎng)絡及語言模型 190
7.1 循環(huán)神經(jīng)網(wǎng)絡概述 190
7.1.1 循環(huán)神經(jīng)網(wǎng)絡的原理 191
7.1.2 循環(huán)神經(jīng)網(wǎng)絡的簡單應用 194
7.2 損失函數(shù) 195
7.3 梯度求解 196
7.3.1 E3關(guān)于參數(shù)V的偏導數(shù) 197
7.3.2 E3關(guān)于參數(shù)W的偏導數(shù) 197
7.3.3 E3關(guān)于參數(shù)U的偏導數(shù) 197
7.3.4 梯度消失問題 198
7.4 循環(huán)神經(jīng)網(wǎng)絡的經(jīng)典應用 198
7.4.1 實現(xiàn)二進制數(shù)加法運算 198
7.4.2 實現(xiàn)擬合回聲信號序列 202
7.4.3 基于字符級循環(huán)神經(jīng)網(wǎng)絡的語言模型 209
7.4.4 使用PyTorch實現(xiàn)基于字符級循環(huán)神經(jīng)網(wǎng)絡的語言模型 213
第8章 長短期記憶及自動生成文本 220
8.1 長短期記憶網(wǎng)絡 220
8.1.1 LSTM核心思想 221
8.1.2 LSTM詳解與實現(xiàn) 222
8.2 窺視孔連接 230
8.3 GRU網(wǎng)絡對MNIST數(shù)據(jù)集分類 231
8.4 雙向循環(huán)神經(jīng)網(wǎng)絡對MNIST數(shù)據(jù)集分類 233
8.5 CTC實現(xiàn)端到端訓練的語音識別模型 237
8.6 LSTM生成文本預測 244
8.6.1 模型訓練 244
8.6.2 預測文本 246
第9章 其他網(wǎng)絡的經(jīng)典分析與應用 248
9.1 自編碼網(wǎng)絡及實現(xiàn) 248
9.1.1 自編碼網(wǎng)絡的結(jié)構(gòu) 248
9.1.2 自編碼網(wǎng)絡的代碼實現(xiàn) 249
9.2 棧式自編碼器及實現(xiàn) 256
9.2.1 棧式自編碼概述 256
9.2.2 棧式自編碼訓練 256
9.2.3 棧式自編碼實現(xiàn)MNIST手寫數(shù)字分類 257
9.2.4 棧式自編碼器的應用場合與實現(xiàn) 259
9.3 變分自編碼及實現(xiàn) 268
9.3.1 變分自編碼原理 268
9.3.2 變分自編碼模擬生成MNIST數(shù)據(jù) 269
9.4 條件變分自編碼及實現(xiàn) 275
9.4.1 條件變分自編碼概述 275
9.4.2 條件變分自編碼網(wǎng)絡生成MNIST數(shù)據(jù) 275
參考文獻 281