新時(shí)代·技術(shù)新未來：推薦系統(tǒng)與深度學(xué)習(xí)

第1 章什么是推薦系統(tǒng)1
1.1 推薦系統(tǒng)的概念.1
1.1.1 推薦系統(tǒng)的基本概念1
1.1.2 深度學(xué)習(xí)與推薦系統(tǒng)4
第2 章深度神經(jīng)網(wǎng)絡(luò).7
2.1 什么是深度學(xué)習(xí).7
2.1.1 深度學(xué)習(xí)的三次興起7
2.1.2 深度學(xué)習(xí)的優(yōu)勢9
2.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)11
2.2.1 神經(jīng)元11
2.2.2 神經(jīng)網(wǎng)絡(luò).12
2.2.3 反向傳播.13
2.2.4 優(yōu)化算法.14
2.3 卷積網(wǎng)絡(luò)基礎(chǔ)17
2.3.1 卷積層17
2.3.2 池化層19
2.3.3 常見的網(wǎng)絡(luò)結(jié)構(gòu)19
2.4 循環(huán)網(wǎng)絡(luò)基礎(chǔ)21
2.4.1 時(shí)序反向傳播算法22
2.4.2 長短時(shí)記憶網(wǎng)絡(luò)24
2.5 生成對(duì)抗基礎(chǔ)25
2.5.1 對(duì)抗博弈.26
2.5.2 理論推導(dǎo).27
2.5.3 常見的生成對(duì)抗網(wǎng)絡(luò)29
iv j 推薦系統(tǒng)與深度學(xué)習(xí)
第3 章TensorFlow 平臺(tái)31
3.1 什么是TensorFlow 31
3.2 TensorFlow 安裝指南.33
3.2.1 Windows 環(huán)境安裝.33
3.2.2 Linux 環(huán)境安裝.34
3.3 TensorFlow 基礎(chǔ).36
3.3.1 數(shù)據(jù)流圖.36
3.3.2 會(huì)話37
3.3.3 圖可視化.37
3.3.4 變量37
3.3.5 占位符38
3.3.6 優(yōu)化器38
3.3.7 一個(gè)簡單的例子38
3.4 其他深度學(xué)習(xí)平臺(tái)39
第4 章推薦系統(tǒng)的基礎(chǔ)算法42
4.1 基于內(nèi)容的推薦算法.42
4.1.1 基于內(nèi)容的推薦算法基本流程42
4.1.2 基于內(nèi)容推薦的特征提取.45
4.2 基于協(xié)同的推薦算法.47
4.2.1 基于物品的協(xié)同算法49
4.2.2 基于用戶的協(xié)同算法57
4.2.3 基于用戶協(xié)同和基于物品協(xié)同的區(qū)別59
4.2.4 基于矩陣分解的推薦方法.61
4.2.5 基于稀疏自編碼的推薦方法.71
4.3 基于社交網(wǎng)絡(luò)的推薦算法80
4.3.1 基于用戶的推薦在社交網(wǎng)絡(luò)中的應(yīng)用81
4.3.2 node2vec 技術(shù)在社交網(wǎng)絡(luò)推薦中的應(yīng)用85
4.4 推薦系統(tǒng)的冷啟動(dòng)問題94
4.4.1 如何解決推薦系統(tǒng)冷啟動(dòng)問題94
4.4.2 深度學(xué)習(xí)技術(shù)在物品冷啟動(dòng)上的應(yīng)用101
目錄j v
第5 章混合推薦系統(tǒng)119
5.1 什么是混合推薦系統(tǒng).119
5.1.1 混合推薦系統(tǒng)的意義120
5.1.2 混合推薦系統(tǒng)的算法分類.122
5.2 推薦系統(tǒng)特征處理方法125
5.2.1 特征處理方法126
5.2.2 特征選擇方法134
5.3 常見的預(yù)測模型141
5.3.1 基于邏輯回歸的模型141
5.3.2 基于支持向量機(jī)的模型.144
5.3.3 基于梯度提升樹的模型.148
5.4 排序?qū)W習(xí)150
5.4.1 基于排序的指標(biāo)來優(yōu)化.150
5.4.2 L2R 算法的三種情形.152
第6 章基于深度學(xué)習(xí)的推薦模型156
6.1 基于DNN 的推薦算法156
6.2 基于DeepFM 的推薦算法163
6.3 基于矩陣分解和圖像特征的推薦算法171
6.4 基于循環(huán)網(wǎng)絡(luò)的推薦算法.174
6.5 基于生成對(duì)抗網(wǎng)絡(luò)的推薦算法.176
6.5.1 IRGAN 的代碼實(shí)現(xiàn).179
第7 章推薦系統(tǒng)架構(gòu)設(shè)計(jì).183
7.1 推薦系統(tǒng)基本模型183
7.2 推薦系統(tǒng)常見架構(gòu)185
7.2.1 基于離線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)185
7.2.2 面向深度學(xué)習(xí)的推薦系統(tǒng)架構(gòu)設(shè)計(jì)191
7.2.3 基于在線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)194
7.2.4 面向內(nèi)容的推薦系統(tǒng)架構(gòu)設(shè)計(jì)197
7.3 推薦系統(tǒng)常用組件199
7.3.1 數(shù)據(jù)上報(bào)常用組件199
vi j 推薦系統(tǒng)與深度學(xué)習(xí)
7.3.2 離線存儲(chǔ)常用組件200
7.3.3 離線計(jì)算常用組件200
7.3.4 在線存儲(chǔ)常用組件201
7.3.5 模型服務(wù)常用組件201
7.3.6 實(shí)時(shí)計(jì)算常用組件201
7.4 推薦系統(tǒng)常見問題201
7.4.1 實(shí)時(shí)性.201
7.4.2 多樣性.202
7.4.3 曝光打擊和不良內(nèi)容過濾.202
7.4.4 評(píng)估測試.202
后記.203
圖1.1 淘寶猜你喜歡欄目2
圖1.2 百度指數(shù).4
圖1.3 歌曲詞嵌入模型空間向量.6
圖2.1 神經(jīng)網(wǎng)絡(luò)的三次興起8
圖2.2 不同層數(shù)的神經(jīng)網(wǎng)絡(luò)擬合分界面的能力.10
圖2.3 不同層數(shù)的神經(jīng)網(wǎng)絡(luò)表示能力10
圖2.4 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)11
圖2.5 感知器算法12
圖2.6 三層全連接神經(jīng)網(wǎng)絡(luò)13
圖2.7 動(dòng)量對(duì)比.16
圖2.8 卷積運(yùn)算.18
圖2.9 池化層19
圖2.10 LeNet 卷積結(jié)構(gòu).20
圖2.11 Alex-Net 卷積結(jié)構(gòu)20
圖2.12 RNN 21
圖2.13 LSTM 在t 時(shí)刻的內(nèi)部結(jié)構(gòu)24
圖2.14 GAN 網(wǎng)絡(luò)25
圖3.1 TensorFlow 安裝截圖34
圖3.2 TensorBoard 計(jì)算37
圖4.1 騰訊視頻APP 推薦頁面.44
圖4.2 截取自當(dāng)當(dāng)網(wǎng).49
圖4.3 截取自QQ 音樂APP.49
圖4.4 用戶購買物品記錄50
圖4.5 同時(shí)被購買次數(shù)矩陣C 51
圖4.6 相似度計(jì)算結(jié)果1 52
圖4.7 相似度計(jì)算結(jié)果2 54
viii j 推薦系統(tǒng)與深度學(xué)習(xí)
圖4.8 相似度計(jì)算結(jié)果3 55
圖4.9 截取自當(dāng)當(dāng)網(wǎng).57
圖4.10 物品的倒排索引57
圖4.11 用戶評(píng)分矩陣.63
圖4.12 Sigma 值64
圖4.13 NewData 值65
圖4.14 Mydata 值65
圖4.15 自編碼神經(jīng)網(wǎng)絡(luò)模型72
圖4.16 稀疏自編碼第一個(gè)網(wǎng)絡(luò).73
圖4.17 稀疏自編碼第二個(gè)網(wǎng)絡(luò).74
圖4.18 稀疏自編碼第三個(gè)網(wǎng)絡(luò).75
圖4.19 將三個(gè)網(wǎng)絡(luò)組合起來75
圖4.20 社交網(wǎng)絡(luò)關(guān)系圖示例81
圖4.21 融入用戶關(guān)系和物品關(guān)系82
圖4.22 社交網(wǎng)絡(luò)關(guān)系圖示例86
圖4.23 社交網(wǎng)絡(luò)關(guān)系圖示例86
圖4.24 CBOW 和Skip-Gram 示例.88
圖4.25 Skip-Gram 網(wǎng)絡(luò)結(jié)構(gòu)89
圖4.26 CBOW 網(wǎng)絡(luò)結(jié)構(gòu)91
圖4.27 word analogy 示例93
圖4.28 某網(wǎng)站登錄頁面95
圖4.29 QQ 互聯(lián)開放注冊(cè)平臺(tái)1 96
圖4.30 QQ 互聯(lián)開放注冊(cè)平臺(tái)2 97
圖4.31 QQ 互聯(lián)應(yīng)用管理頁面1 97
圖4.32 QQ 互聯(lián)應(yīng)用管理頁面2 97
圖4.33 QQ 互聯(lián)QQ 登錄功能獲取97
圖4.34 QQ 音樂APP 中的偏好選擇98
圖4.35 (a) 為每部電影被打分的分布，(b) 為每個(gè)用戶打分的分布100
圖4.36 (a) 為每部電影平均分分布，(b) 為每個(gè)用戶平均分分布.100
圖4.37 基于專家數(shù)據(jù)的CF 與基于用戶數(shù)據(jù)CF 比較.101
圖目錄j ix
圖4.38 音樂頻譜示例102
圖4.39 4 個(gè)流派的頻譜圖示例103
圖4.40 CNN 音頻分類結(jié)構(gòu).103
圖4.41 CNN+LSTM 組合音頻分類模型.104
圖4.42 分類預(yù)測結(jié)果的混淆矩陣104
圖4.43 模型倒數(shù)第二層128 維向量降維可視化104
圖4.44 微軟how-old.net 107
圖4.45 SCUT-FBP 數(shù)據(jù)集示例圖108
圖4.46 臉部截取后的數(shù)據(jù)集示例圖.108
圖4.47 CNN 層數(shù)過多，誤差反而較大113
圖4.48 殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)113
圖4.49 殘差網(wǎng)絡(luò)完整結(jié)構(gòu).114
圖5.1 NetFlix 的實(shí)時(shí)推薦系統(tǒng)的架構(gòu)圖120
圖5.2 整體式混合推薦系統(tǒng)125
圖5.3 并行式混合推薦系統(tǒng)125
圖5.4 流水線式混合推薦系統(tǒng).125
圖5.5 MDLP 特征離散化130
圖5.6 ChiMerge 特征離散化.131
圖5.7 層次化時(shí)間按序列特征.133
圖5.8 Learn to rank 的局限153
圖6.1 Wide & Deep 模型結(jié)構(gòu)157
圖6.2 推薦系統(tǒng)的召回和排序兩個(gè)階段158
圖6.3 召回模型結(jié)構(gòu).159
圖6.4 序列信息160
圖6.5 排序模型結(jié)構(gòu).161
圖6.6 不同NN 的效果162
圖6.7 DeepFM 模型結(jié)構(gòu)(網(wǎng)絡(luò)左邊為FM 層，右邊為DNN 層).164
圖6.8 FM 一階部分165
圖6.9 FM 二階部分166
圖6.10 FM/DNN/DeepFM 的比較171
x j 推薦系統(tǒng)與深度學(xué)習(xí)
圖6.11 電影靜止幀圖片舉例172
圖6.12 Alex-Net 卷積網(wǎng)絡(luò).173
圖6.13 左圖：時(shí)間無關(guān)的推薦系統(tǒng)。右圖：時(shí)間相關(guān)的推薦系統(tǒng)174
圖6.14 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)175
圖6.15 判別器177
圖6.16 生成器178
圖6.17 IRGAN 說明179
圖7.1 監(jiān)督學(xué)習(xí)基本模型.184
圖7.2 基于離線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)186
圖7.3 數(shù)據(jù)上報(bào)模塊.187
圖7.4 離線訓(xùn)練模塊.187
圖7.5 推薦系統(tǒng)中的存儲(chǔ)分層.188
圖7.6 在線預(yù)測的幾個(gè)階段189
圖7.7 推薦系統(tǒng)通用性設(shè)計(jì)190
圖7.8 面向深度學(xué)習(xí)的推薦系統(tǒng)架構(gòu)設(shè)計(jì)191
圖7.9 利用深度學(xué)習(xí)進(jìn)行特征提取192
圖7.10 參數(shù)服務(wù)器架構(gòu)193
圖7.11 基于在線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)195
圖7.12 在線學(xué)習(xí)之實(shí)時(shí)特征處理196
圖7.13 面向內(nèi)容的推薦系統(tǒng)架構(gòu)設(shè)計(jì)198
圖7.14 用于推薦的內(nèi)容池.198
圖7.15 Apache Kafka 邏輯架構(gòu).200
表4.1 用戶A 和B 的評(píng)分矩陣.43
表4.2 電影內(nèi)容特征二進(jìn)制表示45
表4.3 人臉魅力值打分不同模型的MAE 比較112
表4.4 人臉魅力值打分不同模型的MAE 比較117
表4.5 Keras 預(yù)訓(xùn)練好的圖像分類模型118