機(jī)器學(xué)習(xí)之路：Caffe、Keras、scikit-learn實(shí)戰(zhàn)

第一篇 機(jī)器學(xué)習(xí)篇 第1 章 初識(shí)機(jī)器學(xué)習(xí) .................................................................................... 2 1.1 機(jī)器學(xué)習(xí)——賦予機(jī)器“學(xué)習(xí)”的靈魂 ..................................................................... 2 1.1.1 小紅帽識(shí)別毒蘑菇 ................................................................................................................... 2 1.1.2 三種機(jī)器學(xué)習(xí)問(wèn)題 ................................................................................................................... 6 1.1.3 常用符號(hào) .................................................................................................................................. 6 1.1.4 回顧 .......................................................................................................................................... 7 1.2 KNN——相似的鄰居請(qǐng)投票 ........................................................................................ 7 1.2.1 模型原理 .................................................................................................................................. 7 1.2.2 鳶尾花卉數(shù)據(jù)集（IRIS） ....................................................................................................... 9 1.2.3 訓(xùn)練模型 .................................................................................................................................. 9 1.2.4 評(píng)估模型 ................................................................................................................................ 12 1.2.5 關(guān)于KNN ............................................................................................................................... 14 1.2.6 運(yùn)用KNN 模型 ...................................................................................................................... 15 1.2.7 回顧 ........................................................................................................................................ 16 1.3 邏輯分類I：線性分類模型 ........................................................................................ 16 1.3.1 參數(shù)化的模型 ........................................................................................................................ 16 1.3.2 邏輯分類：預(yù)測(cè)..................................................................................................................... 18 1.3.3 邏輯分類：評(píng)估..................................................................................................................... 22 1.3.4 邏輯分類：訓(xùn)練..................................................................................................................... 23 1.3.5 回顧 ........................................................................................................................................ 24 1.4 邏輯分類II：線性分類模型 ....................................................................................... 24 1.4.1 尋找模型的權(quán)重..................................................................................................................... 24 VI ∣ 機(jī)器學(xué)習(xí)之路——Caffe、Keras、scikit-learn 實(shí)戰(zhàn) 1.4.2 去均值和歸一化..................................................................................................................... 31 1.4.3 實(shí)現(xiàn) ........................................................................................................................................ 33 1.4.4 回顧 ........................................................................................................................................ 34 第2 章 機(jī)器學(xué)習(xí)進(jìn)階 .................................................................................. 35 2.1 特征工程 ...................................................................................................................... 35 2.1.1 泰坦尼克號(hào)生存預(yù)測(cè) ............................................................................................................. 35 2.1.2 兩類特征 ................................................................................................................................ 38 2.1.3 構(gòu)造非線性特征..................................................................................................................... 41 2.1.4 回顧 ........................................................................................................................................ 45 2.2 調(diào)試模型 ...................................................................................................................... 46 2.2.1 模型調(diào)試的目標(biāo)..................................................................................................................... 46 2.2.2 調(diào)試模型 ................................................................................................................................ 49 2.2.3 回顧 ........................................................................................................................................ 52 2.3 分類模型評(píng)估指標(biāo) ...................................................................................................... 53 2.3.1 混淆矩陣系指標(biāo)..................................................................................................................... 53 2.3.2 評(píng)估曲線 ................................................................................................................................ 58 2.3.3 回顧 ........................................................................................................................................ 61 2.4 回歸模型 ...................................................................................................................... 61 2.4.1 回歸與分類 ............................................................................................................................ 61 2.4.2 線性回歸 ................................................................................................................................ 62 2.4.3 波士頓房?jī)r(jià)預(yù)測(cè)..................................................................................................................... 66 2.4.4 泰坦尼克號(hào)生存預(yù)測(cè)：回歸預(yù)測(cè)特征年齡Age .................................................................. 69 2.4.5 線性模型與非線性模型 ......................................................................................................... 72 2.4.6 回顧 ........................................................................................................................................ 73 2.5 決策樹(shù)模型 .................................................................................................................. 73 2.5.1 信息與編碼 ............................................................................................................................ 74 2.5.2 決策樹(shù) .................................................................................................................................... 76 2.5.3 對(duì)比線性模型和決策樹(shù)模型的表現(xiàn) ..................................................................................... 77 2.5.4 回顧 ........................................................................................................................................ 79 2.6 模型融合 ...................................................................................................................... 80 2.6.1 融合成群體（Ensamble） ..................................................................................................... 80 2.6.2 Bagging：隨機(jī)森林（Random Forest） ............................................................................... 82 目錄 ∣ VII 2.6.3 Boosting：GBDT ................................................................................................................... 83 2.6.4 Stacking .................................................................................................................................. 86 2.6.5 泰坦尼克號(hào)生存預(yù)測(cè)：小結(jié) ................................................................................................. 93 2.6.6 回顧 ........................................................................................................................................ 94 第3 章 實(shí)戰(zhàn)：股票量化 .............................................................................. 95 3.1 第一步：構(gòu)造童話世界 .............................................................................................. 95 3.1.1 股票是什么 ............................................................................................................................ 95 3.1.2 當(dāng)機(jī)器學(xué)習(xí)與量化交易走在一起 ......................................................................................... 96 3.1.3 構(gòu)造一個(gè)童話世界 ................................................................................................................. 96 3.1.4 回顧 ...................................................................................................................................... 100 3.2 第二步：應(yīng)用機(jī)器學(xué)習(xí) ............................................................................................ 100 3.2.1 構(gòu)建特征數(shù)據(jù) ...................................................................................................................... 100 3.2.2 回歸預(yù)測(cè)股票價(jià)格 ............................................................................................................... 103 3.2.3 分類預(yù)測(cè)股票漲跌 ............................................................................................................... 108 3.2.4 通過(guò)決策樹(shù)分類，繪制決策圖 ........................................................................................... 112 3.2.5 回顧 ...................................................................................................................................... 114 3.3 第三步：在真實(shí)世界應(yīng)用機(jī)器學(xué)習(xí) ........................................................................ 114 3.3.1 回測(cè) ...................................................................................................................................... 115 3.3.2 基于特征的交易預(yù)測(cè) ........................................................................................................... 119 3.3.3 破滅的童話——真實(shí)世界的機(jī)器學(xué)習(xí) ............................................................................... 122 第二篇 深度學(xué)習(xí)篇 第4 章 深度學(xué)習(xí)：背景和工具 ................................................................. 126 4.1 背景 ............................................................................................................................ 126 4.1.1 人工智能——為機(jī)器賦予人的智能 ................................................................................... 126 4.1.2 圖靈測(cè)試 .............................................................................................................................. 126 4.1.3 強(qiáng)人工智能 vs 弱人工智能 ............................................................................................... 127 4.1.4 機(jī)器學(xué)習(xí)和深度學(xué)習(xí) ........................................................................................................... 128 4.1.5 過(guò)度的幻想 .......................................................................................................................... 128 4.1.6 回顧 ...................................................................................................................................... 129 VIII ∣ 機(jī)器學(xué)習(xí)之路——Caffe、Keras、scikit-learn 實(shí)戰(zhàn) 4.2 深度學(xué)習(xí)框架簡(jiǎn)介 .................................................................................................... 129 4.2.1 評(píng)測(cè)方式 .............................................................................................................................. 130 4.2.2 評(píng)測(cè)對(duì)象 .............................................................................................................................. 131 4.2.3 深度學(xué)習(xí)框架評(píng)測(cè) ............................................................................................................... 131 4.2.4 小結(jié) ...................................................................................................................................... 135 4.3 深度學(xué)習(xí)框架快速上手 ............................................................................................ 135 4.3.1 符號(hào)主義 .............................................................................................................................. 135 4.3.2 MNIST .................................................................................................................................. 136 4.3.3 Keras 完成邏輯分類 ............................................................................................................ 138 4.3.4 回顧 ...................................................................................................................................... 141 4.4 Caffe 實(shí)現(xiàn)邏輯分類模型 ........................................................................................... 141 4.4.1 Caffe 訓(xùn)練MNIST 概覽 ...................................................................................................... 142 4.4.2 Caffe 簡(jiǎn)介 ............................................................................................................................. 144 4.4.3 準(zhǔn)備數(shù)據(jù)集 .......................................................................................................................... 145 4.4.4 準(zhǔn)備模型 .............................................................................................................................. 146 4.4.5 模型訓(xùn)練流程 ...................................................................................................................... 149 4.4.6 使用模型 .............................................................................................................................. 149 4.4.7 Caffe 的Python 接口 ........................................................................................................... 150 4.4.8 回顧 ...................................................................................................................................... 151 第5 章 深層學(xué)習(xí)模型 ................................................................................ 152 5.1 解密生物智能 ............................................................................................................ 154 5.1.1 實(shí)驗(yàn)一：大腦的材料 ........................................................................................................... 154 5.1.2 實(shí)驗(yàn)二：探索腦皮層的功能區(qū)域 ....................................................................................... 156 5.1.3 實(shí)驗(yàn)三：不同的皮層組織——區(qū)別在于函數(shù)算法 ........................................................... 158 5.1.4 實(shí)驗(yàn)四：可替換的皮層模塊——神經(jīng)元組成的學(xué)習(xí)模型 ............................................... 161 5.1.5 模擬神經(jīng)元 .......................................................................................................................... 162 5.1.6 生物結(jié)構(gòu)帶來(lái)的啟發(fā) ........................................................................................................... 163 5.1.7 回顧 ...................................................................................................................................... 164 5.2 DNN 神經(jīng)網(wǎng)絡(luò)模型 ................................................................................................... 164 5.2.1 線性內(nèi)核和非線性激活 ....................................................................................................... 164 5.2.2 DNN、CNN、RNN ............................................................................................................. 165 5.2.3 邏輯分類：一層神經(jīng)網(wǎng)絡(luò) ................................................................................................... 166 目錄 ∣ IX 5.2.4 更多的神經(jīng)元 ...................................................................................................................... 167 5.2.5 增加Hidden Layer（隱層） ................................................................................................ 168 5.2.6 ReLu 激活函數(shù) ..................................................................................................................... 170 5.2.7 理解隱層 .............................................................................................................................. 171 5.2.8 回顧 ...................................................................................................................................... 172 5.3 神經(jīng)元的深層網(wǎng)絡(luò)結(jié)構(gòu) ............................................................................................ 172 5.3.1 問(wèn)題：更寬 or 更深 ........................................................................................................... 172 5.3.2 鏈?zhǔn)椒▌t：深層模型訓(xùn)練更快 ........................................................................................... 173 5.3.3 生物：深層模型匹配生物的層級(jí)識(shí)別模式 ....................................................................... 175 5.3.4 深層網(wǎng)絡(luò)結(jié)構(gòu) ...................................................................................................................... 177 5.3.5 回顧 ...................................................................................................................................... 178 5.4 典型的DNN 深層網(wǎng)絡(luò)模型：MLP .......................................................................... 178 5.4.1 優(yōu)化梯度下降 ...................................................................................................................... 179 5.4.2 處理過(guò)擬合：Dropout ......................................................................................................... 181 5.4.3 MLP 模型 ............................................................................................................................. 182 5.4.4 回顧 ...................................................................................................................................... 185 5.5 Caffe 實(shí)現(xiàn)MLP ......................................................................................................... 185 5.5.1 搭建MLP ............................................................................................................................. 185 5.5.2 訓(xùn)練模型 .............................................................................................................................. 189 5.5.3 回顧 ...................................................................................................................................... 190 第6 章 學(xué)習(xí)空間特征 ................................................................................ 191 6.1 預(yù)處理空間數(shù)據(jù) ........................................................................................................ 192 6.1.1 像素排列展開(kāi)的特征向量帶來(lái)的問(wèn)題 ............................................................................... 192 6.1.2 過(guò)濾冗余 .............................................................................................................................. 194 6.1.3 生成數(shù)據(jù) .............................................................................................................................. 195 6.1.4 回顧 ...................................................................................................................................... 198 6.2 描述圖片的空間特征：特征圖 ................................................................................ 199 6.2.1 圖片的卷積運(yùn)算................................................................................................................... 199 6.2.2 卷積指令和特征圖 ............................................................................................................... 201 6.2.3 回顧 ...................................................................................................................................... 206 6.3 CNN 模型I：卷積神經(jīng)網(wǎng)絡(luò)原理 ............................................................................. 206 6.3.1 卷積神經(jīng)元 .......................................................................................................................... 207 X ∣ 機(jī)器學(xué)習(xí)之路——Caffe、Keras、scikit-learn 實(shí)戰(zhàn) 6.3.2 卷積層 .................................................................................................................................. 208 6.3.3 多層卷積 .............................................................................................................................. 211 6.3.4 回顧 ...................................................................................................................................... 216 6.4 CNN 模型II：圖片識(shí)別 ........................................................................................... 216 6.4.1 連接分類模型 ...................................................................................................................... 216 6.4.2 貓狗分類 .............................................................................................................................. 217 6.4.3 反思CNN 與DNN 的結(jié)合：融合訓(xùn)練 .............................................................................. 221 6.4.4 深度學(xué)習(xí)與生物視覺(jué) ........................................................................................................... 222 6.4.5 回顧 ...................................................................................................................................... 224 6.5 CNN 的實(shí)現(xiàn)模型 ....................................................................................................... 224 6.5.1 ImageNet 簡(jiǎn)介 ...................................................................................................................... 224 6.5.2 Googlenet 模型和Inception 結(jié)構(gòu) ........................................................................................ 226 6.5.3 VGG 模型 ............................................................................................................................. 228 6.5.4 其他模型 .............................................................................................................................. 231 6.5.5 回顧 ...................................................................................................................................... 232 6.6 微訓(xùn)練模型（fine-tuning） ....................................................................................... 232 6.6.1 二次訓(xùn)練一個(gè)成熟的模型 ................................................................................................... 232 6.6.2 微訓(xùn)練在ImageNet 訓(xùn)練好的模型 ..................................................................................... 233 6.6.3 回顧 ...................................................................................................................................... 239 第7 章 Caffe 實(shí)例：狗狗品種辨別 ........................................................... 240 7.1 準(zhǔn)備圖片數(shù)據(jù) ............................................................................................................ 240 7.1.1 搜集狗狗圖片 ...................................................................................................................... 240 7.1.2 清洗數(shù)據(jù) .............................................................................................................................. 241 7.1.3 標(biāo)準(zhǔn)化數(shù)據(jù) .......................................................................................................................... 242 7.1.4 回顧 ...................................................................................................................................... 243 7.2 訓(xùn)練模型 .................................................................................................................... 243 7.2.1 生成樣本集 .......................................................................................................................... 244 7.2.2 生成訓(xùn)練、測(cè)試數(shù)據(jù)集 ....................................................................................................... 245 7.2.3 生成lmdb ............................................................................................................................. 246 7.2.4 生成去均值文件................................................................................................................... 247 7.2.5 更改prototxt 文件 ................................................................................................................ 247 7.2.6 訓(xùn)練模型 .............................................................................................................................. 249 目錄 ∣ XI 7.2.7 回顧 ...................................................................................................................................... 249 7.3 使用生成的模型進(jìn)行分類 ........................................................................................ 249 7.3.1 更改deploy.prototxt ............................................................................................................. 249 7.3.2 加載模型 .............................................................................................................................. 250 7.3.3 回顧 ...................................................................................................................................... 257 第8 章 漫談時(shí)間序列模型 ......................................................................... 258 8.1 Embedding .................................................................................................................. 259 8.1.1 簡(jiǎn)單的文本識(shí)別................................................................................................................... 260 8.1.2 深度學(xué)習(xí)從讀懂詞義開(kāi)始 ................................................................................................... 261 8.1.3 游戲：詞義運(yùn)算................................................................................................................... 264 8.1.4 回顧 ...................................................................................................................................... 264 8.2 輸出序列的模型 ........................................................................................................ 265 8.2.1 RNN ...................................................................................................................................... 265 8.2.2 LSTM .................................................................................................................................... 266 8.2.3 并用人工特征和深度學(xué)習(xí)特征——一個(gè)NLP 模型的優(yōu)化歷程 ...................................... 268 8.2.4 反思：讓模型擁有不同的能力 ........................................................................................... 270 8.2.5 回顧 ...................................................................................................................................... 273 8.3 深度學(xué)習(xí)：原理篇總結(jié) ............................................................................................ 273 8.3.1 原理小結(jié) .............................................................................................................................. 273 8.3.2 使用建議 .............................................................................................................................. 275 第9 章 用深度學(xué)習(xí)做個(gè)藝術(shù)畫(huà)家——模仿實(shí)現(xiàn)PRISMA ........................... 277 9.1 機(jī)器學(xué)習(xí)初探藝術(shù)作畫(huà) ............................................................................................ 278 9.1.1 藝術(shù)作畫(huà)概念基礎(chǔ) ............................................................................................................... 278 9.1.2 直觀感受一下機(jī)器藝術(shù)家 ................................................................................................... 279 9.1.3 一個(gè)有意思的實(shí)驗(yàn) ............................................................................................................... 280 9.1.4 機(jī)器藝術(shù)作畫(huà)的愿景 ........................................................................................................... 281 9.1.5 回顧 ...................................................................................................................................... 282 9.2 實(shí)現(xiàn)秒級(jí)藝術(shù)作畫(huà) .................................................................................................... 282 9.2.1 主要實(shí)現(xiàn)思路分解講解 ....................................................................................................... 283 9.2.2 使用統(tǒng)計(jì)參數(shù)期望與標(biāo)準(zhǔn)差尋找mask .............................................................................. 290 XII ∣ 機(jī)器學(xué)習(xí)之路——Caffe、Keras、scikit-learn 實(shí)戰(zhàn) 9.2.3 工程代碼封裝結(jié)構(gòu)及使用示例 ........................................................................................... 299 9.2.4 回顧和后記 .......................................................................................................................... 302 附錄A 機(jī)器學(xué)習(xí)環(huán)境部署 ......................................................................... 303 附錄B 深度學(xué)習(xí)環(huán)境部署 ......................................................................... 307 附錄C 隨書(shū)代碼運(yùn)行環(huán)境部署 .................................................................. 312