深度學(xué)習(xí)：原理與應(yīng)用實踐

深度學(xué)習(xí)基礎(chǔ)篇第1 章 緒論 21．1 引言 21．1．1 Google 的深度學(xué)習(xí)成果 21．1．2 Microsoft 的深度學(xué)習(xí)成果 31．1．3 國內(nèi)公司的深度學(xué)習(xí)成果 31．2 深度學(xué)習(xí)技術(shù)的發(fā)展歷程 41．3 深度學(xué)習(xí)的應(yīng)用領(lǐng)域 61．3．1 圖像識別領(lǐng)域 61．3．2 語音識別領(lǐng)域 61．3．3 自然語言理解領(lǐng)域 71．4 如何開展深度學(xué)習(xí)的研究和應(yīng)用開發(fā) 7本章參考文獻 11第2 章 國內(nèi)外深度學(xué)習(xí)技術(shù)研發(fā)現(xiàn)狀及其產(chǎn)業(yè)化趨勢 132．1 Google 在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 132．1．1 深度學(xué)習(xí)在Google 的應(yīng)用 132．1．2 Google 的TensorFlow 深度學(xué)習(xí)平臺 142．1．3 Google 的深度學(xué)習(xí)芯片TPU 152．2 Facebook 在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 152．2．1 Torchnet 152．2．2 DeepText 162．3 百度在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 172．3．1 光學(xué)字符識別 172．3．2 商品圖像搜索 172．3．3 在線廣告 182．3．4 以圖搜圖 182．3．5 語音識別 182．3．6 百度開源深度學(xué)習(xí)平臺MXNet 及其改進的深度語音識別系統(tǒng)Warp-CTC 192．4 阿里巴巴在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 192．4．1 拍立淘 192．4．2 阿里小蜜――智能客服Messenger 202．5 京東在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 202．6 騰訊在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 212．7 科創(chuàng)型公司（基于深度學(xué)習(xí)的人臉識別系統(tǒng)） 222．8 深度學(xué)習(xí)的硬件支撐――NVIDIA GPU 23本章參考文獻 24深度學(xué)習(xí)理論篇第3 章 神經(jīng)網(wǎng)絡(luò) 303．1 神經(jīng)元的概念 303．2 神經(jīng)網(wǎng)絡(luò) 313．2．1 后向傳播算法 323．2．2 后向傳播算法推導(dǎo) 333．3 神經(jīng)網(wǎng)絡(luò)算法示例 36本章參考文獻 38第4 章 卷積神經(jīng)網(wǎng)絡(luò) 394．1 卷積神經(jīng)網(wǎng)絡(luò)特性 394．1．1 局部連接 404．1．2 權(quán)值共享 414．1．3 空間相關(guān)下采樣 424．2 卷積神經(jīng)網(wǎng)絡(luò)操作 424．2．1 卷積操作 424．2．2 下采樣操作 444．3 卷積神經(jīng)網(wǎng)絡(luò)示例：LeNet-5 45本章參考文獻 48深度學(xué)習(xí)工具篇第5 章 深度學(xué)習(xí)工具Caffe 505．1 Caffe 的安裝 505．1．1 安裝依賴包 515．1．2 CUDA 安裝 515．1．3 MATLAB 和Python 安裝 545．1．4 OpenCV 安裝（可選） 595．1．5 Intel MKL 或者BLAS 安裝 595．1．6 Caffe 編譯和測試 595．1．7 Caffe 安裝問題分析 625．2 Caffe 框架與源代碼解析 635．2．1 數(shù)據(jù)層解析 635．2．2 網(wǎng)絡(luò)層解析 745．2．3 網(wǎng)絡(luò)結(jié)構(gòu)解析 925．2．4 網(wǎng)絡(luò)求解解析 104本章參考文獻 109第6 章 深度學(xué)習(xí)工具Pylearn2 1106．1 Pylearn2 的安裝 1106．1．1 相關(guān)依賴安裝 1106．1．2 安裝Pylearn2 1126．2 Pylearn2 的使用 112本章參考文獻 116深度學(xué)習(xí)實踐篇（入門與進階）第7 章 基于深度學(xué)習(xí)的手寫數(shù)字識別 1187．1 數(shù)據(jù)介紹 1187．1．1 MNIST 數(shù)據(jù)集 1187．1．2 提取MNIST 數(shù)據(jù)集圖片 1207．2 手寫字體識別流程 1217．2．1 模型介紹 1217．2．2 操作流程 1267．3 實驗結(jié)果分析 127本章參考文獻 128第8 章 基于深度學(xué)習(xí)的圖像識別 1298．1 數(shù)據(jù)來源 1298．1．1 Cifar10 數(shù)據(jù)集介紹 1298．1．2 Cifar10 數(shù)據(jù)集格式 1298．2 Cifar10 識別流程 1308．2．1 模型介紹 1308．2．2 操作流程 1368．3 實驗結(jié)果分析 139本章參考文獻 140第9 章 基于深度學(xué)習(xí)的物體圖像識別 1419．1 數(shù)據(jù)來源 1419．1．1 Caltech101 數(shù)據(jù)集 1419．1．2 Caltech101 數(shù)據(jù)集處理 1429．2 物體圖像識別流程 1439．2．1 模型介紹 1439．2．2 操作流程 1449．3 實驗結(jié)果分析 150本章參考文獻 151第10 章 基于深度學(xué)習(xí)的人臉識別 15210．1 數(shù)據(jù)來源 15210．1．1 AT＆T Facedatabase 數(shù)據(jù)庫 15210．1．2 數(shù)據(jù)庫處理 15210．2 人臉識別流程 15410．2．1 模型介紹 15410．2．2 操作流程 15510．3 實驗結(jié)果分析 159本章參考文獻 160深度學(xué)習(xí)實踐篇（高級應(yīng)用）第11 章 基于深度學(xué)習(xí)的人臉識別――DeepID 算法 16211．1 問題定義與數(shù)據(jù)來源 16211．2 算法原理 16311．2．1 數(shù)據(jù)預(yù)處理 16311．2．2 模型訓(xùn)練策略 16411．2．3 算法驗證和結(jié)果評估 16411．3 人臉識別步驟 16511．3．1 數(shù)據(jù)預(yù)處理 16511．3．2 深度網(wǎng)絡(luò)結(jié)構(gòu)模型 16811．3．3 提取深度特征與人臉驗證 17111．4 實驗結(jié)果分析 17411．4．1 實驗數(shù)據(jù) 17411．4．2 實驗結(jié)果分析 175本章參考文獻 176第12 章 基于深度學(xué)習(xí)的表情識別 17712．1 表情數(shù)據(jù) 17712．1．1 Cohn-Kanade（CK+）數(shù)據(jù)庫 17712．1．2 JAFFE 數(shù)據(jù)庫 17812．2 算法原理 17912．3 表情識別步驟 18012．3．1 數(shù)據(jù)預(yù)處理 18012．3．2 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型 18112．3．3 提取深度特征及分類 18212．4 實驗結(jié)果分析 18412．4．1 實現(xiàn)細節(jié) 18412．4．2 實驗結(jié)果對比 185本章參考文獻 188第13 章 基于深度學(xué)習(xí)的年齡估計 19013．1 問題定義 19013．2 年齡估計算法 19013．2．1 數(shù)據(jù)預(yù)處理 19013．2．2 提取深度特征 19213．2．3 提取LBP 特征 19613．2．4 訓(xùn)練回歸模型 19613．3 實驗結(jié)果分析 199本章參考文獻 199第14 章 基于深度學(xué)習(xí)的人臉關(guān)鍵點檢測 20014．1 問題定義和數(shù)據(jù)來源 20014．2 基于深度學(xué)習(xí)的人臉關(guān)鍵點檢測的步驟 20114．2．1 數(shù)據(jù)預(yù)處理 20114．2．2 訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型 20614．2．3 預(yù)測和處理關(guān)鍵點坐標 207本章參考文獻 212深度學(xué)習(xí)總結(jié)與展望篇第15 章 總結(jié)與展望 21415．1 深度學(xué)習(xí)領(lǐng)域當前的主流技術(shù)及其應(yīng)用領(lǐng)域 21415．1．1 圖像識別 21415．1．2 語音識別與自然語言理解 21515．2 深度學(xué)習(xí)的缺陷 21515．2．1 深度學(xué)習(xí)在硬件方面的門檻較高 21515．2．2 深度學(xué)習(xí)在軟件安裝與配置方面的門檻較高 21615．2．3 深度學(xué)習(xí)最重要的問題在于需要海量的有標注的數(shù)據(jù)作為支撐 21615．2．4 深度學(xué)習(xí)的最后階段竟然變成枯燥、機械、及其耗時的調(diào)參工作 21715．2．5 深度學(xué)習(xí)不適用于數(shù)據(jù)量較小的數(shù)據(jù) 21815．2．6 深度學(xué)習(xí)目前主要用于圖像、聲音的識別和自然語言的理解 21815．2．7 研究人員從事深度學(xué)習(xí)研究的困境 21915．3 展望 220本章參考文獻 220