深度學(xué)習(xí)：從神經(jīng)網(wǎng)絡(luò)到深度強(qiáng)化學(xué)習(xí)的演進(jìn)

目錄





第1章人工智能與深度學(xué)習(xí)概述

1.1人工智能與機(jī)器學(xué)習(xí)

1.1.1人工智能的發(fā)展歷程

1.1.2機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的發(fā)展歷程

1.1.3人工智能與機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的關(guān)系

1.2機(jī)器學(xué)習(xí)的分類

1.2.1監(jiān)督學(xué)習(xí)

1.2.2非監(jiān)督學(xué)習(xí)

1.2.3半監(jiān)督學(xué)習(xí)

1.2.4強(qiáng)化學(xué)習(xí)

1.2.5其他分類方式

1.3深度學(xué)習(xí)的分類及發(fā)展趨勢(shì)

1.3.1深度神經(jīng)網(wǎng)絡(luò)

1.3.2卷積神經(jīng)網(wǎng)絡(luò)

1.3.3其他深度神經(jīng)網(wǎng)絡(luò)

1.3.4深度學(xué)習(xí)的發(fā)展趨勢(shì)

1.4深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的結(jié)合

1.4.1強(qiáng)化學(xué)習(xí)

1.4.2強(qiáng)化學(xué)習(xí)算法分類

1.4.3深度強(qiáng)化學(xué)習(xí)

本章小結(jié)

第2章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

2.1深度學(xué)習(xí)簡(jiǎn)介

2.1.1傳統(tǒng)機(jī)器學(xué)習(xí)算法與深度學(xué)習(xí)算法對(duì)比

2.1.2深度學(xué)習(xí)發(fā)展歷程

2.2圖像分類問題

2.2.1KNN分類器

2.2.2線性分類器

2.2.3損失及優(yōu)化

2.3損失函數(shù)

2.3.1折頁損失函數(shù)

2.3.2交叉熵?fù)p失函數(shù)

2.4反向傳播算法

2.4.1計(jì)算圖

2.4.2反向傳播舉例

2.5人工神經(jīng)網(wǎng)絡(luò)

2.5.1神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2.5.2神經(jīng)網(wǎng)絡(luò)的分類

2.6激活函數(shù)

2.6.1常用激活函數(shù)

2.6.2各種激活函數(shù)的優(yōu)缺點(diǎn)

本章小結(jié)

第3章卷積神經(jīng)網(wǎng)絡(luò)

3.1基本概念

3.1.1卷積

3.1.2池化

3.1.3經(jīng)典網(wǎng)絡(luò)LeNet5

3.2幾種卷積神經(jīng)網(wǎng)絡(luò)介紹

3.2.1AlexNet

3.2.2VGGNet

3.2.3NIN

3.2.4GoogLeNet

3.2.5ResNet

3.3計(jì)算機(jī)視覺問題

3.3.1圖像分類

3.3.2目標(biāo)定位

3.3.3目標(biāo)檢測(cè)

3.3.4圖像分割

3.4深度學(xué)習(xí)應(yīng)用實(shí)例

3.4.1深度學(xué)習(xí)框架

3.4.2MNIST手寫數(shù)字識(shí)別

3.4.3基于DeepLabV3+模型的軌道圖像分割

本章小結(jié)

第4章循環(huán)神經(jīng)網(wǎng)絡(luò)及其他深層神經(jīng)網(wǎng)絡(luò)

4.1從DNN到RNN

4.1.1RNN結(jié)構(gòu)

4.1.2深度 RNN

4.1.3RNN的訓(xùn)練

4.2RNN變體

4.2.1LSTM

4.2.2GRU

4.2.3其他結(jié)構(gòu)

4.3RNN應(yīng)用舉例

4.3.1時(shí)序數(shù)據(jù)預(yù)測(cè)

4.3.2自然語言處理

4.4自編碼器

4.4.1稀疏自編碼器

4.4.2去噪自編碼器

4.4.3壓縮自編碼器

4.5深度生成式模型

4.5.1全可見信念網(wǎng)絡(luò)

4.5.2變分自編碼器

4.5.3生成式對(duì)抗網(wǎng)絡(luò)

本章小結(jié)

第5章深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

5.1參數(shù)更新方法

5.1.1梯度下降算法的問題

5.1.2基于動(dòng)量的更新

5.1.3二階優(yōu)化方法

5.1.4共軛梯度

5.1.5擬牛頓法

5.2自適應(yīng)學(xué)習(xí)率算法

5.2.1學(xué)習(xí)率衰減

5.2.2AdaGrad算法

5.2.3RMSProp算法

5.2.4AdaDelta算法

5.2.5Adam算法

5.2.6幾種常見優(yōu)化算法的比較

5.3參數(shù)初始化

5.3.1合理初始化的重要性

5.3.2隨機(jī)初始化

5.3.3Xavier初始化

5.3.4He初始化

5.3.5批量歸一化

5.3.6預(yù)訓(xùn)練

5.4網(wǎng)絡(luò)正則化

5.4.1正則化的目的

5.4.2L1和L2正則化

5.4.3權(quán)重衰減

5.4.4提前停止

5.4.5數(shù)據(jù)增強(qiáng)

5.4.6丟棄法

5.4.7標(biāo)簽平滑

5.5訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的小技巧

5.5.1數(shù)據(jù)預(yù)處理

5.5.2超參數(shù)調(diào)優(yōu)

5.5.3集成學(xué)習(xí)

5.5.4監(jiān)視訓(xùn)練過程

本章小結(jié)

第6章輕量化神經(jīng)網(wǎng)絡(luò)模型

6.1深度學(xué)習(xí)輕量化模型

6.1.1SqueezeNet模型

6.1.2MobileNet模型

6.1.3ShuffleNet模型

6.1.4Xception模型

6.2深度神經(jīng)網(wǎng)絡(luò)模型壓縮

6.2.1推理階段的壓縮算法

6.2.2訓(xùn)練階段的壓縮算法

6.3深度神經(jīng)網(wǎng)絡(luò)的硬件加速

6.3.1推理階段的硬件加速

6.3.2訓(xùn)練階段的硬件加速

6.4移動(dòng)端深度學(xué)習(xí)

6.4.1移動(dòng)端深度學(xué)習(xí)概述

6.4.2移動(dòng)端深度學(xué)習(xí)框架

6.4.3移動(dòng)端深度學(xué)習(xí)示例

本章小結(jié)

第7章強(qiáng)化學(xué)習(xí)算法

7.1強(qiáng)化學(xué)習(xí)綜述

7.1.1目標(biāo)、單步獎(jiǎng)勵(lì)與累積回報(bào)

7.1.2馬爾可夫決策過程

7.1.3值函數(shù)與最優(yōu)值函數(shù)

7.2動(dòng)態(tài)規(guī)劃方法

7.2.1策略迭代

7.2.2值迭代

7.3基于值函數(shù)的強(qiáng)化學(xué)習(xí)算法

7.3.1基于蒙特卡羅的強(qiáng)化學(xué)習(xí)算法

7.3.2基于時(shí)間差分的強(qiáng)化學(xué)習(xí)算法

7.3.3TDλ算法

7.4基于策略梯度的強(qiáng)化學(xué)習(xí)算法

7.4.1何時(shí)應(yīng)用基于策略的學(xué)習(xí)方法

7.4.2策略梯度詳解

7.4.3蒙特卡羅策略梯度算法

7.4.4ActorCritic算法

7.5值函數(shù)近似和衍生算法

7.5.1值函數(shù)近似

7.5.2基于值函數(shù)近似的TD方法

7.5.3基于線性值函數(shù)近似的GTD方法

7.5.4OffPolicy ActorCritic算法

本章小結(jié)

第8章多智能體多任務(wù)學(xué)習(xí)

8.1多智能體學(xué)習(xí)

8.1.1多智能體強(qiáng)化學(xué)習(xí)背景

8.1.2多智能體強(qiáng)化學(xué)習(xí)任務(wù)分類及算法介紹

8.1.3多智能體增強(qiáng)學(xué)習(xí)平臺(tái)

8.2多任務(wù)學(xué)習(xí)

8.2.1多任務(wù)學(xué)習(xí)的背景與定義

8.2.2多任務(wù)監(jiān)督學(xué)習(xí)

8.2.3其他多任務(wù)學(xué)習(xí)

8.2.4多任務(wù)學(xué)習(xí)的應(yīng)用

8.3元學(xué)習(xí)

8.3.1從模型評(píng)估中學(xué)習(xí)

8.3.2從任務(wù)特征中學(xué)習(xí)

8.4聯(lián)邦學(xué)習(xí)

8.4.1背景

8.4.2聯(lián)邦學(xué)習(xí)的特點(diǎn)及優(yōu)勢(shì)

8.4.3聯(lián)邦學(xué)習(xí)的分類

8.4.4聯(lián)邦學(xué)習(xí)的應(yīng)用

本章小結(jié)

第9章深度強(qiáng)化學(xué)習(xí)

9.1基于值函數(shù)的深度強(qiáng)化學(xué)習(xí)

9.1.1深度Q學(xué)習(xí)

9.1.2深度Q學(xué)習(xí)的衍生方法

9.2基于策略梯度的深度強(qiáng)化學(xué)習(xí)

9.2.1深度確定性策略梯度算法

9.2.2異步深度強(qiáng)化學(xué)習(xí)算法

9.2.3信賴域策略優(yōu)化及其衍生算法

9.3深度強(qiáng)化學(xué)習(xí)的應(yīng)用

9.3.1計(jì)算機(jī)圍棋程序AlphaGo

9.3.2深度強(qiáng)化學(xué)習(xí)的其他應(yīng)用

9.3.3深度強(qiáng)化學(xué)習(xí)在通信網(wǎng)絡(luò)中的應(yīng)用

本章小結(jié)

第10章遷移學(xué)習(xí)

10.1遷移學(xué)習(xí)簡(jiǎn)介及分類

10.1.1遷移學(xué)習(xí)概述

10.1.2遷移學(xué)習(xí)的分類

10.2遷移學(xué)習(xí)的應(yīng)用

10.2.1遷移學(xué)習(xí)在深度學(xué)習(xí)中的應(yīng)用

10.2.2遷移學(xué)習(xí)在強(qiáng)化學(xué)習(xí)中的應(yīng)用

本章小結(jié)

附錄A最近鄰算法實(shí)現(xiàn)代碼

附錄BTensorFlow訓(xùn)練LeNet5網(wǎng)絡(luò)實(shí)現(xiàn)代碼

附錄C基于DeepLabv3+模型的軌道圖像分割

附錄D時(shí)序數(shù)據(jù)預(yù)測(cè)實(shí)現(xiàn)代碼

附錄E自然語言處理實(shí)現(xiàn)代碼

附錄F移動(dòng)端深度學(xué)習(xí)示例

參考文獻(xiàn)