深入理解AutoML和AutoDL：構(gòu)建自動(dòng)化機(jī)器學(xué)習(xí)與深度學(xué)習(xí)平臺(tái)

目錄
贊譽(yù)
前言
第1章　人工智能概述1
1.1　全面了解人工智能1
1.1.1　人工智能定義1
1.1.2　弱人工智能、強(qiáng)人工智能與超人工智能2
1.1.3　人工智能三大主義3
1.1.4　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)4
1.2　人工智能發(fā)展歷程5
1.3　深度學(xué)習(xí)的崛起之路7
1.3.1　人臉識(shí)別的起源7
1.3.2　自動(dòng)駕駛的福音7
1.3.3　超越人類的AI智能體8
1.3.4　懂你的AI8
1.3.5　奔跑、飛行以及玩游戲的AI8
1.3.6　人人都可以創(chuàng)造屬于自己的AI8
1.4　深度學(xué)習(xí)的發(fā)展9
1.4.1　計(jì)算機(jī)視覺9
1.4.2　自然語言處理10
1.4.3　語音識(shí)別11
1.5　下一代人工智能11
1.6　參考文獻(xiàn)13
第2章　自動(dòng)化人工智能14
2.1　AutoML概述14
2.1.1　什么是自動(dòng)化14
2.1.2　AutoML的起源與發(fā)展15
2.2　AutoML的研究意義17
2.2.1　AutoML的研究動(dòng)機(jī)17
2.2.2　AutoML的意義和作用18
2.3　現(xiàn)有AutoML平臺(tái)產(chǎn)品21
2.3.1　谷歌Cloud AutoML21
2.3.2　百度EasyDL23
2.3.3　阿里云PAI24
2.3.4　探智立方DarwinML28
2.3.5　第四范式AI ProphetAutoML29
2.3.6　智易科技30
2.4　參考文獻(xiàn)31
第3章　機(jī)器學(xué)習(xí)概述32
3.1　機(jī)器學(xué)習(xí)的發(fā)展32
3.1.1　“機(jī)器學(xué)習(xí)”名字的由來32
3.1.2　“機(jī)器學(xué)習(xí)”的前世今生33
3.1.3　“機(jī)器學(xué)習(xí)”的理論基礎(chǔ)34
3.2　機(jī)器學(xué)習(xí)的實(shí)現(xiàn)方法36
3.2.1　分類問題36
3.2.2　回歸問題38
3.2.3　聚類問題39
3.3　自動(dòng)化機(jī)器學(xué)習(xí)40
3.3.1　機(jī)器學(xué)習(xí)面臨的問題40
3.3.2　為什么會(huì)產(chǎn)生AutoML41
3.4　參考文獻(xiàn)41
第4章　自動(dòng)化特征工程43
4.1　特征工程43
4.1.1　什么是特征43
4.1.2　什么是特征工程44
4.2　特征工程處理方法45
4.2.1　特征選擇45
4.2.2　數(shù)據(jù)預(yù)處理47
4.2.3　特征壓縮48
4.3　手工特征工程存在的問題49
4.4　自動(dòng)化特征工程50
4.4.1　什么是自動(dòng)化特征工程50
4.4.2　機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的特征工程51
4.5　自動(dòng)化特征工程生成方法52
4.5.1　深度特征合成算法52
4.5.2　Featuretools自動(dòng)特征提取52
4.5.3　基于時(shí)序數(shù)據(jù)的自動(dòng)化特征工程56
4.6　自動(dòng)化特征工程工具67
4.6.1　自動(dòng)化特征工程系統(tǒng)67
4.6.2　自動(dòng)化特征工程平臺(tái)71
4.7　參考文獻(xiàn)75
第5章　自動(dòng)化模型選擇76
5.1　模型選擇76
5.2　自動(dòng)化模型選擇77
5.2.1　基于貝葉斯優(yōu)化的自動(dòng)化模型選擇78
5.2.2　基于進(jìn)化算法的自動(dòng)化模型選擇84
5.2.3　分布式自動(dòng)化模型選擇86
5.2.4　自動(dòng)化模型選擇的相關(guān)平臺(tái)92
5.3　自動(dòng)集成學(xué)習(xí)94
5.3.1　集成學(xué)習(xí)基礎(chǔ)94
5.3.2　集成學(xué)習(xí)之結(jié)合策略97
5.3.3　自動(dòng)化模型集成98
5.4　參考文獻(xiàn)99
第6章　自動(dòng)化超參優(yōu)化101
6.1　概述101
6.1.1　問題定義103
6.1.2　搜索空間103
6.1.3　搜索策略103
6.1.4　評(píng)價(jià)預(yù)估104
6.1.5　經(jīng)驗(yàn)遷移加速105
6.2　基本方法105
6.2.1　網(wǎng)格搜索105
6.2.2　隨機(jī)搜索105
6.3　基于模型的序列超參優(yōu)化106
6.3.1　代理模型的選擇108
6.3.2　代理模型的更新108
6.3.3　新超參組的選擇109
6.3.4　基于高斯過程回歸的序列超參優(yōu)化111
6.3.5　基于隨機(jī)森林算法代理的序列超參優(yōu)化112
6.3.6　基于TPE算法的序列超參優(yōu)化114
6.3.7　SMBO的進(jìn)階技巧114
6.4　基于進(jìn)化算法的自動(dòng)化超參優(yōu)化115
6.4.1　基于進(jìn)化策略的自動(dòng)化超參優(yōu)化115
6.4.2　基于粒子群算法的自動(dòng)化超參優(yōu)化116
6.5　基于遷移學(xué)習(xí)的超參優(yōu)化加速方法117
6.5.1　經(jīng)驗(yàn)遷移機(jī)制117
6.5.2　經(jīng)驗(yàn)遷移衰退機(jī)制117
6.5.3　經(jīng)驗(yàn)遷移權(quán)重機(jī)制117
6.5.4　優(yōu)化過程的試點(diǎn)機(jī)制118
6.6　參考文獻(xiàn)118
第7章　深度學(xué)習(xí)基礎(chǔ)120
7.1　深度學(xué)習(xí)簡介120
7.1.1　什么是神經(jīng)元120
7.1.2　人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程121
7.1.3　深度學(xué)習(xí)方法123
7.2　卷積神經(jīng)網(wǎng)絡(luò)簡介123
7.2.1　卷積層123
7.2.2　池化層125
7.2.3　全連接層126
7.3　CNN經(jīng)典模型126
7.3.1　LeNet126
7.3.2　AlexNet127
7.3.3　VGGNet128
7.3.4　GoogLeNet129
7.3.5　ResNet130
7.3.6　DenseNet131
7.4　循環(huán)神經(jīng)網(wǎng)絡(luò)132
7.4.1　基本循環(huán)神經(jīng)模型132
7.4.2　LSTM模型133
7.4.3　GRU模型134
7.5　參考文獻(xiàn)134
第8章　自動(dòng)化深度學(xué)習(xí)概述136
8.1　深度學(xué)習(xí)vs自動(dòng)化深度學(xué)習(xí)136
8.2　什么是NAS136
8.2.1　問題定義137
8.2.2　搜索策略139
8.2.3　加速方案140
8.3　NAS方法分類140
第9章　基于強(qiáng)化學(xué)習(xí)的AutoDL142
9.1　強(qiáng)化學(xué)習(xí)基礎(chǔ)142
9.1.1　強(qiáng)化學(xué)習(xí)簡介142
9.1.2　基本要素及問題定義144
9.1.3　發(fā)展歷史144
9.1.4　基本方法146
9.2　兩類基本模型147
9.2.1　TD經(jīng)典算法148
9.2.2　DQN系列算法149
9.2.3　策略梯度算法152
9.3　強(qiáng)化學(xué)習(xí)之Actor-Critic系列154
9.3.1　Actor-Critic算法154
9.3.2　確定性策略梯度155
9.3.3　深度確定性策略梯度157
9.3.4　異步優(yōu)勢(shì)Actor-Critic算法158
9.3.5　近端策略優(yōu)化160
9.3.6　分布式近端策略優(yōu)化164
9.4　基于強(qiáng)化學(xué)習(xí)的自動(dòng)搜索166
9.5　基本搜索方法166
9.5.1　基于層的搜索166
9.5.2　基于塊的搜索169
9.5.3　基于連接的搜索171
9.6　進(jìn)階搜索方法173
9.6.1　逆強(qiáng)化學(xué)習(xí)173
9.6.2　圖超網(wǎng)絡(luò)174
9.6.3　蒙特卡洛樹搜索175
9.6.4　知識(shí)提煉（教師網(wǎng)絡(luò)）177
9.7　參考文獻(xiàn)179
第10章　基于進(jìn)化算法的AutoDL181
10.1　啟發(fā)式算法181
10.1.1　隨機(jī)搜索182
10.1.2　近鄰搜索183
10.1.3　進(jìn)化計(jì)算187
10.1.4　啟發(fā)式算法的局限性189
10.2　初代進(jìn)化算法190
10.2.1　基本術(shù)語190
10.2.2　基礎(chǔ)算子191
10.2.3　遺傳算法196
10.2.4　進(jìn)化策略198
10.2.5　進(jìn)化規(guī)劃199
10.3　其他近代進(jìn)化算法200
10.3.1　遺傳編程算法簇200
10.3.2　群體算法—以PSO為例205
10.3.3　文化基因算法207
10.3.4　差分進(jìn)化算法208
10.3.5　分布估計(jì)算法208
10.4　進(jìn)化神經(jīng)網(wǎng)絡(luò)209
10.4.1　簡介209
10.4.2　神經(jīng)網(wǎng)絡(luò)編碼方式210
10.4.3　競爭約定211
10.4.4　網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新性212
10.4.5　NAS之進(jìn)化算法212
10.5　細(xì)粒度的神經(jīng)進(jìn)化（NEAT算法）213
10.5.1　基因編碼214
10.5.2　基因的可追溯性216
10.5.3　通過物種形成保護(hù)創(chuàng)新結(jié)構(gòu)216
10.6　粗粒度的神經(jīng)進(jìn)化（CoDeep-NEAT算法）218
10.6.1　DeepNEAT算法218
10.6.2　CoDeepNEAT算法219
10.7　block-level的進(jìn)化220
10.7.1　Genetic CNN算法220
10.7.2　CGP-CNN方法222
10.8　基于node-level的網(wǎng)絡(luò)架構(gòu)進(jìn)化224
10.8.1　思想簡介224
10.8.2　基本算法設(shè)計(jì)225
10.8.3　信息復(fù)用與加速226
10.9　基于NAS搜索空間的網(wǎng)絡(luò)架構(gòu)進(jìn)化227
10.9.1　思想簡介227
10.9.2　基本算法設(shè)計(jì)227
10.9.3　信息復(fù)用與加速228
10.10　基于層次拓?fù)浔硎镜木W(wǎng)絡(luò)進(jìn)化方法228
10.10.1　思想簡介228
10.10.2　分級(jí)表示229
10.10.3　隨機(jī)的層次分級(jí)進(jìn)化230
10.11　參考文獻(xiàn)230
第11章　AutoDL高階233
11.1　搜索加速之權(quán)值共享法233
11.1.1　ENAS233
11.1.2　基于稀疏優(yōu)化的NAS235
11.2　基于one-shot模型的架構(gòu)搜索236
11.2.1　超網(wǎng)絡(luò)的應(yīng)用236
11.2.2　基于one-shot的搜索237
11.2.3　實(shí)例級(jí)架構(gòu)搜索238
11.2.4　單路徑超網(wǎng)絡(luò)240
11.3　搜索加速之代理評(píng)估模型241
11.3.1　代理模型241
11.3.2　PNAS中的LSTM代理242
11.4　基于網(wǎng)絡(luò)態(tài)射法的神經(jīng)架構(gòu)搜索244
11.4.1　網(wǎng)絡(luò)態(tài)射的提出244
11.4.2　什么是網(wǎng)絡(luò)態(tài)射244
11.4.3　網(wǎng)絡(luò)態(tài)射+迂回爬山法246
11.5　可微分神經(jīng)架構(gòu)搜索247
11.5.1　可微分神經(jīng)架構(gòu)搜索的來源247
11.5.2　可微分神經(jīng)架構(gòu)搜索的方法248
11.6　參考文獻(xiàn)250
第12章　垂直領(lǐng)域的AutoDL252
12.1　AutoCV252
12.1.1　Auto-DeepLab（圖像語義分割）252
12.1.2　隨機(jī)連線神經(jīng)網(wǎng)絡(luò)257
12.2　AutoVoice261
12.2.1　關(guān)鍵詞定位問題定義261
12.2.2　隨機(jī)自適應(yīng)架構(gòu)搜索原理262
12.2.3　SANAS模型262
12.3　AutoNLP263
12.3.1　什么是自注意力機(jī)制263
12.3.2　初識(shí)Transformer模型265
12.3.3　Evolved Transformer結(jié)構(gòu)266
12.4　參考文獻(xiàn)270
第13章　自動(dòng)化模型壓縮與加速271
13.1　從生物角度看模型壓縮的重要性271
13.1.1　人腦神經(jīng)元的修剪271
13.1.2　大腦的冗余性272
13.1.3　修剪的意義273
13.2　模型壓縮發(fā)展概述274
13.3　入門級(jí)方法：量化技術(shù)275
13.3.1　量化技術(shù)275
13.3.2　二值化網(wǎng)絡(luò)276
13.3.3　TensorRT277
13.4　初級(jí)方法：修剪法278
13.4.1　修剪法278
13.4.2　修剪與修復(fù)279
13.5　中級(jí)方法：稀疏化技術(shù)281
13.5.1　正則化281
13.5.2　知識(shí)精煉281
13.5.3　張量分解281
13.6　高級(jí)方法：輕量級(jí)模型設(shè)計(jì)284
13.6.1　簡化卷積操作284
13.6.2　深度可分離卷積285
13.6.3　改進(jìn)的Inception287
13.7　自動(dòng)化模型壓縮技術(shù)289
13.7.1　AMC算法289
13.7.2　PocketFlow框架291
13.8　基于AutoDL的輕量級(jí)模型292
13.8.1　問題定義292
13.8.2　帕累托最優(yōu)問題293
13.8.3　進(jìn)化算法的應(yīng)用294
13.8.4　強(qiáng)化學(xué)習(xí)的應(yīng)用296
13.8.5　可微分架構(gòu)搜索298
13.9　參考文獻(xiàn)300
第14章　元學(xué)習(xí)302
14.1　什么是元學(xué)習(xí)302
14.1.1　基本介紹302
14.1.2　經(jīng)典案例303
14.1.3　深入了解元學(xué)習(xí)304
14.1.4　元學(xué)習(xí)應(yīng)用的發(fā)展306
14.2　元學(xué)習(xí)的通用流程306
14.2.1　基本定義306
14.2.2　流程框架306
14.3　從模型評(píng)估中學(xué)習(xí)307
14.3.1　任務(wù)無關(guān)推薦308
14.3.2　參數(shù)空間設(shè)計(jì)308
14.3.3　參數(shù)轉(zhuǎn)換309
14.3.4　學(xué)習(xí)曲線310
14.4　從任務(wù)屬性中學(xué)習(xí)310
14.4.1　元特征310
14.4.2　學(xué)習(xí)元特征311
14.4.3　相似任務(wù)的熱啟動(dòng)優(yōu)化311
14.4.4　元模型311
14.4.5　管道合成312
14.4.6　是否調(diào)整312
14.5　從先前模型中學(xué)習(xí)312
14.5.1　遷移學(xué)習(xí)313
14.5.2　神經(jīng)網(wǎng)絡(luò)中的元學(xué)習(xí)313
14.5.3　小樣本學(xué)習(xí)314
14.5.4　監(jiān)督學(xué)習(xí)之外的方法315
14.6　基于模型的方法316
14.6.1　記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)316
14.6.2　元網(wǎng)絡(luò)317
14.6.3　模型無關(guān)的元學(xué)習(xí)方法317
14.6.4　利用注意力機(jī)制的方法319
14.6.5　基于時(shí)間卷積的方法320
14.6.6　基于損失預(yù)測(cè)的方法321
14.6.7　元強(qiáng)化學(xué)習(xí)321
14.7　基于度量的方法322
14.7.1　Siamese網(wǎng)絡(luò)322
14.7.2　匹配網(wǎng)絡(luò)324
14.7.3　關(guān)系網(wǎng)絡(luò)324
14.7.4　原型網(wǎng)絡(luò)325
14.8　基于優(yōu)化的方法326
14.8.1　基于LSTM網(wǎng)絡(luò)的元學(xué)習(xí)者326
14.8.2　未知模型的元學(xué)習(xí)326
14.8.3　Reptile：可擴(kuò)展元學(xué)習(xí)方法327
14.8.4　基于梯度預(yù)測(cè)的方法327
14.9　參考文獻(xiàn)329
結(jié)束語332