分布式機(jī)器學(xué)習(xí)：算法、理論與實(shí)踐

定　價(jià)：￥89.00

作　者：	劉鐵巖陳薇王太峰高飛著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：	智能科學(xué)與技術(shù)叢書(shū)
標(biāo)　簽：	暫缺

購(gòu)買這本書(shū)可以去

ISBN：	9787111609186	出版時(shí)間：	2018-10-01	包裝：	平裝
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	276	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　本書(shū)的目的是向讀者全面展示分布式機(jī)器學(xué)習(xí)的現(xiàn)狀，深入分析其中的核心技術(shù)問(wèn)題，并且討論該領(lǐng)域未來(lái)發(fā)展的方向。本書(shū)既可以作為研究生從事分布式機(jī)器學(xué)習(xí)方向研究的參考文獻(xiàn)，也可以作為人工智能從業(yè)者進(jìn)行算法選擇和系統(tǒng)設(shè)計(jì)的工具書(shū)。

作者簡(jiǎn)介

　　劉鐵巖微軟亞洲研究院副院長(zhǎng)。劉博士的先鋒性研究促進(jìn)了機(jī)器學(xué)習(xí)與信息檢索之間的融合，被國(guó)際學(xué)術(shù)界公認(rèn)為“排序?qū)W習(xí)”領(lǐng)域的代表人物。近年來(lái)在深度學(xué)習(xí)、分布式學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方面也頗有建樹(shù)，發(fā)表論文200余篇，被引用近兩萬(wàn)次。多次獲得最佳論文獎(jiǎng)、最高引用論文獎(jiǎng)、Springer十大暢銷華人作者、Elsevier最高引中國(guó)學(xué)者等。被聘為卡內(nèi)基-梅隆大學(xué)（CMU）客座教授，諾丁漢大學(xué)榮譽(yù)教授，中國(guó)科技大學(xué)教授、博士生導(dǎo)師；被評(píng)為國(guó)際電子電氣工程師學(xué)會(huì)（IEEE）會(huì)士，國(guó)際計(jì)算機(jī)學(xué)會(huì)（ACM）杰出會(huì)員。陳薇微軟亞洲研究院機(jī)器學(xué)習(xí)組主管研究員，研究機(jī)器學(xué)習(xí)各個(gè)分支的理論解釋和算法改進(jìn)，尤其關(guān)注深度學(xué)習(xí)、分布式機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、博弈機(jī)器學(xué)習(xí)、排序?qū)W習(xí)等。2011年于中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院獲得博士學(xué)位，同年加入微軟亞洲研究院，負(fù)責(zé)機(jī)器學(xué)習(xí)理論項(xiàng)目，先后在NIPS、ICML、AAAI、IJCAI等相關(guān)領(lǐng)域頂級(jí)國(guó)際會(huì)議和期刊上發(fā)表文章30余篇。王太峰螞蟻金服人工智能部總監(jiān)、資深算法專家。在螞蟻金服負(fù)責(zé)AI算法組件建設(shè)，算法工作服務(wù)于螞蟻金服的支付、國(guó)際、保險(xiǎn)等多條業(yè)務(wù)線。在加入螞蟻之前在微軟亞洲研究院工作11年，任主管研究員，他的研究方向包括大規(guī)模機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)算廣告學(xué)等。在國(guó)際頂級(jí)的機(jī)器學(xué)習(xí)會(huì)議上發(fā)表近20篇的論文，在大規(guī)模機(jī)器學(xué)習(xí)工具開(kāi)源方面也做出過(guò)很多貢獻(xiàn)，在微軟期間主持開(kāi)發(fā)過(guò)DMTK的開(kāi)源項(xiàng)目。高飛微軟亞洲研究院副研究員，主要從事分布式機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的研究工作，并在國(guó)際會(huì)議上發(fā)表多篇論文。2014年設(shè)計(jì)開(kāi)發(fā)了當(dāng)時(shí)規(guī)模最大的主題模型算法和系統(tǒng)LightLDA。他還開(kāi)發(fā)了一系列分布式機(jī)器學(xué)習(xí)系統(tǒng)，并通過(guò)微軟分布式機(jī)器學(xué)習(xí)工具包（DMTK）開(kāi)源在GitHub上。

圖書(shū)目錄

序言一
序言二
前　言
作者介紹
第1章　緒論/ 1
1.1　人工智能及其飛速發(fā)展/ 2
1.2　大規(guī)模、分布式機(jī)器學(xué)習(xí)/ 4
1.3　本書(shū)的安排/ 6
參考文獻(xiàn)/ 7
第2章　機(jī)器學(xué)習(xí)基礎(chǔ)/ 9
2.1　機(jī)器學(xué)習(xí)的基本概念/ 10
2.2　機(jī)器學(xué)習(xí)的基本流程/ 13
2.3　常用的損失函數(shù)/ 16
2.3.1　Hinge損失函數(shù)/ 16
2.3.2　指數(shù)損失函數(shù)/ 16
2.3.3　交叉熵?fù)p失函數(shù)/ 17
2.4　常用的機(jī)器學(xué)習(xí)模型/ 18
2.4.1　線性模型/ 18
2.4.2　核方法與支持向量機(jī)/ 18
2.4.3　決策樹(shù)與Boosting/ 21
2.4.4　神經(jīng)網(wǎng)絡(luò)/ 23
2.5　常用的優(yōu)化方法/ 32
2.6　機(jī)器學(xué)習(xí)理論/ 33
2.6.1　機(jī)器學(xué)習(xí)算法的泛化誤差/ 34
2.6.2　泛化誤差的分解/ 34
2.6.3　基于容度的估計(jì)誤差的上界/ 35
2.7　總結(jié)/ 36
參考文獻(xiàn)/ 36
第3章　分布式機(jī)器學(xué)習(xí)框架/ 41
3.1　大數(shù)據(jù)與大模型的挑戰(zhàn)/ 42
3.2　分布式機(jī)器學(xué)習(xí)的基本流程/ 44
3.3　數(shù)據(jù)與模型劃分模塊/ 46
3.4　單機(jī)優(yōu)化模塊/ 48
3.5　通信模塊/ 48
3.5.1　通信的內(nèi)容/ 48
3.5.2　通信的拓?fù)浣Y(jié)構(gòu)/ 49
3.5.3　通信的步調(diào)/ 51
3.5.4　通信的頻率/ 52
3.6　數(shù)據(jù)與模型聚合模塊/ 53
3.7　分布式機(jī)器學(xué)習(xí)理論/ 54
3.8　分布式機(jī)器學(xué)習(xí)系統(tǒng)/ 55
3.9　總結(jié)/ 56
參考文獻(xiàn)/ 57
第4章　單機(jī)優(yōu)化之確定性算法/ 61
4.1　基本概述/ 62
4.1.1　機(jī)器學(xué)習(xí)的優(yōu)化框架/ 62
4.1.2　優(yōu)化算法的分類和發(fā)展歷史/ 65
4.2　一階確定性算法/ 67
4.2.1　梯度下降法/ 67
4.2.2　投影次梯度下降法/ 69
4.2.3　近端梯度下降法/ 70
4.2.4　Frank-Wolfe算法/ 71
4.2.5　Nesterov加速法/ 72
4.2.6　坐標(biāo)下降法/ 75
4.3　二階確定性算法/ 75
4.3.1　牛頓法/ 76
4.3.2　擬牛頓法/ 77
4.4　對(duì)偶方法/ 78
4.5　總結(jié)/ 81
參考文獻(xiàn)/ 8
第5章　單機(jī)優(yōu)化之隨機(jī)算法/ 85
5.1　基本隨機(jī)優(yōu)化算法/ 86
5.1.1　隨機(jī)梯度下降法/ 86
5.1.2　隨機(jī)坐標(biāo)下降法/ 88
5.1.3　隨機(jī)擬牛頓法/ 91
5.1.4　隨機(jī)對(duì)偶坐標(biāo)上升法/ 93
5.1.5　小結(jié)/ 95
5.2　隨機(jī)優(yōu)化算法的改進(jìn)/ 96
5.2.1　方差縮減方法/ 96
5.2.2　算法組合方法/ 100
5.3　非凸隨機(jī)優(yōu)化算法/ 101
5.3.1　Ada系列算法/ 102
5.3.2　非凸理論分析/ 104
5.3.3　逃離鞍點(diǎn)問(wèn)題/ 106
5.3.4　等級(jí)優(yōu)化算法/ 107
5.4　總結(jié)/ 109
參考文獻(xiàn)/ 109
第6章　數(shù)據(jù)與模型并行/ 113
6.1　基本概述/ 114
6.2　計(jì)算并行模式/ 117
6.3　數(shù)據(jù)并行模式/ 119
6.3.1　數(shù)據(jù)樣本劃分/ 120
6.3.2　數(shù)據(jù)維度劃分/ 123
6.4　模型并行模式/ 123
6.4.1　線性模型/ 123
6.4.2　神經(jīng)網(wǎng)絡(luò)/ 127
6.5　總結(jié)/ 133
參考文獻(xiàn)/ 133
第7章　通信機(jī)制/ 135
7.1　基本概述/ 136
7.2　通信的內(nèi)容/ 137
7.2.1　參數(shù)或參數(shù)的更新/ 137
7.2.2　計(jì)算的中間結(jié)果/ 137
7.2.3　討論/ 138
7.3　通信的拓?fù)浣Y(jié)構(gòu)/ 139
7.3.1　基于迭代式MapReduce/AllReduce的通信拓?fù)? 140
7.3.2　基于參數(shù)服務(wù)器的通信拓?fù)? 142
7.3.3　基于數(shù)據(jù)流的通信拓?fù)? 143
7.3.4　討論/ 145
7.4　通信的步調(diào)/ 145
7.4.1　同步通信/ 146
7.4.2　異步通信/ 147
7.4.3　同步和異步的平衡/ 148
7.4.4　討論/ 150
7.5　通信的頻率/ 150
7.5.1　時(shí)域?yàn)V波/ 150
7.5.2　空域?yàn)V波/ 153
7.5.3　討論/ 155
7.6　總結(jié)/ 156
參考文獻(xiàn)/ 156
第8章　數(shù)據(jù)與模型聚合/ 159
8.1　基本概述/ 160
8.2　基于模型加和的聚合方法/ 160
8.2.1　基于全部模型加和的聚合/ 160
8.2.2　基于部分模型加和的聚合/ 162
8.3　基于模型集成的聚合方法/ 167
8.3.1　基于輸出加和的聚合/ 168
8.3.2　基于投票的聚合/ 171
8.4　總結(jié)/ 174
參考文獻(xiàn)/ 174
第9章　分布式機(jī)器學(xué)習(xí)算法/ 177
9.1　基本概述/ 178
9.2　同步算法/ 179
9.2.1　同步SGD方法/ 179
9.2.2　模型平均方法及其改進(jìn)/ 182
9.2.3　ADMM算法/ 183
9.2.4　彈性平均SGD算法/ 185
9.2.5　討論/ 186
9.3　異步算法/ 187
9.3.1　異步SGD/ 187
9.3.2　Hogwild!算法/ 189
9.3.3　Cyclades算法/ 190
9.3.4　帶延遲處理的異步算法/ 192
9.3.5　異步方法的進(jìn)一步加速/ 199
9.3.6　討論/ 199
9.4　同步和異步的對(duì)比與融合/ 199
9.4.1　同步和異步算法的實(shí)驗(yàn)對(duì)比/ 199
9.4.2　同步和異步的融合/ 201
9.5　模型并行算法/ 203
9.5.1　DistBelief/ 203
9.5.2　AlexNet/ 204
9.6　總結(jié)/ 205
參考文獻(xiàn)/ 205
第10章　分布式機(jī)器學(xué)習(xí)理論/ 209
10.1　基本概述/ 210
10.2　收斂性分析/ 210
10.2.1　優(yōu)化目標(biāo)和算法/ 211
10.2.2　數(shù)據(jù)和模型并行/ 213
10.2.3　同步和異步/ 215
10.3　加速比分析/ 217
10.3.1　從收斂速率到加速比/ 218
10.3.2　通信量的下界/ 219
10.4　泛化分析/ 221
10.4.1　優(yōu)化的局限性/ 222
10.4.2　具有更好泛化能力的非凸優(yōu)化算法/ 224
10.5　總結(jié)/ 226
參考文獻(xiàn)/ 226
第11章　分布式機(jī)器學(xué)習(xí)系統(tǒng)/ 229
11.1　基本概述/ 230
11.2　基于IMR的分布式機(jī)器學(xué)習(xí)系統(tǒng)/ 231
11.2.1　IMR和Spark/ 231
11.2.2　Spark MLlib/ 234
11.3　基于參數(shù)服務(wù)器的分布式機(jī)器學(xué)習(xí)系統(tǒng)/ 236
11.3.1　參數(shù)服務(wù)器/ 236
11.3.2　Multiverso參數(shù)服務(wù)器/ 237
11.4　基于數(shù)據(jù)流的分布式機(jī)器學(xué)習(xí)系統(tǒng)/ 241
11.4.1　數(shù)據(jù)流/ 241
11.4.2　TensorFlow數(shù)據(jù)流系統(tǒng)/ 243
11.5　實(shí)戰(zhàn)比較/ 248
11.6　總結(jié)/ 252
參考文獻(xiàn)/ 252
第12章　結(jié)語(yǔ)/ 255
12.1　全書(shū)總結(jié)/ 256
12.2　未來(lái)展望/ 257
索引/ 260