大數(shù)據(jù)與機(jī)器學(xué)習(xí)：實(shí)踐方法與行業(yè)案例

前言
第一部分　數(shù)據(jù)與平臺(tái)篇
第1章　數(shù)據(jù)與數(shù)據(jù)平臺(tái)3
1.1　數(shù)據(jù)的基本形態(tài)4
1.1.1　數(shù)據(jù)環(huán)境與數(shù)據(jù)形態(tài)4
1.1.2　生產(chǎn)數(shù)據(jù)5
1.1.3　原始數(shù)據(jù)5
1.1.4　分析數(shù)據(jù)6
1.2　數(shù)據(jù)平臺(tái)7
1.2.1　數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)9
1.2.2　大數(shù)據(jù)平臺(tái)13
1.2.3　MPP數(shù)據(jù)庫(kù)22
1.2.4　NoSQL數(shù)據(jù)庫(kù)23
1.3　應(yīng)用系統(tǒng)24
1.4　本章小結(jié)25
第2章　數(shù)據(jù)體系26
2.1　數(shù)據(jù)閉環(huán)27
2.2　數(shù)據(jù)緩沖區(qū)28
2.2.1　系統(tǒng)解耦29
2.2.2　批量導(dǎo)出31
2.2.3　FTP傳輸40
2.2.4　批量導(dǎo)入42
2.3　ETL49
2.3.1　ETL工具50
2.3.2　ETL作業(yè)52
2.4　作業(yè)調(diào)度56
2.5　監(jiān)控和預(yù)警56
2.5.1　使用監(jiān)控工具進(jìn)行監(jiān)控57
2.5.2　使用BI工具進(jìn)行監(jiān)控57
2.6　本章小結(jié)57
第3章　實(shí)戰(zhàn)：打造數(shù)據(jù)閉環(huán)59
3.1　數(shù)據(jù)緩沖區(qū)的基本規(guī)則60
3.1.1　文件存儲(chǔ)規(guī)則61
3.1.2　文件命名規(guī)則61
3.1.3　文件清理規(guī)則62
3.2　自動(dòng)加載的流程62
3.2.1　掃描文件63
3.2.2　下載文件64
3.2.3　解壓文件65
3.2.4　加載文件65
3.3　自動(dòng)加載程序的數(shù)據(jù)庫(kù)設(shè)計(jì)66
3.3.1　數(shù)據(jù)文件信息表67
3.3.2　數(shù)據(jù)文件狀態(tài)表68
3.3.3　加載配置信息表69
3.3.4　數(shù)據(jù)緩沖區(qū)信息表70
3.3.5　目標(biāo)服務(wù)器表70
3.4　自動(dòng)加載程序的多線程實(shí)現(xiàn)71
3.4.1　ScanFiles72
3.4.2　DownLoadAndUnZip75
3.4.3　LoadToHive77
3.4.4　LoadToOracle78
3.4.5　自動(dòng)加載程序的部署架構(gòu)79
3.4.6　程序的維護(hù)和優(yōu)化80
3.5　本章小結(jié)80
第二部分　分　析　篇
第4章　數(shù)據(jù)預(yù)處理83
4.1　數(shù)據(jù)表的預(yù)處理84
4.2　變量的預(yù)處理85
4.2.1　缺失值的處理85
4.2.2　極值的處理90
4.3　變量的設(shè)計(jì)91
4.3.1　暴力衍生91
4.3.2　交叉升維92
4.4　變量篩選95
4.4.1　篩選顯著變量95
4.4.2　剔除共線性96
4.5　本章小結(jié)100
第5章　聚類，簡(jiǎn)單易用的客戶細(xì)分方法101
5.1　從客戶細(xì)分說(shuō)起102
5.1.1　為什么要做客戶細(xì)分102
5.1.2　怎么做客戶細(xì)分103
5.1.3　聚類分析，無(wú)監(jiān)督的客戶細(xì)分方法107
5.2　譜系聚類107
5.2.1　基本步驟107
5.2.2　案例：公司客戶差異化服務(wù)110
5.2.3　譜系聚類方法的題外話115
5.3　K-means算法116
5.3.1　基本步驟116
5.3.2　案例：電商賣家細(xì)分117
5.3.3　K-means算法的題外話121
5.4　本章小結(jié)121
第6章　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)產(chǎn)品
加載和交叉銷售機(jī)會(huì)122
6.1　銷售的真諦：讓客戶買得更多123
6.1.1　案例：電商的生意經(jīng)123
6.1.2　案例：富國(guó)銀行的“商店”經(jīng)營(yíng)模式124
6.1.3　案例總結(jié)125
6.2　交叉銷售126
6.2.1　為什么要做交叉銷售126
6.2.2　怎么做交叉銷售126
6.3　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)交叉銷售機(jī)會(huì)128
6.3.1　Apriori算法129
6.3.2　Apriori算法的主要指標(biāo)129
6.3.3　Apriori算法的基本步驟131
6.4　案例：信用卡產(chǎn)品交叉銷售131
6.4.1　準(zhǔn)備數(shù)據(jù)132
6.4.2　SAS實(shí)現(xiàn)132
6.4.3　結(jié)果分析133
6.4.4　序列關(guān)聯(lián)分析136
6.4.5　結(jié)果應(yīng)用137
6.5　本章小結(jié)138
第7章　社交網(wǎng)絡(luò)分析，從“關(guān)系
的角度分析問(wèn)題139
7.1　先看幾張美輪美奐的圖片140
7.2　社交網(wǎng)絡(luò)分析方法142
7.2.1　定義142
7.2.2　應(yīng)用場(chǎng)景142
7.2.3　網(wǎng)絡(luò)識(shí)別算法143
7.3　案例：電商通過(guò)訂單數(shù)據(jù)識(shí)別供應(yīng)鏈144
7.3.1　供應(yīng)鏈及供應(yīng)鏈金融144
7.3.2　識(shí)別核心企業(yè)及其上下游關(guān)系144
7.3.3　分析結(jié)果的業(yè)務(wù)應(yīng)用149
7.4　案例：P2P投資風(fēng)險(xiǎn)防范151
7.4.1　案例背景151
7.4.2　防范方法152
7.5　本章小結(jié)153
第8章　線性回歸，預(yù)測(cè)客戶價(jià)值155
8.1　數(shù)值預(yù)測(cè)156
8.2　回歸與擬合157
8.2.1　回歸就是擬合157
8.2.2　在Excel中添加趨勢(shì)線預(yù)測(cè)158
8.3　案例：信用卡客戶價(jià)值預(yù)測(cè)159
8.3.1　確定預(yù)測(cè)目標(biāo)159
8.3.2　準(zhǔn)備建模數(shù)據(jù)161
8.3.3　模型擬合163
8.3.4　模型評(píng)估165
8.4　基于客戶價(jià)值分層的業(yè)務(wù)策略167
8.5　本章小結(jié)167
第9章　Logistic回歸，精準(zhǔn)營(yíng)銷的
主要支撐算法169
9.1　大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷170
9.1.1　精準(zhǔn)營(yíng)銷170
9.1.2　基于大數(shù)據(jù)的精準(zhǔn)營(yíng)銷模式171
9.1.3　如何做到精準(zhǔn)172
9.2　Logistic回歸算法介紹173
9.2.1　算法原理173
9.2.2　關(guān)鍵步驟174
9.3　案例：信用卡消費(fèi)信貸產(chǎn)品的精準(zhǔn)營(yíng)銷176
9.3.1　案例背景176
9.3.2　數(shù)據(jù)準(zhǔn)備176
9.3.3　數(shù)據(jù)預(yù)處理180
9.3.4　建模182
9.3.5　模型評(píng)估185
9.4　預(yù)測(cè)模型的應(yīng)用與評(píng)估189
9.5　本章小結(jié)189
第10章　決策樹(shù)類算法，反欺詐
模型“專家”191
10.1　決策樹(shù)，重要的分類器191
10.2　決策樹(shù)的關(guān)鍵思想192
10.2.1　理財(cái)客戶畫(huà)像案例背景192
10.2.2　關(guān)鍵思想一：遞歸劃分194
10.2.3　關(guān)鍵思想二：剪枝197
10.3　案例：電商盜卡交易風(fēng)險(xiǎn)識(shí)別198
10.3.1　案例背景198
10.3.2　以SAS實(shí)現(xiàn)199
10.3.3　以Clementine實(shí)現(xiàn)201
10.3.4　以R實(shí)現(xiàn)204
10.4　隨機(jī)森林208
10.5　本章小結(jié)209
第11章　數(shù)據(jù)可視化，是分析更是
設(shè)計(jì)210
11.1　數(shù)據(jù)演示之道210
11.1.1　好“色”之圖211
11.1.2　版式有形212
11.1.3　數(shù)據(jù)發(fā)聲214
11.2　個(gè)性化地圖215
11.2.1　案例背景：存款增長(zhǎng)率指標(biāo)展示215
11.2.2　獲取地理位置的經(jīng)緯度數(shù)據(jù)216
11.2.3　定制地圖背景和圖標(biāo)217
11.2.4　生成地圖220
11.3　文本分析222
11.3.1　案例：電商的客戶評(píng)價(jià)分析222
11.3.2　分詞223
11.3.3　詞云制作224
11.3.4　情感分析225
11.4　本章小結(jié)227
第三部分　應(yīng)　用　篇
第12章　標(biāo)簽系統(tǒng)231
12.1　認(rèn)識(shí)標(biāo)簽系統(tǒng)231
12.2　標(biāo)簽系統(tǒng)的設(shè)計(jì)233
12.2.1　標(biāo)簽系統(tǒng)的層次結(jié)構(gòu)233
12.2.2　標(biāo)簽系統(tǒng)的更新規(guī)則233
12.2.3　機(jī)器學(xué)習(xí)模型轉(zhuǎn)化為標(biāo)簽235
12.3　標(biāo)簽系統(tǒng)的實(shí)現(xiàn)236
12.3.1　標(biāo)簽映射表237
12.3.2　標(biāo)簽系統(tǒng)的前端實(shí)現(xiàn)238
12.3.3　標(biāo)簽系統(tǒng)的數(shù)據(jù)后端實(shí)現(xiàn)238
12.3.4　標(biāo)簽系統(tǒng)的在線接口實(shí)現(xiàn)242
12.4　本章小結(jié)242
第13章　數(shù)據(jù)自助營(yíng)銷平臺(tái)244
13.1　數(shù)據(jù)自助營(yíng)銷平臺(tái)的價(jià)值所在245
13.1.1　自動(dòng)化營(yíng)銷，提升工作效率245
13.1.2　降低營(yíng)銷成本，提升用戶體驗(yàn)247
13.1.3　個(gè)性化營(yíng)銷，提升響應(yīng)率248
13.1.4　統(tǒng)一管理，便于效果追蹤249
13.2　數(shù)據(jù)自助營(yíng)銷平臺(tái)的實(shí)現(xiàn)原則249
13.2.1　數(shù)據(jù)營(yíng)銷活動(dòng)的節(jié)點(diǎn)249
13.2.2　數(shù)據(jù)自助營(yíng)銷平臺(tái)的基礎(chǔ)：標(biāo)簽系統(tǒng)251
13.2.3　數(shù)據(jù)自助營(yíng)銷平臺(tái)的批量任務(wù)252
13.2.4　實(shí)時(shí)數(shù)據(jù)營(yíng)銷254
13.3　數(shù)據(jù)自助營(yíng)銷平臺(tái)的場(chǎng)景實(shí)例254
13.3.1　客戶生命周期管理254
13.3.2　用卡激勵(lì)計(jì)劃257
13.4　本章小結(jié)260
第14章　基于Mahout的個(gè)性化推薦系統(tǒng)261
14.1　Mahout的推薦引擎262
14.1.1　Mahout的安裝配置262
14.1.2　Mahout的使用方式263
14.1.3　協(xié)同過(guò)濾算法264
14.1.4　Mahout的推薦引擎265
14.2　規(guī)模與效率268
14.2.1　Mahout推薦算法的適用范圍268
14.2.2　通過(guò)分布式解決規(guī)模和效率的問(wèn)題270
14.3　實(shí)現(xiàn)一個(gè)推薦系統(tǒng)275
14.3.1　系統(tǒng)框架275
14.3.2　推薦系統(tǒng)的刷新276
14.3.3　部署一個(gè)可用的推薦系統(tǒng)276
14.4　本章小結(jié)280
第15章　圖計(jì)算與社會(huì)網(wǎng)絡(luò)281
15.1　社會(huì)網(wǎng)絡(luò)和屬性圖282
15.2　Spark GraphX與Neo4j283
15.2.1　Scala編程語(yǔ)言284
15.2.2　Cypher查詢語(yǔ)言285
15.3　使用Spark GraphX和Neo4j處理社會(huì)網(wǎng)絡(luò)286
15.3.1　背景說(shuō)明286
15.3.2　數(shù)據(jù)準(zhǔn)備286
15.3.3　Spark GraphX處理原始網(wǎng)絡(luò)287
15.3.4　Neo4j交互式查詢分析291
15.3.5　更多的應(yīng)用場(chǎng)景295
15.4　本章小結(jié)296