大數(shù)據(jù)教程：數(shù)據(jù)分析原理和方法

目錄
前言
第1章 引言 1
1.1 什么是大數(shù)據(jù) 1
1.1.1 大數(shù)據(jù)概論 1
1.1.2 大數(shù)據(jù)的特點 1
1.1.3 大數(shù)據(jù)帶來的利益 2
1.1.4 大數(shù)據(jù)的類型 3
1.2 數(shù)據(jù)分析過程 4
1.3 專業(yè)領(lǐng)域知識 4
1.3.1 統(tǒng)計學(xué) 5
1.3.2 數(shù)據(jù)挖掘 5
1.3.3 機器學(xué)習(xí) 5
1.3.4 人工智能 6
1.3.5 數(shù)學(xué) 6
1.4 數(shù)據(jù)科學(xué)家做什么? 6
1.4.1 學(xué)術(shù)界 6
1.4.2 工業(yè)界 6
第2章 大數(shù)據(jù)的預(yù)處理、存儲和計算 8
2.1 數(shù)據(jù)的預(yù)處理 8
2.1.1 數(shù)據(jù)源 9
2.1.2 數(shù)據(jù)格式 9
2.1.3 數(shù)據(jù)形式 10
2.2 數(shù)據(jù)清洗 11
2.2.1 數(shù)據(jù)清洗的系統(tǒng)框架 12
2.2.2 待清洗數(shù)據(jù)的主要類型 12
2.2.3 數(shù)據(jù)檢測算法和清洗算法 13
2.2.4 數(shù)據(jù)清洗評估 16
2.3 云存儲和云計算* 17
習(xí)題2 18
第3章 數(shù)據(jù)可視化 20
3.1 基本原理 20
3.2 實現(xiàn)過程 20
3.3 可視化工具 21
3.4 數(shù)據(jù)可視化方法 21
第4章 回歸與分類(一) 25
4.1 線性回歸 25
4.1.1 模型介紹 26
4.1.2 參數(shù)估計 28
4.1.3 假設(shè)檢驗 32
4.1.4 模型評價與診斷 35
4.1.5 預(yù)測 39
4.2 線性回歸的推廣* 40
4.2.1 多項式回歸 41
4.2.2 樣條回歸 43
4.2.3 局部回歸 47
4.2.4 廣義加性模型 52
4.2.5 回歸性能的度量 54
4.3 時間序列分析 57
4.3.1 AR(p)模型 57
4.3.2 MA(q)模型 60
4.3.3 ARMA(p，q)模型 63
4.4 邏輯斯諦回歸 68
4.5 判別分類 72
4.5.1 線性判別分析 72
4.5.2 二次判別分析 75
4.6 k*近鄰分類 76
習(xí)題4 78
第5章 回歸與分類(二) 81
5.1 決策樹 81
5.1.1 回歸樹 82
5.1.2 分類樹 88
5.1.3 決策樹的優(yōu)缺點 91
5.2 Bagging分類 91
5.3 隨機森林分類 96
5.4 AdaBoost分類 98
5.5 支持向量機分類 103
5.5.1 *大間隔分類器 103
5.5.2 支持向量分類器 109
5.5.3 支持向量機 113
5.5.4 多分類的支持向量機 118
習(xí)題5 118
第6章 聚類及相關(guān)數(shù)據(jù)分析 120
6.1 聚類分析 120
6.1.1 距離的定義 120
6.1.2 系統(tǒng)聚類法 127
6.1.3 K{均值聚類 130
6.2 文本分析 134
6.2.1 基本概念 134
6.2.2 處理過程和任務(wù) 136
6.2.3 特征處理 138
6.2.4 文本表示模型 139
6.2.5 文本分類與文本聚類 143
6.2.6 應(yīng)用實例 144
6.2.7 分布式文本挖掘 147
6.3 網(wǎng)絡(luò)圖形描述和模型* 148
6.3.1 圖的基本概念 148
6.3.2 復(fù)雜網(wǎng)絡(luò)的統(tǒng)計特征 149
6.3.3 小世界現(xiàn)象 151
6.3.4 模型介紹 154
6.4 網(wǎng)絡(luò)數(shù)據(jù)分析和圖形模型 157
6.4.1 網(wǎng)絡(luò)數(shù)據(jù)概述 157
6.4.2 網(wǎng)絡(luò)數(shù)據(jù)收集 158
6.4.3 網(wǎng)絡(luò)數(shù)據(jù)分析 160
6.5 關(guān)聯(lián)規(guī)則和推薦系統(tǒng) 164
6.5.1 關(guān)聯(lián)規(guī)則 164
6.5.2 推薦系統(tǒng) 166
6.5.3 基于內(nèi)容的推薦系統(tǒng)設(shè)計過程 169
習(xí)題6 170
第7章 高維統(tǒng)計中的變量選擇 173
7.1 經(jīng)典降維方法 173
7.1.1 主成分分析 173
7.1.2 因子分析 178
7.2 Lasso模型及其變形 185
7.2.1 Lasso基本方法 185
7.2.2 Lasso方法的拓展 188
7.2.3 其他降維方法 196
7.3 流形降維方法* 204
7.3.1 核主成分分析 205
7.3.2 局部線性嵌入 206
7.3.3 多維縮放 208
7.3.4 Isomap 209
7.4 非負(fù)矩陣分解* 210
7.4.1 基本原理 210
7.4.2 NMF的求解方法 211
7.4.3 應(yīng)用 212
7.5 自編碼器 212
7.5.1 基本原理 213
7.5.2 可視化自編碼器 215
7.6 t-SNE 216
7.6.1 算法 216
7.6.2 應(yīng)用 217
7.7 正則化方法 218
7.7.1 多項式擬合 218
7.7.2 過擬合和欠擬合 221
7.7.3 L2正則 222
7.7.4 L1正則 224
7.7.5 縮減參數(shù)的選取 225
習(xí)題7 225
第8章 *大期望算法(EM算法) 227
8.1 預(yù)備知識 228
8.2 算法描述 229
8.3 算法導(dǎo)出* 230
8.4 EM算法的應(yīng)用 232
8.4.1 簡單實例——拋投硬幣實驗 232
8.4.2 男女生身高實例——混合高斯模型 235
習(xí)題8 240
第9章 貝葉斯方法 242
9.1 引論 242
9.2 貝葉斯統(tǒng)計推斷 243
9.2.1 一個例子 243
9.2.2 確定先驗分布 244
9.2.3 點估計 245
9.2.4 區(qū)間估計 245
9.2.5 假設(shè)檢驗 246
9.3 貝葉斯方法在變量選擇中的應(yīng)用 246
9.3.1 貝葉斯模型選擇 246
9.3.2 采樣 248
9.3.3 貝葉斯變量選擇 249
習(xí)題9 250
第10章 隱馬爾可夫模型 252
10.1 隱馬爾可夫模型的基本概念 252
10.1.1 馬爾可夫鏈 252
10.1.2 隱馬爾可夫模型 253
10.1.3 觀測序列的生成過程 257
10.1.4 隱馬爾可夫模型的三個基本問題 257
10.2 概率計算算法 258
10.2.1 前向算法 258
10.2.2 后向算法 260
10.2.3 一些概率與期望值的計算 261
10.3 學(xué)習(xí)算法 262
10.3.1 監(jiān)督學(xué)習(xí)方法 262
10.3.2 Baum-Welch算法 263
10.3.3 Baum-Welch模型參數(shù)估計 265
10.4 預(yù)測算法 266
10.4.1 近似算法 266
10.4.2 維特比算法 267
習(xí)題10 271
第11章 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 272
11.1 引言 272
11.2 神經(jīng)網(wǎng)絡(luò) 272
11.2.1 簡介 272
11.2.2 神經(jīng)元 274
11.2.3 感知器 275
11.2.4 神經(jīng)網(wǎng)絡(luò)模型 276
11.2.5 激活函數(shù) 278
11.2.6 代價函數(shù) 280
11.2.7 梯度下降法 281
11.2.8 反向傳播算法 283
11.2.9 梯度檢驗 285
11.3 深度神經(jīng)網(wǎng)絡(luò) 285
11.4 卷積神經(jīng)網(wǎng)絡(luò) 286
11.4.1 卷積 287
11.4.2 卷積層 288
11.4.3 池化層 291
11.4.4 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu) 292
11.4.5 權(quán)值的訓(xùn)練 293
11.4.6 LeNet-5卷積神經(jīng)網(wǎng)絡(luò) 295
11.5 循環(huán)神經(jīng)網(wǎng)絡(luò) 297
11.5.1 簡單循環(huán)神經(jīng)網(wǎng)絡(luò) 297
11.5.2 基于時間的反向傳播算法 299
11.5.3 梯度消失和梯度爆炸 302
11.5.4 長短時記憶網(wǎng)絡(luò)* 302
11.5.5 門限循環(huán)單元* 304
11.6 強化學(xué)習(xí)* 305
11.6.1 什么是強化學(xué)習(xí)？ 305
11.6.2 強化學(xué)習(xí)的不同的環(huán)境 307
11.6.3 強化學(xué)習(xí)的幾個有代表性的算法及理論基礎(chǔ) 307
11.6.4 強化學(xué)習(xí)的相關(guān)應(yīng)用 308
11.6.5 強化學(xué)習(xí)的平臺 308
11.6.6 強化學(xué)習(xí)的展望 309
11.7 深度學(xué)習(xí)在人工智能中的應(yīng)用 309
11.7.1 深度學(xué)習(xí)在無人駕駛汽車領(lǐng)域的應(yīng)用 309
11.7.2 深度學(xué)習(xí)在自然語言處理領(lǐng)域的應(yīng)用 311
11.7.3 深度學(xué)習(xí)在醫(yī)療健康領(lǐng)域的應(yīng)用 314
習(xí)題11 315
第12章 案例分析 316
12.1 金融數(shù)據(jù)分析案例 316
12.2 高維稀疏單細(xì)胞RNA測序數(shù)據(jù)的聚類研究 321
12.2.1 背景介紹 321
12.2.2 研究目標(biāo)和內(nèi)容 322
12.2.3 數(shù)據(jù)標(biāo)準(zhǔn)化 323
12.2.4 基于隱變量標(biāo)準(zhǔn)化兩階段單細(xì)胞無監(jiān)督類 325
12.3 手寫數(shù)字識別 327
12.3.1 MNIST數(shù)據(jù)的說明和導(dǎo)入 327
12.3.2 MNIST手寫數(shù)字神經(jīng)網(wǎng)絡(luò)識別 330
參考文獻 337
附錄A R語言簡介 344
A.1 特點 344
A.2 安裝和運行 344
A.3 幫助命令和幫助工具 345
A.4 RStudio 346
A.5 R編程要點 347
附錄B Python語言介紹 356
B.1 基礎(chǔ)介紹 356
B.2 非基礎(chǔ)部分 367
B.3 機器學(xué)習(xí)常用module介紹 375
索引 379
彩圖