大數(shù)據(jù)平臺架構(gòu)

第1章 大數(shù)據(jù)平臺架構(gòu)概述 1
1.1 大數(shù)據(jù)平臺的產(chǎn)生與應(yīng)用 1
1.1.1 大數(shù)據(jù)平臺的產(chǎn)生 1
1.1.2 大數(shù)據(jù)平臺的應(yīng)用 2
1.2 大數(shù)據(jù)平臺架構(gòu) 4
1.3 大數(shù)據(jù)處理系統(tǒng)經(jīng)典架構(gòu) 7
1.3.1 什么是Lambda架構(gòu) 7
1.3.2 Lambda架構(gòu) 8
1.3.3 Kappa架構(gòu) 10
1.3.4 適用場景 10
第2章 大數(shù)據(jù)與Hadoop 12
2.1 Hadoop簡介 12
2.1.1 Hadoop起源 12
2.1.2 Hadoop特點(diǎn) 13
2.1.3 Hadoop版本 13
2.2 Hadoop生態(tài)系統(tǒng) 14
2.2.1 Hadoop生態(tài)系統(tǒng)概況 15
2.2.2 Hadoop生態(tài)系統(tǒng)組成詳解 16
2.3 Hadoop應(yīng)用案例 21
2.3.1 Hadoop應(yīng)用案例1：全球超市沃爾瑪 21
2.3.2 Hadoop應(yīng)用案例2：全球拍賣網(wǎng)站eBay 21
2.3.3 Hadoop應(yīng)用案例3：全球信用卡公司Visa 22
2.4 Hadoop在國內(nèi)的現(xiàn)狀與未來 22
2.4.1 國內(nèi)早的Hadoop交流平臺：Hadoop in China 22
2.4.2 國內(nèi)Hadoop發(fā)展現(xiàn)狀 22
2.4.3 國內(nèi)Hadoop前景展望 25
第3章 開始使用Hadoop集群 26
3.1 Hadoop初探 26
3.1.1 使用Hadoop的先決條件 26
3.1.2 安裝環(huán)境 27
3.1.3 安裝并運(yùn)行Hadoop 29
3.1.4 運(yùn)行模式 30
3.1.5 Hadoop單機(jī)模式 31
3.1.6 Hadoop偽分布式模式 32
3.1.7 Hadoop完全分布式模式 36
3.1.8 Hadoop命令手冊解讀 39
3.2 HDFS基礎(chǔ)和權(quán)限管理 45
3.2.1 HDFS特點(diǎn) 45
3.2.2 HDFS基本構(gòu)成 46
3.2.3 HDFS使用原理 47
3.2.4 HDFS權(quán)限管理 48
3.3 MapReduce Job開發(fā)、運(yùn)行與管理 49
3.3.1 為什么需要 MapReduce 49
3.3.2 MapReduce 1.X和MapReduce 2.X 49
3.3.3 MapReduce開發(fā) 55
3.3.4 MapReduce運(yùn)行與管理 58
3.4 YARN管理 62
3.4.1 YARN簡介 62
3.4.2 主要組件 64
3.4.3 ResourceManager組件 65
3.4.4 NodeManager組件 65
3.4.5 ApplicationMaster組件 66
3.4.6 Container組件 66
3.4.7 應(yīng)用提交過程分析 66
第4章 Hadoop集群性能優(yōu)化和維護(hù) 69
4.1 集群常用配置文件解讀 69
4.1.1 配置文件 70
4.1.2 Hadoop核心配置文件core-site.xml 71
4.2 HDFS配置優(yōu)化 78
4.2.1 dfsadmin 81
4.2.2 SecondaryNameNode 82
4.2.3 Rebalance與機(jī)架感知 83
4.2.4 安全模式、fsck、升級與回滾 84
4.2.5 集群與環(huán)境優(yōu)化 85
4.3 MapReduce配置優(yōu)化 86
4.3.1 Job配置 86
4.3.2 其他 91
4.4 YARN配置優(yōu)化 91
4.4.1 YARN 91
4.4.2 Capacity Scheduler 92
4.4.3 Queue Properties 94
第5章 高可用配置 97
5.1 架構(gòu) 97
5.2 使用NFS共享存儲 98
5.3 Quorum-based存儲 ZooKeeper 99
5.4 QJM 100
5.5 使用ZooKeeper進(jìn)行自動故障轉(zhuǎn)移 101
5.6 部署與配置 102
第6章 Hadoop其他組件 106
6.1 HBase介紹 106
6.1.1 概述 106
6.1.2 特點(diǎn) 107
6.1.3 架構(gòu) 108
6.1.4 工作原理 108
6.1.5 安裝與運(yùn)行 110
6.1.6 基礎(chǔ)操作 112
6.2 Hive介紹 113
6.2.1 概述 113
6.2.2 特點(diǎn) 114
6.2.3 數(shù)據(jù)結(jié)構(gòu) 114
6.2.4 架構(gòu) 115
6.2.5 工作原理 116
6.2.6 安裝與運(yùn)行 116
6.3 Pig介紹 118
6.3.1 概述 118
6.3.2 特點(diǎn) 119
6.3.3 運(yùn)行模式 119
6.3.4 安裝與運(yùn)行 120
6.4 Sqoop介紹 121
6.4.1 概述 121
6.4.2 版本介紹 122
6.4.3 特點(diǎn) 122
6.4.4 安裝與運(yùn)行 123
6.4.5 工作原理 123
第7章 NoSQL 125
7.1 NoSQL介紹 125
7.2 NewSQL介紹 126
7.3 NoSQL應(yīng)用場景 127
7.4 能承受海量壓力的鍵值型數(shù)據(jù)庫：Redis 128
7.5 處理非結(jié)構(gòu)化數(shù)據(jù)的利器：MongoDB 128
7.6 圖數(shù)據(jù)庫：Neo4j 130
7.6.1 什么是圖 130
7.6.2 什么是圖數(shù)據(jù)庫 130
7.6.3 Neo4j簡介 130
第8章 Spark生態(tài)系統(tǒng) 132
8.1 Spark在大數(shù)據(jù)生態(tài)中的定位 132
8.1.1 Spark簡介 132
8.1.2 Spark系統(tǒng)定位 135
8.1.3 基本術(shù)語 136
8.2 Spark主要模塊介紹 138
8.2.1 Spark Core 138
8.2.2 Spark SQL 146
8.2.3 Spark Streaming 149
8.2.4 GraphX 150
8.2.5 MLlib 154
8.3 Spark部署模型介紹 156
第9章 Spark SQL實戰(zhàn)案例 158
9.1 Spark SQL前世今生 158
9.1.1 大數(shù)據(jù)背景 158
9.1.2 Spark和Spark SQL的產(chǎn)生 159
9.1.3 版本更迭 159
9.2 RDD、DataFrame及Dataset 160
9.2.1 Spark SQL基礎(chǔ) 161
9.2.2 Dataset、DataFrame、RDD的區(qū)別 167
9.3 使用外部數(shù)據(jù)源 168
9.3.1 讀寫文件 168
9.3.2 .parquet文件 169
9.3.3 ORC文件 174
9.3.4 JSON Dataset 174
9.4 連接Metastore 174
9.4.1 Hive table 174
9.4.2 和不同版本的Hive Metastore交互 175
9.4.3 JDBC連接其他數(shù)據(jù)庫 176
9.5 自定義函數(shù) 178
9.5.1 聚合函數(shù)——非標(biāo)準(zhǔn)化類型（UnTyped）UADF開發(fā) 178
9.5.2 類型安全的自定義聚合函數(shù)——Type-safe的UDAF 180
9.6 Spark SQL與Spark Thrift server 183
9.6.1 分布式SQL引擎 183
9.6.2 HiveServer2服務(wù) 184
9.7 Spark SQL 優(yōu)化 185
9.7.1 內(nèi)存緩存數(shù)據(jù) 185
9.7.2 SQL查詢中的Broadcast Hint 186
9.7.3 持久化RDD，選擇存儲級別 186
9.7.4 數(shù)據(jù)序列化選擇 188
9.7.5 內(nèi)存管理 189
9.7.6 其他考慮 192
第10章 Spark Streaming 195
10.1 Spark Streaming架構(gòu) 195
10.2 DStream的特點(diǎn) 196
10.3 DStream的操作 197
10.3.1 DStream的輸入操作 197
10.3.2 DStream的轉(zhuǎn)換操作 199
10.4 StatefulRDD和windowRDD實戰(zhàn) 201
10.4.1 StatelessRDD無狀態(tài)轉(zhuǎn)化操作 201
10.4.2 StatefulRDD有狀態(tài)轉(zhuǎn)化操作 206
10.5 Kafka Spark Steaming實戰(zhàn) 212
10.5.1 搭建Kafka環(huán)境 212
10.5.2 代碼編寫 213
10.6 Spark Streaming的優(yōu)化 220
第11章 數(shù)據(jù)同步收集 224
11.1 從關(guān)系數(shù)據(jù)庫同步數(shù)據(jù)到HDFS 224
11.1.1 Sqoop 225
11.1.2 DataX 226
11.2 Sqoop的使用 228
11.2.1 安裝 228
11.2.2 MySQL環(huán)境驅(qū)動配置 229
11.2.3 導(dǎo)入數(shù)據(jù) 230
11.3 數(shù)據(jù)清洗 234

第12章 任務(wù)調(diào)度系統(tǒng)設(shè)計 239
12.1 初識任務(wù)調(diào)度 239
12.2 幾種相對成熟的Java調(diào)度系統(tǒng)選擇 242
12.2.1 Timer和TimerTask 242
12.2.2 ScheduledThreadPoolExecutor 244
12.2.3 Quartz 245
12.2.4 jcrontab 245
12.2.5 相對成熟的調(diào)度工具和開源產(chǎn)品 246
12.3 Quartz的介紹 250
12.3.1 Quartz的儲備知識 251
12.3.2 Quartz的基本使用 251
12.3.3 Trigger的選擇 252
12.3.4 JobStore 255
12.3.5 完整的例子 257
12.4 開源工具XXL-Job 258
12.4.1 搭建項目 258
12.4.2 運(yùn)行項目 260
12.4.3 項目簡單使用 263
12.4.4 高級使用和使用建議 267
第13章 調(diào)度系統(tǒng)選擇 274
13.1 常用調(diào)度系統(tǒng)及對比 274
13.1.1 Oozie簡介 274
13.1.2 Azkaban簡介 275
13.1.3 Airflow簡介 276
13.1.4 調(diào)度系統(tǒng)對比 277
13.2 Airflow基本架構(gòu)設(shè)計 278
13.2.1 設(shè)計原則 278
13.2.2 Airflow的服務(wù)構(gòu)成 278
13.2.3 依賴關(guān)系的解決 280
13.2.4 工作原理 280
13.3 Airflow任務(wù)調(diào)度系統(tǒng)的安裝配置及使用 281
13.3.1 安裝 281
13.3.2 配置 282
13.3.3 使用 285
13.4 Airflow自定義DAG的使用 286
第14章 數(shù)據(jù)安全管理 292
14.1 HDFS層面的訪問權(quán)限及安全模式 292
14.1.1 HDFS權(quán)限管理 292
14.1.2 HDFS安全模式 293
14.1.3 ACL概念介紹 294
14.2 保障敏感數(shù)據(jù)的安全性 295
14.3 應(yīng)用層面的安全性保障 297
第15章 大數(shù)據(jù)面臨的挑戰(zhàn)、發(fā)展趨勢及典型案例 300
15.1 大數(shù)據(jù)面臨的問題與挑戰(zhàn) 300
15.1.1 大數(shù)據(jù)潛在的危害 300
15.1.2 開放與隱私如何平衡 301
15.1.3 大數(shù)據(jù)人才的缺乏 302
15.2 大數(shù)據(jù)發(fā)展趨勢 302
15.2.1 大數(shù)據(jù)與電子商務(wù) 303
15.2.2 大數(shù)據(jù)與醫(yī)療 303
15.2.3 大數(shù)據(jù)與人工智能 304
15.2.4 工業(yè)大數(shù)據(jù)云平臺 304
15.3 典型大數(shù)據(jù)平臺案例 304
15.3.1 阿里云數(shù)加 304
15.3.2 華為Fusion Insight大數(shù)據(jù)平臺 305
15.3.3 三一重工Witsight工業(yè)大數(shù)據(jù)平臺 307