大數(shù)據(jù)技術(shù)體系詳解：原理、架構(gòu)與實踐

目　　錄?Contents
前　言
第一部分　概述篇
第1章　企業(yè)級大數(shù)據(jù)技術(shù)體系概述 2
1.1　大數(shù)據(jù)系統(tǒng)產(chǎn)生背景及應(yīng)用場景 2
1.1.1　產(chǎn)生背景 2
1.1.2　常見大數(shù)據(jù)應(yīng)用場景 3
1.2　企業(yè)級大數(shù)據(jù)技術(shù)框架 5
1.2.1　數(shù)據(jù)收集層 6
1.2.2　數(shù)據(jù)存儲層 7
1.2.3　資源管理與服務(wù)協(xié)調(diào)層 7
1.2.4　計算引擎層 8
1.2.5　數(shù)據(jù)分析層 9
1.2.6　數(shù)據(jù)可視化層 9
1.3　企業(yè)級大數(shù)據(jù)技術(shù)實現(xiàn)方案 9
1.3.1　Google大數(shù)據(jù)技術(shù)棧 10
1.3.2　Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧 12
1.4　大數(shù)據(jù)架構(gòu)：Lambda Architecture 15
1.5　Hadoop與Spark版本選擇及安裝部署 16
1.5.1　Hadoop與Spark版本選擇 16
1.5.2　Hadoop與Spark安裝部署 17
1.6　小結(jié) 18
1.7　本章問題 18
第二部分　數(shù)據(jù)收集篇
第2章　關(guān)系型數(shù)據(jù)的收集 20
2.1　Sqoop概述 20
2.1.1　設(shè)計動機 20
2.1.2　Sqoop基本思想及特點 21
2.2　Sqoop基本架構(gòu) 21
2.2.1　Sqoop1基本架構(gòu) 22
2.2.2　Sqoop2基本架構(gòu) 23
2.2.3　Sqoop1與Sqoop2對比 24
2.3　Sqoop使用方式 25
2.3.1　Sqoop1使用方式 25
2.3.2　Sqoop2使用方式 28
2.4　數(shù)據(jù)增量收集CDC 31
2.4.1　CDC動機與應(yīng)用場景 31
2.4.2　CDC開源實現(xiàn)Canal 32
2.4.3　多機房數(shù)據(jù)同步系統(tǒng)Otter 33
2.5　小結(jié) 35
2.6　本章問題 35
第3章　非關(guān)系型數(shù)據(jù)的收集 36
3.1　概述 36
3.1.1　Flume設(shè)計動機 36
3.1.2　Flume基本思想及特點 37
3.2　Flume NG基本架構(gòu) 38
3.2.1　Flume NG基本架構(gòu) 38
3.2.2　Flume NG高級組件 41
3.3　Flume NG數(shù)據(jù)流拓撲構(gòu)建方法 42
3.3.1　如何構(gòu)建數(shù)據(jù)流拓撲 42
3.3.2　數(shù)據(jù)流拓撲實例剖析 46
3.4　小結(jié) 50
3.5　本章問題 50
第4章　分布式消息隊列Kafka 51
4.1　概述 51
4.1.1　Kafka設(shè)計動機 51
4.1.2　Kafka特點 53
4.2　Kafka設(shè)計架構(gòu) 53
4.2.1　Kafka基本架構(gòu) 54
4.2.2　Kafka各組件詳解 54
4.2.3　Kafka關(guān)鍵技術(shù)點 58
4.3　Kafka程序設(shè)計 60
4.3.1　Producer程序設(shè)計 61
4.3.2　Consumer程序設(shè)計 63
4.3.3　開源Producer與Consumer實現(xiàn) 65
4.4　Kafka典型應(yīng)用場景 65
4.5　小結(jié) 67
4.6　本章問題 67
第三部分　數(shù)據(jù)存儲篇
第5章　數(shù)據(jù)序列化與文件存儲格式 70
5.1　數(shù)據(jù)序列化的意義 70
5.2　數(shù)據(jù)序列化方案 72
5.2.1　序列化框架Thrift 72
5.2.2　序列化框架Protobuf 74
5.2.3　序列化框架Avro 76
5.2.4　序列化框架對比 78
5.3　文件存儲格式剖析 79
5.3.1　行存儲與列存儲 79
5.3.2　行式存儲格式 80
5.3.3　列式存儲格式ORC、Parquet與CarbonData 82
5.4　小結(jié) 88
5.5　本章問題 89
第6章　分布式文件系統(tǒng) 90
6.1　背景 90
6.2　文件級別和塊級別的分布式文件系統(tǒng) 91
6.2.1　文件級別的分布式系統(tǒng) 91
6.2.2　塊級別的分布式系統(tǒng) 92
6.3　HDFS基本架構(gòu) 93
6.4　HDFS關(guān)鍵技術(shù) 94
6.4.1　容錯性設(shè)計 95
6.4.2　副本放置策略 95
6.4.3　異構(gòu)存儲介質(zhì) 96
6.4.4　集中式緩存管理 97
6.5　HDFS訪問方式 98
6.5.1　HDFS shell 98
6.5.2　HDFS API 100
6.5.3　數(shù)據(jù)收集組件 101
6.5.4　計算引擎 102
6.6　小結(jié) 102
6.7　本章問題 103
第7章　分布式結(jié)構(gòu)化存儲系統(tǒng) 104
7.1　背景 104
7.2　HBase數(shù)據(jù)模型 105
7.2.1　邏輯數(shù)據(jù)模型 105
7.2.2　物理數(shù)據(jù)存儲 107
7.3　HBase基本架構(gòu) 108
7.3.1　HBase基本架構(gòu) 108
7.3.2　HBase內(nèi)部原理 110
7.4　HBase訪問方式 114
7.4.1　HBase shell 114
7.4.2　HBase API 116
7.4.3　數(shù)據(jù)收集組件 118
7.4.4　計算引擎 119
7.4.5　Apache Phoenix 119
7.5　HBase應(yīng)用案例 120
7.5.1　社交關(guān)系數(shù)據(jù)存儲 120
7.5.2　時間序列數(shù)據(jù)庫OpenTSDB 122
7.6　分布式列式存儲系統(tǒng)Kudu 125
7.6.1　Kudu基本特點 125
7.6.2　Kudu數(shù)據(jù)模型與架構(gòu) 126
7.6.3　HBase與Kudu對比 126
7.7　小結(jié) 127
7.8　本章問題 127
第四部分　分布式協(xié)調(diào)與資源管理篇
第8章　分布式協(xié)調(diào)服務(wù)ZooKeeper 130
8.1　分布式協(xié)調(diào)服務(wù)的存在意義 130
8.1.1　leader選舉 130
8.1.2　負載均衡 131
8.2　ZooKeeper數(shù)據(jù)模型 132
8.3　ZooKeeper基本架構(gòu) 133
8.4　ZooKeeper程序設(shè)計 134
8.4.1　ZooKeeper API 135
8.4.2　Apache Curator 139
8.5　ZooKeeper應(yīng)用案例 142
8.5.1　leader選舉 142
8.5.2　分布式隊列 143
8.5.3　負載均衡 143
8.6　小結(jié) 144
8.7　本章問題 145
第9章　資源管理與調(diào)度系統(tǒng)YARN 146
9.1　YARN產(chǎn)生背景 146
9.1.1　MRv1局限性 146
9.1.2　YARN設(shè)計動機 147
9.2　YARN設(shè)計思想 148
9.3　YARN的基本架構(gòu)與原理 149
9.3.1　YARN基本架構(gòu) 149
9.3.2　YARN高可用 152
9.3.3　YARN工作流程 153
9.4　YARN資源調(diào)度器 155
9.4.1　層級隊列管理機制 155
9.4.2　多租戶資源調(diào)度器產(chǎn)生背景 156
9.4.3　Capacity/Fair Scheduler 157
9.4.4　基于節(jié)點標簽的調(diào)度 160
9.4.5　資源搶占