云數(shù)據(jù)湖：構(gòu)建健壯的云數(shù)據(jù)架構(gòu)

目錄
前言1
第1章 大數(shù)據(jù)—超越喧囂9
1.1 什么是大數(shù)據(jù)10
1.2 彈性數(shù)據(jù)基礎設施的挑戰(zhàn)14
1.3 云計算基礎15
1.3.1 云計算術語16
1.3.2 云的價值主張17
1.4 云數(shù)據(jù)湖架構(gòu)19
1.4.1 本地數(shù)據(jù)倉庫解決方案的限制20
1.4.2 什么是云數(shù)據(jù)湖架構(gòu)21
1.4.3 云數(shù)據(jù)湖架構(gòu)的優(yōu)勢21
1.5 開啟云數(shù)據(jù)湖之旅23
1.6 總結(jié)26
第2章 云上的大數(shù)據(jù)架構(gòu)27
2.1 為什么Klodars公司要遷移到云27
2.2 云數(shù)據(jù)湖架構(gòu)基礎28
2.2.1 淺談數(shù)據(jù)的多樣性29
2.2.2 云數(shù)據(jù)湖存儲31
2.2.3 大數(shù)據(jù)分析引擎33
2.2.4 云數(shù)據(jù)倉庫39
2.3 現(xiàn)代數(shù)據(jù)倉庫架構(gòu)41
2.3.1 參考架構(gòu)41
2.3.2 現(xiàn)代數(shù)據(jù)倉庫架構(gòu)的用例43
2.3.3 現(xiàn)代數(shù)據(jù)倉庫架構(gòu)的優(yōu)勢和挑戰(zhàn)45
2.4 數(shù)據(jù)湖倉一體架構(gòu)45
2.4.1 參考架構(gòu)46
2.4.2 數(shù)據(jù)湖倉一體架構(gòu)的用例52
2.4.3 數(shù)據(jù)湖倉一體架構(gòu)的優(yōu)勢和挑戰(zhàn)54
2.4.4 數(shù)據(jù)倉庫和非結(jié)構(gòu)化數(shù)據(jù)56
2.5 數(shù)據(jù)網(wǎng)格56
2.5.1 參考架構(gòu)57
2.5.2 數(shù)據(jù)網(wǎng)格架構(gòu)的用例59
2.5.3 數(shù)據(jù)網(wǎng)格架構(gòu)的優(yōu)勢和挑戰(zhàn)59
2.6 什么是適合的架構(gòu)60
2.6.1 了解客戶60
2.6.2 了解業(yè)務驅(qū)動因素61
2.6.3 考慮增長和未來場景62
2.6.4 設計注意事項62
2.6.5 混合方法64
2.7 總結(jié)64
第3章 數(shù)據(jù)湖的設計注意事項66
3.1 設置云數(shù)據(jù)湖基礎設施66
3.1.1 確定目標67
3.1.2 規(guī)劃架構(gòu)和可交付成果70
3.1.3 云數(shù)據(jù)湖實施74
3.1.4 發(fā)布和運行75
3.2 在數(shù)據(jù)湖中組織數(shù)據(jù)75
3.2.1 數(shù)據(jù)生命中的一天75
3.2.2 數(shù)據(jù)湖區(qū)76
3.2.3 組織機制79
3.3 數(shù)據(jù)治理簡介80
3.3.1 數(shù)據(jù)治理的參與者81
3.3.2 數(shù)據(jù)分類83
3.3.3 元數(shù)據(jù)管理、數(shù)據(jù)目錄和數(shù)據(jù)共享84
3.3.4 數(shù)據(jù)訪問管理85
3.3.5 數(shù)據(jù)質(zhì)量和可觀測性86
3.3.6 Klodars公司的數(shù)據(jù)治理89
3.3.7 數(shù)據(jù)治理總結(jié)90
3.4 管理數(shù)據(jù)湖成本91
3.4.1 揭秘云上的數(shù)據(jù)湖成本92
3.4.2 數(shù)據(jù)湖成本策略94
3.5 總結(jié)96
第4章 可擴展的數(shù)據(jù)湖97
4.1 可擴展性探秘97
4.1.1 什么是可擴展性98
4.1.2 日常生活中的規(guī)模98
4.1.3 數(shù)據(jù)湖架構(gòu)中的可擴展性101
4.2 數(shù)據(jù)湖處理系統(tǒng)的內(nèi)部104
4.2.1 內(nèi)部數(shù)據(jù)復制105
4.2.2 內(nèi)部ELT/ETL處理107
4.2.3 關于其他交互式查詢的說明110
4.3 可擴展數(shù)據(jù)湖解決方案的注意事項110
4.3.1 選擇合適的云產(chǎn)品111
4.3.2 峰值容量規(guī)劃114
4.3.3 數(shù)據(jù)格式和作業(yè)配置文件116
4.4 總結(jié)117
第5章 優(yōu)化云數(shù)據(jù)湖架構(gòu)以提高性能118
5.1 度量性能的基礎知識118
5.1.1 性能的目標和指標120
5.1.2 度量性能121
5.1.3 優(yōu)化以提高性能122
5.2 云數(shù)據(jù)湖性能124
5.2.1 SLA、SLO和SLI124
5.2.2 示例：Klodars公司如何管理其SLA、SLO和SLI125
5.3 性能驅(qū)動因素126
5.3.1 復制作業(yè)的性能驅(qū)動因素127
5.3.2 Spark作業(yè)的性能驅(qū)動因素129
5.4 性能調(diào)優(yōu)的優(yōu)化原則和技術132
5.4.1 數(shù)據(jù)格式132
5.4.2 數(shù)據(jù)組織和分區(qū)138
5.4.3 在Apache Spark上選擇正確的配置140
5.5 減少數(shù)據(jù)傳輸開銷142
5.6 優(yōu)質(zhì)產(chǎn)品和性能143
5.6.1 大型虛擬機案例144
5.6.2 閃存案例144
5.7 總結(jié)145
第6章 深入了解數(shù)據(jù)格式146
6.1 為什么我們需要這些開放數(shù)據(jù)格式146
6.1.1 為什么我們需要存儲表格數(shù)據(jù)147
6.1.2 為什么在云數(shù)據(jù)湖中存儲表格數(shù)據(jù)是一個問題148
6.2 Delta Lake149
6.2.1 為什么開發(fā)Delta Lake149
6.2.2 Delta Lake如何工作152
6.2.3 什么時候使用Delta Lake153
6.3 Apache Iceberg154
6.3.1 為什么開發(fā)Apache Iceberg154
6.3.2 Apache Iceberg是如何工作的155
6.3.3 什么時候使用Apache Iceberg157
6.4 Apache Hudi159
6.4.1 為什么孵化Apache Hudi159
6.4.2 Apache Hudi如何工作160
6.4.3 什么時候使用Apache Hudi163
6.5 總結(jié)164
第7章 架構(gòu)的決策框架165
7.1 云數(shù)據(jù)湖評估166
7.2 云數(shù)據(jù)湖評估分析168
7.2.1 從零開始169
7.2.2 將現(xiàn)有數(shù)據(jù)湖或數(shù)據(jù)倉庫遷移到云169
7.2.3 改進現(xiàn)有的云數(shù)據(jù)湖170
7.3 決策框架的第1階段：評估171
7.3.1 了解客戶需求171
7.3.2 了解改進的機會172
7.3.3 了解業(yè)務驅(qū)動因素174
7.3.4 確定需求的優(yōu)先級來完成評估階段175
7.4 決策框架的第2階段：定義176
7.4.1 確定云數(shù)據(jù)湖的設計選擇178
7.4.2 規(guī)劃云數(shù)據(jù)湖項目可交付成果181
7.5 決策框架的第3階段：實施183
7.6 決策框架的第4階段：操作185
7.7 總結(jié)186
第8章 數(shù)據(jù)啟迪未來的六大經(jīng)驗187
8.1 第1課：關注云數(shù)據(jù)湖的工作方式和時間，而不是“如果”和
　　“為什么”188
8.2 第2課：權力越大，責任越大—數(shù)據(jù)也不例外188
8.3 第3課：客戶引領技術，而不是技術引領客戶190
8.4 第4課：改變是不可避免的，所以要做好準備192
8.5 第5課：建立同理心，分清輕重緩急192
8.6 第6課：巨大的影響不會在一夜之間發(fā)生193
8.7 總結(jié)194
附錄 云數(shù)據(jù)湖決策框架模板195