云原生數(shù)據(jù)倉庫：原理與實(shí)踐

定　價(jià)：￥118.00

作　者：	李飛飛，周烜，楊程程，林亮，王遠(yuǎn)
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥93.20)

ISBN：	9787121494536	出版時(shí)間：	2024-12-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　本書深入地探討云原生數(shù)據(jù)倉庫的理論知識與技術(shù)實(shí)踐，涵蓋數(shù)據(jù)倉庫的發(fā)展歷程、大數(shù)據(jù)處理技術(shù)、云原生數(shù)據(jù)倉庫的概念與特點(diǎn)，以及云計(jì)算時(shí)代的數(shù)據(jù)倉庫技術(shù)。書中詳細(xì)介紹云原生數(shù)據(jù)倉庫的架構(gòu)設(shè)計(jì)，計(jì)算引擎、優(yōu)化器、存儲的關(guān)鍵技術(shù)，以及資源管理與調(diào)度等知識。同時(shí)，本書結(jié)合Redshift、Snowflake、BigQuery等典型的云原生數(shù)據(jù)倉庫，以及AnalyticDB等具有代表性的國產(chǎn)數(shù)據(jù)倉庫，介紹大量的實(shí)踐案例。此外，書中針對云原生數(shù)據(jù)倉庫的資源調(diào)度、查詢優(yōu)化、運(yùn)維管理等方面進(jìn)行深入的剖析，提供大量的最佳實(shí)踐和應(yīng)用場景。

作者簡介

　　李飛飛阿里云智能高級副總裁、阿里云數(shù)據(jù)庫產(chǎn)品事業(yè)部負(fù)責(zé)人，ACM、CCF和IEEE會士（Fellow）。曾獲ACM與IEEE多項(xiàng)大獎(jiǎng)，世界互聯(lián)網(wǎng)大會2019全球領(lǐng)先科技成果獎(jiǎng)，浙江省科技進(jìn)步一等獎(jiǎng)，中國電子學(xué)會科技進(jìn)步一等獎(jiǎng)等。帶領(lǐng)團(tuán)隊(duì)研發(fā)了阿里云企業(yè)級云原生數(shù)據(jù)庫系統(tǒng)PolarDB，云原生數(shù)據(jù)倉庫AnalyticDB，云原生多模數(shù)據(jù)庫Lindorm，以及云數(shù)據(jù)庫RDS，連續(xù)進(jìn)入Gartner全球云數(shù)據(jù)庫市場Cloud DBMS領(lǐng)導(dǎo)者象限。中國計(jì)算機(jī)學(xué)會（CCF）大數(shù)據(jù)專家委員會常委，數(shù)據(jù)庫專業(yè)委員會常委。周烜華東師范大學(xué)特聘教授，數(shù)據(jù)科學(xué)與工程學(xué)院副院長，國家級領(lǐng)軍人才。2005年在新加坡國立大學(xué)取得博士學(xué)位，先后在德國 L3S 研究中心、澳大利亞聯(lián)邦科工組織、中國人民大學(xué)任職，2017年加入華東師范大學(xué)。他的研究興趣包括數(shù)據(jù)庫系統(tǒng)和信息檢索技術(shù)，曾負(fù)責(zé)多個(gè)國內(nèi)外的科研項(xiàng)目和工業(yè)合作項(xiàng)目，開發(fā)各種數(shù)據(jù)管理系統(tǒng)。獲2019年國家科技進(jìn)步二等獎(jiǎng)和2022年國家級教學(xué)成果二等獎(jiǎng)。..胡卉芪華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院副教授。主要從事數(shù)據(jù)庫系統(tǒng)與分布式系統(tǒng)方面的研究。曾獲國家科學(xué)技術(shù)進(jìn)步獎(jiǎng)、教*育*部科技進(jìn)步獎(jiǎng)（主要參與人）等獎(jiǎng)項(xiàng)。長期參與數(shù)據(jù)科學(xué)與工程學(xué)科建設(shè)，多年來專注于數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)庫內(nèi)核原理與數(shù)據(jù)等相關(guān)課程的教學(xué)與學(xué)生培養(yǎng)工作。楊程程華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院研究員，分別于2012和2017年獲得中國科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院學(xué)士和博士學(xué)位。先后任職于上海華為、阿聯(lián)酋起源人工智能研究院以及沙特阿卜杜拉國王科技大學(xué)。在SIGMOD、VLDB、ICDE、ISSTA、VLDB Journal、TKDE等領(lǐng)域內(nèi)頂級學(xué)術(shù)會議和期刊發(fā)表論文20余篇，并獲得NPC 2014最佳論文獎(jiǎng)。先后承擔(dān)了國家自然科學(xué)基金青年基金、上海市浦江人才計(jì)劃、教*育*部產(chǎn)學(xué)研協(xié)同育人以及多項(xiàng)與企業(yè)的合作項(xiàng)目，參與了多項(xiàng)國家自然科學(xué)基金重點(diǎn)項(xiàng)目、面上項(xiàng)目。研究興趣包括面向新型存儲的數(shù)據(jù)管理、數(shù)據(jù)庫和人工智能融合、數(shù)據(jù)清理等。林亮阿里巴巴阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部研究員，主要從事云原生數(shù)據(jù)系統(tǒng)與分布式系統(tǒng)方面的研發(fā)，負(fù)責(zé)阿里云自研云原生數(shù)據(jù)倉庫AnalyticDB的研發(fā)工作，曾在SIGMOD、VLDB等國際頂級會議發(fā)表多篇學(xué)術(shù)論文，獲得浙江省科技進(jìn)步一等獎(jiǎng)。王遠(yuǎn)現(xiàn)任阿里云數(shù)據(jù)庫產(chǎn)品管理與技術(shù)架構(gòu)部負(fù)責(zé)人、開源PolarDB技術(shù)委員會主席，于2002年和2007年在南京大學(xué)計(jì)算機(jī)系先后獲得學(xué)士與博士學(xué)位。在互聯(lián)網(wǎng)、電力、能源、公安等行業(yè)從事大數(shù)據(jù)平臺的研發(fā)工作，多次獲得省部級科技進(jìn)步獎(jiǎng)及國家級榮譽(yù)稱號。目前主要研究方向?yàn)樵圃鷶?shù)據(jù)庫、實(shí)時(shí)數(shù)倉、大數(shù)據(jù)與數(shù)據(jù)湖技術(shù)以及一體化數(shù)據(jù)方案，主導(dǎo)了阿里云瑤池?cái)?shù)據(jù)庫全產(chǎn)品體系設(shè)計(jì)以及核心云數(shù)據(jù)庫產(chǎn)品的規(guī)劃、設(shè)計(jì)及規(guī)模化應(yīng)用工作（包括PolarDB、AnalyticDB、Lindorm、DMS等），目前瑤池?cái)?shù)據(jù)庫服務(wù)了云上數(shù)十萬企業(yè)級用戶。

圖書目錄

第1章數(shù)據(jù)倉庫與大數(shù)據(jù)處理技術(shù)概述/1
1.1 數(shù)據(jù)倉庫發(fā)展概述 /2
1.1.1 萌芽：OLTP 數(shù)據(jù)庫與數(shù)據(jù)倉庫概念的提出 /2
1.1.2 發(fā)展：聯(lián)機(jī)分析處理與信息倉庫集成理論 /6
1.1.3 成熟：商用數(shù)據(jù)倉庫與數(shù)據(jù)倉庫建模理論 /13
1.2 大數(shù)據(jù)處理技術(shù)與數(shù)據(jù)倉庫/20
1.2.1 大數(shù)據(jù)處理技術(shù)的起源 /21
1.2.2 分布式技術(shù) /22
1.2.3 經(jīng)典大數(shù)據(jù)處理架構(gòu) /28
1.2.4 湖倉一體 /29
1.3 數(shù)據(jù)倉庫發(fā)展趨勢 /31
1.3.1 云原生與分布式 /31
1.3.2 大數(shù)據(jù)與數(shù)據(jù)庫一體化 /33
1.3.3 彈性與Serverless 擴(kuò)容計(jì)費(fèi) /34
1.3.4 智能化 /36
1.3.5 數(shù)據(jù)共享與安全可信 /37
第2章數(shù)據(jù)倉庫與云計(jì)算/39
2.1 云計(jì)算時(shí)代數(shù)據(jù)倉庫的發(fā)展 /40
2.1.1 基礎(chǔ)設(shè)施服務(wù)化 /40
2.1.2 數(shù)據(jù)倉庫服務(wù)化 /43
2.2 云計(jì)算時(shí)代數(shù)據(jù)倉庫技術(shù)的機(jī)遇與挑戰(zhàn) /45
2.2.1 高彈性和平臺成本之間的權(quán)衡 /45
2.2.2 穩(wěn)定性挑戰(zhàn) /46
2.2.3 計(jì)算存儲帶寬瓶頸 /47
2.2.4 安全的挑戰(zhàn) /47
2.3 云原生數(shù)據(jù)倉庫的技術(shù)特點(diǎn) /48
2.3.1 存算分離與資源池化 /48
2.3.2 超融合基礎(chǔ)架構(gòu) /49
2.3.3 高可用 /49
2.3.4 自服務(wù) /49
2.3.5 分層架構(gòu)與彈性擴(kuò)展 /50
2.3.6 數(shù)據(jù)實(shí)時(shí)性與多級一致性 /50
2.3.7 數(shù)據(jù)開放性與共享 /51
2.3.8 計(jì)算多樣性 /51
第3章云原生數(shù)據(jù)倉庫架構(gòu)/53
3.1 設(shè)計(jì)理念/54
3.1.1 充分利用云資源 /54
3.1.2 縱向解耦與橫向彈性 /54
3.1.3 一體化數(shù)據(jù)處理 /55
3.2 參考架構(gòu)/56
3.3 典型云原生數(shù)據(jù)倉庫/ 58
3.3.1 Redshift / 58
3.3.2 Snowflake / 63
3.3.3 BigQuery / 69
3.3.4 Databricks / 72
3.3.5 AnalyticDB / 74
3.4 云原生數(shù)據(jù)倉庫比較/77
3.4.1 存算分離 /77
3.4.2 彈性能力與可擴(kuò)展性 /77
3.4.3 Serverless 支持 / 78
3.4.4 計(jì)算模型 /78
3.4.5 ACID 語義 /78
3.4.6 生態(tài)兼容 /79
第4章計(jì)算引擎關(guān)鍵技術(shù)/80
4.1 執(zhí)行模型/ 81
4.1.1 迭代模型 /81
4.1.2 物化模型 /82
4.1.3 批處理模型 /83
4.2 單機(jī)執(zhí)行模型/ 84
4.2.1 執(zhí)行模型 /84
4.2.2 典型執(zhí)行算子 /85
4.2.3 執(zhí)行算子優(yōu)化 /87
4.3 分布式執(zhí)行框架/ 91
4.3.1 MPP 架構(gòu) / 91
4.3.2 BSP /94
4.4 典型交互模式/ 98
4.4.1 批處理 / 99
4.4.2 交互式 /101
4.4.3 實(shí)時(shí)檢索 /102
4.4.4 機(jī)器學(xué)習(xí) /103
4.5 AnalyticDB計(jì)算引擎實(shí)踐/104
4.5.1 AnalyticDB 的執(zhí)行模型 /105
4.5.2 AnalyticDB 的計(jì)算資源調(diào)度 /111
4.5.3 AnalyticDB 混合負(fù)載管理 /117
第5章優(yōu)化器關(guān)鍵技術(shù)/123
5.1 優(yōu)化技術(shù)分類/124
5.2 成熟優(yōu)化器模型/125
5.2.1 分層搜索 /125
5.2.2 統(tǒng)一搜索 /126
5.3 深入CBO/133
5.3.1 代價(jià)模型與參數(shù)估計(jì) /133
5.3.2 動態(tài)抽樣 /140
5.3.3 查詢重優(yōu)化 /143
5.4 AnalyticDB優(yōu)化器實(shí)踐/150
5.4.1 主體框架 /150
5.4.2 統(tǒng)計(jì)信息管理 /152
5.4.3 湖倉一體優(yōu)化器 /157
第6章數(shù)據(jù)倉庫存儲關(guān)鍵技術(shù)/158
6.1 湖倉架構(gòu)/159
6.1.1 Azure、AWS 和Open Data Lakehouse / 160
6.1.2 Hudi、IceBerg 和Delta Lake /165
6.2 數(shù)據(jù)倉庫存儲架構(gòu)/172
6.2.1 單機(jī)存儲架構(gòu) /172
6.2.2 分布式共享存儲 /173
6.3 典型存儲格式/175
6.3.1 行存儲 /176
6.3.2 列存儲 /177
6.3.3 行列混合存儲 /178
6.4 關(guān)鍵數(shù)據(jù)結(jié)構(gòu)、索引與壓縮技術(shù)/ 180
6.4.1 數(shù)據(jù)結(jié)構(gòu) /180
6.4.2 索引實(shí)現(xiàn) /186
6.4.3 典型壓縮算法 /197
6.5 數(shù)據(jù)分區(qū)技術(shù)/204
6.5.1 哈希分區(qū) /205
6.5.2 Range 分區(qū) / 206
6.5.3 其他數(shù)據(jù)分布模式 /207
6.5.4 數(shù)據(jù)冷熱分層及生命周期管理 /208
6.6 數(shù)據(jù)一致性和可用性/209
6.6.1 數(shù)據(jù)一致性概念與分級 /210
6.6.2 二階段提交 /212
6.6.3 多版本并發(fā)控制 /213
6.6.4 分布式一致性協(xié)議 /215
6.6.5 數(shù)據(jù)可用性 /219
6.6.6 數(shù)據(jù)實(shí)時(shí)性 /220
6.6.7 備份恢復(fù) /221
第7章資源管理與調(diào)度/223
7.1 云上資源調(diào)度的挑戰(zhàn)與機(jī)遇/224
7.1.1 Serverless 的服務(wù)級別協(xié)議 / 224
7.1.2 多租戶系統(tǒng) /224
7.1.3 預(yù)測模型 /225
7.2 典型資源調(diào)度框架/225
7.2.1 Yarn/Yarn2 /225
7.2.2 Mesos /229
7.2.3 Kubernetes /232
7.3 AnalyticDB資源調(diào)度實(shí)踐/238
7.3.1 云庫存調(diào)度 / 238
7.3.2 資源利用率 /240
7.3.3 按需彈性 /245
第8章 AnalyticDB云上應(yīng)用實(shí)踐/247
8.1 實(shí)例創(chuàng)建/248
8.2 數(shù)據(jù)接入/250
8.2.1 Serverless 的服務(wù)級別協(xié)議 / 250
8.2.2 數(shù)據(jù)導(dǎo)入方式介紹 /250
8.2.3 數(shù)據(jù)導(dǎo)入性能優(yōu)化 /254
8.3 數(shù)據(jù)類型和基本操作/257
8.3.1 數(shù)據(jù)類型 / 257
8.3.2 系統(tǒng)函數(shù) /257
8.3.3 物化視圖 /258
8.3.4 全文檢索 / 259
8.3.5 DDL /262
8.3.6 DML /263
8.3.7 DQL /263
8.3.8 DCL / 264
8.3.9 元數(shù)據(jù)庫數(shù)據(jù)字典 /264
8.4 查詢優(yōu)化/264
8.4.1 智能診斷與調(diào)優(yōu) / 264
8.4.2 調(diào)優(yōu)查詢 /270
8.5 運(yùn)維管理/276
8.5.1 工作負(fù)載管理 /276
8.5.2 監(jiān)控與報(bào)警 /277
8.5.3 安全管理 /277
8.5.4 備份與恢復(fù) /279
8.5.5 變配與擴(kuò)容 / 279
8.5.6 維護(hù)時(shí)間與運(yùn)維事件 /281
8.5.7 數(shù)據(jù)資產(chǎn)管理 /282
8.5.8 標(biāo)簽管理 / 283
8.6 最佳實(shí)踐/283
8.6.1 數(shù)據(jù)資產(chǎn)管理 /283
8.6.2 數(shù)據(jù)變更最佳實(shí)踐 /286
8.6.3 數(shù)據(jù)查詢最佳實(shí)踐 /287
8.6.4 負(fù)載管理最佳實(shí)踐 /287
8.7 典型應(yīng)用場景/290
8.7.1 實(shí)時(shí)數(shù)據(jù)倉庫 / 290
8.7.2 精準(zhǔn)營銷 /290
8.7.3 商業(yè)智能報(bào)表 /290
8.7.4 多源聯(lián)合分析 /291
8.7.5 交互式查詢 /291
參考文獻(xiàn)/292