企業(yè)級數(shù)據架構：核心要素、架構模型、數(shù)據管理與平臺搭建

定　價：￥99.00

作　者：	李楊
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網 (￥74.20)

ISBN：	9787111746829	出版時間：	2024-03-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內容簡介

　　這是一本能指導企業(yè)在數(shù)字化轉型和數(shù)據要素時代通過數(shù)據架構用好數(shù)據、管好數(shù)據、充分發(fā)揮數(shù)據價值的著作。從0到1講解了數(shù)據架構的技術棧、方法論與落地實踐，揭示了數(shù)據架構的底層邏輯，總結了數(shù)據架構的核心要素和架構模型，闡述了數(shù)據治理、數(shù)據資產管理以及數(shù)據平臺的搭建等全方位的內容，是作者10余年數(shù)據工作經驗的總結。本書主要分為五部分：第一部分：架構基礎，對企業(yè)架構的組成要素以及流行的企業(yè)架構框架進行了總覽性質的介紹，數(shù)據架構是重點；第二部分：數(shù)據架構基礎，詳細講解了數(shù)據架構的組成、數(shù)據存儲、數(shù)據調度與消息傳輸、Lambda架構和Kappa架構以及數(shù)據架構的輔助資源組件；第三部分：數(shù)據架構模型，首先介紹了企業(yè)內部數(shù)據區(qū)的劃分與內部數(shù)據的流向，然后講解了數(shù)據模型的建模策略、步驟和方法，以及維度建模的詳細內容；第四部分：數(shù)據管理，講解了數(shù)據架構的核心內容，包括元數(shù)據管理、數(shù)據質量管理、數(shù)據標準管理、數(shù)據治理和數(shù)據資產管理等的方法和實踐；第五部分：數(shù)據架構實踐，通過離線計算和實時計算兩大場景中的綜合案例，對前面的內容進行了融合，手把手教讀者進行數(shù)據架構實踐。本書內容通俗易懂，注重實踐，不僅濃縮了作者在日常工作中的思考、解決問題的思路，還融入了該領域優(yōu)秀同行的經驗和實踐，相信對讀者會有一些幫助。

作者簡介

　　李楊資深數(shù)據架構師，在數(shù)據相關領域有10年以上工作經驗。頭部保險資管公司科技平臺交易系統(tǒng)團隊開發(fā)組負責人，負責多個應用以及數(shù)據平臺的建設、優(yōu)化以及遷移工作。曾擔任某數(shù)據公司技術合伙人，負責多個金融機構的數(shù)據倉庫或數(shù)據平臺相關的工作。在數(shù)據質量管理、數(shù)據治理等領域有著非常深厚的積累，熟悉不同行業(yè)的數(shù)字化轉型。此外，他還是一名經驗豐富的應用工程師，對大數(shù)據、數(shù)據庫以及主流的技術棧有著非常深入的了解。2022年被集團評為“優(yōu)秀架構師”，積極參與行業(yè)內部的相關課題研究，是《保險問道之保險資管數(shù)字化探索》一書的執(zhí)筆人之一，是中資協(xié)《金融科技賦能保險資管風險管控的研究》課題核心組成員之一。

圖書目錄

序
自序
前言
第一部分　架構基礎
第1章　企業(yè)架構概述 3
1.1　企業(yè)架構 4
1.2　Zachman框架 4
1.2.1　Zachman框架的維度 4
1.2.2　Zachman框架的特點 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架構過程 7
1.3.2　框架核心：ADM 8
1.4　業(yè)務架構 9
1.4.1　業(yè)務架構的價值 9
1.4.2　業(yè)務架構的關鍵點 10
1.5　數(shù)據架構 11
1.5.1　數(shù)據架構設計 12
1.5.2　數(shù)據架構核心組成 12
1.6　總結 13
第二部分數(shù)據架構基礎
第2章　數(shù)據架構構成 18
2.1　數(shù)據模型 18
2.2　元數(shù)據 19
2.3　數(shù)據質量 20
2.4　數(shù)據標準 21
2.5　數(shù)據治理 21
2.6　數(shù)據資產 22
2.6.1　數(shù)據管理 22
2.6.2　數(shù)據倉庫 22
2.6.3　數(shù)據湖 23
2.6.4　數(shù)據資產內涵 23
2.7　數(shù)據生命周期 24
2.7.1　數(shù)據創(chuàng)建 25
2.7.2　數(shù)據使用 25
2.7.3　數(shù)據歸檔 26
2.7.4　數(shù)據銷毀 26
2.8　數(shù)據分布 27
2.8.1　數(shù)據存儲 27
2.8.2　數(shù)據訪問 27
2.9　常見數(shù)據架構技術選型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　數(shù)據調度 30
2.11　總結 30
第3章　數(shù)據存儲 31
3.1　數(shù)據存儲基礎 32
3.1.1　計算機組成基礎結構 32
3.1.2　數(shù)據存儲核心概念 35
3.1.3　OLTP與OLAP場景 37
3.2　集中式數(shù)據庫 38
3.2.1　常見關系型數(shù)據庫 38
3.2.2　分庫分表 39
3.3　分布式數(shù)據庫 40
3.3.1　大規(guī)模并行處理技術 40
3.3.2　分布式事務 41
3.4　大數(shù)據存儲 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定領域存儲 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　實時計算階段 49
3.7　總結 49
第4章　數(shù)據調度與消息傳輸 50
4.1　通用技術選型 50
4.2　Airflow調度平臺 52
4.2.1　Airflow基礎概念 52
4.2.2　Airflow架構 54
4.2.3　Airflow與其他調度平臺對比 55
4.3　DataX數(shù)據同步工具 56
4.3.1　DataX基礎概念 56
4.3.2　DataX數(shù)據同步 57
4.3.3　DataX優(yōu)化 59
4.3.4　DataX與其他數(shù)據同步工具對比 60
4.4　Kafka消息中間件 62
4.4.1　Kafka基礎概念 62
4.4.2　Kafka架構概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka與其他中間件對比 67
4.5　總結 68
第5章　Lambda架構與Kappa架構 69
5.1　架構演進 69
5.1.1　傳統(tǒng)數(shù)據倉庫架構 70
5.1.2　傳統(tǒng)大數(shù)據架構 71
5.1.3　流式計算架構 72
5.1.4　Lambda架構 73
5.1.5　Kappa架構 74
5.2　Lambda架構詳解 75
5.2.1　架構解析 76
5.2.2　核心組件 78
5.2.3　數(shù)據流向 81
5.3　Kappa架構詳解 82
5.3.1　架構解析 82
5.3.2　核心組件 85
5.3.3　數(shù)據流向 87
5.4　Lambda與Kappa對比 87
5.5　流批一體化 89
5.6　總結 90
第6章　輔助類應用體系介紹 91
6.1　資源管理 91
6.1.1　開源堡壘機JumpServer 92
6.1.2　部署與負載均衡 92
6.1.3　核心概念 94
6.1.4　最佳實踐 95
6.2　資源及組件監(jiān)控 95
6.2.1　開源監(jiān)控系統(tǒng)Prometheus 96
6.2.2　可視化系統(tǒng)Grafana 98
6.2.3　告警模塊AlertManager 100
6.2.4　小結 101
6.3　應用監(jiān)控 102
6.3.1　應用鏈路監(jiān)控Pinpoint 102
6.3.2　原理與組件介紹 103
6.3.3　最佳實踐 104
6.3.4　小結 106
6.4　日志監(jiān)控 107
6.4.1　ELK 107
6.4.2　直連式日志收集架構 107
6.4.3　高并發(fā)日志收集架構 108
6.5　總結 109
第三部分數(shù)據架構模型實踐
第7章　企業(yè)數(shù)據區(qū)與數(shù)據流向 113
7.1　數(shù)據區(qū)概述 113
7.2　數(shù)據區(qū)詳解 115
7.2.1　操作型數(shù)據區(qū) 115
7.2.2　集成型數(shù)據區(qū) 116
7.2.3　分析型數(shù)據區(qū) 117
7.2.4　歷史數(shù)據區(qū) 118
7.3　企業(yè)數(shù)據流向 119
7.3.1　操作型數(shù)據區(qū)數(shù)據流向 119
7.3.2　集成型數(shù)據區(qū)數(shù)據流向 120
7.3.3　分析型數(shù)據區(qū)數(shù)據流向 121
7.3.4　歷史數(shù)據區(qū)數(shù)據流向 122
7.4　企業(yè)數(shù)據分層 123
7.5　企業(yè)集成型數(shù)據區(qū)層級 124
7.5.1　數(shù)據緩沖層 125
7.5.2　數(shù)據貼源層 126
7.5.3　標準模型層 127
7.5.4　整合模型層 127
7.5.5　數(shù)據集市層 128
7.6　互聯(lián)網公司的集成型數(shù)據區(qū)分層特點 129
7.7　總結 130
第8章　數(shù)據模型架構詳解 131
8.1　為什么要建模 132
8.2　建模策略 134
8.2.1　數(shù)據緩沖層建模策略 135
8.2.2　數(shù)據貼源層建模策略 135
8.2.3　標準模型層建模策略 136