數(shù)據(jù)資源規(guī)劃與管理實(shí)踐

第1篇　數(shù)據(jù)工程基礎(chǔ)
第1章 數(shù)據(jù)工程概述 3
1.1　數(shù)據(jù)工程相關(guān)概念 3
1.1.1　數(shù)據(jù)的定義和生命周期 3
1.1.2　數(shù)據(jù)、信息、知識(shí)和智慧 4
1.1.3　數(shù)據(jù)工程的定義和內(nèi)涵 5
1.2　數(shù)據(jù)工程的體系建設(shè) 6
1.2.1　總體架構(gòu) 6
1.2.2　數(shù)據(jù)工程的體系維 7
1.2.3　數(shù)據(jù)工程的標(biāo)準(zhǔn)維 9
1.2.4　數(shù)據(jù)工程的技術(shù)維 10
1.3　數(shù)據(jù)工程建設(shè)現(xiàn)狀與發(fā)展 11
1.3.1　我國(guó)數(shù)據(jù)工程建設(shè)的現(xiàn)狀與發(fā)展 11
1.3.2　美軍數(shù)據(jù)工程建設(shè)的發(fā)展歷程 14
1.4　小結(jié) 18
習(xí)題 18
第2章 數(shù)據(jù)標(biāo)準(zhǔn) 19
2.1　概述 19
2.1.1　標(biāo)準(zhǔn)和標(biāo)準(zhǔn)化的基本概念 19
2.1.2　數(shù)據(jù)標(biāo)準(zhǔn)化概述 21
2.1.3　數(shù)據(jù)標(biāo)準(zhǔn)體系 22
2.2　元數(shù)據(jù)標(biāo)準(zhǔn)化 24
2.2.1　元數(shù)據(jù)基本概念 24
2.2.2　典型元數(shù)據(jù)標(biāo)準(zhǔn) 27
2.2.3　元數(shù)據(jù)標(biāo)準(zhǔn)的分類與管理 30
2.2.4　元數(shù)據(jù)標(biāo)準(zhǔn)參考框架 32
2.3　數(shù)據(jù)元標(biāo)準(zhǔn)化 35
2.3.1　數(shù)據(jù)元概述 35
2.3.2　數(shù)據(jù)元的基本屬性 39
2.3.3　數(shù)據(jù)元的命名和定義 41
2.3.4　數(shù)據(jù)元的表示格式和值域 43
2.3.5　數(shù)據(jù)元間的關(guān)系 46
2.4　數(shù)據(jù)分類與編碼 47
2.4.1　數(shù)據(jù)分類的基本原則和方法 47
2.4.2　數(shù)據(jù)編碼的基本原則和方法 49
2.5　小結(jié) 53
習(xí)題 54
第3章 數(shù)據(jù)模型 55
3.1　數(shù)據(jù)模型基本概念 55
3.1.1　概念模型 55
3.1.2　邏輯模型 56
3.1.3　物理模型 58
3.2　數(shù)據(jù)建模標(biāo)記符號(hào) 59
3.2.1　實(shí)體?聯(lián)系圖標(biāo)記符號(hào) 59
3.2.2　IDEF1x標(biāo)記符號(hào) 60
3.2.3　信息工程標(biāo)記符號(hào) 63
3.2.4　UML數(shù)據(jù)模型標(biāo)記符號(hào) 65
3.2.5　標(biāo)記符號(hào)的補(bǔ)充說(shuō)明 66
3.3　數(shù)據(jù)模型描述方法 67
3.3.1　概念模型描述方法 67
3.3.2　邏輯模型描述方法 68
3.3.3　物理模型描述方法 70
3.3.4　數(shù)據(jù)字典描述方法 70
3.4　小結(jié) 71
習(xí)題 71
第2篇 數(shù)據(jù)資源規(guī)劃
第4章 數(shù)據(jù)資源規(guī)劃理論 75
4.1　數(shù)據(jù)資源規(guī)劃的由來(lái) 75
4.1.1 失敗的案例 75
4.1.2 應(yīng)用積壓嚴(yán)重 76
4.1.3 應(yīng)用開(kāi)發(fā)效率低 76
4.1.4 系統(tǒng)維護(hù)的困難 76
4.2　數(shù)據(jù)資源規(guī)劃的概念和作用 77
4.2.1　數(shù)據(jù)資源規(guī)劃概念的提出 77
4.2.2　數(shù)據(jù)資源規(guī)劃的定義 78
4.2.3　數(shù)據(jù)資源規(guī)劃的核心思想 79
4.2.4　數(shù)據(jù)資源規(guī)劃的作用 79
4.3　數(shù)據(jù)資源規(guī)劃的理論基礎(chǔ) 79
4.3.1　信息生命周期管理理論 80
4.3.2　信息工程和戰(zhàn)略數(shù)據(jù)資源規(guī)劃理論 81
4.3.3　信息資源管理和數(shù)據(jù)資源管理標(biāo)準(zhǔn)化理論 84
4.4　小結(jié) 86
習(xí)題 86
第5章 數(shù)據(jù)資源規(guī)劃方法 87
5.1　基于穩(wěn)定信息過(guò)程的數(shù)據(jù)資源規(guī)劃方法 87
5.1.1　方法概述 87
5.1.2　具體步驟 88
5.2　基于穩(wěn)定信息結(jié)構(gòu)的數(shù)據(jù)資源規(guī)劃方法 92
5.2.1　方法概述 92
5.2.2　具體步驟 92
5.3　基于指標(biāo)能力的數(shù)據(jù)資源規(guī)劃方法 94
5.3.1　方法概述 94
5.3.2　具體步驟 95
5.4　數(shù)據(jù)資源規(guī)劃方法比較 96
5.5　小結(jié) 96
習(xí)題 97
第6章 數(shù)據(jù)資源規(guī)劃的需求分析 98
6.1　需求分析基本概念 98
6.2　需求獲取方法 99
6.2.1　訪談 99
6.2.2　快速原型系統(tǒng)法 99
6.2.3　簡(jiǎn)易的應(yīng)用規(guī)格說(shuō)明技術(shù) 100
6.2.4　數(shù)據(jù)流圖法 101
6.3　需求分析工具——數(shù)據(jù)流圖 102
6.3.1　數(shù)據(jù)流圖的符號(hào) 102
6.3.2　數(shù)據(jù)流圖設(shè)計(jì)步驟 103
6.3.3　數(shù)據(jù)字典 106
6.4　用戶視圖分析技術(shù) 108
6.4.1　用戶視圖概念 108
6.4.2　數(shù)據(jù)結(jié)構(gòu)規(guī)范化 110
6.4.3　用戶視圖整理模式 114
6.5　小結(jié) 116
習(xí)題 116
第7章 數(shù)據(jù)資源規(guī)劃的模型構(gòu)建 118
7.1　數(shù)據(jù)模型構(gòu)建的類型 118
7.1.1 層次模型和網(wǎng)狀模型 118
7.1.2 關(guān)系模型 118
7.1.3 多維數(shù)據(jù)模型 119
7.1.4 DataVault數(shù)據(jù)模型 119
7.1.5 Anchor模型 119
7.1.6 基于本體的數(shù)據(jù)模型 119
7.2　關(guān)系模型構(gòu)建技術(shù) 120
7.2.1　關(guān)系模型的基本概念 120
7.2.2　關(guān)系模型的構(gòu)建步驟 121
7.3　維度模型構(gòu)建技術(shù) 123
7.3.1　維度模型的基本概念 123
7.3.2　維度模型構(gòu)建的基本步驟 123
7.4　基于本體的數(shù)據(jù)模型構(gòu)建技術(shù) 125
7.4.1　本體的基本概念 125
7.4.2　本體的構(gòu)建原則與步驟 126
7.4.3　基于本體的數(shù)據(jù)模型構(gòu)建 127
7.5　小結(jié) 128
習(xí)題 128
第8章 數(shù)據(jù)資源規(guī)劃實(shí)踐和工具 129
8.1　數(shù)據(jù)資源規(guī)劃實(shí)踐案例 129
8.1.1 確定職能域 129
8.1.2 職能域業(yè)務(wù)分析，并確定其業(yè)務(wù)活動(dòng) 129
8.1.3 職能域數(shù)據(jù)分析 132
8.1.4 建立領(lǐng)域的數(shù)據(jù)資源管理基礎(chǔ)標(biāo)準(zhǔn) 134
8.2　數(shù)據(jù)資源規(guī)劃工具IRP 2000 139
8.3　新版數(shù)據(jù)資源規(guī)劃工具 143
8.4　小結(jié) 146
習(xí)題 146
第3篇 數(shù)據(jù)資源管理
第9章 數(shù)據(jù)治理 149
9.1　數(shù)據(jù)治理概述 149
9.1.1　數(shù)據(jù)治理的基本概念 149
9.1.2　相關(guān)概念辨析 150
9.1.3　數(shù)據(jù)治理要素 152
9.2　數(shù)據(jù)治理實(shí)施方法 153
9.2.1　定義業(yè)務(wù)問(wèn)題 153
9.2.2　獲取高層支持 154
9.2.3　評(píng)估成熟度 154
9.2.4　創(chuàng)建路線圖 154
9.2.5　建立組織藍(lán)圖 154
9.2.6　創(chuàng)建數(shù)據(jù)字典 154
9.2.7　理解數(shù)據(jù) 154
9.2.8　創(chuàng)建元數(shù)據(jù)倉(cāng)庫(kù) 155
9.2.9　定義度量標(biāo)準(zhǔn) 155
9.2.10　主數(shù)據(jù)治理 155
9.2.11　治理分析 155
9.2.12　安全與隱私管理 155
9.2.13　信息生命周期管理 156
9.2.14　測(cè)量結(jié)果 156
9.3　大數(shù)據(jù)治理概述 156
9.3.1　大數(shù)據(jù)治理的基本概念 156
9.3.2　大數(shù)據(jù)治理的技術(shù)框架 159
9.4　小結(jié) 168
習(xí)題 168
第10章 數(shù)據(jù)質(zhì)量管理 169
10.1　數(shù)據(jù)質(zhì)量概述 169
10.1.1　數(shù)據(jù)質(zhì)量定義 169
10.1.2　數(shù)據(jù)質(zhì)量問(wèn)題來(lái)源 169
10.1.3　數(shù)據(jù)質(zhì)量問(wèn)題分類 170
10.1.4　數(shù)據(jù)質(zhì)量衡量維度 171
10.2　數(shù)據(jù)清洗 171
10.2.1　數(shù)據(jù)清洗定義 172
10.2.2　數(shù)據(jù)清洗方法 172
10.2.3　缺失數(shù)據(jù)處理 172
10.2.4　重復(fù)數(shù)據(jù)處理 176
10.2.5　異常數(shù)據(jù)處理 181
10.2.6　邏輯錯(cuò)誤數(shù)據(jù)處理 182
10.2.7　數(shù)據(jù)清洗流程 183
10.3　數(shù)據(jù)質(zhì)量工具 185
10.3.1　SAS/DataFlux 公司產(chǎn)品 185
10.3.2　Informatica公司產(chǎn)品 185
10.3.3　IBM公司產(chǎn)品 186
10.3.4　Oracle公司產(chǎn)品 186
10.3.5　Talend公司產(chǎn)品 187
10.3.6　Data Cleaner 187
10.4　小結(jié) 188
習(xí)題 188
第11章 數(shù)據(jù)集成 189
11.1　數(shù)據(jù)集成概述 189
11.1.1 數(shù)據(jù)集成的概念 189
11.1.2 數(shù)據(jù)集成的挑戰(zhàn) 190
11.2　數(shù)據(jù)集成主要方法 191
11.2.1　虛擬視圖方法 191
11.2.2　物化方法 192
11.2.3　混合型集成方法 194
11.3　數(shù)據(jù)集成開(kāi)發(fā)生命周期 194
11.4　數(shù)據(jù)集成技術(shù) 195
11.4.1　ETL技術(shù) 195
11.4.2　實(shí)時(shí)數(shù)據(jù)集成技術(shù) 197
11.4.3　數(shù)據(jù)虛擬化技術(shù) 198
11.5　數(shù)據(jù)集成產(chǎn)品介紹 199
11.5.1　Kettle工具 199
11.5.2　DataX工具 200
11.5.3　Informatica PowerCenter工具 201
11.6　小結(jié) 204
習(xí)題 204
第12章 數(shù)據(jù)中臺(tái) 205
12.1　數(shù)據(jù)中臺(tái)概述 205
12.1.1　數(shù)據(jù)中臺(tái)的概念 206
12.1.2　數(shù)據(jù)中臺(tái)的發(fā)展 206
12.1.3　數(shù)據(jù)中臺(tái)的功能 207
12.2　數(shù)據(jù)中臺(tái)的架構(gòu) 207
12.2.1　數(shù)據(jù)采集與集成 208
12.2.2　數(shù)據(jù)加工 209
12.2.3　數(shù)據(jù)資產(chǎn)體系構(gòu)建 209
12.2.4　數(shù)據(jù)資產(chǎn)管理 210
12.2.5　數(shù)據(jù)服務(wù) 211
12.3　數(shù)據(jù)中臺(tái)的建設(shè) 212
12.3.1　需求調(diào)研 212
12.3.2　需求分析 212
12.3.3　數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì) 212
12.3.4　實(shí)施數(shù)據(jù)中臺(tái)建設(shè) 214
12.3.5　運(yùn)行維護(hù)數(shù)據(jù)中臺(tái) 214
12.4　數(shù)據(jù)中臺(tái)的支撐技術(shù) 214
12.4.1　數(shù)據(jù)采集技術(shù) 214
12.4.2　數(shù)據(jù)存儲(chǔ)技術(shù) 215
12.4.3　數(shù)據(jù)挖掘技術(shù) 216
12.4.4　大數(shù)據(jù)計(jì)算技術(shù) 217
12.4.5　數(shù)據(jù)服務(wù)技術(shù) 217
12.5　典型數(shù)據(jù)中臺(tái)的介紹 218
12.5.1　阿里云上數(shù)據(jù)中臺(tái) 218
12.5.2　網(wǎng)易數(shù)據(jù)中臺(tái) 219
12.6　小結(jié) 220
習(xí)題 220
參考文獻(xiàn) 221