數(shù)據(jù)倉庫與商業(yè)智能寶典：成功設(shè)計、部署和維護DW/BI系統(tǒng)（第2版）

第1章  讀本概覽 1
1.1  抑制住立即開始編碼的沖動 1
1.2  設(shè)置邊界 3
1.3  數(shù)據(jù)爭奪 5
1.4  流言終結(jié)者 7
1.5  劃分數(shù)據(jù)世界 9
1.6  集成式企業(yè)數(shù)據(jù)倉庫的
必要步驟 10
1.6.1  集成式EDW會交付什么 11
1.6.2  集成的終極試金石 11
1.6.3  組織挑戰(zhàn) 12
1.6.4  一致化維度和事實 12
1.6.5  使用總線矩陣與管理層交流 12
1.6.6  管理集成式EDW的主干 13
1.6.7  維度管理器 14
1.6.8  事實提供者 15
1.6.9  配置商業(yè)智能(BI)工具 16
1.6.10  連帶責任 17
1.7  鉆取以尋求原因 17
1.8  漸變維度 19
1.8.1  漸變維度的三種原生類型 20
1.8.2  高級漸變維度 22
1.9  通過維度評價BI工具 22
1.10  事實表 24
1.10.1  忠實于粒度 24
1.10.2  從最低的可能粒度進行
構(gòu)建 25
1.10.3  三類事實表 25
1.11  開發(fā)利用事實表 26
1.11.1  前端：聚合導航 26
1.11.2  前端：鉆取不同的粒度 26
 
1.11.3  前端：將約束暴露給不同的
業(yè)務(wù)過程 26
1.11.4  后端：事實表代理鍵 27
第2章  深入研究之前 29
2.1  Ralph Kimball和施樂帕克
研究中心(Xerox PARC) 29
2.2  數(shù)據(jù)庫市場分化 31
2.3  提出超市概念(Kimball經(jīng)典) 33
2.3.1  危機規(guī)劃 33
2.3.2  具有架構(gòu)的數(shù)據(jù)集市 34
2.3.3  一致化維度的重要性 34
2.3.4  設(shè)計一致化維度 35
2.3.5  做出承諾 36
2.3.6  允許的一致化維度變體 36
2.3.7  建立標準事實定義 36
2.3.8  粒度的重要性 37
2.3.9  更高級別的數(shù)據(jù)集市 38
2.3.10  解決煙囪問題 38
2.3.11  不需要一致化維度的情形 38
2.3.12  清晰視角 39
2.4  數(shù)據(jù)倉庫的全新需求 39
2.5  應對全新需求 42
2.5.1  數(shù)據(jù)集市和維度建模 42
2.5.2  將數(shù)據(jù)集市插入數(shù)據(jù)倉庫
總線架構(gòu)中 44
2.6  挑起事端 46
2.7  設(shè)計約束和不可避免的現(xiàn)實 49
2.7.1  設(shè)計約束 49
2.7.2  不可避免的現(xiàn)實 50
2.7.3  擺脫困境 51
2.8  兩個強有力的觀點 52
2.8.1  分離系統(tǒng) 52
2.8.2  對稱的星型結(jié)構(gòu)和多維
數(shù)據(jù)集 53
2.8.3  巨大的回報 54
2.8.4  我們已經(jīng)取得了什么成果 54
2.9  數(shù)據(jù)倉庫就餐體驗
(Kimball經(jīng)典) 54
2.9.1  廚房 55
2.9.2  就餐區(qū) 56
2.10  用于更艱難問題的更簡單
方法 57
2.10.1  增量集成 57
2.10.2  遞增的數(shù)據(jù)質(zhì)量 58
2.11  擴展數(shù)據(jù)倉庫的邊界 58
第3章  項目/程序規(guī)劃 61
3.1  專家邊界 61
3.2  工程師的觀點 63
3.2.1  數(shù)據(jù)倉庫使命 64
3.2.2  設(shè)計驅(qū)動 65
3.2.3  設(shè)計約束 65
3.2.4  工程師的回應 66
3.3  當心異議消除者 66
3.4  中央團隊要做些什么 69
3.4.1  定義和發(fā)布共享維度 70
3.4.2  提供跨部門的應用程序 71
3.4.3  定義一致化數(shù)據(jù)倉庫安全性
架構(gòu) 72
3.5  避免隔離的DW和BI團隊 72
3.6  BI和數(shù)據(jù)倉庫專家可用的、
更好的業(yè)務(wù)技能 73
3.6.1  建立對業(yè)務(wù)的理解 73
3.6.2  建立人際交往能力 73
3.6.3  掌握公開演講技巧 74
3.6.4  掌握書面溝通技巧 74
3.6.5  實踐決定一切 75
3.7  有風險的項目資源就是
有風險的業(yè)務(wù) 75
3.8  無法實現(xiàn)分析 76
3.9  包含DW/BI范圍蔓延并且
避免范圍冒用 77
3.10  IT過程對于DW/BI項目
是否有益 79
3.10.1  規(guī)范 79
3.10.2  命名規(guī)范 79
3.10.3  教條主義 80
3.11  有效主辦者的行為 80
3.11.1  為成功做準備 81
3.11.2  抵制阻力最小的路徑 81
3.11.3  團結(jié)周邊可用資源 82
3.11.4  耐心是一種美德 82
3.11.5  保持對目標的專注 83
3.12  從終端用戶開始計算的總體
擁有成本(Kimball經(jīng)典) 83
3.12.1  不好的決策也是成本 83
3.12.2  仔細查看這些成本 84
3.13  簡要概括Kimball生命周期 87
3.13.1  程序/項目規(guī)劃和管理 88
3.13.2  業(yè)務(wù)需求 88
3.13.3  技術(shù)軌跡 88
3.13.4  數(shù)據(jù)軌跡 88
3.13.5  商業(yè)智能軌跡 89
3.13.6  部署、維護和發(fā)展 89
3.14  挺身而出 89
3.15  持相反意見的架構(gòu)師 90
3.16  在應用最佳實踐時慎重思考 93
3.16.1  采取一種企業(yè)方法 93
3.16.2  擁抱商業(yè)智能 93
3.16.3  設(shè)計維度模式 93
3.16.4  將一致化維度用于集成 94
3.16.5  仔細規(guī)劃ETL架構(gòu) 94
3.17  低風險企業(yè)數(shù)據(jù)倉庫的
八個準則 95
3.17.1  做正確的事情 95
3.17.2  賦予業(yè)務(wù)用戶控制權(quán) 96
3.17.3  漸進式處理 96
3.17.4  從輕量級、專注的治理
開始 96
 
3.17.5  構(gòu)建一個簡單、通用的
平臺 97
3.17.6  使用一致化維度來集成 97
3.17.7  每次都用一些過濾來
管理質(zhì)量 97
3.17.8  自始至終使用代理鍵 97
第4章  需求定義 99
4.1  將Alan Alda的訪問技巧用于
揭示業(yè)務(wù)需求(Kimball經(jīng)典) 99
4.1.1  保持好奇心，但不要
自作聰明 100
4.1.2  要口語式對話 100
4.1.3  傾聽并且期望被改變 101
4.2  業(yè)務(wù)需求收集的更多注意
事項 102
4.3  平衡需求與現(xiàn)實
(Kimball經(jīng)典) 104
4.4  在收集業(yè)務(wù)需求時克服障礙 105
4.5  令人吃驚的數(shù)據(jù)剖析價值 106
4.6  專注于業(yè)務(wù)過程，而非
業(yè)務(wù)部門 108
4.7  識別業(yè)務(wù)過程 109
4.8  業(yè)務(wù)過程全面揭秘 110
4.9  戰(zhàn)略業(yè)務(wù)舉措和業(yè)務(wù)過程
之間的關(guān)系 111
4.10  自下而上屬于用詞不當 112
4.10.1  專注于企業(yè)，而非部門 112
4.10.2  起草企業(yè)數(shù)據(jù)倉庫總線
矩陣 112
4.10.3  進行優(yōu)先級排序以便得到
一份有序的結(jié)論 113
4.10.4  繪制企業(yè)路線圖 115
4.11  (超越數(shù)據(jù)建模的)維度化
思維 115
4.12  使用維度模型驗證業(yè)務(wù)
需求 116
第5章  數(shù)據(jù)架構(gòu) 119
5.1  ER建模是否對DSS有害
(Kimball經(jīng)典) 119
5.2  一個維度建模宣言
(Kimball經(jīng)典) 122
5.2.1  什么是3NF標準化建模 122
5.2.2  什么是DM 124
5.2.3  DM與3NF的對比 125
5.2.4  DM的優(yōu)勢 126
5.2.5  對DM的誤解 127
5.2.6  捍衛(wèi)DM 128
5.3  沒有百分百的保證 128
5.3.1  3NF建模是否會處理業(yè)務(wù)
規(guī)則嗎 129
5.3.2  早期維度建模 130
5.4  分而治之 131
5.4.1  是否需要通用標簽 132
5.4.2  業(yè)務(wù)過程主題領(lǐng)域并不是
部門化的 132
5.4.3  一致化維度和事實 132
5.4.4  數(shù)據(jù)倉庫總線架構(gòu) 133
5.4.5  是否僅僅為了高度分布式
系統(tǒng) 133
5.4.6  凈收益 134
5.5  矩陣(Kimball經(jīng)典) 134
5.5.1  邀請主題領(lǐng)域小組參加
一致化會議 136
5.5.2  與老板進行溝通 136
5.5.3  二級主題領(lǐng)域 136
5.6  再次探討矩陣(Kimball經(jīng)典) 137
5.6.1  用于引用數(shù)據(jù)的矩陣列 137
5.6.2  數(shù)據(jù)管理 137
5.6.3  以過程為中心的行 138
5.6.4  關(guān)聯(lián)列和行 138
5.6.5  常見的矩陣不幸事件 139
5.6.6  矩陣擴展 139
5.7  向下鉆取到詳細的總線
矩陣中 140
5.8  關(guān)于敏捷方法論 142
5.9  敏捷企業(yè)數(shù)據(jù)倉庫是不是
一個矛盾混合體 143
5.10  采用敏捷方法？先要從總線
矩陣開始 144
5.11  作為敏捷數(shù)據(jù)倉庫基礎(chǔ)的
一致化維度 145
5.12  為現(xiàn)實中的人而集成 146
5.12.1  定義集成 146
5.12.2  集成標簽 147
5.12.3  集成測量 147
5.12.4  維度管理者的職責 148
5.12.5  事實提供者的職責 148
5.13  為企業(yè)維度構(gòu)建即時可用的
資源 149
5.14  數(shù)據(jù)管理基礎(chǔ)知識：質(zhì)量和
一致性的第一步 150
5.14.1  為何管理是必要的 150
5.14.2  管理職責 151
5.14.3  管理的正確舉措 152
5.14.4  溝通工具和技術(shù) 152
5.14.5  如何開始 152
5.15  要不要集中化 153
5.15.1  閃光的未必都是金子 153
5.15.2  不要畏懼偉大 154
5.15.3  結(jié)果好意味著一切都好 155
5.16  觀點差異(Kimball經(jīng)典) 155
5.16.1  共同之處 155
5.16.2  Kimball總線架構(gòu) 156
5.16.3  企業(yè)信息工廠 157
5.16.4  根本性差異 158
5.16.5  混合方法怎么樣 159
5.16.6  成功標準 159
5.17  庸人自擾 160
5.18  不要用一個標準化EDW
支持商業(yè)智能 160
5.19  使用維度展示區(qū)域補充
3NF EDW 162
第6章  維度建?；A(chǔ) 165
6.1  事實表和維度表 165
6.1.1  測量和上下文 165
6.1.2  維度鍵 166
6.1.3  把兩個建模方法關(guān)聯(lián)起來 167
6.1.4  聲明粒度 167
6.1.5  可累加事實 167
6.1.6  退化維度 168
6.2  向下、向上和橫向鉆取 168
6.2.1  向下鉆取 168
6.2.2  向上鉆取 170
6.2.3  橫向鉆取 170
6.3  數(shù)據(jù)倉庫的靈魂之第一部分：
向下鉆取 171
6.4  數(shù)據(jù)倉庫的靈魂之第二部分：
橫向鉆取 173
6.4.1  實現(xiàn)橫向鉆取 174
6.4.2  令人驚訝的神奇之處 175
6.5  數(shù)據(jù)倉庫的靈魂之第三部分：
時間處理 175
6.5.1  時間的有效性 176
6.5.2  正確關(guān)聯(lián) 176
6.5.3  自然粒度 177
6.5.4  是否兌現(xiàn)了承諾 178
6.6  優(yōu)雅修改已有的事實和
維度表 178
6.7  Kimball關(guān)于維度建模的十項
必要規(guī)則(Kimball經(jīng)典) 179
6.8  不該做的事情 181
6.9  危險的先入為主的想法 183
6.10  虛言和事實 185
6.10.1  并非所有的維度模型都是
同等創(chuàng)建的 185
6.10.2  專注于測量過程，而
非部門報告 185
6.10.3  從原子詳情開始，而
非匯總數(shù)據(jù) 186
6.10.4  目標是集成，而非標準化 187
第7章  維度建模任務(wù)和職責 189
7.1  讓用戶安然入眠 189
7.2  用于設(shè)計維度模型的實踐
步驟 194
7.2.1  參與其中 195
7.2.2  深究細節(jié) 195
7.2.3  審核結(jié)果 196
7.3  為維度建模團隊配置人員 197
7.4  讓業(yè)務(wù)代表參與到維度
建模中 198
7.5  管理大型維度設(shè)計團隊 199
7.6  使用設(shè)計章程讓維度建模
活動處于正軌 200
7.7  命名博弈 201
7.7.1  步驟1：準備 201
7.7.2  步驟2：創(chuàng)建一個初始名
稱集 202
7.7.3  步驟3：建立共識 202
7.8  名稱的意義 202
7.9  維度設(shè)計何時算結(jié)束 204
7.10  設(shè)計評審注意事項
(Kimball經(jīng)典) 206
7.11  大把的缺點 207
7.11.1  粒度是什么 207
7.11.2  是否存在混合粒度或
文本事實 208
7.11.3  是否有維度描述符和
解碼 208
7.11.4  層次結(jié)構(gòu)如何處理 208
7.11.5  是否采用顯式日期維度 209
7.11.6  是否將控制編號作為
退化維度 209
7.11.7  是否使用代理鍵 209
7.11.8  是否采用漸變維度策略 210
7.11.9  是否很好地理解了業(yè)務(wù)
需求 210
7.12  對維度數(shù)據(jù)倉庫進行評分 210
7.12.1  架構(gòu)標準 210
7.12.2  管理標準 211
7.12.3  表述標準 212
7.12.4  是否具有維度化思想 214
第8章  事實表核心概念 215
8.1  聲明粒度 215
8.1.1  業(yè)務(wù)術(shù)語中的表達 216
8.1.2  巨大的影響 216
8.1.3  保持事實忠實于粒度 217
8.2  在維度建模中保持粒度 218
8.3  警告：匯總數(shù)據(jù)可能會
有害健康 219
8.4  再微小的細節(jié)都是需要的 220
8.4.1  累積原子數(shù)據(jù) 220
8.4.2  跨過程合并 220
8.4.3  性能越高，維度性越低 220
8.4.4  合并事實表示例 221
8.4.5  累計式快照示例 221
8.4.6  細節(jié)至上 222
8.5  基礎(chǔ)粒度 223
8.5.1  基礎(chǔ)粒度 223
8.5.2  我們要如何使用每一個
事實表類型 225
8.6  使用累計式快照對管道進行
建模 225
8.7  合并定期和累計式快照 228
8.8  互補的事實表類型 228
8.8.1  事務(wù)事實表 229
8.8.2  定期快照事實表 229
8.8.3  累計式快照事實表 230
8.9  對時間段進行建模 230
8.10  在現(xiàn)在和過去對未來進行
滾動預測 232
8.11  時間段累計式快照事實表 235
8.12  是維度還是事實，抑或兩者
都是 236
8.13  非事實型事實表 237
8.14  非事實型事實表聽起來像
不像沒有帆的帆船 239
8.15  哪些事情還沒發(fā)生 240
8.15.1  覆蓋范圍表 241
8.15.2  用于未發(fā)生行為的明確
記錄 241
8.15.3  用NOT EXISTS搜索
不存在的事實 241
8.15.4  使用NOT EXISTS找到還
不存在的屬性 242
8.16  追求簡化的非事實型事實表 243
8.17  管理父數(shù)據(jù) 244
8.17.1  有爭議的分配機制 246
8.17.2  艱難的分配環(huán)境 246
8.18  在建模標題/行項目事務(wù)時
要避免的模式 247
8.18.1  糟糕的主意#1：將標題保存
成維度 247
8.18.2  糟糕的主意#2：行項目
不繼承標題維度性 247
8.18.3  標題/行項目事務(wù)的推薦
結(jié)構(gòu) 248
8.19  事實表代理鍵 249
8.20  關(guān)于事實表代理鍵的讀者
建議 249
8.21  再談退化維度 251
8.22  為極少訪問的退化項創(chuàng)建
一個引用維度 252
8.23  規(guī)范事實表 253
8.24  將文本保存在事實表外 254
8.25  處理維度模型中的空值 255
8.25.1  作為事實表外鍵的空值 255
8.25.2  作為事實的空值 256
8.25.3  作為維度屬性的空值 256
8.26  將數(shù)據(jù)同時建模為事實和
維度屬性 256
8.27  事實表何時可被用作維度表 257
8.28  稀疏事實和具有較短
生命周期的事實 258
8.29  用事實維度讓事實表成為
中心 260
8.30  用于復雜工作流的累計式
快照(Kimball經(jīng)典) 261
第9章  維度表核心概念 263
9.1  代理鍵(Kimball經(jīng)典) 263
9.2  保持鍵的簡單性 266
9.3  持久的“超自然”鍵 267
9.4  是時候談?wù)剷r間了 269
9.4.1  基礎(chǔ)時間問題 269
9.4.2  中間時間問題 270
9.5  用于時間維度的代理鍵 271
9.6  對時間維度表的最新思考 272
9.7  將智能日期鍵用于分區(qū)
事實表 274
9.8  更新日期維度 275
9.9  處理所有的日期 275
9.10  為空值選擇默認值
(Kimball經(jīng)典) 277
9.11  數(shù)據(jù)倉庫角色模型 278
9.12  神秘維度 281
9.12.1  找到明顯的與維度
有關(guān)的字段 281
9.12.2  找出與事實有關(guān)的字段 282
9.12.3  決定對其余字段的處理 282
9.12.4  將神秘字段轉(zhuǎn)換成神秘
維度 283
9.13  整理雜項維度 284
9.14  顯示維度之間的相關(guān)性 284
9.15  因果性(非因果性)維度
(Kimball經(jīng)典) 285
9.16  抵制抽象的通用維度 288
9.17  熱插拔維度 289
9.18  精確統(tǒng)計維度增補項的數(shù)量 290
9.19  使用類型2 SCD的完美
分區(qū)歷史 291
9.20  許多交替的現(xiàn)實 292
9.20.1  可預測的多種現(xiàn)實 293
9.20.2  不可預測的多種現(xiàn)實 294
9.21  龐然大物般的維度 295
9.22  當漸變維度加速時 297
9.22.1  漸變維度中的日期戳 297
9.22.2  并非緩慢變化的SCD 297
9.23  維度何時會變得危險 298
9.24  漸變維度并非總是像類型1、
類型2和類型3那樣簡單
(Kimball經(jīng)典) 299
9.24.1  具有當前重寫的微型維度 300
9.24.2  具有當前重寫的類型2 300
9.24.3  在事實表中具有持久鍵的
類型2 301
9.24.4  類型3屬性系列 302
9.24.5  在能力與易用性之間取得
平衡 303
9.25  漸變維度類型0、類型4、
類型5、類型6和類型7
(Kimball經(jīng)典) 303
9.25.1  類型0：保留原始值 303
9.25.2  類型4：添加微型維度 303
9.25.3  類型5：添加微型維度和
類型1外支架 304
9.25.4  類型6：將類型1屬性
添加到類型2維度 304
9.25.5  類型7：雙重類型1和
類型2維度 305
9.26  維度行變更原因?qū)傩?306
第10章  更多的維度模式和注意事項 309
10.1  星型、外支架和橋接 309
10.2  三種有意思的星型模式 311
10.2.1  經(jīng)典的星型模式 312
10.2.2  大型顧客維度 312
10.2.3  金融產(chǎn)品維度 313
10.2.4  多企業(yè)日歷維度 314
10.2.5  允許的星型模式 314
10.3  為維度建模提供幫助 314
10.4  管理橋接表 317
10.4.1  使用代理鍵 318
10.4.2  使用雙時間戳 318
10.4.3  更新橋接表 319
10.5  關(guān)鍵字維度 320
10.5.1  設(shè)計關(guān)鍵字維度 321
10.5.2  AND/OR的兩難局面 322
10.5.3  搜索子字符串 322
10.5.4  高性能子字符串索引 323
10.6  可能的橋接(表)彎路 323
10.7  多值維度的可選項 325
10.8  將微型維度添加到橋接表 327
10.9  維護維度層次結(jié)構(gòu) 328
10.9.1 從設(shè)計開始入手 328
10.9.2  加載標準化數(shù)據(jù) 330
10.9.3  維護真正的層次結(jié)構(gòu) 331
10.9.4  應對臟數(shù)據(jù)源 331
10.9.5  讓它執(zhí)行起來 332
10.10  為層次結(jié)構(gòu)提供幫助
(Kimball經(jīng)典) 332
10.11  用于更好的員工維度建模的
五個選項 335
10.11.1  選項1：使用代理鍵的
橋接表 335
10.11.2  選項2：具有單獨匯報
對象維度的橋接表 336
10.11.3  選項3：具有自然鍵的
橋接表 337
10.11.4  選項4：強制實現(xiàn)固定
深度層次結(jié)構(gòu)的技術(shù) 338
10.11.5  選項5：路徑字符串
屬性 339
10.11.6  推薦 339
10.12  避免可替換的組織層次
結(jié)構(gòu) 340
10.13  可替換的層次結(jié)構(gòu) 341
10.14  維度修飾 342
10.15  對行為標記進行爭論 343
10.16  捕獲顧客滿意度的三種
方式 345
10.16.1  標準的固定列表 345
10.16.2  同步的維度屬性和
事實 346
10.16.3  不可預測的紊亂列表 347
10.17  用于實時顧客分析的極端
狀態(tài)追蹤 348
10.18  全局化思考，本地化行動 351
10.18.1  同步多個時區(qū) 351
10.18.2  支持多國日歷 352
10.18.3  以多種貨幣單位集中
收益 353
10.18.4  處理歐洲問題(來自
1998年的觀點) 354
10.19  沒有邊界的數(shù)據(jù)倉庫 354
10.20  讓數(shù)據(jù)倉庫在空間上可用 358
10.20.1  調(diào)研GIS供應商 359
10.20.2  進入訓練營 359
10.20.3  自動地址標準化 360
10.20.4  標準數(shù)據(jù)庫上的地理
位置查詢 361
10.20.5  恰好合適 361
10.21  跨國維度化數(shù)據(jù)倉庫注意
事項 362
10.22  行業(yè)標準數(shù)據(jù)模型的不足
之處 363
10.23  一個保險行業(yè)數(shù)據(jù)倉庫的
案例研究 364
10.24  遍歷數(shù)據(jù)庫 368
10.24.1  排查設(shè)計 368
10.24.2  添加維度 369
10.24.3  圖片和地圖 370
10.25  人力資源維度模型
(Kimball經(jīng)典) 371
10.26  維度化管理待辦事項 373
10.27  不要過于急切 375
10.27.1  找出盈利能力的組成
部分 375
10.27.2  市場營銷和財務(wù)部門
需要提供幫助 376
10.27.3  成本分配：盈利能力的
核心挑戰(zhàn) 376
10.27.4  如果時間緊迫 377
10.28  預算鏈 377
10.28.1  預算鏈事實表的粒度 379
10.28.2  預算鏈維度和事實 379
10.28.3  跨預算鏈的應用程序 380
10.29  啟用合規(guī)性的數(shù)據(jù)倉庫 380
10.30  記錄顧客的點擊操作 382
10.30.1  點擊流維度模型的目標 382
10.30.2  點擊流數(shù)據(jù)源 383
10.30.3  點擊流數(shù)據(jù)的基礎(chǔ)粒度 384
10.30.4  識別點擊流維度和事實 384
10.30.5  分析點擊流事件 385
10.31  點擊流的特殊維度 386
10.31.1  訪客維度 386
10.31.2  頁面對象維度 387
10.31.3  會話類型 387
10.31.4  專注于頁面對象和
會話維度 388
10.32  用于文本文檔搜索的
事實表 389
10.32.1  相似性指標 389
10.32.2  用于相似性測量的
事實表 390
10.32.3  強大的應用程序 391
10.33  讓市場購物籃分析成為
可能 391
第11章  后臺ETL和數(shù)據(jù)質(zhì)量 395
11.1  圍繞ETL需求
(Kimball經(jīng)典) 395
11.1.1  業(yè)務(wù)需求 396
11.1.2  合規(guī)性 396
11.1.3  經(jīng)過數(shù)據(jù)剖析的數(shù)據(jù)質(zhì)量 396
11.1.4  安全性 397
11.1.5  數(shù)據(jù)集成以及360°畫像 397
11.1.6  數(shù)據(jù)延遲 397
11.1.7  存檔和派生關(guān)系 398
11.1.8  BI用戶交付界面 398
11.1.9  可用技能 398
11.1.10  遺留許可 399
11.2  ETL的34個子系統(tǒng)
(Kimball經(jīng)典) 399
11.2.1  提?。簩?shù)據(jù)放入
數(shù)據(jù)倉庫 399
11.2.2  數(shù)據(jù)清洗和一致化 400
11.2.3  交付：準備呈現(xiàn) 400
11.2.4  管理ETL環(huán)境 401
11.3  用于ETL架構(gòu)的六個關(guān)鍵
決策 402
11.3.1  是否應該使用ETL工具 402
11.3.2  應該在何處以及如何進行
數(shù)據(jù)集成 403
11.3.3  應該選擇哪種變更數(shù)據(jù)
捕獲機制 403
11.3.4  何時應該暫存數(shù)據(jù) 404
11.3.5  應該在何處糾正數(shù)據(jù) 404
11.3.6  必須以多快的速度通過
DW/BI系統(tǒng)使用源數(shù)據(jù) 405
11.4  要避免的三種ETL妥協(xié) 405
11.4.1  妥協(xié)1：忽視漸變維度
需求 406
11.4.2  妥協(xié)2：未能接受元數(shù)據(jù)
策略 406
11.4.3  妥協(xié)3：未交付有意義的
范圍 407
11.4.4  公開且誠實地做出妥協(xié) 407
11.5  在提取時工作 407
11.5.1  對跨多個時區(qū)的事件建模 408
11.5.2  冗長的日歷維度 408
11.5.3  保留跨多種貨幣的定金 408
11.5.4  產(chǎn)品管道測量 408
11.5.5  損益的物理完整性 409
11.5.6  異質(zhì)性產(chǎn)品 409
11.5.7  通用聚合 409
11.5.8  通用維度建模 409
11.6  數(shù)據(jù)暫存是關(guān)系型的嗎 410
11.6.1  維度處理 410
11.6.2  確定已經(jīng)變更的內(nèi)容 411
11.6.3  從不同的源合并 411
11.6.4  數(shù)據(jù)清洗 411
11.6.5  處理名稱和地址 412
11.6.6  驗證一對一和一對多關(guān)系 412
11.6.7  事實處理 412
11.6.8  聚合處理 412
11.6.9  基線：數(shù)據(jù)暫存是
關(guān)系型的嗎 413
11.7  暫存區(qū)和ETL工具 413
11.8  是否應該使用ETL工具 414
11.8.1  ETL工具的優(yōu)勢 414
11.8.2  ETL工具的劣勢 415
11.8.3  構(gòu)建一個堅實的基礎(chǔ) 415
11.9  ETL工具提供商的行動要求 416
11.10  文檔化ETL系統(tǒng) 417
11.11  三思而行 418
 
11.11.1  目標：高層次ETL
規(guī)劃 418
11.11.2  輸入和數(shù)據(jù)流 418
11.11.3  轉(zhuǎn)換注釋 419
11.11.4  在開工之前完成規(guī)劃 420
11.12  為傳入數(shù)據(jù)做好準備 421
11.12.1  典型的數(shù)據(jù)集成過程 421
11.12.2  架構(gòu) 422
11.12.3  設(shè)置過程 422
11.12.4  異常處理 423
11.12.5  靠不住的簡單性 423
11.13  構(gòu)建變更數(shù)據(jù)捕獲系統(tǒng) 423
11.14  破壞性的ETL變更 424
11.15  ETL的新方向 426
11.15.1  極端的集成 426
11.15.2  極端的多樣性 426
11.15.3  巨大的量級 426
11.15.4  實時交付 426
11.15.5  分析師的崛起和數(shù)據(jù)
見解的貨幣化 427
11.15.6  新的分析工具 427
11.15.7  列式數(shù)據(jù)存儲和內(nèi)存
數(shù)據(jù)庫 427
11.15.8  瘋狂增長的數(shù)據(jù)虛擬化 427
11.15.9  小結(jié) 427
11.16  處理數(shù)據(jù)質(zhì)量：不要只是
坐著，要行動起來 428
11.16.1  進行調(diào)查研究 428
11.16.2  共享發(fā)現(xiàn) 429
11.16.3  小結(jié) 429
11.17  數(shù)據(jù)倉庫測試建議 429
11.18  處理臟數(shù)據(jù) 431
11.18.1  合格數(shù)據(jù)至關(guān)重要的
應用程序 431
11.18.2  數(shù)據(jù)清洗的科學 433
11.18.3  數(shù)據(jù)清洗的市場機會 434
11.18.4  數(shù)據(jù)完整性驅(qū)動業(yè)務(wù)
再造 435
11.19  用于數(shù)據(jù)質(zhì)量的架構(gòu)
(Kimball經(jīng)典) 436
11.19.1  確立一種質(zhì)量文化，
再造過程 437
11.19.2  數(shù)據(jù)剖析角色 437
11.19.3  質(zhì)量篩查 438
11.19.4  錯誤事件模式 438
11.19.5  響應質(zhì)量事件 440
11.19.6  審計維度 440
11.19.7  六西格瑪數(shù)據(jù)質(zhì)量 441
11.20  質(zhì)量指示器：審計維度 442
11.20.1  從最小可能粒度入手 443
11.20.2  報告聚合數(shù)據(jù)質(zhì)量 444
11.20.3  構(gòu)建審計維度 445
11.21  添加審計維度以追蹤派生
關(guān)系和置信度 445
11.22  為事實表增加不確定性 447
11.23  是否已經(jīng)構(gòu)建審計維度 448
11.24  數(shù)據(jù)是否正確 449
11.24.1  評價沒有歷史的數(shù)據(jù)
質(zhì)量 451
11.24.2  可預測變更的補充 451
11.25  對于國際化數(shù)據(jù)質(zhì)量的
八項建議 452
11.25.1  語言和字符集 452
11.25.2  文化、姓名和稱呼 452
11.25.3  地理位置和地址 453
11.25.4  隱私和信息傳輸 453
11.25.5  國際化合規(guī)性 453
11.25.6  貨幣 453
11.25.7  時區(qū)、日歷和日期格式 453
11.25.8  數(shù)字 453
11.25.9  用于國際化數(shù)據(jù)質(zhì)量的
架構(gòu) 454
11.26  將正則表達式用于數(shù)據(jù)
清洗 454
11.26.1  求助于正則表達式 455
11.26.2  基本運算符 455
11.26.3  找出“Inc” 456
11.26.4  最終結(jié)果 456
11.26.5  可以在何處使用
正則表達式 457
11.27  對代理進行管道化處理 457
11.27.1  用于維度表的鍵 458
11.27.2  用于事實表的鍵 460
11.28  疏通事實表代理鍵管道 461
11.28.1  缺失源系統(tǒng)鍵 461
11.28.2  糟糕的源系統(tǒng)鍵 462
11.28.3  業(yè)務(wù)需求含義 463
11.29  正確復制維度 463
11.30  使用循環(huán)冗余校驗和識別
維度變更 464
11.31  維護指向操作源的回指
指針 465
11.32  創(chuàng)建歷史維度行 465
11.32.1  挖掘歷史 466
11.32.2  探討選項和影響 466
11.32.3  構(gòu)建維度 466
11.32.4  選擇每日或精確到
分秒的粒度 466
11.33  面對鍵重置危機 468
11.34  沿時間回溯(Kimball經(jīng)典) 469
11.34.1  延遲到達的事實記錄 470
11.34.2  延遲到達的維度記錄 470
11.35  提前到達的事實 471
11.36  漸變實體 472
11.37  將SQL MERGE語句用于
漸變維度 474
11.37.1  步驟1：重寫類型1
變更 474
11.37.2  步驟2：處理類型2
變更 474
11.38  創(chuàng)建和管理收縮維度 476
11.38.1  創(chuàng)建基礎(chǔ)維度 476
11.38.2  從基礎(chǔ)維度創(chuàng)建收縮
維度 476
11.38.3  替代方式：分別創(chuàng)建
基礎(chǔ)維度和收縮維度 477
11.38.4  將維度提供給用戶 477
11.39  創(chuàng)建和管理微型維度 477
11.39.1  創(chuàng)建初始微型維度 477
11.39.2  持續(xù)的微型維度維護 478
11.40  創(chuàng)建、使用和維護雜項
維度 479
11.40.1  構(gòu)建初始雜項維度 479
11.40.2  將雜項維度納入事
實行處理 480
11.40.3  維護雜項維度 480
11.41  構(gòu)建橋接 481
11.41.1  歷史加載 481
11.41.2  創(chuàng)建分組的初始化列表 481
11.41.3  創(chuàng)建橋接表 482
11.41.4  增量處理 483
11.42  盡量少做離線處理 483
11.43  網(wǎng)絡(luò)時代的工作 485
11.44  實時分區(qū) 488
11.44.1  實時分區(qū)的要求 488
11.44.2  事務(wù)粒度實時分區(qū) 488
11.44.3  定期快照實時分區(qū) 489
11.44.4  累計快照實時分區(qū) 489
11.45  實時分類 490
第12章  技術(shù)架構(gòu)注意事項 493
12.1  數(shù)據(jù)倉庫是否能從SOA中
獲益 493
12.2  選擇正確的MDM方法
(Kimball經(jīng)典) 494
12.2.1  源系統(tǒng)差異 495
12.2.2  對于主數(shù)據(jù)的需求 495
12.2.3  方法1：一致化數(shù)據(jù)倉庫中
的主數(shù)據(jù) 496
12.2.4  方法2：MDM集成中心 497
12.2.5  方法3：企業(yè)MDM系統(tǒng) 498
12.2.6  通往MDM的四個步驟 499
12.3  為DW/BI系統(tǒng)構(gòu)建自定義
工具 499
12.4  歡迎封裝好的應用程序 500
12.4.1  避免煙囪式數(shù)據(jù)集市 501
12.4.2  查詢時的一致化 501
12.4.3  供應商確實會嚴肅對待
集成任務(wù) 501
12.5  ERP供應商：推倒那些墻 502
12.5.1  新規(guī)則是什么 503
12.5.2  ERP在新網(wǎng)絡(luò)倉庫中的
作用 503
12.6  構(gòu)建智能應用程序的基礎(chǔ) 505
12.6.1  快速但充滿風險的路徑 506
12.6.2  通往智能應用的正確路徑 506
12.6.3  當基礎(chǔ)設(shè)施供不應求時 507
12.6.4  支持事務(wù)工作負荷 508
12.6.5  普及的BI：讓BI散布到
每一個地方 508
12.7  RFID標簽和智能塵埃 509
12.7.1  終身就業(yè)保障 510
12.7.2  對隱私的侵犯 510
12.7.3  超越RFID的智能塵埃 510
12.8  大數(shù)據(jù)是否可與數(shù)據(jù)倉庫
兼容 511
12.9  企業(yè)數(shù)據(jù)倉庫在大數(shù)據(jù)
分析時代的角色演變
(Kimball經(jīng)典) 512
12.9.1  摘要 512
12.9.2  簡介 513
12.9.3  數(shù)據(jù)是資產(chǎn)負債表上的
一項資產(chǎn) 513
12.9.4  大數(shù)據(jù)分析的用例 514
12.9.5  大數(shù)據(jù)分析系統(tǒng)需求 516
12.9.6  擴展的關(guān)系型數(shù)據(jù)庫
管理系統(tǒng) 517
12.9.7  Hadoop 518
12.9.8  未來十年的特性融合 521
12.9.9  可重用的分析 521
12.9.10  未來十年中數(shù)據(jù)倉庫的
文化變更 522
12.9.11  未來十年中數(shù)據(jù)倉庫的
組織變更 524
12.9.12  EDW去向何處 525
12.10  新近出現(xiàn)的大數(shù)據(jù)最佳
實踐(Kimball經(jīng)典) 525
12.10.1  用于大數(shù)據(jù)的管理
最佳實踐 526
 
12.10.2  用于大數(shù)據(jù)的架構(gòu)
最佳實踐 527
12.10.3  用于大數(shù)據(jù)的數(shù)據(jù)建模
最佳實踐 530
12.10.4  用于大數(shù)據(jù)的數(shù)據(jù)治理
最佳實踐 533
12.10.5  小結(jié) 534
12.11  超細粒度主動歸檔 534
12.11.1  遷移和刷新 534
12.11.2  主動式歸檔 534
12.11.3  超細粒度數(shù)據(jù) 535
12.11.4  原始數(shù)據(jù)格式 535
12.12  列式數(shù)據(jù)庫：DW/BI部署的
規(guī)則改變者 535
12.13  數(shù)據(jù)庫不存在神奇的力量 536
12.13.1  可選的原子數(shù)據(jù)庫技術(shù) 537
12.13.2  這些“新”技術(shù)提供了
什么 537
12.13.3  多維數(shù)據(jù)集如何 538
12.13.4  云又如何呢 538
12.14  關(guān)于OLAP 539
12.14.1  桌面OLAP與服務(wù)器
端OLAP的對比 539
12.14.2  維度化相似性 539
12.14.3  維度化差異 540
12.14.4  OLAP的優(yōu)勢 540
12.15  維度關(guān)系與OLAP對比：
最后的部署難題 541
12.15.1  維度關(guān)系型優(yōu)勢 542
12.15.2  關(guān)系型劣勢 542
12.15.3  OLAP優(yōu)勢 542
12.15.4  OLAP劣勢 543
12.15.5  這兩種方法的易用性
相當 543
12.15.6  進行最終選擇 544
12.16  與數(shù)據(jù)倉庫同時代的
Microsoft SQL Server 544
12.16.1  使用數(shù)據(jù)庫壓縮加速
查詢 544
 
12.16.2  劃分表分區(qū)并且對其
分而治之 546
12.16.3  使用星型模式優(yōu)化進行
維度化 546
12.16.4  即將出現(xiàn)的機會 547
12.17  聚合導航器 547
12.18  (幾乎)沒有元數(shù)據(jù)的聚合
導航(Kimball經(jīng)典) 549
12.18.1  高級別目標和風險 550
12.18.2  聚合導航算法 552
12.18.3  用于每一方的聚合 555
12.19  用戶界面的第二次革命 555
12.19.1  第二次革命與第一次
革命的區(qū)別在何處 556
12.19.2  用戶界面現(xiàn)在更為
迫切 556
12.19.3  第二代用戶界面準則 557
12.20  設(shè)計用戶界面
(Kimball經(jīng)典) 557
12.21  描述元數(shù)據(jù)的數(shù)據(jù)
(Kimball經(jīng)典) 561
12.22  創(chuàng)建元數(shù)據(jù)策略 564
12.23  發(fā)揮用于自我監(jiān)控DW
運行的過程元數(shù)據(jù)的作用 565
12.24  對監(jiān)督者進行監(jiān)督
(Kimball經(jīng)典) 567
12.24.1  有利的使用與潛在的
濫用 568
12.24.2  誰擁有你的個人數(shù)據(jù) 568
12.24.3  有可能發(fā)生什么 569
12.24.4  對于數(shù)據(jù)倉庫架構(gòu)的
影響 569
12.25  災難性故障 570
12.25.1  災難性故障 571
12.25.2  對抗災難性故障 571
12.26  數(shù)字化保存 573
12.26.1  數(shù)據(jù)倉庫是否真的需要
保留舊數(shù)據(jù) 573
12.26.2  介質(zhì)、格式、軟件和
硬件 574
 
12.26.3  廢棄的格式和過時的
格式 574
12.26.4  硬拷貝、標準和
博物館 574
12.26.5  刷新、遷移、模擬和
壓縮 575
12.27  創(chuàng)建64位服務(wù)器的優(yōu)勢 576
12.28  服務(wù)器配置注意事項 577
12.28.1  影響服務(wù)器配置的
因素 577
12.28.2  增加生產(chǎn)能力 577
12.28.3  獲得幫助 578
12.28.4  結(jié)論 578
12.29  調(diào)整對于SAN的看法 578
第13章  前臺商業(yè)智能應用程序 581
13.1  對于決策支持的承諾
(Kimball經(jīng)典) 581
13.1.1 分析應用程序生命周期 582
13.1.2  發(fā)布報告 583
13.1.3  識別異常 583
13.1.4  確定因果關(guān)系因素 583
13.1.5  對可選項進行建模 584
13.1.6  追蹤操作 584
13.1.7  回顧 584
13.2  要勇于創(chuàng)新而不是因循守舊 585
13.2.1  從所報告的結(jié)果
開始著手 585
13.2.2  識別出標準和閾值允許的
誤差 585
13.2.3  理解因果關(guān)系 586
13.2.4  評估選項 586
13.2.5  追蹤操作以便用于未來
優(yōu)化 586
13.3  用于業(yè)務(wù)價值的BI組成
部分 587
13.3.1 標準報告 587
13.3.2  自服務(wù)訪問 587
13.3.3  有針對性的BI應用程序 588
13.3.4  這比你想象的要更難 588
13.4  BI領(lǐng)域發(fā)生的重大變化 589
13.4.1  合規(guī)性是BI的免費
通行證 589
13.4.2  順序行為分析是BI的
最高峰 589
13.5  行為：下一個最受歡迎的
應用程序 590
13.5.1  CRM：通向行為數(shù)據(jù)
應用的跳板 591
13.5.2  對于行為的新分析 591
13.6  成功的自服務(wù)BI的三個關(guān)鍵
組成部分 592
13.6.1  堅實的維度數(shù)據(jù)模型 593
13.6.2 合格的用戶支持系統(tǒng) 593
13.6.3  有效的自服務(wù)BI查詢/
分析工具 594
13.6.4  自服務(wù)BI：它并非僅僅
是一個工具 594
13.7  利用數(shù)據(jù)可視化工具，
但要避免混亂局面 594
13.8  像軟件開發(fā)經(jīng)理那樣思考 596
13.9  標準報告：供業(yè)務(wù)用戶
使用的基礎(chǔ)報告 597
13.9.1  BI應用程序是什么 597
13.9.2  構(gòu)建還是購買 598
13.9.3  設(shè)計報告系統(tǒng) 598
13.9.4  概述 600
13.10  構(gòu)建和交付BI報告 601
13.10.1  設(shè)置開發(fā)環(huán)境 601
13.10.2  創(chuàng)建報告 602
13.10.3  測試準確性和性能 602
13.10.4  部署到生產(chǎn)環(huán)境 603
13.10.5  管理和維護 603
13.10.6  擴展應用程序 603
13.11  BI門戶 604
13.11.1  密度 604
13.11.2  結(jié)構(gòu) 604
13.11.3  更多的結(jié)構(gòu)和內(nèi)容 605
13.12  正確完成的儀表盤 606
13.13  不要過度依賴數(shù)據(jù)訪問
工具的元數(shù)據(jù) 607
13.14  讓語義層有意義 608
13.15  深入研究數(shù)據(jù)挖掘 609
13.15.1  數(shù)據(jù)挖掘的根源 610
13.15.2  數(shù)據(jù)挖掘的類別 610
13.16  為數(shù)據(jù)挖掘做準備 611
13.16.1  通用數(shù)據(jù)轉(zhuǎn)換 612
13.16.2  用于所有數(shù)據(jù)挖掘
形式的轉(zhuǎn)換 612
13.16.3  特殊的依賴于工具的
轉(zhuǎn)換 614
13.17  完美的傳遞 615
13.17.1  完美的觀測 615
13.17.2  對于數(shù)據(jù)庫架構(gòu)的
影響 617
13.18  現(xiàn)在就開始進行數(shù)據(jù)挖掘 617
13.18.1  業(yè)務(wù)階段 618
13.18.2  數(shù)據(jù)挖掘階段 619
13.18.3  操作階段 620
13.18.4  數(shù)據(jù)挖掘元數(shù)據(jù)的
作用 620
13.19  利用維度模型進行預測
分析 621
13.20  組織是否需要一個分析
沙盒 622
13.21  SQL中的簡單橫向鉆取 623
13.22  用于橫向鉆取的Excel宏 625
13.23  對比的問題 627
13.24  SQL的障礙和缺陷 630
13.25  查詢工具的特性 632
13.26  增強查詢工具 634
13.27  更加智能的數(shù)據(jù)倉庫 637
13.27.1  SQL審查 638
13.27.2  SQL-99 OLAP擴展 638
13.27.3  更多高級查詢 639
13.27.4  延伸問題 640
13.27.5  OLAP是一個答案 640
 
第14章  維護和發(fā)展的注意事項 643
14.1 不要忘記用戶手冊 643
14.1.1  前臺操作 644
14.1.2  后臺操作 645
14.1.3  監(jiān)控操作 645
14.2  我們來改進我們的運營
過程 646
14.3  對DW/BI系統(tǒng)進行市場
營銷 648
14.3.1  產(chǎn)品 648
14.3.2  代價 648
14.3.3  布局 648
14.3.4  推銷 649
14.4  應對成長的煩惱 649
14.4.1  識別目標 649
14.4.2  用例研究場景 650
14.4.3  不要操之過急 650
14.4.4  在開始構(gòu)建之前先做
計劃 650
14.4.5  開發(fā)、測試、部署 651
14.4.6  最后的一些思考 652
14.5  數(shù)據(jù)倉庫檢查
(Kimball經(jīng)典) 652
14.5.1  業(yè)務(wù)主辦人的紊亂 652
14.5.2  數(shù)據(jù)的紊亂 654
14.5.3  業(yè)務(wù)認可的紊亂 654
14.5.4  基礎(chǔ)設(shè)施的紊亂 656
14.5.5  文化/政治性的紊亂 656
14.5.6  早期檢測 656
14.6  提升業(yè)務(wù)認可度 657
14.6.1  DW/BI業(yè)務(wù)重組 657
14.6.2  選擇會談場所 657
14.6.3  確定和籌建訪談團隊 658
14.6.4  選擇、安排業(yè)務(wù)代表
以及讓其做好準備 658
14.6.5  進行訪談 659
14.6.6  文檔記錄、優(yōu)先級排序
以及達成共識 659
14.7  對管理層進行培訓以便讓
DW/BI持續(xù)取得成功 660
14.7.1  收集證明信息 660
14.7.2  培訓業(yè)務(wù)用戶：用戶
論壇 660
14.7.3  培訓高級職員 661
14.7.4  與指導委員會協(xié)作 662
14.7.5  結(jié)束語 662
14.8  讓數(shù)據(jù)倉庫回到正軌 662
14.9 升級BI架構(gòu) 663
14.10  對于遺留數(shù)據(jù)倉庫的四項
修復(Kimball經(jīng)典) 665
14.10.1  對非一致化維度進行
一致化 665
14.10.2  創(chuàng)建代理鍵 666
14.10.3  交付詳情 667
14.10.4  減少冗余 667
14.10.5  面對現(xiàn)實 668
14.11  不景氣時期的數(shù)據(jù)倉庫
瘦身計劃 668
14.11.1  去掉多余部分 668
14.11.2  監(jiān)控和調(diào)整以便推遲
開支 669
14.11.3  擴充底線 670
14.12  享受淘汰帶來的紅利 671
第15章  最后的思考 673
15.1  當前的最后一個詞：協(xié)作 673
15.2  讓DW/BI取得成功的行之
有效的概念 675
15.3  Kimball方法論的關(guān)鍵原則 676
15.4  未來是光明的 678
15.4.1  ETL的
未來 679
15.4.2  數(shù)據(jù)庫技術(shù)的未來 679
15.4.3  維度建模的未來 680
15.4.4  BI工具的未來 681
15.4.5  數(shù)據(jù)倉庫專家的未來 681