數(shù)據(jù)倉庫原理與實踐

第一篇  基本原理篇                  
 第1章　數(shù)據(jù)倉庫概述　2                  
 1.1  數(shù)據(jù)庫到數(shù)據(jù)倉庫的演變　2                  
 1.1.1  蜘蛛網(wǎng)問題　2                  
 1.1.2  操作型系統(tǒng)和分析型系統(tǒng)的分離　5                  
 1.2  商業(yè)智能系統(tǒng)的功能和構(gòu)成　7                  
 1.2.1  商業(yè)智能系統(tǒng)的數(shù)據(jù)處理循環(huán)　7                  
 1.2.2  決策支持系統(tǒng)的總體功能　7                  
 1.3  倉庫的應(yīng)用前景　9                  
 第2章　數(shù)據(jù)倉庫的基本原理　12                  
 2.1  數(shù)據(jù)倉庫的體系結(jié)構(gòu)　12                  
 2.1.1  數(shù)據(jù)倉庫的體系結(jié)構(gòu)　12                  
 2.1.2  數(shù)據(jù)倉庫中的關(guān)鍵名詞　13                  
 2.2　數(shù)據(jù)倉庫的特點　16                  
 2.2.1  數(shù)據(jù)庫的功能和特征　16                  
 2.2.2  數(shù)據(jù)倉庫的功能和特征　17                  
 2.2.3  面向主題　17                  
 2.2.4  數(shù)據(jù)的集成性　19                  
 2.2.5  數(shù)據(jù)的穩(wěn)定性　21                  
 2.2.6  數(shù)據(jù)隨時間變化的特點　22                  
 2.3　數(shù)據(jù)倉庫的數(shù)據(jù)組織　23                  
 2.3.1  數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)　23                  
 2.3.2  數(shù)據(jù)顆粒度　25                  
 2.3.3  數(shù)據(jù)的分割　29                  
 2.3.4  數(shù)據(jù)倉庫的數(shù)據(jù)組織形式　30                  
 2.3.5  數(shù)據(jù)倉庫的數(shù)據(jù)追加技術(shù)　32                  
 2.3.6  清理數(shù)據(jù)倉庫的數(shù)據(jù)　36                  
 2.4  數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線　36                  
 2.5　操作數(shù)據(jù)存儲ODS　38                  
 2.5.1　ODS的概念　38                  
 2.5.2  ODS的應(yīng)用　39                  
 2.5.3　DB－ODS－DW的3層體系結(jié)構(gòu)　41                  
 2.5.4  ODS/DW. ODS/DB間的比較　43                  
 2.6  外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)　44                  
 2.6.1  外部數(shù)據(jù)的特征　44                  
 2.6.2  為什么將外部數(shù)據(jù)放在數(shù)據(jù)倉庫　45                  
 2.6.3  對外部數(shù)據(jù)進(jìn)行管理的元數(shù)據(jù)　46                  
 2.6.4  外部數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)的存儲　47                  
 2.6.5  外部數(shù)據(jù)的使用　49                  
 第3章　OLAP的基本原理　50                  
 3.1  OLAP的基本概念　50                  
 3.1.1  OLAP的基本概念　50                  
 3.1.2  OLAP的基本分析動作　53                  
 3.1.3  OLAP的展現(xiàn)方式　57                  
 3.1.4  OLAP和OLTP　59                  
 3.1.5  OLAP的體系結(jié)構(gòu)和分類　60                  
 3.2  以多維數(shù)據(jù)庫為基礎(chǔ)的OLAP服務(wù)器　61                  
 3.2.1  多維數(shù)據(jù)庫（Multi-Dimensional Database）　61                  
 3.2.2  MDDB產(chǎn)品實例　64                  
 3.2.3  MOLAP產(chǎn)品的結(jié)構(gòu)　66                  
 3.3  基于關(guān)系型數(shù)據(jù)庫的OLAP（ROLAP）　66                  
 3.3.1  維表　67                  
 3.3.2  事實表　67                  
 3.3.3  星型結(jié)構(gòu)　69                  
 3.3.4　ROLAP和MOLAP的比較　73                  
 3.3.5　HOLAP（Hybrid OLAP）　76                  
 3.4　OLAP的特征和衡量　76                  
 3.4.1  OLAP的12準(zhǔn)則　76                  
 3.4.2  OLAP的簡潔準(zhǔn)則　79                  
 3.5  OLAP的前端展現(xiàn)方式　80                  
 3.5.1  OLAP的C/S方式　80                  
 3.5.2  OLAP的Web　80                  
 3.5.3  瘦客戶機(jī)方式　81                  
 3.5.4  OLAP的局限性　82                  
 第4章　數(shù)據(jù)挖掘基礎(chǔ)　83                  
 4.1  數(shù)據(jù)挖掘的概念　83                  
 4.1.1  什么是數(shù)據(jù)挖掘　83                  
 4.1.2  數(shù)據(jù)挖掘的形式化定義　84                  
 4.1.3  數(shù)據(jù)挖掘的基本步驟　85                  
 4.1.4  數(shù)據(jù)挖掘方法的分類　85                  
 4.2  描述性挖掘分析　87                  
 4.2.1  關(guān)聯(lián)規(guī)則　87                  
 4.2.2  序列模型分析　92                  
 4.2.3  聚類分析（Clustering）　93                  
 4.3  預(yù)測類的挖掘算法　98                  
 4.3.1  分類問題　99                  
 4.3.2  回歸問題　102                  
 4.3.3  時間序列問題　102                  
 4.3.4　神經(jīng)網(wǎng)絡(luò)　105                  
 4.3.5  決策樹分析　110                  
 4.4  數(shù)據(jù)挖掘的體系結(jié)構(gòu)　112                  
 4.5  數(shù)據(jù)挖掘系統(tǒng)的應(yīng)用實例　113                  
 4.5.1  從用戶的行為模式來自動地生成動態(tài)鏈接　113                  
 4.5.2  用數(shù)據(jù)挖掘的方法來解決網(wǎng)絡(luò)擁擠的問題　119                  
 4.6  數(shù)據(jù)挖掘和相關(guān)系統(tǒng)的聯(lián)系　120                  
 4.6.1  數(shù)據(jù)挖掘和人工智能. 統(tǒng)計學(xué)的關(guān)系　120                  
 4.6.2  數(shù)據(jù)挖掘和數(shù)據(jù)倉庫的關(guān)系　121                  
 4.6.3  數(shù)據(jù)挖掘和OLAP的區(qū)別和聯(lián)系　122                  
 4.6.4  數(shù)據(jù)挖掘不是萬能的　124                  
 第二篇  設(shè)計建模篇                  
 第5章  企業(yè)模型設(shè)計　126                  
 5.1  數(shù)據(jù)倉庫設(shè)計和數(shù)據(jù)庫設(shè)計的區(qū)別　126                  
 5.2  企業(yè)模型　129                  
 5.2.1  什么是企業(yè)模型　129                  
 5.2.2  面向?qū)ο蟮姆治龇椒ā?33                  
 5.2.3  使用面向?qū)ο蟮姆椒ń⑵髽I(yè)模型　139                  
 5.2.4  面向?qū)ο蠓椒ê虴R模型的對比　144                  
 5.3  企業(yè)模型到數(shù)據(jù)庫模型的映射　145                  
 5.3.1  限定集成的范圍　145                  
 5.3.2  映射到關(guān)系模型　146                  
 5.3.3  對比映射結(jié)果和現(xiàn)有系統(tǒng)　148                  
 5.4  將企業(yè)模型映射到數(shù)據(jù)倉庫概念模型　149                  
 第6章  數(shù)據(jù)倉庫的模型設(shè)計　152                  
 6.1  數(shù)據(jù)倉庫的邏輯模型設(shè)計　152                  
 6.1.1  系統(tǒng)數(shù)據(jù)量估算　152                  
 6.1.2  數(shù)據(jù)顆粒度的選擇　153                  
 6.1.3  表的分割　157                  
 6.1.4  增加時間字段　157                  
 6.1.5  去除純操作型數(shù)據(jù)　157                  
 6.1.6  合理的表劃分　158                  
 6.1.7  定義關(guān)系模式　161                  
 6.1.8  增加導(dǎo)出字段　161                  
 6.1.9  記錄系統(tǒng)的定義　162                  
 6.2  數(shù)據(jù)倉庫的物理模型設(shè)計　163                  
 6.2.1  確定數(shù)據(jù)的存儲結(jié)構(gòu)　163                  
 6.2.2  索引策略　166                  
 6.2.3  數(shù)據(jù)存儲策略　173                  
 6.2.4  存儲分配優(yōu)化　176                  
 6.3  數(shù)據(jù)裝載接口設(shè)計　176                  
 6.4  并行優(yōu)化　177                  
 6.4.1  數(shù)據(jù)倉庫中并行優(yōu)化的必要性和可能性　177                  
 6.4.2  并行體系結(jié)構(gòu)　179                  
 第7章  OLAP建模方法　183                  
 7.1  維表　183                  
 7.1.1  維表的特征　183                  
 7.1.2  維的變化　184                  
 7.1.3  維表的共享　187                  
 7.1.4  雪花型結(jié)構(gòu)處理多對多關(guān)系　189                  
 7.1.5  層次信息和分類信息的位置　191                  
 7.1.6  非分析數(shù)據(jù)的分離　194                  
 7.1.7  典型的維層次　195                  
 7.2  事實表　198                  
 7.2.1  事實　198                  
 7.2.2  事實表的特征　199                  
 7.2.3  數(shù)據(jù)的粒度　199                  
 7.2.4  聚合操作和聚合表　200                  
 7.2.5  沒有度量變量的事實表　201                  
 7.2.6  通用數(shù)據(jù)和專用數(shù)據(jù)事實表　202                  
 7.3  OLAP的并行優(yōu)化　204                  
 7.3.1  B-TREE索引. 位圖索引和Bit-Wise索引　204                  
 7.3.2  星型查詢優(yōu)化　204                  
 7.3.3  預(yù)連接技術(shù)　207                  
 7.4  多維數(shù)據(jù)庫　207                  
 第8章　數(shù)據(jù)倉庫規(guī)劃和開發(fā)方法　210                  
 8.1 數(shù)據(jù)倉庫的投資分析　210                  
 8.1.1  數(shù)據(jù)倉庫的應(yīng)用目標(biāo)　210                  
 8.1.2  建設(shè)數(shù)據(jù)倉庫的必要性　211                  
 8.1.3  數(shù)據(jù)倉庫的投資回報分析　211                  
 8.1.4  技術(shù)選擇分析　212                  
 8.1.5  IDC的統(tǒng)計結(jié)果　213                  
 8.2  數(shù)據(jù)倉庫的開發(fā)方法　213                  
 8.2.1  瀑布式開發(fā)　213                  
 8.2.2  螺旋式開發(fā)　214                  
 8.3  數(shù)據(jù)倉庫主題的選擇和階段規(guī)劃　216                  
 8.3.1  階段規(guī)劃的原則　216                  
 8.3.2  維護(hù)階段　216                  
 8.4  現(xiàn)有數(shù)據(jù)庫系統(tǒng)的改造問題　216                  
 8.5  數(shù)據(jù)倉庫和數(shù)據(jù)庫系統(tǒng)的相互作用　217                  
 8.5.1  相互促進(jìn)的過程　217                  
 8.5.2  解決“蜘蛛網(wǎng)”問題　218                  
 8.5.3  數(shù)據(jù)倉庫的“間接使用”　218                  
 8.6  分布式數(shù)據(jù)倉庫　219                  
 8.6.1  采用分布式數(shù)據(jù)倉庫的原因　219                  
 8.6.2  分布式下的模型建立和數(shù)據(jù)劃分　221                  
 8.6.3  分布式數(shù)據(jù)倉庫的建設(shè)策略　224                  
 8.6.4  分布式數(shù)據(jù)倉庫技術(shù)的缺點　227                  
 8.7  需要避免的錯誤　228                  
 第9章  數(shù)據(jù)挖掘的實施過程　231                  
 9.1  數(shù)據(jù)挖掘過程模型5A　231                  
 9.2  數(shù)據(jù)挖掘過程模型CRISP-DM　233                  
 9.3  數(shù)據(jù)挖掘過程中的相關(guān)問題　235                  
 9.3.1  定義商業(yè)問題　235                  
 9.3.2  建立數(shù)據(jù)挖掘庫　236                  
 9.3.3  分析數(shù)據(jù) /選擇變量　241                  
 9.3.4  模型訓(xùn)練方法　245                  
 9.3.5  數(shù)據(jù)挖掘模型的評價方法　248                  
 9.3.6  數(shù)據(jù)倉庫的實施和維護(hù)　250                  
 9.3.7  模型實例　250                  
 第10章  數(shù)據(jù)倉庫的建立和維護(hù)　252                  
 10.1  數(shù)據(jù)倉庫建立的過程　252                  
 10.1.1  建立企業(yè)模型　252                  
 10.1.2  階段規(guī)劃/主題選取　253                  
 10.1.3  技術(shù)準(zhǔn)備工作　253                  
 10.1.4  邏輯設(shè)計　254                  
 10.1.5  物理設(shè)計　255                  
 10.1.6  數(shù)據(jù)載入接口設(shè)計　255                  
 10.1.7  裝載一個主題的數(shù)據(jù)和數(shù)據(jù)校驗　256                  
 10.1.8  OLAP模型設(shè)計和應(yīng)用開發(fā)　256                  
 10.1.9  數(shù)據(jù)準(zhǔn)備程序設(shè)計　257                  
 10.1.10  數(shù)據(jù)挖掘模型設(shè)計　257                  
 10.1.11  界面系統(tǒng)設(shè)計　258                  
 10.1.12  裝載其他主題數(shù)據(jù)　258                  
 10.1.13  同客戶交流　259                  
 10.1.14  重新開始循環(huán)　260                  
 10.2  數(shù)據(jù)倉庫的維護(hù)工作　260                  
 10.2.1  數(shù)據(jù)周期　260                  
 10.2.2  參照完整性　261                  
 10.2.3  數(shù)據(jù)環(huán)境信息　262                  
 第三篇  產(chǎn)品介紹篇                  
 第11章  數(shù)據(jù)倉庫產(chǎn)品的介紹　266                  
 11.1  數(shù)據(jù)倉庫工具　266                  
 11.2  INFORMIX數(shù)據(jù)倉庫產(chǎn)品簡介　268                  
 11.2.1  INFORMIX數(shù)據(jù)倉庫解決方案　268                  
 11.2.2  數(shù)據(jù)抽取. 轉(zhuǎn)換和裝載　269                  
 11.2.3  數(shù)據(jù)存儲　270                  
 11.2.4  數(shù)據(jù)訪問/呈現(xiàn)　274                  
 11.3  SAS產(chǎn)品簡介　278                  
 第12章  數(shù)據(jù)倉庫產(chǎn)品的選擇　283                  
 12.1  數(shù)據(jù)倉庫產(chǎn)品應(yīng)具備的關(guān)鍵技術(shù)　283                  
 12.2  各數(shù)據(jù)倉庫廠商產(chǎn)品的比較　285                  
 12.3  數(shù)據(jù)倉庫工具的選擇　286                  
 12.4  數(shù)據(jù)倉庫工具的互通問題　287                  
 第四篇  應(yīng)用實踐篇                  
 第13章  項目的需求和目標(biāo)分析　292                  
 13.1  電信領(lǐng)域建立數(shù)據(jù)倉庫的常見主題　292                  
 13.2  電信領(lǐng)域常見的分析問題　295                  
 13.2.1  客戶群體劃分　295                  
 13.2.2  客戶流失分析　296                  
 13.2.3  客戶欺詐分析　296                  
 13.2.4  網(wǎng)絡(luò)規(guī)劃優(yōu)化　297                  
 13.2.5  網(wǎng)管中的分析問題　298                  
 13.3  項目規(guī)劃　301                  
 13.4  需求分析的形成　301                  
 13.4.1  任務(wù)說明書　301                  
 13.4.2  需求說明書　302                  
 第14章  系統(tǒng)結(jié)構(gòu)和模型設(shè)計　307                  
 14.1  系統(tǒng)結(jié)構(gòu)設(shè)計　307                  
 14.1.1  數(shù)據(jù)量的估算　307                  
 14.1.2  系統(tǒng)硬件結(jié)構(gòu)/軟件結(jié)構(gòu)選擇　307                  
 14.2  數(shù)據(jù)倉庫模型的設(shè)計　310                  
 14.2.1  可利用的數(shù)據(jù)　310                  
 14.2.2  粒度的確定　311                  
 14.3  OLAP模型設(shè)計　314                  
 14.3.1  項目涉及的維度分析　315                  
 14.3.2  各個主題的維度設(shè)計　317                  
 第15章　系統(tǒng)裝載. 數(shù)據(jù)挖掘和界面設(shè)計　324                  
 15.1  數(shù)據(jù)裝載/數(shù)據(jù)綜合模塊設(shè)計　324                  
 15.2  OLAP模型生成程序　329                  
 15.3  數(shù)據(jù)挖掘?qū)挶碓O(shè)計和生成　335                  
 15.3.1  確定同目標(biāo)變量相關(guān)的數(shù)據(jù)　335                  
 15.3.2  創(chuàng)建新變量　336                  
 15.3.3  準(zhǔn)備訓(xùn)練集合與驗證集合　342                  
 15.3.4  確定分析的次序　343                  
 15.3.5  變量選擇　343                  
 15.3.6  模型的維護(hù)和完善　344                  
 15.4  創(chuàng)建多維數(shù)據(jù)庫模塊設(shè)計　345                  
 第16章  界面設(shè)計和項目總結(jié)　348                  
 16.1  界面展現(xiàn)設(shè)計　348                  
 16.1.1  三層體系結(jié)構(gòu)　348                  
 16.1.2  按照內(nèi)容對界面進(jìn)行規(guī)劃　349                  
 16.2  系統(tǒng)的工作流程總結(jié)　351                  
 16.3  系統(tǒng)的數(shù)據(jù)流程總結(jié)　353                  
 16.4  系統(tǒng)的模塊組成　355                  
 附錄  常用名詞表　356