劍指大數(shù)據(jù)：企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)戰(zhàn)（電商版）

目錄

第1章 數(shù)據(jù)倉(cāng)庫(kù)概論 1
1.1 數(shù)據(jù)倉(cāng)庫(kù)的概念與特點(diǎn) 1
1.2 數(shù)據(jù)倉(cāng)庫(kù)的演進(jìn)過(guò)程 2
1.3 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) 3
1.4 數(shù)據(jù)倉(cāng)庫(kù)基本架構(gòu) 5
1.5 數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別 8
1.6 學(xué)前導(dǎo)讀 9
1.6.1 學(xué)習(xí)的基礎(chǔ)要求 9
1.6.2 你將學(xué)到什么 9
1.7 本章總結(jié) 10
第2章 項(xiàng)目需求描述 11
2.1 前期調(diào)研 11
2.2 項(xiàng)目架構(gòu)分析 12
2.2.1 電商數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品描述 12
2.2.2 系統(tǒng)功能結(jié)構(gòu) 13
2.2.3 系統(tǒng)流程圖 14
2.3 項(xiàng)目業(yè)務(wù)概述 14
2.3.1 采集模塊業(yè)務(wù)描述 14
2.3.2 數(shù)據(jù)倉(cāng)庫(kù)需求業(yè)務(wù)描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務(wù)描述 17
2.3.4 即席查詢(xún)業(yè)務(wù)描述 17
2.3.5 數(shù)據(jù)治理業(yè)務(wù)描述 18
2.4 系統(tǒng)運(yùn)行環(huán)境 19
2.4.1 硬件環(huán)境 19
2.4.2 軟件環(huán)境 20
2.5 本章總結(jié) 22
第3章 項(xiàng)目部署的環(huán)境準(zhǔn)備 23
3.1 Linux環(huán)境準(zhǔn)備 23
3.1.1 VMware安裝 23
3.1.2 CentOS安裝 23
3.1.3 遠(yuǎn)程終端安裝 31
3.2 Linux環(huán)境配置 35
3.2.1 網(wǎng)絡(luò)配置 35
3.2.2 網(wǎng)絡(luò)IP地址配置 36
3.2.3 主機(jī)名配置 36
3.2.4 防火墻配置 37
3.2.5 一般用戶(hù)設(shè)置 38
3.3 Hadoop環(huán)境搭建 38
3.3.1 虛擬機(jī)環(huán)境準(zhǔn)備 38
3.3.2 JDK安裝 43
3.3.3 Hadoop安裝 44
3.3.4 Hadoop分布式集群部署 45
3.4 本章總結(jié) 51
第4章 用戶(hù)行為數(shù)據(jù)采集模塊 52
4.1 日志生成 52
4.1.1 數(shù)據(jù)埋點(diǎn) 52
4.1.2 用戶(hù)行為日志內(nèi)容 52
4.1.3 用戶(hù)行為日志格式 54
4.1.4 數(shù)據(jù)模擬 58
4.2 消息隊(duì)列Kafka 61
4.2.1 ZooKeeper安裝 61
4.2.2 ZooKeeper集群?jiǎn)?dòng)、停止腳本 63
4.2.3 Kafka安裝 64
4.2.4 Kafka Eagle安裝 65
4.2.5 Kafka集群?jiǎn)?dòng)、停止腳本 67
4.2.6 Kafka topic相關(guān)操作 68
4.3 采集日志的Flume 68
4.3.1 Flume組件 69
4.3.2 Flume安裝 69
4.3.3 采集日志的Flume配置 70
4.3.4 Flume的攔截器 71
4.3.5 采集日志的Flume啟動(dòng)、停止腳本 75
4.4 消費(fèi)日志的Flume 76
4.4.1 消費(fèi)日志的Flume配置 77
4.4.2 時(shí)間戳攔截器 78
4.4.3 消費(fèi)日志的Flume啟動(dòng)、停止腳本 80
4.4.4 數(shù)據(jù)通道測(cè)試 81
4.5 采集通道啟動(dòng)、停止腳本 81
4.6 本章總結(jié) 83
第5章 業(yè)務(wù)數(shù)據(jù)采集模塊 84
5.1 電商業(yè)務(wù)概述 84
5.1.1 電商業(yè)務(wù)流程 84
5.1.2 電商常識(shí) 85
5.1.3 電商業(yè)務(wù)表結(jié)構(gòu) 85
5.1.4 數(shù)據(jù)同步策略 95
5.1.5 數(shù)據(jù)同步工具選擇 97
5.2 業(yè)務(wù)數(shù)據(jù)采集 97
5.2.1 MySQL安裝 97
5.2.2 業(yè)務(wù)數(shù)據(jù)生成 99
5.2.3 業(yè)務(wù)數(shù)據(jù)模型梳理 102
5.2.4 DataX安裝 106
5.2.5 Maxwell安裝 108
5.2.6 全量同步 112
5.2.7 增量同步 122
5.3 本章總結(jié) 130
第6章 數(shù)據(jù)倉(cāng)庫(kù)搭建模塊 131
6.1 數(shù)據(jù)倉(cāng)庫(kù)理論準(zhǔn)備 131
6.1.1 數(shù)據(jù)建模概述 131
6.1.2 關(guān)系模型與范式理論 132
6.1.3 維度模型 135
6.1.4 維度建模理論之事實(shí)表 136
6.1.5 維度建模理論之維度表 139
6.1.6 雪花模型、星形模型與星座模型 142
6.2 數(shù)據(jù)倉(cāng)庫(kù)建模實(shí)踐 144
6.2.1 名詞概念 144
6.2.2 為什么要分層 145
6.2.3 數(shù)據(jù)倉(cāng)庫(kù)搭建流程 146
6.2.4 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)規(guī)范 153
6.3 數(shù)據(jù)倉(cāng)庫(kù)搭建環(huán)境準(zhǔn)備 157
6.3.1 Hive安裝 157
6.3.2 Hive on Spark配置 160
6.3.3 YARN容量調(diào)度器并發(fā)度問(wèn)題 162
6.3.4 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)環(huán)境配置 162
6.3.5 模擬數(shù)據(jù)準(zhǔn)備 166
6.3.6 常用函數(shù) 168
6.3.7 復(fù)雜數(shù)據(jù)類(lèi)型 169
6.4 數(shù)據(jù)倉(cāng)庫(kù)搭建——ODS層 170
6.4.1 用戶(hù)行為數(shù)據(jù) 171
6.4.2 ODS層用戶(hù)行為數(shù)據(jù)導(dǎo)入腳本 172
6.4.3 業(yè)務(wù)數(shù)據(jù) 173
6.4.4 ODS層業(yè)務(wù)數(shù)據(jù)導(dǎo)入腳本 183
6.5 數(shù)據(jù)倉(cāng)庫(kù)搭建——DIM層 186
6.5.1 商品維度表（全量） 186
6.5.2 優(yōu)惠券維度表（全量） 189
6.5.3 活動(dòng)維度表（全量） 191
6.5.4 地區(qū)維度表（全量） 193
6.5.5 時(shí)間維度表（特殊） 194
6.5.6 用戶(hù)維度表（拉鏈表） 195
6.5.7 DIM層首日數(shù)據(jù)裝載腳本 199
6.5.8 DIM層每日數(shù)據(jù)裝載腳本 199
6.6 數(shù)據(jù)倉(cāng)庫(kù)搭建——DWD層 199
6.6.1 交易域加購(gòu)物車(chē)事務(wù)事實(shí)表 200
6.6.2 交易域下單事務(wù)事實(shí)表 204
6.6.3 交易域取消訂單事務(wù)事實(shí)表 209
6.6.4 交易域支付成功事務(wù)事實(shí)表 214
6.6.5 交易域退單事務(wù)事實(shí)表 220
6.6.6 交易域退款成功事務(wù)事實(shí)表 224
6.6.7 交易域購(gòu)物車(chē)周期快照事實(shí)表 227
6.6.8 工具域優(yōu)惠券領(lǐng)取事務(wù)事實(shí)表 228
6.6.9 工具域優(yōu)惠券使用（下單）事務(wù)事實(shí)表 229
6.6.10 工具域優(yōu)惠券使用（支付）事務(wù)事實(shí)表 230
6.6.11 互動(dòng)域收藏事務(wù)事實(shí)表 232
6.6.12 互動(dòng)域評(píng)價(jià)事務(wù)事實(shí)表 233
6.6.13 流量域頁(yè)面瀏覽事務(wù)事實(shí)表 235
6.6.14 流量域啟動(dòng)事務(wù)事實(shí)表 238
6.6.15 流量域動(dòng)作事務(wù)事實(shí)表 240
6.6.16 流量域曝光事務(wù)事實(shí)表 243
6.6.17 流量域錯(cuò)誤事務(wù)事實(shí)表 245
6.6.18 用戶(hù)域注冊(cè)事務(wù)事實(shí)表 248
6.6.19 用戶(hù)域登錄事務(wù)事實(shí)表 251
6.6.20 DWD層首日業(yè)務(wù)數(shù)據(jù)裝載腳本 254
6.6.21 DWD層每日業(yè)務(wù)數(shù)據(jù)裝載腳本 254
6.7 數(shù)據(jù)倉(cāng)庫(kù)搭建——DWS層 255
6.7.1 最近1日匯總表 256
6.7.2 最近n日匯總表 269
6.7.3 歷史至今匯總表 279
6.8 數(shù)據(jù)倉(cāng)庫(kù)搭建——ADS層 283
6.8.1 流量主題指標(biāo) 283
6.8.2 用戶(hù)主題指標(biāo) 286
6.8.3 商品主題指標(biāo) 294
6.8.4 交易主題指標(biāo) 302
6.8.5 優(yōu)惠券主題指標(biāo) 306
6.8.6 活動(dòng)主題指標(biāo) 307
6.8.7 ADS層數(shù)據(jù)導(dǎo)入腳本 307
6.9 數(shù)據(jù)模型評(píng)估及優(yōu)化 308
6.10 本章總結(jié) 308
第7章 DolphinScheduler全流程調(diào)度 309
7.1 DolphinScheduler概述與安裝部署 309
7.1.1 DolphinScheduler概述 309
7.1.2 DolphinScheduler安裝部署 310
7.2 創(chuàng)建MySQL數(shù)據(jù)庫(kù)和表 317
7.3 DataX數(shù)據(jù)導(dǎo)出 322
7.4 全流程調(diào)度 329
7.4.1 數(shù)據(jù)準(zhǔn)備 329
7.4.2 全流程調(diào)度配置 330
7.5 電子郵件報(bào)警 337
7.5.1 注冊(cè)郵箱 337
7.5.2 配置電子郵件報(bào)警 339
7.6 本章總結(jié) 341
第8章 數(shù)據(jù)可視化模塊 342
8.1 Superset部署 342
8.1.1 環(huán)境準(zhǔn)備 342
8.1.2 Superset安裝 344
8.2 Superset使用 347
8.2.1 對(duì)接MySQL數(shù)據(jù)源 347
8.2.2 制作儀表盤(pán) 350
8.3 Superset實(shí)戰(zhàn) 354
8.3.1 制作柱狀圖 354
8.3.2 制作旭日?qǐng)D 355
8.3.3 制作桑基圖 357
8.3.4 合成儀表盤(pán)頁(yè)面 358
8.4 ECharts可視化 359
8.5 本章總結(jié) 361
第9章 即席查詢(xún)模塊 362
9.1 Presto 362
9.1.1 Presto簡(jiǎn)介 362
9.1.2 Presto安裝 363
9.1.3 Presto優(yōu)化之?dāng)?shù)據(jù)存儲(chǔ) 367
9.1.4 Presto優(yōu)化之SQL查詢(xún)語(yǔ)句 367
9.1.5 Presto注意事項(xiàng) 368
9.2 Kylin 368
9.2.1 Kylin簡(jiǎn)介 368
9.2.2 HBase安裝 370
9.2.3 Kylin安裝 371
9.2.4 Kylin使用 373
9.2.5 Kylin Cube構(gòu)建原理 384
9.2.6 Kylin Cube存儲(chǔ)原理 387
9.2.7 Kylin Cube構(gòu)建優(yōu)化 388
9.2.8 Kylin BI工具集成 392
9.3 即席查詢(xún)框架對(duì)比 398
9.4 本章總結(jié) 399
第10章 集群監(jiān)控模塊 400
10.1 Zabbix入門(mén) 400
10.2 Zabbix部署 401
10.2.1 集群規(guī)劃 401
10.2.2 準(zhǔn)備工作 401
10.2.3 配置Zabbix yum源 402
10.2.4 安裝并配置Zabbix 404
10.2.5 啟動(dòng)、停止Zabbix 405
10.3 Zabbix使用 409
10.3.1 術(shù)語(yǔ)介紹 410
10.3.2 Zabbix實(shí)戰(zhàn) 410
10.3.3 創(chuàng)建模板 422
10.4 Grafana 427
10.4.1 Grafana安裝部署 427
10.4.2 快速入門(mén) 428
10.4.3 集成Zabbix 430
10.5 本章總結(jié) 439
第11章 安全認(rèn)證模塊 440
11.1 Kerberos入門(mén) 440
11.1.1 Kerberos概述 440
11.1.2 Kerberos認(rèn)證原理 440
11.2 Kerberos安裝 441
11.2.1 安裝Kerberos相關(guān)服務(wù) 441
11.2.2 修改配置文件 441
11.2.3 初始化KDC數(shù)據(jù)庫(kù) 442
11.2.4 修改管理員權(quán)限配置文件 442
11.2.5 啟動(dòng)Kerberos相關(guān)服務(wù) 443
11.2.6 創(chuàng)建Kerberos管理員用戶(hù) 443
11.3 Kerberos操作 443
11.3.1 Kerberos數(shù)據(jù)庫(kù)操作 443
11.3.2 Kerberos認(rèn)證操作 444
11.4 Hadoop集成Kerberos 444
11.4.1 創(chuàng)建Hadoop系統(tǒng)用戶(hù) 444
11.4.2 為Hadoop各服務(wù)創(chuàng)建Kerberos主體（Principal） 445
11.4.3 修改Hadoop配置文件 448
11.4.4 配置HDFS使用HTTPS協(xié)議 452
11.4.5 配置YARN使用LinuxContainerExecutor 453
11.5 在安全認(rèn)證模式下啟動(dòng)Hadoop集群 455
11.5.1 修改本地特定路徑訪問(wèn)權(quán)限 455
11.5.2 啟動(dòng)HDFS 456
11.5.3 修改HDFS特定路徑訪問(wèn)權(quán)限 457
11.5.4 啟動(dòng)YARN 458
11.5.5 啟動(dòng)HistoryServer 458
11.6 在安全認(rèn)證模式下操作Hadoop集群 459
11.6.1 用戶(hù)要求 459
11.6.2 HDFS操作 459
11.6.3 MapReduce任務(wù)提交 463
11.7 Hive集成Kerberos 463
11.7.1 配置要求 463
11.7.2 配置認(rèn)證 464
11.7.3 啟動(dòng)HiveServer2服務(wù) 465
11.8 在安全認(rèn)證模式下操作Hive 465
11.8.1 Beeline客戶(hù)端 465
11.8.2 DataGrip客戶(hù)端 465
11.9 在安全認(rèn)證模式下執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)全流程調(diào)度 469
11.9.1 用戶(hù)準(zhǔn)備 469
11.9.2 修改數(shù)據(jù)采集通道 470
11.9.3 修改數(shù)據(jù)倉(cāng)庫(kù)各層腳本 473
11.9.4 修改數(shù)據(jù)導(dǎo)出DataX配置文件 474