大數(shù)據(jù)技術(shù)基礎(chǔ)

第1章 大數(shù)據(jù)概述
本章思維導(dǎo)圖
1．1 大數(shù)據(jù)簡(jiǎn)介
1．1．1 大數(shù)據(jù)的發(fā)展歷程
1．1．2 大數(shù)據(jù)的定義與特征
1．1．3 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別
1．2 大數(shù)據(jù)平臺(tái)應(yīng)具備的能力
1．3 大數(shù)據(jù)平臺(tái)架構(gòu)
1．4 Hadoop生態(tài)系統(tǒng)
1．5 大數(shù)據(jù)應(yīng)用
1．5．1 互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用
1．5．2 金融行業(yè)大數(shù)據(jù)應(yīng)用
1．5．3 醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用
1．5．4 智慧交通大數(shù)據(jù)應(yīng)用
本章課后習(xí)題
本章參考文獻(xiàn)
第2章 大數(shù)據(jù)存儲(chǔ)——分布式文件系統(tǒng)及NoSQL數(shù)據(jù)庫(kù)
本章思維導(dǎo)圖
2．1 分布式文件系統(tǒng)
2．1．1 HDFS相關(guān)概念
2．1．2 HDFS體系結(jié)構(gòu)
2．1．3 HDFS存儲(chǔ)機(jī)制
2．1．4 HDFS讀/寫(xiě)操作
2．1．5 HDFS數(shù)據(jù)導(dǎo)入
2．2 NoSQL數(shù)據(jù)庫(kù)
2．2．1 KeyValue模型
2．2．2 KeyDocument 模型
2．2．3 KeyColumn模型
2．2．4 圖模型
2．3 列族數(shù)據(jù)庫(kù)
2．3．1 列族數(shù)據(jù)庫(kù)簡(jiǎn)介
2．3．2 HBase的基本原理
2．3．3 HBase的數(shù)據(jù)模型
2．4 鍵值數(shù)據(jù)庫(kù)
2．4．1 鍵值數(shù)據(jù)庫(kù)簡(jiǎn)介
2．4．2 選擇鍵值數(shù)據(jù)庫(kù)的原因
2．4．3 Redis的數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)介
2．4．4 Redis的數(shù)據(jù)持久化
2．4．5 Redis的數(shù)據(jù)復(fù)制
2．5 文檔數(shù)據(jù)庫(kù)
2．5．1 文檔數(shù)據(jù)庫(kù)簡(jiǎn)介
2．5．2 MongoDB的數(shù)據(jù)類(lèi)型
2．5．3 MongoDB的數(shù)據(jù)復(fù)制
2．6 圖數(shù)據(jù)庫(kù)
2．6．1 圖數(shù)據(jù)庫(kù)簡(jiǎn)介
2．6．2 圖數(shù)據(jù)庫(kù)的優(yōu)勢(shì)
2．6．3 Neo4j的基本元素與概念
2．6．4 Cypher簡(jiǎn)介
本章課后習(xí)題
本章參考文獻(xiàn)
第3章 大數(shù)據(jù)處理——MapReduce處理框架
本章思維導(dǎo)圖
3．1 MapReduce的發(fā)展背景
3．2 MapReduce框架
3．3 MapReduce的編程模型
3．3．1 MapReduce初析
3．3．2 MapReduce的運(yùn)行機(jī)制
3．3．3 MapReduce的相關(guān)問(wèn)題
3．4 MapReduce的集群調(diào)度
3．4．1 Hadoop1．x的傳統(tǒng)集群調(diào)度框架
3．4．2 Hadoop2．x的集群調(diào)度框架YARN
3．4．3 Hadoop作業(yè)調(diào)度器
本章課后習(xí)題
本章參考文獻(xiàn)
第4章 大數(shù)據(jù)處理——分布式內(nèi)存處理框架Spark
本章思維導(dǎo)圖
4．1 Spark簡(jiǎn)介
4．1．1 Spark介紹
4．1．2 提出Spark的原因
4．1．3 Spark中的關(guān)鍵術(shù)語(yǔ)
4．1．4 Spark的優(yōu)點(diǎn)
4．2 Spark框架
4．2．1 Spark框架圖
4．2．2 Spark運(yùn)行圖
4．2．3 Spark任務(wù)調(diào)度方法
4．3 RDD概念理解
4．3．1 RDD介紹
4．3．2 RDD的操作
4．3．3 RDD的存儲(chǔ)
4．3．4 RDD分區(qū)
4．3．5 RDD優(yōu)先位置
4．3．6 RDD依賴關(guān)系
4．4 RDD操作
4．4．1 RDD創(chuàng)建
4．4．2 轉(zhuǎn)換操作
4．4．3 行動(dòng)操作
4．5 Scala語(yǔ)言
4．5．1 Scala介紹
4．5．2 Scala基本語(yǔ)法
4．5．3 Scala編寫(xiě)Spark示例
4．6 Spark SQL簡(jiǎn)介
4．6．1 Spark SQL與Shark的對(duì)比
4．6．2 Spark SQL的優(yōu)勢(shì)
4．6．3 Spark SQL生態(tài)
4．7 MLlib簡(jiǎn)介
4．7．1 MLlib介紹
4．7．2 MLlib支持機(jī)器學(xué)習(xí)算法
本章課后習(xí)題
本章參考文獻(xiàn)
第5章 大數(shù)據(jù)處理——實(shí)時(shí)處理框架
本章思維導(dǎo)圖
5．1 實(shí)時(shí)處理架構(gòu)
5．1．1 基本概念
5．1．2 批量和流式計(jì)算
5．1．3 系統(tǒng)生態(tài)簡(jiǎn)介
5．2 Storm框架
5．2．1 Storm的基本術(shù)語(yǔ)和概念
5．2．2 Storm特性及運(yùn)行原理
5．2．3 消息的生命周期
5．2．4 消息的可靠性保障
5．3 Flume分布式日志收集
5．3．1 Flume的基本術(shù)語(yǔ)和概念
5．3．2 源
5．3．3 通道
5．3．4 接收器
5．4 Kafka分布式消息隊(duì)列
5．4．1 Kafka的基本術(shù)語(yǔ)和概念
5．4．2 生產(chǎn)者
5．4．3 消費(fèi)者
5．4．4 數(shù)據(jù)傳遞的可靠性保障
5．5 Spark Streaming框架
5．5．1 Spark Streaming架構(gòu)
5．5．2 輸入數(shù)據(jù)源
5．5．3 DStream的轉(zhuǎn)換操作
5．5．4 輸出存儲(chǔ)
5．5．5 容錯(cuò)機(jī)制
5．6 Flink框架
5．6．1 Flink架構(gòu)
5．6．2 Client
5．6．3 JobManager
5．6．4 TaskManager
本章課后習(xí)題
本章參考文獻(xiàn)
第6章 大數(shù)據(jù)查詢——分布式數(shù)據(jù)查詢
本章思維導(dǎo)圖
6．1 分布式數(shù)據(jù)查詢簡(jiǎn)介
6．2 Hive分布式數(shù)據(jù)倉(cāng)庫(kù)
6．2．1 Hive概述
6．2．2 Hive內(nèi)部介紹
6．2．3 Hive架構(gòu)介紹
6．2．4 HiveQL：數(shù)據(jù)定義
6．2．5 HiveQL：數(shù)據(jù)導(dǎo)入
6．2．6 HiveQL：查詢
6．3 Druid時(shí)序數(shù)據(jù)倉(cāng)儲(chǔ)
6．3．1 Druid概述
6．3．2 架構(gòu)詳解
6．3．3 數(shù)據(jù)攝入
6．3．4 數(shù)據(jù)查詢
6．4 Drill分布式實(shí)時(shí)查詢
6．4．1 使用Apache Drill的原因
6．4．2 Drill架構(gòu)與原理
6．4．3 Drill核心模塊
6．4．4 使用Drill實(shí)現(xiàn)查詢
本章課后習(xí)題
本章參考文獻(xiàn)
第7章 大數(shù)據(jù)分析——Kylin分布式多維數(shù)據(jù)分析
本章思維導(dǎo)圖
7．1 使用Apache Kylin的原因
7．2 Kylin學(xué)習(xí)的前奏
7．2．1 數(shù)據(jù)倉(cāng)庫(kù)的概念與產(chǎn)生需求
7．2．2 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析型系統(tǒng)
7．2．3 多維數(shù)據(jù)分析
7．2．4 OLAP與數(shù)據(jù)立方體
7．3 Kylin工作原理
7．3．1 Cube與Cuboid
7．3．2 工作流程
7．4 Kylin架構(gòu)
7．5 Kylin快速入門(mén)
7．5．1 在Hive中準(zhǔn)備數(shù)據(jù)
7．5．2 設(shè)計(jì)數(shù)據(jù)模型
7．5．3 創(chuàng)建Cube
7．5．4 構(gòu)建Cube
7．5．5 查詢Cube
7．6 增量構(gòu)建
7．6．1 設(shè)計(jì)增量Cube
7．6．2 觸發(fā)增量構(gòu)建
7．6．3 管理Cube碎片
7．7 查詢和可視化
7．7．1 Web GUI
7．7．2 Rest API
7．7．3 ODBC
7．7．4 通過(guò)Tableau訪問(wèn)Kylin
7．8 Cube優(yōu)化
本章課后習(xí)題
本章參考文獻(xiàn)
第8章 數(shù)據(jù)可視化
本章思維導(dǎo)圖
8．1 數(shù)據(jù)可視化定義及分類(lèi)
8．1．1 數(shù)據(jù)可視化定義
8．1．2 數(shù)據(jù)可視化分類(lèi)
8．2 數(shù)據(jù)可視化基礎(chǔ)
8．2．1 數(shù)據(jù)可視化流程
8．2．2 可視化中的數(shù)據(jù)
8．2．3 可視化的基本圖表
8．2．4 視圖的交互
8．3 信息可視化分類(lèi)
8．3．1 時(shí)空數(shù)據(jù)可視化
8．3．2 層次和網(wǎng)絡(luò)數(shù)據(jù)可視化
8．3．3 文本和文檔可視化
8．4 在商業(yè)智能中的數(shù)據(jù)可視化應(yīng)用
8．4．1 商業(yè)智能可視化的基本元素
8．4．2 儀表盤(pán)的設(shè)計(jì)準(zhǔn)則
8．5 數(shù)據(jù)可視化的實(shí)現(xiàn)
8．5．1 數(shù)據(jù)可視化工具
8．5．2 ECharts
8．5．3 Plotly
本章課后習(xí)題
本章參考文獻(xiàn)
第9章 大數(shù)據(jù)應(yīng)用系統(tǒng)案例——互聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)系統(tǒng)構(gòu)建
本章思維導(dǎo)圖
9．1 互聯(lián)網(wǎng)業(yè)務(wù)背景介紹
9．2 案例的大數(shù)據(jù)平臺(tái)技術(shù)體系架構(gòu)
9．2．1 數(shù)據(jù)采集
9．2．2 數(shù)據(jù)存儲(chǔ)
9．2．3 數(shù)據(jù)計(jì)算
9．2．4 數(shù)據(jù)應(yīng)用
本章課后習(xí)題
本章參考文獻(xiàn)