大數據技術原理與應用：概念、存儲、處理、分析與應用

第一篇大數據基礎第1章大數據概述1．1大數據時代1．1．1第三次信息化浪潮1．1．2信息科技為大數據時代提供技術支撐1．1．3數據產生方式的變革促成大數據時代的來臨1．1．4大數據的發(fā)展歷程1．2大數據的概念1．2．1數據量大1．2．2數據類型繁多1．2．3處理速度快1．2．4價值密度低1．3大數據的影響1．3．1大數據對科學研究的影響1．3．2大數據對思維方式的影響1．3．3大數據對社會發(fā)展的影響1．3．4大數據對就業(yè)市場的影響1．3．5大數據對人才培養(yǎng)的影響1．4大數據的應用1．5大數據關鍵技術1．6大數據計算模式1．6．1批處理計算1．6．2流計算1．6．3圖計算1．6．4查詢分析計算1．7大數據產業(yè)1．8大數據與云計算、物聯網1．8．1云計算1．8．2物聯網1．8．3大數據與云計算、物聯網的關系1．9本章小結1．10習題第2章大數據處理架構Hadoop2．1概述2．1．1Hadoop簡介2．1．2Hadoop的發(fā)展簡史2．1．3Hadoop的特性2．1．4Hadoop的應用現狀2．2Hadoop的項目結構2．2．1Common2．2．2Avro2．2．3HDFS2．2．4HBase2．2．5MapReduce2．2．6Zookeeper2．2．7Hive2．2．8Pig2．2．9Sqoop2．2．10Chukwa2．3Hadoop的安裝與使用2．3．1創(chuàng)建Hadoop用戶2．3．2Java的安裝2．3．3SSH登錄權限設置2．3．4安裝單機Hadoop2．3．5Hadoop偽分布式安裝2．4本章小結2．5習題第二篇大數據存儲第3章Hadoop分布式文件系統3．1分布式文件系統3．1．1計算機集群結構3．1．2分布式文件系統的結構3．1．3分布式文件系統的設計需求3．2HDFS簡介3．3HDFS的相關概念3．3．1塊3．3．2名稱節(jié)點和數據節(jié)點3．4HDFS體系結構3．4．1概述3．4．2HDFS命名空間管理3．4．3通信協議3．4．4客戶端3．4．5HDFS體系結構的局限性3．5HDFS的存儲原理3．5．1冗余數據的保存3．5．2數據存取策略3．5．3數據錯誤與恢復3．6HDFS的數據讀寫過程3．6．1讀數據的過程3．6．2寫數據的過程3．7HDFS編程實踐3．7．1HDFS常用命令3．7．2HDFS的Web界面3．7．3HDFS常用JavaAPI及應用實例3．8本章小結3．9習題第4章分布式數據庫HBase4．1概述4．1．1從BigTable說起4．1．2HBase簡介4．1．3HBase與傳統關系數據庫的對比分析4．2HBase訪問接口4．3HBase數據模型4．3．1數據模型概述4．3．2數據模型的相關概念4．3．3數據坐標4．3．4概念視圖4．3．5物理視圖4．3．6面向列的存儲4．4HBase的實現原理4．4．1HBase的功能組件4．4．2表和Region4．4．3Region的定位4．5HBase運行機制4．5．1HBase系統架構4．5．2Region服務器的工作原理4．5．3Store的工作原理4．5．4HLog的工作原理4．6HBase編程實踐4．6．1HBase常用的Shell命令4．6．2HBase常用的JavaAPI及應用實例4．7本章小結4．8習題第5章NoSQL數據庫5．1NoSQL簡介5．2NoSQL興起的原因5．2．1關系數據庫法滿足Web2．0的需求5．2．2關系數據庫的關鍵特性在Web2．時代成為雞肋5．3NoSQL與關系數據庫的比較5．4NoSQL的四大類型5．4．1鍵值數據庫5．4．2列族數據庫5．4．3文檔數據庫5．4．4圖形數據庫5．5NoSQL的三大基石5．5．1CAP5．5．2BASE5．5．3最終一致性5．6從NoSQL到NewSQL數據庫5．7本章小結5．8習題第6章云數據庫6．1云數據庫概述6．1．1云計算是云數據庫興起的基礎6．1．2云數據庫的概念6．1．3云數據庫的特性6．1．4云數據庫是個性化數據存儲需求的理想選擇6．1．5云數據庫與其他數據庫的關系6．2云數據庫產品6．2．1云數據庫廠商概述6．2．2Amazon的云數據庫產品6．2．3Google的云數據庫產品6．2．4微軟的云數據庫產品6．2．5其他云數據庫產品6．3云數據庫系統架構6．3．1UMP系統概述6．3．2UMP系統架構6．3．3UMP系統功能6．4云數據庫實踐6．4．1阿里云RDS簡介6．4．2RDS中的概念6．4．3購買和使用RDS數據庫6．4．4將本地數據庫遷移到云端RDS數據庫6．5本章小結6．6習題第三篇大數據處理與分析第7章MapReduce7．1概述7．1．1分布式并行編程7．1．2MapReduce模型簡介7．1．3Map和Reduce函數7．2MapReduce的工作流程7．2．1工作流程概述7．2．2MapReduce的各個執(zhí)行階段7．2．3Shuffle過程詳解7．3實例分析：WordCount7．3．1WordCount的程序任務7．3．2WordCount的設計思路7．3．3MapReduce的具體執(zhí)行過程7．3．4一個WordCount執(zhí)行過程的實例7．4MapReduce的具體應用7．4．1MapReduce在關系代數運算中的應用7．4．2分組與聚合運算7．4．3矩陣-向量乘法7．4．4矩陣乘法7．5MapReduce編程實踐7．5．1任務要求7．5．2編寫Map處理邏輯7．5．3編寫Reduce處理邏輯7．5．4編寫main方法7．5．5編譯打包代碼以及運行程序7．6本章小結7．7習題第8章流計算8．1流計算概述8．1．1靜態(tài)數據和流數據8．1．2批量計算和實時計算8．1．3流計算的概念8．1．4流計算與Hadoop8．1．5流計算框架8．2流計算的處理流程8．2．1概述8．2．2數據實時采集8．2．3數據實時計算8．2．4實時查詢服務8．3流計算的應用8．3．1應用場景1：實時分析8．3．2應用場景2：實時交通8．4開源流計算框架Storm8．4．1Storm簡介