大數(shù)據(jù)開發(fā)實戰(zhàn)

定　價：￥119.00

作　者：	猿媛之家
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥89.20)

ISBN：	9787111756934	出版時間：	2024-11-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內(nèi)容簡介

　　本書深入探討了大數(shù)據(jù)技術的核心概念和實際應用。從大數(shù)據(jù)的基礎架構(gòu)Hadoop開始，逐步解析了分布式協(xié)調(diào)服務Zookeeper、數(shù)據(jù)倉庫Hive、面向列的數(shù)據(jù)庫HBase等關鍵技術。此外，還介紹了數(shù)據(jù)遷移工具Sqoop、數(shù)據(jù)采集工具Flume、發(fā)布訂閱消息系統(tǒng)Kafka等實用工具。本書還深入講解了數(shù)據(jù)處理分析引擎Spark、全文搜索引擎Elasticsearch及分布式處理引擎Flink的工作原理和應用實例。最后，通過電商推薦系統(tǒng)實戰(zhàn)和Flink實現(xiàn)電商用戶行為分析兩個案例，展示了大數(shù)據(jù)技術在實際業(yè)務中的應用。本書附帶全書實例源代碼、電子版本教程（下載方式見封底），以及可掃碼觀看的長達13個小時的部分實例操作視頻，幫助讀者更深入了解大數(shù)據(jù)技術的具體內(nèi)容，非常適合對大數(shù)據(jù)技術感興趣的讀者，尤其是想要深入了解大數(shù)據(jù)技術原理和應用的開發(fā)者和管理者閱讀。

作者簡介

　　韋宇杰，畢業(yè)于華南理工大學廣州學院，獲得了機械工程及自動化的學士學位，一位融合機械工程與自動化專業(yè)背景的資深程序員。作為一名資深程序員，在大數(shù)據(jù)領域深耕多年，積累了豐富的實戰(zhàn)經(jīng)驗。他精通從數(shù)據(jù)采集、清洗、存儲到分析的全鏈條技術，擅長運用最前沿的工具和框架解決復雜的數(shù)據(jù)處理問題，讓龐大的數(shù)據(jù)集在他的手中煥發(fā)出前所未有的價值。他的職業(yè)生涯跨越了多個領域，不僅在大數(shù)據(jù)處理和系統(tǒng)開發(fā)方面表現(xiàn)出色，更在算法設計和模型構(gòu)建上擁有深厚的專業(yè)知識。在數(shù)據(jù)處理、算法設計以及系統(tǒng)優(yōu)化方面積累了豐富的經(jīng)驗。他曾參與華為的應用系統(tǒng)經(jīng)營分析系統(tǒng)的研發(fā)工作，期間他充分發(fā)揮了自己的算法訓練和模型設計能力，為項目的成功貢獻了關鍵的技術支持。這段經(jīng)歷不僅證明了他在大數(shù)據(jù)處理領域的實力，也彰顯了他在算法和模型構(gòu)建方面的專業(yè)素養(yǎng)。作為一位對技術充滿熱情的程序員，他深耕細作，苦練編程，善于總結(jié)，慢慢的形成了個人的編程風格，在數(shù)據(jù)處理、算法、系統(tǒng)布局等方面有自己獨特的見解和處理方式。本書是作者多年工作經(jīng)驗的總結(jié)，以最貼近實際的案例幫助讀者更容易，更輕松，更深入地了解大數(shù)據(jù)開發(fā)。

圖書目錄

前言
環(huán)境搭建視頻教程二維碼清單
第1章大數(shù)據(jù)簡介
1.1大數(shù)據(jù)的概述
1.2大數(shù)據(jù)的特點
1.3大數(shù)據(jù)的應用領域
1.4目前企業(yè)應用的主流大數(shù)據(jù)技術
1.5大數(shù)據(jù)開發(fā)流程
第2章大數(shù)據(jù)基礎架構(gòu)Hadoop
2.1Hadoop簡介
2.2Hadoop架構(gòu)詳解
2.2.1分布式存儲系統(tǒng)HDFS
2.2.2分布式資源管理框架YARN
2.2.3離線計算框架MapReduce
2.3HDFS讀、寫文件流程
2.3.1HDFS寫文件流程
2.3.2HDFS讀文件流程
2.4HDFS的實戰(zhàn)操作
2.4.1HDFS上傳文件
2.4.2HDFS創(chuàng)建文件
2.4.3HDFS創(chuàng)建目錄
2.4.4HDFS重命名文件
2.4.5HDFS刪除文件
2.5YARN原理
2.6YARN調(diào)度器詳解
2.7MapReduce工作原理
2.8MapReduce核心的原理Shuffle
2.8.1Map端
2.8.2Reduce端
2.9MapReduce常用三大組件
2.9.1MapReduce中的Partitioner
2.9.2MapReduce中的Sort
2.9.3MapReduce中的Combiner
2.10MapReduce項目實戰(zhàn)
2.10.1清洗日志
2.10.2統(tǒng)計電影最高評分
第3章分布式協(xié)調(diào)服務Zookeeper
3.1ZooKeeper簡介
3.2ZooKeeper結(jié)構(gòu)和工作原理
3.2.1ZooKeeper集群角色
3.2.2ZooKeeper的數(shù)據(jù)結(jié)構(gòu)
3.2.3ZooKeeper的工作流程
3.2.4ZooKeeper的監(jiān)聽器
3.3ZooKeeper實戰(zhàn)
3.3.1ZooKeeper創(chuàng)建持久節(jié)點
3.3.2ZooKeeper創(chuàng)建臨時節(jié)點
3.3.3ZooKeeper遞歸創(chuàng)建節(jié)點
3.3.4ZooKeeper讀取數(shù)據(jù)
3.3.5ZooKeeper更新數(shù)據(jù)
3.3.6ZooKeeper監(jiān)聽節(jié)點
3.3.7ZooKeeper監(jiān)聽子節(jié)點
3.3.8ZooKeeper實現(xiàn)服務注冊與發(fā)現(xiàn)
第4章數(shù)據(jù)倉庫Hive
4.1Hive簡介和特點
4.2Hive結(jié)構(gòu)和原理
4.2.1Hive結(jié)構(gòu)
4.2.2Hive運行的流程
4.2.3Hive的HQL轉(zhuǎn)換過程
4.3電商用戶行為分析
4.3.1項目背景及目的
4.3.2數(shù)據(jù)導入
4.3.3數(shù)據(jù)清洗
4.3.4數(shù)據(jù)分析
第5章面向列的數(shù)據(jù)庫HBase
5.1HBase簡介
5.2HBase架構(gòu)
5.2.1HBase的組件
5.2.2HBase工作機制
5.3HBase數(shù)據(jù)模型
5.4HBase讀寫流程
5.4.1HBase寫操作流程
5.4.2HBase讀操作流程
5.5HBase的API示例
5.5.1HBase創(chuàng)建表
5.5.2HBase保持數(shù)據(jù)
5.5.3HBase更新數(shù)據(jù)
5.5.4HBase獲取數(shù)據(jù)
5.5.5HBase刪除數(shù)據(jù)
5.5.6使用HBase獲取某一行數(shù)據(jù)
5.6HBase存儲訂單案例
第6章大數(shù)據(jù)開發(fā)實戰(zhàn)數(shù)據(jù)遷移工具Sqoop
6.1Sqoop架構(gòu)和工作原理
6.1.1Sqoop導入原理
6.1.2Sqoop導出原理
6.2Sqoop將HDFS數(shù)據(jù)導入MySQL
6.3Sqoop將MySQL數(shù)據(jù)導入HDFS
第7章數(shù)據(jù)采集工具Flume
7.1Flume簡介
7.2Flume構(gòu)成和工作原理
7.2.1Flume構(gòu)成
7.2.2Flume工作原理
7.3Flume實戰(zhàn)
7.3.1Flume監(jiān)聽目錄實戰(zhàn)
7.3.2Flume一對多實戰(zhàn)
7.3.3Flume攔截器實戰(zhàn)
7.3.4Flume采集數(shù)據(jù)到HDFS
7.3.5Kafka對接Flume實戰(zhàn)
第8章發(fā)布訂閱消息系統(tǒng)Kafka
8.1Kafka 簡介
8.2Kafka的消息生產(chǎn)者
8.2.1Kafka生產(chǎn)者的運行流程
8.2.2Kafka生產(chǎn)者分區(qū)
8.2.3副本的同步復制和異步復制
8.2.4Kafka消息發(fā)送確認機制
8.3Kafka的Broker保存消息
8.3.1存儲方式與策略
8.3.2Topic創(chuàng)建與刪除
8.4Kafka的消息消費者
8.4.1消費機制
8.4.2消費者組
8.5Kafka 的存儲機制
8.5.1Kafka主題Topic
8.5.2Kafka分片Partition
8.5.3Kafka日志Segment File
8.6Kafka 實戰(zhàn)
8.6.1Kafka發(fā)送消息
8.6.2Kafka自定義分區(qū)發(fā)送消息
8.6.3Spring Boot整合Kafka發(fā)送消息
第9章數(shù)據(jù)處理分析引擎Spark
9.1Spark 簡介
9.2Spark 運行原理
9.2.1Spark的基本概念
9.2.2Spark運行的原理
9.2.3Driver運行在Client
9.2.4Driver運行在Worker節(jié)點
9.3Spark算子RDD
9.3.1RDD的屬性
9.3.2RDD的依賴關系
9.3.3RDD的shuffle過程
9.3.4RDD的緩存和檢查機制
9.4Spark SQL
9.4.1Spark SQL概念
9.4.2Spark SQL的架構(gòu)
9.4.3DataSets和DataFrames
9.4.4Spark SQL示例
9.5Spark Streaming
9.5.1Spark Streaming介紹/9.5.2DStream轉(zhuǎn)換操作
9.5.3Spark Streaming窗口操作
9.5.4DStream輸入
9.5.5DStream 輸出
9.5.6DSFrame和SQL操作
9.5.7Spark Streaming檢查點
9.6Spark Streaming接收Flume數(shù)據(jù)實戰(zhàn)
9.7Spark Streaming接收Kafka數(shù)據(jù)實戰(zhàn)
第10章全文搜索引擎Elasticsearch
10.1Elasticsearch簡介
10.2Elasticsearch架構(gòu)和原理
10.2.1Elasticsearch核心概念
10.2.2Elasticsearch工作原理
10.2.3Elasticsearch倒排索引
10.3Elasticsearch實戰(zhàn)
10.3.1Elasticsearch索引創(chuàng)建
10.3.2Elasticsearch索引更新
10.3.3Elasticsearch索引查詢
10.3.4Elasticsearch索引刪除
10.3.5Elasticsearch保存文檔
10.3.6Elasticsearch更新文檔
10.3.7Elasticsearch精確查詢
10.3.8Elasticsearch模糊查詢
10.3.9Elasticsearch范圍查詢
10.3.10Elasticsearch布爾查詢
10.3.11Elasticsearch聚合查詢
10.3.12Elasticsearch高亮查詢
10.4Elasticsearch實現(xiàn)搜索系統(tǒng)
10.4.1搜索系統(tǒng)項目環(huán)境準備
10.4.2Elasticsearch實現(xiàn)搜索功能
第11章分布式處理引擎Flink
11.1Flink 概述
11.2Flink基本組件和運行時架構(gòu)
11.2.1Flink運行時架構(gòu)
11.2.2Flink的分層
11.3Flink流處理流程
11.3.1Flink環(huán)境設置(Environment)
11.3.2Flink源算子(Source)
11.3.3Flink支持的數(shù)據(jù)類型
11.3.4