Spark大數(shù)據(jù)分析技術(shù)與實(shí)戰(zhàn)

定　價(jià)：￥59.00

作　者：	經(jīng)管之家著
出版社：	電子工業(yè)出版社
叢編項(xiàng)：	CDA數(shù)據(jù)分析師系列叢書(shū)
標(biāo)　簽：	暫缺

購(gòu)買這本書(shū)可以去

ISBN：	9787121319037	出版時(shí)間：	2017-06-01	包裝：	平裝
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	232	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　Spark作為下一代大數(shù)據(jù)處理引擎，經(jīng)過(guò)短短幾年的飛躍式發(fā)展，正在以燎原之勢(shì)席卷業(yè)界，現(xiàn)已成為大數(shù)據(jù)產(chǎn)業(yè)中的一股中堅(jiān)力量。本書(shū)著重講解了Spark內(nèi)核、Spark GraphX、Spark SQL、Spark Streaming和Spark MLlib的核心概念與理論框架，并提供了相應(yīng)的示例與解析。全書(shū)共分8章，其中前4章介紹Spark內(nèi)核，主要包括Spark簡(jiǎn)介、集群部署、工作原理、核心概念與操作等；后4章分別介紹Spark內(nèi)核上的核心組件，每章系統(tǒng)地介紹Spark的一個(gè)組件，并附以相應(yīng)的案例分析。本書(shū)適合作為高等院校計(jì)算機(jī)相關(guān)專業(yè)的研究生學(xué)習(xí)參考資料，也適合大數(shù)據(jù)技術(shù)初學(xué)者閱讀，還適合于所有愿意對(duì)大數(shù)據(jù)技術(shù)有所了解并想要將大數(shù)據(jù)技術(shù)應(yīng)用于本職工作的讀者閱讀。

作者簡(jiǎn)介

　　經(jīng)管之家（www.jg.com.cn）：原人大經(jīng)濟(jì)論壇，于2003年成立，致力于推動(dòng)經(jīng)管學(xué)科的進(jìn)步，傳播優(yōu)秀教育資源，目前已經(jīng)發(fā)展成為國(guó)內(nèi)優(yōu)秀的經(jīng)濟(jì)、管理、金融、統(tǒng)計(jì)類的在線教育和咨詢網(wǎng)站，也是國(guó)內(nèi)活躍和具影響力的經(jīng)管類網(wǎng)絡(luò)社區(qū)。經(jīng)管之家從2006年起在國(guó)內(nèi)開(kāi)展數(shù)據(jù)分析培訓(xùn)，累計(jì)培訓(xùn)學(xué)員數(shù)萬(wàn)人。在大數(shù)據(jù)的趨勢(shì)背景下，創(chuàng)新“CDA數(shù)據(jù)分析師”品牌，致力于為社會(huì)各界數(shù)據(jù)分析愛(ài)好者提供優(yōu)質(zhì)、科學(xué)、系統(tǒng)的數(shù)據(jù)分析教育。截至2016年3月已成功舉辦40多期系統(tǒng)培訓(xùn)，培訓(xùn)學(xué)員達(dá)3千余名；CDA認(rèn)證考試已成功舉辦三屆，報(bào)考人數(shù)上千人；中國(guó)數(shù)據(jù)分析師俱樂(lè)部（CDA CLUB），每周線下免費(fèi)沙龍活動(dòng)，已舉力40多期，累積會(huì)員2千余名；中國(guó)數(shù)據(jù)分析師行業(yè)峰會(huì)（CDA　Summit），一年兩屆，參會(huì)人數(shù)皆達(dá)2千余名，在大數(shù)據(jù)領(lǐng)域影響力超前?！癈DA數(shù)據(jù)分析師”隊(duì)伍在業(yè)界不斷壯大，對(duì)數(shù)據(jù)分析人才產(chǎn)業(yè)起到了巨大的推動(dòng)作用。

圖書(shū)目錄

第1章 Spark導(dǎo)論\t1
1．1 Spark的發(fā)展\t2
1．2 什么是Spark\t3
1．3 Spark主要特征\t3
1．3．1 快速\t3
1．3．2 簡(jiǎn)潔易用\t5
1．3．3 通用\t6
1．3．4 多種運(yùn)行模式\t8
第2章 Spark集群部署\t9
2．1 運(yùn)行環(huán)境說(shuō)明\t9
2．1．1 軟硬件環(huán)境\t9
2．1．2 集群網(wǎng)絡(luò)環(huán)境\t10
2．2 安裝VMware Workstation 11\t10
2．3 安裝CentOS 6\t16
2．4 安裝Hadoop\t21
2．4．1 克隆并啟動(dòng)虛擬機(jī)\t21
2．4．2 網(wǎng)絡(luò)基本配置\t24
2．4．3 安裝JDK\t27
2．4．4 免密鑰登錄配置\t28
2．4．5 Hadoop配置\t29
2．4．6 配置從節(jié)點(diǎn)\t33
2．4．7 配置系統(tǒng)文件\t33
2．4．8 啟動(dòng)Hadoop集群\t33
2．5 安裝Scala\t35
2．6 安裝Spark\t36
2．6．1 下載并解壓Spark安裝包\t36
2．6．2 配置Spark-env．sh\t37
2．6．3 配置Spark-defaults．conf\t37
2．6．4 配置Slaves\t38
2．6．5 配置環(huán)境變量\t38
2．6．6 發(fā)送至Slave1、Slave2\t39
2．7 啟動(dòng)Spark\t39
第3章 RDD編程\t42
3．1 RDD定義\t42
3．2 RDD的特性\t43
3．2．1 分區(qū)\t43
3．2．2 依賴\t44
3．2．3 計(jì)算\t45
3．2．4 分區(qū)函數(shù)\t45
3．2．5 優(yōu)先位置\t46
3．3 創(chuàng)建操作\t46
3．3．1 基于集合的創(chuàng)建操作\t47
3．3．2 基于外部存儲(chǔ)的創(chuàng)建操作\t47
3．4 常見(jiàn)執(zhí)行操作\t49
3．5 常見(jiàn)轉(zhuǎn)換操作\t49
3．5．1 一元轉(zhuǎn)換操作\t50
3．5．2 二元轉(zhuǎn)換操作\t53
3．6 持久化操作\t56
3．7 存儲(chǔ)操作\t58
第4章 Spark調(diào)度管理與應(yīng)用程序開(kāi)發(fā)\t59
4．1 Spark調(diào)度管理基本概念\t59
4．2 作業(yè)調(diào)度流程\t60
4．2．1 作業(yè)的生成與提交\t61
4．2．2 階段的劃分\t62
4．2．3 調(diào)度階段的提交\t62
4．2．4 任務(wù)的提交與執(zhí)行\(zhòng)t62
4．3 基于IntelliJ IDEA構(gòu)建Spark應(yīng)用程序\t64
4．3．1 安裝IntelliJ IDEA\t64
4．3．2 創(chuàng)建Spark應(yīng)用程序\t70
4．3．3 集群模式運(yùn)行Spark應(yīng)用程序\t81
第5章 GraphX\t87
5．1 GraphX概述\t87
5．2 GraphX基本原理\t89
5．2．1 圖計(jì)算模型處理流程\t89
5．2．2 GraphX定義\t90
5．2．3 GraphX的特點(diǎn)\t90
5．3 GraphX設(shè)計(jì)與實(shí)現(xiàn)\t91
5．3．1 彈性分布式屬性圖\t91
5．3．2 圖的數(shù)據(jù)模型\t92
5．3．3 圖的存儲(chǔ)模型\t94
5．3．4 GraphX模型框架\t97
5．4 GraphX操作\t97
5．4．1 創(chuàng)建圖\t97
5．4．2 基本屬性操作\t100
5．4．3 結(jié)構(gòu)操作\t102
5．4．4 轉(zhuǎn)換操作\t103
5．4．5 連接操作\t105
5．4．6 聚合操作\t106
5．5 GraphX案例解析\t107
5．5．1 PageRank算法與案例解析\t107
5．5．2 Triangle Count算法與案例解析\t110
第6章 Spark SQL\t113
6．1 Spark SQL概述\t113
6．2 Spark SQL邏輯架構(gòu)\t116
6．2．1 SQL執(zhí)行流程\t116
6．2．2 Catalyst\t117
6．3 Spark SQL CLI\t117
6．3．1 硬軟件環(huán)境\t117
6．3．2 集群環(huán)境\t118
6．3．3 結(jié)合Hive\t118
6．3．4 啟動(dòng)Hive\t118
6．4 DataFrame編程模型\t119
6．4．1 DataFrame簡(jiǎn)介\t119
6．4．2 創(chuàng)建DataFrames\t120
6．4．3 保存DataFrames\t126
6．5 DataFrame常見(jiàn)操作\t127
6．5．1 數(shù)據(jù)展示\t127
6．5．2 常用列操作\t128
6．5．3 過(guò)濾\t131
6．5．4 排序\t132
6．5．5 其他常見(jiàn)操作\t134
6．6 基于Hive的學(xué)生信息管理系統(tǒng)的SQL查詢案例與解析\t137
6．6．1 Spark SQL整合Hive\t137
6．6．2 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)\t138
6．6．3 加載數(shù)據(jù)\t141
6．6．4 查詢數(shù)據(jù)\t142
第7章 Spark Streaming\t146
7．1 Spark Streaming概述\t146
7．2 Spark Streaming基礎(chǔ)概念\t147
7．2．1 批處理時(shí)間間隔\t147
7．2．2 窗口時(shí)間間隔\t148
7．2．3 滑動(dòng)時(shí)間間隔\t148
7．3 DStream基本概念\t149
7．4 DStream的基本操作\t150
7．4．1 無(wú)狀態(tài)轉(zhuǎn)換操作\t150
7．4．2 有狀態(tài)轉(zhuǎn)換操作\t152
7．4．3 輸出操作\t153
7．4．4 持久化操作\t154
7．5 數(shù)據(jù)源\t154
7．5．1 基礎(chǔ)數(shù)據(jù)源\t154
7．5．2 高級(jí)數(shù)據(jù)源\t155
7．6 Spark Streaming編程模式與案例分析\t156
7．6．1 Spark Streaming編程模式\t156
7．6．2 文本文件數(shù)據(jù)處理案例（一）\t157
7．6．3 文本文件數(shù)據(jù)處理案例（二）\t160
7．6．4 網(wǎng)絡(luò)數(shù)據(jù)處理案例（一）\t164
7．6．5 網(wǎng)絡(luò)數(shù)據(jù)處理案例（二）\t171
7．6．6 stateful應(yīng)用案例\t175
7．6．7 window應(yīng)用案例\t180
7．7 性能考量\t185
7．7．1 運(yùn)行時(shí)間優(yōu)化\t185
7．7．2 內(nèi)存使用與垃圾回收\(chéng)t186
第8章 Spark MLlib\t187
8．1 Spark MLlib概述\t187
8．1．1 機(jī)器學(xué)習(xí)介紹\t187
8．1．2 Spark MLlib簡(jiǎn)介\t189
8．2 MLlib向量與矩陣\t190
8．2．1 MLlib向量\t190
8．2．2 MLlib矩陣\t192
8．3 Spark MLlib分類算法\t196
8．3．1 貝葉斯分類算法\t197
8．3．2 支持向量機(jī)算法\t201
8．3．3 決策樹(shù)算法\t204
8．4 MLlib線性回歸算法\t208
8．5 MLlib聚類算法\t212
8．6 MLlib協(xié)同過(guò)濾\t215