Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)

定　價(jià)：￥49.00

作　者：	黑馬程序員著
出版社：	清華大學(xué)出版社
叢編項(xiàng)：	大數(shù)據(jù)技術(shù)與應(yīng)用叢書
標(biāo)　簽：	暫缺

購買這本書可以去

京東 (￥49.00)

ISBN：	9787302534327	出版時(shí)間：	2019-08-01	包裝：	平裝
開本：	16開	頁數(shù)：	228	字?jǐn)?shù)：

內(nèi)容簡介

　　本書從初學(xué)者角度詳細(xì)介紹了Spark應(yīng)用程序體系架構(gòu)的核心技術(shù)，全書共9章。第1章詳細(xì)介紹開發(fā)Spark框架的Scala編程語言；第2～4、7～8章主要講解Spark核心基礎(chǔ)、SparkRDD彈性分布式數(shù)據(jù)集、Spark SQL處理結(jié)構(gòu)化數(shù)據(jù)、Spark Streaming實(shí)時(shí)計(jì)算框架、Spark MLlib機(jī)器學(xué)習(xí)庫，并包含了搭建Spark集群、Spark集群的操作方式、利用Spark解決大數(shù)據(jù)工作中遇到的基本問題。第5～6章主要講解大數(shù)據(jù)環(huán)境中常見的輔助系統(tǒng)，HBase數(shù)據(jù)庫以及Kafka流處理平臺(tái)，包含輔助系統(tǒng)的搭建方式、使用方法以及相關(guān)底層實(shí)現(xiàn)的基本原理；第9章是一個(gè)綜合項(xiàng)目，利用Spark框架開發(fā)流式計(jì)算系統(tǒng)。掌握Spark相關(guān)技術(shù)，能夠很好地適應(yīng)企業(yè)開發(fā)的技術(shù)需要，為離線、實(shí)時(shí)數(shù)據(jù)處理平臺(tái)的開發(fā)奠定基礎(chǔ)。本書附有配套源代碼、教學(xué)PPT、題庫、教學(xué)視頻、教學(xué)補(bǔ)充案例、教學(xué)設(shè)計(jì)等資源。為了幫助初學(xué)者更好地學(xué)習(xí)本書中的內(nèi)容，還提供了在線答疑，歡迎讀者關(guān)注。本書可作為高等院校本、?？朴?jì)算機(jī)相關(guān)專業(yè)，大數(shù)據(jù)課程的專用教材，是一本適合廣大計(jì)算機(jī)編程愛好者的優(yōu)秀讀物。

作者簡介

暫缺《Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)》作者簡介

圖書目錄

目錄
第1章Scala語言基礎(chǔ)1
1.1初識(shí)Scala1
1.1.1Scala概述1
1.1.2Scala的下載安裝2
1.1.3在IDEA開發(fā)工具中下載安裝
Scala插件4
1.1.4開發(fā)第一個(gè)Scala程序6
1.2Scala的基礎(chǔ)語法9
1.2.1聲明值和變量9
1.2.2數(shù)據(jù)類型9
1.2.3算術(shù)和操作符重載10
1.2.4控制結(jié)構(gòu)語句10
1.2.5方法和函數(shù)13
1.3Scala的數(shù)據(jù)結(jié)構(gòu)15
1.3.1數(shù)組15
1.3.2元組18
1.3.3集合19
1.4Scala面向?qū)ο蟮奶匦?4
1.4.1類與對象24
1.4.2繼承25
1.4.3單例對象和伴生對象26
1.4.4特質(zhì)28
1.5Scala的模式匹配與樣例類29
1.5.1模式匹配30
1.5.2樣例類31
1.6本章小結(jié)31
1.7課后習(xí)題32
第2章Spark基礎(chǔ)33
2.1初識(shí)Spark33目錄Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)
2.1.1Spark概述33
2.1.2Spark的特點(diǎn)34
2.1.3Spark應(yīng)用場景35
2.1.4Spark與Hadoop對比36
2.2搭建Spark開發(fā)環(huán)境37
2.2.1環(huán)境準(zhǔn)備37
2.2.2Spark的部署方式37
2.2.3Spark集群安裝部署38
2.2.4Spark HA集群部署41
2.3Spark運(yùn)行架構(gòu)與原理45
2.3.1基本概念45
2.3.2Spark集群運(yùn)行架構(gòu)45
2.3.3Spark運(yùn)行基本流程46
2.4體驗(yàn)第一個(gè)Spark程序47
2.5啟動(dòng)SparkShell49
2.5.1運(yùn)行SparkShell命令49
2.5.2運(yùn)行SparkShell讀取HDFS文件50
2.6IDEA開發(fā)WordCount程序52
2.6.1以本地模式執(zhí)行Spark程序52
2.6.2集群模式執(zhí)行Spark程序54
2.7本章小結(jié)58
2.8課后習(xí)題59
第3章Spark RDD彈性分布式數(shù)據(jù)集60
3.1RDD簡介60
3.2RDD的創(chuàng)建方式61
3.2.1從文件系統(tǒng)加載數(shù)據(jù)創(chuàng)建RDD61
3.2.2通過并行集合創(chuàng)建RDD62
3.3RDD的處理過程63
3.3.1轉(zhuǎn)換算子63
3.3.2行動(dòng)算子67
3.3.3編寫WordCount詞頻統(tǒng)計(jì)案例70
3.4RDD的分區(qū)71
3.5RDD的依賴關(guān)系71
3.6RDD機(jī)制73
3.6.1持久化機(jī)制73
3.6.2容錯(cuò)機(jī)制75
3.7Spark的任務(wù)調(diào)度76
3.7.1DAG的概念76
3.7.2RDD在Spark中的運(yùn)行流程76
3.8本章小結(jié)78
3.9課后習(xí)題78
第4章Spark SQL結(jié)構(gòu)化數(shù)據(jù)文件處理80
4.1Spark SQL的基礎(chǔ)知識(shí)80
4.1.1Spark SQL的簡介80
4.1.2Spark SQL架構(gòu)81
4.2DataFrame的基礎(chǔ)知識(shí)82
4.2.1DataFrame簡介82
4.2.2DataFrame的創(chuàng)建83
4.2.3DataFrame的常用操作86
4.3Dataset的基礎(chǔ)知識(shí)89
4.3.1Dataset簡介89
4.3.2Dataset對象的創(chuàng)建89
4.4RDD轉(zhuǎn)換為DataFrame90
4.4.1反射機(jī)制推斷Schema90
4.4.2編程方式定義Schema92
4.5Spark SQL操作數(shù)據(jù)源94
4.5.1操作MySQL94
4.5.2操作Hive數(shù)據(jù)集96
4.6本章小結(jié)99
4.7課后習(xí)題99
第5章HBase分布式數(shù)據(jù)庫101
5.1HBase的基礎(chǔ)知識(shí)101
5.1.1HBase的簡介101
5.1.2HBase的數(shù)據(jù)模型102
5.2HBase的集群部署103
5.3HBase的基本操作107
5.3.1HBase的Shell操作107
5.3.2HBase的Java API操作112
5.4深入學(xué)習(xí)HBase原理120
5.4.1HBase架構(gòu)121
5.4.2物理存儲(chǔ)122
5.4.3尋址機(jī)制123
5.4.4HBase讀寫數(shù)據(jù)流程124
5.5HBase和Hive的整合125
5.6本章小結(jié)130
5.7課后習(xí)題130
第6章Kafka分布式發(fā)布訂閱消息系統(tǒng)132
6.1Kafka的基礎(chǔ)知識(shí)132
6.1.1消息傳遞模式簡介132
6.1.2Kafka簡介133
6.2Kafka工作原理134
6.2.1Kafka核心組件介紹134
6.2.2Kafka工作流程分析136
6.3Kafka集群部署與測試138
6.3.1安裝Kafka138
6.3.2啟動(dòng)Kafka服務(wù)140
6.4Kafka生產(chǎn)者和消費(fèi)者實(shí)例141
6.4.1基于命令行方式使用Kafka141
6.4.2基于Java API方式使用Kafka143
6.5Kafka Streams148
6.5.1Kafka Streams概述149
6.5.2Kafka Streams開發(fā)單詞計(jì)數(shù)應(yīng)用149
6.6本章小結(jié)153
6.7課后習(xí)題153
第7章Spark Streaming實(shí)時(shí)計(jì)算框架155
7.1實(shí)時(shí)計(jì)算的基礎(chǔ)知識(shí)155
7.1.1什么是實(shí)時(shí)計(jì)算155
7.1.2常用的實(shí)時(shí)計(jì)算框架155
7.2Spark Streaming的基礎(chǔ)知識(shí)156
7.2.1Spark Streaming簡介156
7.2.2Spark Streaming工作原理157
7.3Spark的DStream157
7.3.1DStream簡介157
7.3.2DStream編程模型158
7.3.3DStream轉(zhuǎn)換操作158
7.3.4DStream窗口操作164
7.3.5DStream輸出操作168
7.3.6DStream實(shí)例——實(shí)現(xiàn)網(wǎng)站熱詞排序170
7.4Spark Streaming整合Kafka實(shí)戰(zhàn)173
7.4.1KafkaUtils.createDstream方式173
7.4.2KafkaUtils.createDirectStream方式177
7.5本章小結(jié)180
7.6課后習(xí)題180
第8章Spark MLlib 機(jī)器學(xué)習(xí)算法庫182
8.1初識(shí)機(jī)器學(xué)習(xí)182
8.1.1什么是機(jī)器學(xué)習(xí)182
8.1.2機(jī)器學(xué)習(xí)的應(yīng)用183
8.2Spark機(jī)器學(xué)習(xí)庫MLlib的概述184
8.2.1MLlib的簡介184
8.2.2Spark機(jī)器學(xué)習(xí)工作流程185
8.3數(shù)據(jù)類型186
8.3.1本地向量186
8.3.2標(biāo)注點(diǎn)186
8.3.3本地矩陣187
8.4Spark MLlib基本統(tǒng)計(jì)188
8.4.1摘要統(tǒng)計(jì)188
8.4.2相關(guān)統(tǒng)計(jì)189
8.4.3分層抽樣190
8.5分類191
8.5.1線性支持向量機(jī)191
8.5.2邏輯回歸192
8.6案例——構(gòu)建推薦系統(tǒng)193
8.6.1推薦模型分類194
8.6.2利用MLlib實(shí)現(xiàn)電影推薦194
8.7本章小結(jié)200
8.8課后習(xí)題200
第9章綜合案例——Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)202
9.1系統(tǒng)概述202
9.1.1系統(tǒng)背景介紹202
9.1.2系統(tǒng)架構(gòu)設(shè)計(jì)202
9.1.3系統(tǒng)預(yù)覽203
9.2Redis數(shù)據(jù)庫203
9.2.1Redis介紹204
9.2.2Redis部署與啟動(dòng)204
9.2.3Redis操作及命令205
9.3模塊開發(fā)——構(gòu)建工程結(jié)構(gòu)206
9.4模塊開發(fā)——構(gòu)建訂單系統(tǒng)211
9.4.1模擬訂單數(shù)據(jù)211
9.4.2向Kafka集群發(fā)送訂單數(shù)據(jù)212
9.5模塊開發(fā)——分析訂單數(shù)據(jù)215
9.6模塊開發(fā)——數(shù)據(jù)展示219
9.6.1搭建Web開發(fā)環(huán)境219
9.6.2實(shí)現(xiàn)數(shù)據(jù)展示功能221
9.6.3可視化平臺(tái)展示227
9.7本章小結(jié)228