大數(shù)據(jù)技術(shù)基礎(chǔ)應(yīng)用教程

目錄
章大數(shù)據(jù)基礎(chǔ)1
1．1什么是大數(shù)據(jù)1
1．1．1大數(shù)據(jù)的發(fā)展歷程1
1．1．2大數(shù)據(jù)的定義2
1．2大數(shù)據(jù)的特征2
1．2．1Volume(數(shù)量)3
1．2．2Variety(種類(lèi))3
1．2．3Velocity(速度)3
1．2．4Value(價(jià)值)4
1．2．5Veracity(真實(shí)性)4
1．3大數(shù)據(jù)的關(guān)鍵技術(shù)4
1．3．1大數(shù)據(jù)采集技術(shù)4
1．3．2大數(shù)據(jù)預(yù)處理技術(shù)7
1．3．3大數(shù)據(jù)存儲(chǔ)及管理技術(shù)7
1．3．4大數(shù)據(jù)分析及挖掘技術(shù)8
1．3．5大數(shù)據(jù)展現(xiàn)和應(yīng)用技術(shù)9
1．4大數(shù)據(jù)與云計(jì)算9
1．4．1云計(jì)算定義9
1．4．2云計(jì)算的特征9
1．4．3云計(jì)算和大數(shù)據(jù)的關(guān)系10
1．4．4云計(jì)算對(duì)大數(shù)據(jù)的影響10
1．5大數(shù)據(jù)的應(yīng)用11
1．5．1電商行業(yè)11
1．5．2金融行業(yè)11
1．5．3醫(yī)療行業(yè)12
1．5．4農(nóng)牧漁行業(yè)12
1．5．5生物技術(shù)13
1．5．6智慧城市13
1．5．7電信行業(yè)13
1．5．8社交媒體分析14
本章小結(jié)14
實(shí)驗(yàn)114
第2章大數(shù)據(jù)軟件架構(gòu)17
2．1Hadoop架構(gòu)17
2．1．1Hadoop簡(jiǎn)介17
2．1．2Hadoop家族成員18
2．1．3Hadoop 2．0生態(tài)系統(tǒng)的集群架構(gòu)20
2．1．4Hadoop運(yùn)行環(huán)境20
2．1．5Hadoop集群的安裝與部署22
2．2Spark架構(gòu)29
2．2．1Spark簡(jiǎn)介29
2．2．2Spark集群模式31
2．2．3Spark核心組件33
2．2．4Spark運(yùn)行環(huán)境35
2．2．5Spark的安裝35
2．3實(shí)時(shí)流處理架構(gòu)36
2．3．1實(shí)時(shí)計(jì)算的概念36
2．3．2實(shí)時(shí)計(jì)算的相關(guān)技術(shù)36
2．3．3Apache Storm38
2．3．4Apache Samza38
2．3．5Lambda架構(gòu)39
2．4框架的選擇41
2．4．1框架的種類(lèi)41
2．4．2框架的選擇43
本章小結(jié)43
實(shí)驗(yàn)244
第3章大數(shù)據(jù)存儲(chǔ)45
3．1大數(shù)據(jù)存儲(chǔ)概述45
3．1．1傳統(tǒng)存儲(chǔ)系統(tǒng)時(shí)代45
3．1．2大數(shù)據(jù)時(shí)代的新挑戰(zhàn)46
3．2大數(shù)據(jù)存儲(chǔ)方式47
3．2．1分布式存儲(chǔ)47
3．2．2云存儲(chǔ)48
3．2．3大數(shù)據(jù)存儲(chǔ)的其他需求49
3．3大數(shù)據(jù)的存儲(chǔ)技術(shù)50
3．3．1分布式文件存儲(chǔ)50
3．3．2NoSQL數(shù)據(jù)庫(kù)53
3．3．3NewSQL數(shù)據(jù)庫(kù)56
3．3．4云存儲(chǔ)技術(shù)57
3．4大數(shù)據(jù)存儲(chǔ)的可靠性59
3．4．1大數(shù)據(jù)可靠性的風(fēng)險(xiǎn)60
3．4．2提高大數(shù)據(jù)可靠性的方法60
本章小結(jié)61
實(shí)驗(yàn)361
第4章大數(shù)據(jù)計(jì)算63
4．1大數(shù)據(jù)計(jì)算基本框架63
4．2批處理計(jì)算64
4．2．1Hadoop64
4．2．2DAG模型66
4．3流計(jì)算69
4．3．1流計(jì)算概述69
4．3．2Storm及Trident70
4．4交互式分析計(jì)算72
4．4．1概述72
4．4．2Hive73
4．4．3SQL引擎Calcite74
本章小結(jié)75
實(shí)驗(yàn)475
第5章大數(shù)據(jù)分析77
5．1大數(shù)據(jù)分析概述77
5．2大數(shù)據(jù)分析基礎(chǔ)78
5．2．1大數(shù)據(jù)分析基本分類(lèi)78
5．2．2大數(shù)據(jù)分析步驟79
5．2．3異步分析80
5．3大數(shù)據(jù)預(yù)測(cè)分析80
5．3．1什么是預(yù)測(cè)分析80
5．3．2預(yù)測(cè)分析的作用80
5．3．3數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性82
5．4大數(shù)據(jù)分析應(yīng)用83
5．4．1大數(shù)據(jù)分析的主要應(yīng)用行業(yè)83
5．4．2大數(shù)據(jù)分析應(yīng)用應(yīng)注意的問(wèn)題85
5．5大數(shù)據(jù)分析平臺(tái)與工具87
5．5．1HPCC系統(tǒng)87
5．5．2Apache Drill91
5．5．3RapidMiner93
本章小結(jié)94
實(shí)驗(yàn)594
第6章大數(shù)據(jù)可視化96
6．1大數(shù)據(jù)可視化概述96
6．1．1大數(shù)據(jù)可視化的概念96
6．1．2大數(shù)據(jù)可視化的基本思想和手段97
6．1．3大數(shù)據(jù)可視化的基本模型97
6．1．4可視化設(shè)計(jì)組件98
6．2科學(xué)可視化105
6．2．1科學(xué)可視化的概念105
6．2．2科學(xué)可視化方面的主題105
6．2．3科學(xué)可視化的應(yīng)用106
6．3信息可視化107
6．3．1信息可視化的概念107
6．3．2信息可視化的應(yīng)用108
6．3．3信息實(shí)時(shí)可視化108
6．3．4信息可視化與科學(xué)可視化的關(guān)系109
6．4數(shù)據(jù)可視化的應(yīng)用109
6．4．1數(shù)據(jù)可視化的運(yùn)用109
6．4．2信息可視化的挑戰(zhàn)114
6．5大數(shù)據(jù)可視化分析116
6．5．1數(shù)據(jù)類(lèi)型116
6．5．2基本任務(wù)117
6．5．3大數(shù)據(jù)可視化分析方法118
6．5．4大數(shù)據(jù)可視化技術(shù)120
6．5．5大數(shù)據(jù)可視化分析工具127
本章小結(jié)130
實(shí)驗(yàn)6130
第7章大數(shù)據(jù)安全135
7．1大數(shù)據(jù)安全的定義136
7．1．1大數(shù)據(jù)安全的定義136
7．1．2大數(shù)據(jù)安全面臨的挑戰(zhàn)136
7．2安全措施的實(shí)施138
7．2．1國(guó)外數(shù)據(jù)安全的法律法規(guī)138
7．2．2我國(guó)數(shù)據(jù)安全的法律法規(guī)139
7．2．3主要標(biāo)準(zhǔn)化組織的大數(shù)據(jù)安全工作情況140
7．2．4大數(shù)據(jù)安全標(biāo)準(zhǔn)化規(guī)范143
7．2．5大數(shù)據(jù)安全標(biāo)準(zhǔn)體系框架144
7．2．6大數(shù)據(jù)安全策略145
7．3大數(shù)據(jù)安全保障技術(shù)147
7．3．1數(shù)據(jù)溯源技術(shù)147
7．3．2數(shù)字水印技術(shù)149
7．3．3身份認(rèn)證技術(shù)152
7．3．4數(shù)據(jù)發(fā)布匿名保護(hù)技術(shù)157
7．3．5社交網(wǎng)絡(luò)匿名保護(hù)技術(shù)159
7．4云安全162
7．4．1云安全的概念162
7．4．2云安全的應(yīng)對(duì)方式163
7．4．3云安全技術(shù)164
本章小結(jié)169
實(shí)驗(yàn)7169
第8章大數(shù)據(jù)機(jī)器學(xué)習(xí)172
8．1大數(shù)據(jù)機(jī)器學(xué)習(xí)概述172
8．1．1人工智能概述172
8．1．2機(jī)器學(xué)習(xí)概述174
8．2機(jī)器學(xué)習(xí)類(lèi)型176
8．2．1基于學(xué)習(xí)策略的分類(lèi)176
8．2．2基于獲取知識(shí)的表示形式分類(lèi)177
8．2．3按應(yīng)用領(lǐng)域分類(lèi)178
8．2．4按學(xué)習(xí)形式分類(lèi)178
8．3大數(shù)據(jù)機(jī)器學(xué)習(xí)算法179
8．3．1大數(shù)據(jù)分治策略與抽樣179
8．3．2大數(shù)據(jù)特征選擇180
8．3．3大數(shù)據(jù)分類(lèi)183
8．3．4大數(shù)據(jù)聚類(lèi)189
8．3．5大數(shù)據(jù)關(guān)聯(lián)分析195
8．3．6大數(shù)據(jù)并行計(jì)算197
8．4大數(shù)據(jù)機(jī)器學(xué)習(xí)的應(yīng)用199
8．4．1機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用200
8．4．2機(jī)器學(xué)習(xí)在生物信息學(xué)中的應(yīng)用202
8．4．3機(jī)器學(xué)習(xí)在電商文本大數(shù)據(jù)挖掘中的應(yīng)用203
本章小結(jié)204
實(shí)驗(yàn)8 205