大數(shù)據(jù)技術(shù)前沿

第1章　大數(shù)據(jù)可視化 1
1．1 可視化基礎(chǔ) 2
1．1．1 可視化釋義 2
1．1．2 可視化流程 5
1．1．3 可視化對象 6
1．1．4 可視化方法 10
1．2 大數(shù)據(jù)可視化介紹 36
1．2．1 大數(shù)據(jù)可視化特點 37
1．2．2 大尺度數(shù)據(jù)的可視化 38
1．2．3 快速變化數(shù)據(jù)的可視化 41
1．2．4 多變量數(shù)據(jù)的可視化 44
1．2．5 非結(jié)構(gòu)化數(shù)據(jù)的可視化 50
1．2．6 大數(shù)據(jù)可視分析 53
1．3 可視化與可視分析研發(fā)資源 60
1．3．1 代表性開源與商業(yè)軟件 60
1．3．2 開發(fā)工具與編程語言 61
1．3．3 可視化信息資源 62
1．3．4 部分可視化科研機構(gòu) 63
參考文獻 64
第2章　文本大數(shù)據(jù)處理 67
2．1 文本大數(shù)據(jù)概述 67
2．2 中文詞法分析 70
2．3 句法分析 73
2．4 語義分析 74
2．5 開源項目與共享工具 75
2．6 文本大數(shù)據(jù)的部分應(yīng)用 76
2．6．1 概述 76
2．6．2 基于雙數(shù)組Trie樹的面向微博短文本的分詞 77
2．6．3 詞義消歧 80
2．6．4 未登錄詞識別 83
2．6．5 文本分類與文本聚類 84
2．6．6 機器翻譯 86
2．6．7 其他應(yīng)用 87
參考文獻 89
第3章　社交網(wǎng)絡(luò)大數(shù)據(jù)挖掘 91
3．1 概述 91
3．2 大規(guī)模異構(gòu)網(wǎng)絡(luò)集成 94
3．2．1 計算模型――COSNET 96
3．2．2 模型求解 98
3．2．3 實驗結(jié)果 99
3．3 基于交互的網(wǎng)絡(luò)機器學(xué)習(xí) 101
3．3．1 網(wǎng)絡(luò)數(shù)據(jù)的主動交互學(xué)習(xí) 101
3．3．2 算法模型――MaxCo 102
3．3．3 網(wǎng)絡(luò)流數(shù)據(jù)的主動交互學(xué)習(xí) 103
3．3．4 算法模型 104
3．4 基于隨機路徑的高效網(wǎng)絡(luò)拓?fù)湎嗨贫人惴?106
3．4．1 問題定義 107
3．4．2 基于隨機路徑的網(wǎng)絡(luò)拓?fù)湎嗨贫人惴èD―Panther 107
3．4．3 實驗結(jié)果 110
3．4．4 小結(jié) 113
3．5 個體行為與網(wǎng)絡(luò)分布的統(tǒng)一建?？蚣塄D―M3D 113
3．5．1 研究方案 114
3．5．2 實驗驗證 115
3．6 總結(jié)和展望 117
參考文獻 117
第4章　語義大數(shù)據(jù)――知識圖譜 119
4．1 大規(guī)模知識圖譜技術(shù) 119
4．1．1 知識圖譜的表示及其在搜索中的展現(xiàn)形式 119
4．1．2 知識圖譜的構(gòu)建 121
4．1．3 知識圖譜在搜索中的應(yīng)用 126
4．1．4 總結(jié) 127
4．2 行業(yè)知識圖譜工具 127
4．2．1 簡介 127
4．2．2 常見的行業(yè)知識圖譜 129
4．2．3 行業(yè)知識圖譜的構(gòu)建 131
4．2．4 行業(yè)知識圖譜的應(yīng)用 139
4．2．5 應(yīng)用案例 141
第5章　圖數(shù)據(jù)庫――基于圖的大數(shù)據(jù)管理 147
5．1 圖數(shù)據(jù)庫簡介 147
5．1．1 大圖數(shù)據(jù) 148
5．1．2 OLTP與OLAP 149
5．1．3 圖數(shù)據(jù)模型 151
5．1．4 圖查詢語言 154
5．2 主流圖數(shù)據(jù)庫和圖計算引擎 160
5．2．1 最流行的圖數(shù)據(jù)庫――Neo4j 160
5．2．2 分布式圖數(shù)據(jù)庫――Titan 161
5．2．3 基于RDF三元組庫的圖數(shù)據(jù)庫――Blazegraph 162
5．2．4 基于Pregel框架的圖計算引擎――Giraph、Hama、
GraphLab、GraphX 163
5．3 圖數(shù)據(jù)庫關(guān)鍵技術(shù) 166
5．3．1 圖數(shù)據(jù)庫的存儲 166
5．3．2 圖數(shù)據(jù)庫的索引 169
5．3．3 圖數(shù)據(jù)庫的查詢處理 172
5．4 圖數(shù)據(jù)庫應(yīng)用 175
5．4．1 語義萬維網(wǎng) 175
5．4．2 社會網(wǎng)絡(luò) 176
5．4．3 生物信息學(xué) 177
第6章　內(nèi)存計算――高速大數(shù)據(jù)處理的核心技術(shù) 179
6．1 內(nèi)存計算技術(shù)的一個誤區(qū) 179
6．2 TimesTen的設(shè)計思路 180
6．3 Apache Spark的設(shè)計思路 182
6．4 SAP HANA的設(shè)計思路 184
6．5 YunTable 4．0的產(chǎn)品介紹 186
6．5．1 整體架構(gòu)與核心技術(shù) 186
6．5．2 MPP 188
6．5．3 列存2．0 188
6．5．4 動態(tài)數(shù)據(jù)分發(fā) 190
6．5．5 內(nèi)存計算 191
6．5．6 性能和路線圖 191
6．6 總結(jié) 192
第7章　分布式存儲系統(tǒng)――大數(shù)據(jù)存儲支撐技術(shù) 193
7．1 大數(shù)據(jù)對存儲系統(tǒng)帶來的挑戰(zhàn)及其引發(fā)的變革 193
7．2 谷歌文件系統(tǒng)（GFS） 194
7．2．1 支持大數(shù)據(jù)集存取和離線批處理的分布式存儲系統(tǒng) 194
7．2．2 GFS架構(gòu)分析 195
7．2．3 系統(tǒng)交互 202
7．2．4 主節(jié)點的設(shè)計 206
7．2．5 容錯和診斷 211
7．2．6 小結(jié) 214
7．3 支持海量數(shù)據(jù)和大規(guī)模并發(fā)訪問的分布式對象存儲
OpenStack Swift 214
7．3．1 互聯(lián)網(wǎng)化帶來新的存儲需求 214
7．3．2 OpenStack Swift的特點 216
7．3．3 Swift的數(shù)據(jù)模型和架構(gòu) 219
7．3．4 Swift的API 236
第8章　大數(shù)據(jù)安全技術(shù) 243
8．1 差分隱私保護方法簡介 243
8．2 差分隱私研究保護方向――數(shù)據(jù)發(fā)布和數(shù)據(jù)挖掘 246
8．2．1 基于差分隱私保護的數(shù)據(jù)發(fā)布（DPDR） 246
8．2．2 差分隱私保護數(shù)據(jù)挖掘（DPDM） 247
8．3 常見隱私保護方法 247
8．3．1 差分隱私保護分類方法 247
8．3．2 差分隱私保護聚類方法 248
8．3．3 差分隱私頻繁模式挖掘 249
8．4 應(yīng)用案例和原型系統(tǒng) 249
參考文獻 251
第9章　眾包――數(shù)據(jù)來源與質(zhì)量保證 255
9．1 眾包 255
9．1．1 眾包的概念和模型 255
9．1．2 眾包的優(yōu)劣分析 257
9．2 眾包的關(guān)鍵技術(shù) 257
9．2．1 眾包流程 257
9．2．2 任務(wù)設(shè)計 259
9．2．3 任務(wù)分配 260
9．2．4 任務(wù)動態(tài)優(yōu)化 261
9．2．5 眾包激勵機制 261
9．2．6 眾包質(zhì)量保障 263
9．3 眾包的成功案例和平臺 264
9．3．1 知識百科眾包 264
9．3．2 數(shù)據(jù)眾包 264
9．3．3 創(chuàng)新眾包 266
9．3．4 軟件眾包 267
9．3．5 眾籌 268
9．3．6 通用智力勞動眾包 269
9．3．7 中國的眾包平臺 269
9．4 眾包研究趨勢 269
9．5 總結(jié)和展望 271
參考文獻 271