大數據

第一部分大數據基礎知識
第1章大數據時代3
1.1數據時代3
1.1.1大數據時代的到來3
1.1.2數據、信息與知識的演進3
1.1.3數據6
1.2大數據8
1.2.1什么是大數據8
1.2.2大數據發(fā)展歷史與現狀10
1.2.3大數據能做和不能做的事11
1.2.4大數據產業(yè)12
1.3大數據技術基礎12
1.3.1傳統的大數據處理流程12
1.3.2大數據核心技術13
1.3.3大數據技術分類14
1.3.4大數據分析的方法理論16
1.4大數據的社會價值17
1.5大數據的商業(yè)應用18
1.5.1商業(yè)大數據的類型和價值挖掘方法18
1.5.2大數據的十大商業(yè)應用場景19
1.5.3成為“大數據企業(yè)”21
1.6大數據應用案例: 《非誠勿擾》男女嘉賓牽手數據分析21
習題與思考題25
第2章大數據系統的基本架構27
2.1大數據系統總體架構27
2.2大數據技術框架282.3大數據應用案例: 在“北上廣”打拼是怎樣一種體驗30
習題與思考題35
大數據目錄第二部分大數據理論與技術
第3章大數據系統輸入39
3.1大數據采集過程及數據來源39
3.1.1大數據采集來源39
3.1.2大數據采集過程40
3.2大數據采集方法40
3.3大數據導入/預處理42
3.3.1大數據導入/預處理的過程42
3.3.2數據清洗的過程44
3.3.3數據清洗與數據采集技術46
3.3.4基于大數據的數據預處理47
3.4數據集成49
3.4.1數據集成的概念49
3.4.2數據集成面臨的問題49
3.5數據變換49
3.5.1異構數據分析50
3.5.2異構數據交換策略51
3.5.3異構數據交換技術52
3.6大數據應用案例: 電影《爸爸去哪兒》大賣有前兆嗎54
習題與思考題61
第4章大數據系統處理63
4.1大數據處理基礎架構——云計算63
4.1.1云計算系統的體系結構63
4.1.2云計算的核心技術64
4.1.3云計算的主要服務形式68
4.1.4大數據平臺的作用69
4.2大數據存儲70
4.2.1海量數據存儲的需求71
4.2.2海量數據存儲技術71
4.2.3云存儲72
4.2.4NoSQL非結構化數據庫73
4.2.5數據倉庫74
4.3大數據計算模式與處理系統75
4.3.1數據計算75
4.3.2聚類算法77
4.3.3數據集成77
4.3.4機器學習81
4.3.5人工智能87
4.3.6數據處理語言89
4.4大數據應用案例: 北京人在哪兒上班和睡覺91
習題與思考題93
第5章大數據系統輸出96
5.1數據的查詢96
5.1.1常規(guī)數據庫查詢結構化數據96
5.1.2大數據時代的數據搜索96
5.1.3數據庫與信息檢索技術的比較98
5.2網絡數據索引與查詢技術99
5.2.1搜索引擎技術概述99
5.2.2Web搜索引擎的工作原理100
5.3大數據索引和查詢技術103
5.3.1大數據索引和查詢103
5.3.2大數據處理索引工具MapReduce103
5.3.3相似性搜索工具105
5.4數據展現與交互107
5.4.1數據可視化108
5.4.2知識圖譜113
5.5大數據應用案例: 上海的房子都被誰買走了114
習題與思考題119
第6章大數據分析與數據挖掘121
6.1大數據分析及其應用121
6.1.1數據處理和分析的發(fā)展121
6.1.2大數據分析面對的數據類型123
6.1.3大數據分析與處理方法124
6.1.4數據分析的步驟124
6.1.5大數據分析的應用127
6.2數據挖掘技術129
6.2.1數據挖掘的定義129
6.2.2利用數據挖掘進行數據分析的常用方法131
6.2.3數據挖掘的功能132
6.2.4數據挖掘的流程133
6.2.5數據挖掘的應用134
6.3商業(yè)智能與數據分析135
6.3.1商業(yè)智能技術輔助決策的發(fā)展135
6.3.2商業(yè)智能系統架構136
6.3.3商業(yè)智能的技術體系136
6.3.4商務智能=數據+分析+決策+利益138
6.4大數據營銷業(yè)務模型138
6.4.1大數據對業(yè)務模式的影響138
6.4.2大數據營銷的定義與特點140
6.4.3網絡營銷大數據實際操作142
6.4.4大數據營銷方法145
6.5基于社會媒體的分析預測技術150
6.5.1基于空間大數據的社會感知150
6.5.2基于社會媒體的預測技術153
6.5.3基于消費意圖挖掘的預測154
6.5.4基于事件抽取的預測157
6.5.5基于因果分析的預測157
6.6大數據應用案例: 用大數據看風水——以星巴克和海底撈的選址為例160
習題與思考題164
第7章大數據隱私與安全166
7.1大數據面臨的安全問題166
7.2大數據安全與隱私保護關鍵技術170
7.2.1基于大數據的威脅發(fā)現技術170
7.2.2基于大數據的認證技術172
7.2.3基于大數據的數據真實性分析173
7.2.4大數據與“安全即服務”173
7.3大數據安全的防護策略173
7.4大數據應用案例: 數據解讀城市——北京本地人VS外地人175
習題與思考題183
第三部分行 業(yè) 案 例
第8章行業(yè)案例研究187
8.1銀行業(yè)應用187
8.1.1大數據時代: 銀行如何玩轉數據挖掘187
8.1.2中國工商銀行客戶關系管理案例189
8.1.3銀行風險管理192
8.2保險業(yè)應用196
8.2.1保險業(yè)擁抱大數據時代或帶來顛覆性變革196
8.2.2保險欺詐識別198
8.3證券期貨應用199
8.3.1安徽省使用大數據監(jiān)管證券期貨199
8.3.2大數據分析挖出基金“老鼠倉”的啟示200
8.4金融行業(yè)應用201
8.4.1大數據決定互聯網金融未來201
8.4.2移動大數據在互聯網金融反欺詐領域的應用204
8.5大數據應用案例: 網民睡眠面面觀206
參考文獻208