大數(shù)據(jù)技術(shù)及應(yīng)用教程

第1章大數(shù)據(jù)技術(shù)基本概念31.1數(shù)據(jù)3 1.1.1數(shù)據(jù)的單位4 1.1.2數(shù)據(jù)與信息的關(guān)系 4 1.1.3數(shù)據(jù)的分類 4 1.2信息6 1.2.1信息的定義6 1.2.2信息資源7 1.2.3信息的應(yīng)用意義8 1.3大數(shù)據(jù)9 1.3.1大數(shù)據(jù)發(fā)展歷史9 1.3.2大數(shù)據(jù)的定義和特點(diǎn)10 1.4大數(shù)據(jù)技術(shù)的基本概念15 1.4.1傳統(tǒng)數(shù)據(jù)處理15 1.4.2大數(shù)據(jù)分析的方法理論16 1.4.3大數(shù)據(jù)技術(shù)17 1.5大數(shù)據(jù)的社會價(jià)值21 1.5.1大數(shù)據(jù)的社會價(jià)值體現(xiàn)21 1.5.2大數(shù)據(jù)在政府管理方面的應(yīng)用22 1.5.3大數(shù)據(jù)在公共服務(wù)領(lǐng)域的應(yīng)用23 1.6大數(shù)據(jù)的商業(yè)應(yīng)用24 1.6.1商業(yè)大數(shù)據(jù)的類型和價(jià)值挖掘方法24 1.6.2全球大數(shù)據(jù)市場結(jié)構(gòu)26 1.6.3中國大數(shù)據(jù)市場26 1.6.4大數(shù)據(jù)給中國帶來的十大商業(yè)應(yīng)用場景27 1.7大數(shù)據(jù)與商業(yè)模式創(chuàng)新32 1.7.1商業(yè)模式的創(chuàng)新特點(diǎn)32 1.7.2商業(yè)模式創(chuàng)新可以為企業(yè)帶來什么32 1.7.3基于大數(shù)據(jù)分析的商業(yè)模式創(chuàng)新33 1.8如何成為“大數(shù)據(jù)企業(yè)”35 1.8.1駕馭企業(yè)外部大數(shù)據(jù)35 1.8.2成為“大數(shù)據(jù)企業(yè)”36 1.8.3如何挖掘企業(yè)大數(shù)據(jù)的價(jià)值37 1.8.4大數(shù)據(jù)實(shí)質(zhì)上是一種管理思維38 1.9大數(shù)據(jù)應(yīng)用案例之: 男女嘉賓《非誠勿擾》牽手?jǐn)?shù)據(jù)分析39 習(xí)題與思考題42 大數(shù)據(jù)技術(shù)及應(yīng)用教程目錄第二部分大數(shù)據(jù)技術(shù) 第2章基礎(chǔ)架構(gòu)——云計(jì)算平臺472.1大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)47 2.2云計(jì)算網(wǎng)絡(luò)47 2.2.1云計(jì)算簡介48 2.2.2云計(jì)算系統(tǒng)的體系結(jié)構(gòu)50 2.2.3云計(jì)算服務(wù)層次55 2.2.4云計(jì)算技術(shù)層次57 2.2.5云計(jì)算的核心技術(shù)58 2.2.6典型云計(jì)算平臺59 2.2.7典型的云計(jì)算系統(tǒng)及應(yīng)用64 2.2.8大數(shù)據(jù)平臺的應(yīng)用67 2.3大數(shù)據(jù)應(yīng)用案例之: 在“北上廣”打拼是怎樣一種體驗(yàn)69 習(xí)題與思考題72第3章大數(shù)據(jù)采集與預(yù)處理74 3.1大數(shù)據(jù)采集概念74 3.2數(shù)據(jù)采集來源75 3.3大數(shù)據(jù)采集方法76 3.3.1大數(shù)據(jù)數(shù)據(jù)采集方面新方法76 3.3.2網(wǎng)頁數(shù)據(jù)采集方法76 3.3.3Web信息數(shù)據(jù)自動采集79 3.4導(dǎo)入/預(yù)處理82 3.4.1大數(shù)據(jù)導(dǎo)入/預(yù)處理的過程 82 3.4.2數(shù)據(jù)清洗84 3.4.3數(shù)據(jù)采集(ETL)技術(shù)86 3.4.4基于大數(shù)據(jù)的數(shù)據(jù)預(yù)處理88 3.4.5數(shù)據(jù)處理的基本流程與關(guān)鍵技術(shù)90 3.5數(shù)據(jù)集成91 3.5.1數(shù)據(jù)集成的概念91 3.5.2數(shù)據(jù)集成面臨問題92 3.6數(shù)據(jù)變換92 3.6.1異構(gòu)數(shù)據(jù)交換綜述93 3.6.2異構(gòu)數(shù)據(jù)分析94 3.6.3異構(gòu)數(shù)據(jù)交換方式97 3.6.4異構(gòu)數(shù)據(jù)交換技術(shù)99 3.6.5異構(gòu)數(shù)據(jù)交換與集成的研究方向103 3.7大數(shù)據(jù)應(yīng)用案例之: 互聯(lián)網(wǎng)行業(yè)哪個(gè)職位比較有前途103 習(xí)題與思考題107第4章大數(shù)據(jù)存儲110 4.1傳統(tǒng)數(shù)據(jù)存儲110 4.1.1傳統(tǒng)數(shù)據(jù)存儲介質(zhì)110 4.1.2存儲的模式112 4.2海量數(shù)據(jù)存儲的需求113 4.3分布式存儲系統(tǒng)117 4.3.1分布式存儲系統(tǒng)117 4.3.2典型系統(tǒng)118 4.4云存儲120 4.5數(shù)據(jù)庫123 4.5.1數(shù)據(jù)庫分類123 4.5.2常規(guī)SQL結(jié)構(gòu)化關(guān)系數(shù)據(jù)庫124 4.5.3NoSQL非結(jié)構(gòu)化數(shù)據(jù)庫124 4.5.4NoSQL技術(shù)126 4.5.5大規(guī)模并行分析數(shù)據(jù)庫129 4.6數(shù)據(jù)倉庫131 4.6.1數(shù)據(jù)倉庫的概念131 4.6.2數(shù)據(jù)倉庫技術(shù)發(fā)展133 4.6.3數(shù)據(jù)倉庫原理及構(gòu)成133 4.6.4數(shù)據(jù)倉庫的基本架構(gòu)136 4.6.5數(shù)據(jù)倉庫的數(shù)據(jù)存儲136 4.6.6數(shù)據(jù)倉庫的數(shù)據(jù)應(yīng)用137 4.6.7元數(shù)據(jù)管理138 4.7大數(shù)據(jù)應(yīng)用案例之: 一場霧霾將損失多少GDP 138 習(xí)題與思考題141 第5章大數(shù)據(jù)計(jì)算模式與處理系統(tǒng)143 5.1數(shù)據(jù)計(jì)算143 5.1.1離線批處理143 5.1.2實(shí)時(shí)交互計(jì)算145 5.1.3海量數(shù)據(jù)實(shí)時(shí)計(jì)算145 5.1.4流計(jì)算146 5.2聚類算法147 5.2.1聚類算法的分類147 5.2.2數(shù)據(jù)分類與聚類147 5.3數(shù)據(jù)集成148 5.3.1數(shù)據(jù)集成概述149 5.3.2數(shù)據(jù)集成方案155 5.3.3企業(yè)數(shù)據(jù)集成應(yīng)用形式157 5.3.4企業(yè)整體解決方案160 5.4機(jī)器學(xué)習(xí)161 5.4.1機(jī)器學(xué)習(xí)的定義和例子162 5.4.2機(jī)器學(xué)習(xí)的范圍164 5.4.3機(jī)器學(xué)習(xí)的方法165 5.4.4機(jī)器學(xué)習(xí)的應(yīng)用——大數(shù)據(jù)170 5.4.5機(jī)器學(xué)習(xí)的子類——深度學(xué)習(xí)172 5.4.6機(jī)器學(xué)習(xí)的父類——人工智能174 5.5數(shù)據(jù)處理語言175 5.5.1數(shù)據(jù)分析語言R175 5.5.2大數(shù)據(jù)開發(fā)語言Python177 5.6大數(shù)據(jù)應(yīng)用案例之: 北京的人流在哪兒？用大數(shù)據(jù)看城市179 習(xí)題與思考題183第6章大數(shù)據(jù)查詢、顯現(xiàn)與交互185 6.1數(shù)據(jù)的查詢185 6.1.1常規(guī)數(shù)據(jù)庫查詢結(jié)構(gòu)化數(shù)據(jù)185 6.1.2大數(shù)據(jù)時(shí)代的數(shù)據(jù)搜索186 6.1.3數(shù)據(jù)庫與信息檢索技術(shù)的比較188 6.1.4數(shù)據(jù)庫技術(shù)面臨的Web數(shù)據(jù)管理問題 189 6.2網(wǎng)絡(luò)數(shù)據(jù)索引與查詢技術(shù)192 6.2.1搜索引擎技術(shù)概述192 6.2.2Web搜索引擎工作原理192 6.3大數(shù)據(jù)索引與查詢技術(shù)200 6.3.1大數(shù)據(jù)索引和查詢200 6.3.2大數(shù)據(jù)處理案例: 登機(jī)牌、閱卷與MapReduce201 6.4相似性搜索工具206 6.5數(shù)據(jù)展現(xiàn)與交互209 6.6數(shù)據(jù)可視化210 6.6.1數(shù)據(jù)可視化概念210 6.6.2數(shù)據(jù)可視化定義與方法211 6.6.3數(shù)據(jù)可視化分析216 6.6.4個(gè)性化精準(zhǔn)推薦217 6.6.5預(yù)測和預(yù)警217 6.6.6決策分析219 6.7知識圖譜220 6.7.1知識圖譜的概念221 6.7.2知識圖譜的表示221 6.7.3知識圖譜的存儲222 6.7.4知識圖譜的應(yīng)用223 6.8大數(shù)據(jù)應(yīng)用案例之: 數(shù)據(jù)告訴你，上海的房子都被 誰買走了229 習(xí)題與思考題233第7章大數(shù)據(jù)分析與數(shù)據(jù)挖掘235 7.1大數(shù)據(jù)的分析及應(yīng)用235 7.1.1數(shù)據(jù)處理和分析的發(fā)展235 7.1.2大數(shù)據(jù)分析面對的數(shù)據(jù)類型236 7.1.3大數(shù)據(jù)分析與處理方法237 7.1.4數(shù)據(jù)分析的步驟237 7.1.5大數(shù)據(jù)分析應(yīng)用240 7.2數(shù)據(jù)挖掘技術(shù)242 7.2.1數(shù)據(jù)挖掘的定義242 7.2.2數(shù)據(jù)挖掘的常用方法244 7.2.3數(shù)據(jù)挖掘的功能 245 7.2.4數(shù)據(jù)挖掘技術(shù) 246 7.2.5數(shù)據(jù)挖掘的流程248 7.2.6數(shù)據(jù)挖掘的應(yīng)用250 7.2.7“大數(shù)據(jù)自動挖掘”才是大數(shù)據(jù)的真正意義251 7.3商業(yè)智能與數(shù)據(jù)分析252 7.3.1商業(yè)智能技術(shù)輔助決策的發(fā)展252 7.3.2商業(yè)智能系統(tǒng)架構(gòu)253 7.3.3商業(yè)智能的技術(shù)體系253 7.3.4商務(wù)智能=數(shù)據(jù)+分析+決策+利益254 7.4電商大數(shù)據(jù)分析技術(shù)257 7.4.1移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)分析基礎(chǔ)257 7.4.2用戶規(guī)模和質(zhì)量258 7.4.3參與度分析259 7.4.4渠道分析260 7.4.5功能分析261 7.4.6用戶屬性分析262 7.5大數(shù)據(jù)營銷業(yè)務(wù)模型263 7.5.1大數(shù)據(jù)對業(yè)務(wù)模式的影響263 7.5.2大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)化精確營銷264 7.5.3移動互聯(lián)和大數(shù)據(jù)時(shí)代的電子商務(wù)265 7.5.4大數(shù)據(jù)營銷的定義與特點(diǎn)266 7.5.5網(wǎng)絡(luò)營銷大數(shù)據(jù)實(shí)際操作268 7.5.6數(shù)據(jù)營銷方法論270 7.6基于社會媒體的分析預(yù)測技術(shù)273 7.6.1基于空間大數(shù)據(jù)的社會感知273 7.6.2基于社會媒體的預(yù)測技術(shù)278 7.6.3基于消費(fèi)意圖挖掘的預(yù)測279 7.6.4基于事件抽取的預(yù)測282 7.6.5基于因果分析的預(yù)測282 7.7大數(shù)據(jù)應(yīng)用案例之: 如何用大數(shù)據(jù)看風(fēng)水？以星巴克和海底撈的 選址為例286 習(xí)題與思考題287第8章大數(shù)據(jù)隱私與安全290 8.1大數(shù)據(jù)面臨的問題290 8.1.1大數(shù)據(jù)面臨的安全問題290 8.1.2使用大數(shù)據(jù)分析安全與隱私的問題295 8.2大數(shù)據(jù)安全與隱私保護(hù)關(guān)鍵技術(shù)296 8.2.1基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù)296 8.2.2基于大數(shù)據(jù)的認(rèn)證技術(shù)297 8.2.3基于大數(shù)據(jù)的數(shù)據(jù)真實(shí)性分析298 8.2.4大數(shù)據(jù)與“安全即服務(wù)”298 8.3大數(shù)據(jù)安全的防護(hù)策略298 8.4大數(shù)據(jù)應(yīng)用案例之: 電影《爸爸去哪兒》大賣有前兆么？300 習(xí)題與思考題305 第三部分大數(shù)據(jù)分析案例 第9章行業(yè)案例研究——銀行、保險(xiǎn)、證券、金融行業(yè)309 9.1銀行業(yè)應(yīng)用309 9.1.1大數(shù)據(jù)時(shí)代: 銀行如何玩轉(zhuǎn)數(shù)據(jù)挖掘309 9.1.2工商銀行客戶關(guān)系管理案例311 9.1.3銀行風(fēng)險(xiǎn)管理314 9.2保險(xiǎn)業(yè)應(yīng)用318 9.2.1保險(xiǎn)產(chǎn)業(yè)擁抱“大數(shù)據(jù)時(shí)代” 或帶來顛覆性變革318 9.2.2保險(xiǎn)欺詐識別320 9.3證券期貨應(yīng)用322 9.3.1安徽使用大數(shù)據(jù)監(jiān)管證券期貨322 9.3.2“大數(shù)據(jù)”分析挖出基金“老鼠倉”的啟示323 9.4金融行業(yè)應(yīng)用324 9.4.1汽車金融公司怎么實(shí)現(xiàn)大數(shù)據(jù)管理324 9.4.2大數(shù)據(jù)決定互聯(lián)網(wǎng)金融未來326 9.4.3移動大數(shù)據(jù)在互聯(lián)網(wǎng)金融反欺詐領(lǐng)域的應(yīng)用329 9.5大數(shù)據(jù)應(yīng)用案例之: 大吃一驚！大數(shù)據(jù)下的中國原來是這樣的331 第四部分大數(shù)據(jù)技術(shù)現(xiàn)狀及發(fā)展展望 第10章大數(shù)據(jù)技術(shù)發(fā)展前景339 10.1大數(shù)據(jù)引發(fā)新一代信息技術(shù)變革浪潮339 10.2大數(shù)據(jù)采集與預(yù)處理技術(shù)發(fā)展前景341 10.3大數(shù)據(jù)存儲與管理技術(shù)發(fā)展前景342 10.4大數(shù)據(jù)計(jì)算模式與系統(tǒng)技術(shù)發(fā)展前景347 10.5大數(shù)據(jù)分析與挖掘技術(shù)發(fā)展前景351 10.6大數(shù)據(jù)可視化分析技術(shù)發(fā)展前景353 10.7大數(shù)據(jù)隱私與安全技術(shù)發(fā)展前景357 10.8大數(shù)據(jù)應(yīng)用案例之: 數(shù)據(jù)解讀城市: 北京本地人VS外地人360參考文獻(xiàn)366