HBase企業(yè)應用開發(fā)實戰(zhàn)

前　言 第一部分　基礎篇 第1章　認識HBase 2 1.1　理解大數據背景 2 1.1.1　什么是大數據 3 1.1.2　為何大數據至關重要 4 1.1.3　NoSQL在大數據中扮演的角色 4 1.2　HBase是什么 6 1.2.1　HBase的發(fā)展歷史 6 1.2.2　HBase的發(fā)行版本 7 1.2.3　HBase的特性 9 1.3　HBase與Hadoop的關系 10 1.4　HBase的核心功能模塊 12 1.4.1　客戶端Client 12 1.4.2　協調服務組件ZooKeeper 13 1.4.3　主節(jié)點HMaster 13 1.4.4　Region節(jié)點HRegionServer 13 1.5　HBase的使用場景和經典案例 14 1.5.1　搜索引擎應用 15 1.5.2　增量數據存儲 15 1.5.3　用戶內容服務 17 1.5.4　實時消息系統構建 18 1.6　本章小結 18 第2章　HBase安裝與配置 19 2.1　先決條件 19 2.2　HBase運行模式 23 2.2.1　單機模式 23 2.2.2　分布式模式 24 2.3　HBase的Web UI 31 2.4　HBase Shell工具使用 31 2.5　停止HBase集群 33 2.6　本章小結 33 第3章　數據模型 34 3.1　兩類數據模型 34 3.1.1　邏輯模型 35 3.1.2　物理模型 35 3.2　數據模型的重要概念 36 3.2.1　表 36 3.2.2　行鍵 37 3.2.3　列族 38 3.2.4　單元格 38 3.3　數據模型的操作 38 3.3.1　讀Get 39 3.3.2　寫Put 39 3.3.3　掃描Scan 39 3.3.4　刪除Delete 40 3.4　數據模型的特殊屬性 40 3.4.1　版本 40 3.4.2　排序 42 3.4.3　列的元數據 42 3.4.4　連接查詢 43 3.4.5　計數器 43 3.4.6　原子操作 43 3.4.7　事務特性ACID 43 3.4.8　行鎖 45 3.4.9　自動分區(qū) 45 3.5　CAP原理與最終一致性 46 3.6　本章小結 47 第4章　HBase表結構設計 48 4.1　模式創(chuàng)建 48 4.2　Rowkey設計 49 4.3　列族定義 51 4.3.1　可配置的數據塊大小 51 4.3.2　數據塊緩存 52 4.3.3　布隆過濾器 52 4.3.4　數據壓縮 53 4.3.5　單元時間版本 53 4.3.6　生存時間 54 4.4　模式設計實例 54 4.4.1　實例1：動物分類 54 4.4.2　實例2：店鋪與商品 56 4.4.3　實例3：網上商城用戶消費記錄 57 4.4.4　實例4：微博用戶與粉絲 58 4.5　本章小結 60 第5章　HBase客戶端 61 5.1　精通原生Java客戶端 61 5.1.1　客戶端配置 62 5.1.2　創(chuàng)建表 69 5.1.3　刪除表 70 5.1.4　插入數據 70 5.1.5　查詢數據 72 5.1.6　刪除數據 76 5.1.7　過濾查詢 77 5.2　使用HBase Shell工具操作HBase 79 5.2.1　命令分類 79 5.2.2　常規(guī)命令 80 5.2.3　DDL命令 81 5.2.4　DML命令 82 5.2.5　工具命令Tools 86 5.2.6　復制命令 87 5.2.7　安全命令 87 5.3　使用Thrift客戶端訪問HBase 88 5.3.1　Thrift與Thrift2區(qū)別 88 5.3.2　安裝與部署Thrift2 89 5.3.3　Python使用案例 93 5.4　通過REST客戶端訪問HBase 95 5.4.1　啟動服務 95 5.4.2　使用REST訪問example表 96 5.5　使用MapReduce批量操作HBase 97 5.5.1　三種訪問模式 98 5.5.2　實現MapReduce API 98 5.5.3　HBase作為輸入源示例 99 5.5.4　HBase作為輸出源示例 101 5.5.5　HBase作為共享源示例 103 5.6　通過Web UI工具查看HBase狀態(tài) 106 5.6.1　Master狀態(tài)界面 106 5.6.2　RegionServer狀態(tài)界面 107 5.6.3　ZooKeeper統計信息頁面 109 5.7　其他客戶端 110 5.8　本章小結 110 第二部分　實戰(zhàn)篇 第6章　整合SQL引擎層 114 6.1　NoSQL背景知識 114 6.1.1　什么是NoSQL 114 6.1.2　將SQL整合到HBase的原因 115 6.1.3　基于HBase的SQL引擎實現 116 6.2　Hive整合HBase的實現 119 6.2.1　認識Hive 119 6.2.2　Hive整合HBase的環(huán)境準備 122 6.2.3　Linux環(huán)境下重新編譯Hive 123 6.2.4　Hive參數配置 125 6.2.5　啟動Hive 127 6.2.6　Hive與HBase整合后的框架如何使用 127 6.2.7　HBase到Hive的字段映射 133 6.2.8　多列與Hive Map類型 134 6.3　查詢引擎Phoenix 137 6.3.1　認識Phoenix 138 6.3.2　Phoenix安裝環(huán)境準備 141 6.3.3　Phoenix安裝部署 142 6.3.4　Phoenix源碼編譯 143 6.3.5　Phoenix中SQLLine的快速使用 149 6.3.6　使用JDBC訪問Phoenix 153 6.4　對象映射框架Kundera 155 6.4.1　認識Kundera 155 6.4.2　Kundera的客戶端API快速使用 158 6.4.3　Kundera模塊介紹 161 6.4.4　Kundera的REST訪問方式 162 6.5　分布式SQL引擎Lealone 165 6.5.1　認識Lealone 165 6.5.2　Lealone的安裝部署 166 6.5.3　通過JDBC訪問Lealone 168 6.5.4　通過Python訪問Lealone 169 6.5.5　Lealone特有的建表語法 170 6.6　本章小結 171 第7章　構建音樂站用戶屬性庫 173 7.1　案例背景 173 7.1.1　音樂站 173 7.1.2　需求概述 175 7.1.3　需求范圍和系統邊界 175 7.1.4　需求詳述 176 7.1.5　名詞解釋 180 7.2　概要設計 181 7.2.1　設計目標 181 7.2.2　數據規(guī)模假設 181 7.2.3　功能指標 182 7.2.4　系統流程 182 7.3　表結構設計 183 7.3.1　功能抽象 183 7.3.2　邏輯結構 184 7.3.3　Rowkey設計 188 7.3.4　列族設計 188 7.3.5　版本定義 188 7.3.6　優(yōu)化屬性定義 188 7.4　數據加載 189 7.4.1　加載流程 189 7.4.2　Mapper類 190 7.4.3　Main類 192 7.4.4　運行 193 7.5　數據檢索 193 7.5.1　HBaseTable 193 7.5.2　HBaseAdmin 193 7.5.3　幾種檢索類型 195 7.6　后臺查詢 198 7.6.1　二級索引實現 198 7.6.2　后臺查詢系統 205 7.7　本章小結 206 第8章　構建廣告實時計算系統 208 8.1　理解廣告數據和流處理框架 208 8.1.1　網絡廣告的幾大特性 209 8.1.2　網絡廣告的數據類型 210 8.1.3　流處理框架 211 8.1.4　背景與需求描述 217 8.2　概要設計 218 8.2.1　設計目標 219 8.2.2　主要功能 219 8.2.3　系統架構 219 8.3　詳細設計 221 8.3.1　表結構設計 221 8.3.2　功能模塊設計 222 8.4　核心功能實現 223 8.4.1　規(guī)劃集群環(huán)境部署 223 8.4.2　安裝ZooKeeper集群 225 8.4.3　安裝Kafka分布式集群 228 8.4.4　實現Kafka生產者 231 8.4.5　安裝Storm分布式集群 233 8.4.6　查看集群節(jié)點部署情況 240 8.4.7　基于Storm-kafka中間件實現計算邏輯 240 8.4.8　如何使用HBase中統計數據 251 8.5　本章小結 252 第三部分　高級篇 第9章　核心概念 254 9.1　核心結構 254 9.1.1　B+樹 255 9.1.2　LSM樹 255 9.1.3　兩種結構本質區(qū)別 257 9.2　底層持久化 258 9.2.1　存儲基本架構 258 9.2.2　HDFS文件 259 9.2.3　Region切分 264 9.2.4　合并 265 9.2.5　HFile格式 266 9.2.6　KeyValue格式 269 9.3　預寫日志 270 9.3.1　概要流程 270 9.3.2　相關Java類 271 9.3.3　日志回放 274 9.3.4　日志一致性 275 9.4　寫入流程 276 9.4.1　客戶端 276 9.4.2　服務器端 281 9.5　查詢流程 286 9.5.1　兩種查詢操作 286 9.5.2　客戶端 286 9.5.3　服務器端 287 9.6　數據備份 291 9.6.1　備份機制架構 292 9.6.2　故障恢復 292 9.7　數據壓縮 294 9.7.1　支持的壓縮算法 295 9.7.2　使用配置 295 9.8　本章小結 296 第10章　HBase高級特性 297 10.1　過濾器 297 10.1.1　過濾器的兩類參數 297 10.1.2　比較器 298 10.1.3　列值過濾器 300 10.1.4　鍵值元數據過濾器 300 10.1.5　行鍵過濾器 303 10.1.6　功能過濾器 303 10.1.7　Thrift使用過濾器 304 10.1.8　過濾器總結 309 10.2　計數器 310 10.2.1　使用Shell操作計數器 310 10.2.2　基于單列的計數器 312 10.2.3　多列計數器 313 10.3　協處理器 314 10.3.1　認識協處理器 315 10.3.2　觀察者Observer 316 10.3.3　終端EndPoint 318 10.3.4　協處理器部署 320 10.4　Schema設計要點 323 10.4.1　行鍵設計 323 10.4.2　列族設計 325 10.5　二級索引 325 10.5.1　Client-managed方式 326 10.5.2　ITHBase實現 326 10.5.3　IHBase實現 329 10.5.4　Coprocessor方式 329 10.5.5　MapReduce兩種方式 330 10.6　布隆過濾器 330 10.6.1　基本概念 331 10.6.2　配置布隆過濾器 332 10.6.3　使用布隆過濾器 333 10.7　負載均衡 333 10.7.1　全局計劃 334 10.7.2　隨機分配計劃 337 10.7.3　批量啟動分配計劃 337 10.7.4　通過Shell控制負載均衡 338 10.8　批量加載 338 10.8.1　準備數據：importtsv 338 10.8.2　加載數據：completebulkload 340 10.9　本章小結 340 第11章　集群運維管理 341 11.1　HBase常用工具 341 11.1.1　文件檢測修復工具hbck 342 11.1.2　文件查看工具hfile 346 11.1.3　WAL日志查看工具hlog 348 11.1.4　壓縮測試工具CompressionTest 349 11.1.5　數據遷移工具CopyTable 350 11.1.6　導出工具export 351 11.1.7　導入工具Import 351 11.1.8　日志回放工具WALPlayer 351 11.1.9　行數統計工具RowCounter 352 11.2　Region和RegionServer管理 353 11.2.1　大合并工具major_compact 353 11.2.2　Region合并工具Merge 354 11.2.3　下線節(jié)點 354 11.2.4　滾動重啟 355 11.3　性能指標Metrics 356 11.3.1　Master Metrics 357 11.3.2　RegionServer Metrics 357 11.3.3　RPC Metrics 358 11.3.4　JVM Metrics 359 11.3.5　集群屬性Metrics 360 11.4　監(jiān)控系統Ganglia 360 11.4.1　HBase監(jiān)控指標 360 11.4.2　安裝、部署和使用Ganglia 361 11.5　HBase管理擴展JMX 366 11.5.1　如何使用JMX 366 11.5.2　基于JMX的監(jiān)控工具Ella 368 11.6　報警工具Nagios 371 11.7　故障處理 376 11.7.1　問題咨詢渠道 377 11.7.2　常用日志信息 377 11.7.3　常用故障調試工具 379 11.7.4　客戶端故障排查 384 11.7.5　MapReduce故障排查 386 11.7.6　網絡故障排查 387 11.7.7　RegionServer相關問題解決 387 11.7.8　Master相關問題解決 391 11.7.9　ZooKeeper相關問題解決 392 11.8　集群備份 392 11.8.1　冷備份 393 11.8.2　熱備份之Replication 393 11.8.3　熱備份之CopyTable 393 11.8.4　熱備份之Export 393 11.9　本章小結 393