Hadoop 2.X HDFS源碼剖析

第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS體系結(jié)構(gòu) 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信協(xié)議 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客戶端讀流程 22 1.3.2 HDFS客戶端寫(xiě)流程 24 1.3.3 HDFS客戶端追加寫(xiě)流程 25 1.3.4 Datanode啟動(dòng)、心跳以及執(zhí)行名字節(jié)點(diǎn)指令流程 26 1.3.5 HA切換流程 27 第2章 Hadoop RPC 29 2.1 概述 29 2.1.1 RPC框架概述 29 2.1.2 Hadoop RPC框架概述 30 2.2 Hadoop RPC的使用 36 2.2.1 Hadoop RPC使用概述 36 2.2.2 定義RPC協(xié)議 40 2.2.3 客戶端獲取Proxy對(duì)象 45 2.2.4 服務(wù)器獲取Server對(duì)象 54 2.3 Hadoop RPC實(shí)現(xiàn) 63 2.3.1 RPC類(lèi)實(shí)現(xiàn) 63 2.3.2 Client類(lèi)實(shí)現(xiàn) 64 2.3.3 Server類(lèi)實(shí)現(xiàn) 76 第3章 Namenode（名字節(jié)點(diǎn)） 88 3.1 文件系統(tǒng)目錄樹(shù) 88 3.1.1 INode相關(guān)類(lèi) 89 3.1.2 Feature相關(guān)類(lèi) 102 3.1.3 FSEditLog類(lèi) 117 3.1.4 FSImage類(lèi) 138 3.1.5 FSDirectory類(lèi) 158 3.2 數(shù)據(jù)塊管理 162 3.2.1 Block、Replica、BlocksMap 162 3.2.2 數(shù)據(jù)塊副本狀態(tài) 167 3.2.3 BlockManager類(lèi)（done） 177 3.3 數(shù)據(jù)節(jié)點(diǎn)管理 211 3.3.1 DatanodeDescriptor 212 3.3.2 DatanodeStorageInfo 214 3.3.3 DatanodeManager 217 3.4 租約管理 233 3.4.1 LeaseManager.Lease 233 3.4.2 LeaseManager 234 3.5 緩存管理 246 3.5.1 緩存概念 247 3.5.2 緩存管理命令 247 3.5.3 HDFS集中式緩存架構(gòu) 247 3.5.4 CacheManager類(lèi)實(shí)現(xiàn) 248 3.5.5 CacheReplicationMonitor 250 3.6 ClientProtocol實(shí)現(xiàn) 251 3.6.1 創(chuàng)建文件 251 3.6.2 追加寫(xiě)文件 254 3.6.3 創(chuàng)建新的數(shù)據(jù)塊 257 3.6.4 放棄數(shù)據(jù)塊 265 3.6.5 關(guān)閉文件 266 3.7 Namenode的啟動(dòng)和停止 268 3.7.1 安全模式 268 3.7.2 HDFS High Availability 276 3.7.3 名字節(jié)點(diǎn)的啟動(dòng) 301 3.7.4 名字節(jié)點(diǎn)的停止 306 第4章 Datanode（數(shù)據(jù)節(jié)點(diǎn)） 307 4.1 Datanode邏輯結(jié)構(gòu) 307 4.1.1 HDFS 1.X架構(gòu) 307 4.1.2 HDFS Federation 308 4.1.3 Datanode邏輯結(jié)構(gòu) 310 4.2 Datanode存儲(chǔ) 312 4.2.1 Datanode升級(jí)機(jī)制 312 4.2.2 Datanode磁盤(pán)存儲(chǔ)結(jié)構(gòu) 315 4.2.3 DataStorage實(shí)現(xiàn) 317 4.3 文件系統(tǒng)數(shù)據(jù)集 334 4.3.1 Datanode上數(shù)據(jù)塊副本的狀態(tài) 335 4.3.2 BlockPoolSlice實(shí)現(xiàn) 335 4.3.3 FsVolumeImpl實(shí)現(xiàn) 342 4.3.4 FsVolumeList實(shí)現(xiàn) 345 4.3.5 FsDatasetImpl實(shí)現(xiàn) 348 4.4 BlockPoolManager 375 4.4.1 BPServiceActor實(shí)現(xiàn) 376 4.4.2 BPOfferService實(shí)現(xiàn) 389 4.4.3 BlockPoolManager實(shí)現(xiàn) 396 4.5 流式接口 398 4.5.1 DataTransferProtocol定義 398 4.5.2 Sender和Receiver 399 4.5.3 DataXceiverServer 403 4.5.4 DataXceiver 406 4.5.5 讀數(shù)據(jù) 408 4.5.6 寫(xiě)數(shù)據(jù)（done） 423 4.5.7 數(shù)據(jù)塊替換、數(shù)據(jù)塊拷貝和讀數(shù)據(jù)塊校驗(yàn) 437 4.5.8 短路讀操作 437 4.6 數(shù)據(jù)塊掃描器 437 4.6.1 DataBlockScanner實(shí)現(xiàn) 438 4.6.2 BlockPoolSliceScanner實(shí)現(xiàn) 439 4.7 DirectoryScanner 442 4.8 DataNode類(lèi)的實(shí)現(xiàn) 443 4.8.1 DataNode的啟動(dòng) 444 4.8.2 DataNode的關(guān)閉 446 第5章 HDFS客戶端 447 5.1 DFSClient實(shí)現(xiàn) 447 5.1.1 構(gòu)造方法 448 5.1.2 關(guān)閉方法 449 5.1.3 文件系統(tǒng)管理與配置方法 450 5.1.4 HDFS文件與目錄操作方法 451 5.1.5 HDFS文件讀寫(xiě)方法 452 5.2 文件讀操作與輸入流 452 5.2.1 打開(kāi)文件 452 5.2.2 讀操作——DFSInputStream實(shí)現(xiàn) 461 5.3 文件短路讀操作 481 5.3.1 短路讀共享內(nèi)存 482 5.3.2 DataTransferProtocol 484 5.3.3 DFSClient短路讀操作流程 488 5.3.4 Datanode短路讀操作流程 509 5.4 文件寫(xiě)操作與輸出流 512 5.4.1 創(chuàng)建文件 512 5.4.2 寫(xiě)操作——DFSOutputStream實(shí)現(xiàn) 516 5.4.3 追加寫(xiě)操作 543 5.4.4 租約相關(guān) 546 5.4.5 關(guān)閉輸出流 548 5.5 HDFS常用工具 549 5.5.1 FsShell實(shí)現(xiàn) 550 5.5.2 DFSAdmin實(shí)現(xiàn) 552