MapReduce 2.0源碼分析與編程實戰(zhàn)

第1章　大象也會跳舞
1.1　大數(shù)據(jù)時代
1.2　大數(shù)據(jù)分析時代
1.3　簡單、粗暴、有效--這就是Hadoop
1.4　MapReduce與Hadoop
1.5　看，大象也會跳舞
本章小結(jié)
第2章　大象的肚子--HDFS文件系統(tǒng)詳解
2.1　HDFS基礎(chǔ)詳解
2.1.1　HDFS設(shè)計思路
2.1.2　HDFS架構(gòu)與基本存儲單元
2.2　HDFS數(shù)據(jù)存取流程分析
2.2.1　HDFS數(shù)據(jù)存儲位置與復(fù)制詳解
2.2.2　HDFS 輸入流程分析
2.2.3　HDFS輸出流程分析
2.3　HDFS命令行操作詳解
2.3.1　HDFS中4個通用的命令行操作
2.3.2　HDFS文件18個基本命令行的操作
2.3.3　HDFS文件訪問權(quán)限詳解
2.4　通過Web瀏覽HDFS文件
2.5　HDFS接口使用詳解
2.5.1　使用FileSystem API操作HDFS中的內(nèi)容
2.5.2　使用FileSystem API讀取數(shù)據(jù)詳解
2.5.3　使用FileSystem API寫入數(shù)據(jù)詳解
2.6　HDFS文件同步與并發(fā)訪問
本章小結(jié)
第3章　“吃下去吐出來”--Hadoop文件I/O系統(tǒng)詳解
3.1　Hadoop的壓縮類型介紹
3.2　Hadoop的壓縮類庫
3.2.1　從一個簡單的例子開始
3.2.2　CompressionCodec接口
3.2.3　CompressionCodecFactory類詳解
3.2.4　壓縮池
3.2.5　在Hadoop中使用壓縮
3.3　I/O中序列化類型詳解
3.3.1　Text類詳解
3.3.2　IntWritable類詳解
3.3.3　ObjectWritable類詳解
3.3.4　NullWritable類詳解
3.3.5　ByteWritable類詳解
3.4　實現(xiàn)自定義的Writable類型
3.4.1　Writable接口
3.4.2　WritableComparable接口與RawComparator接口
3.4.3　自定義的Writable類
3.4.4　為了更快的比較
3.5　Hadoop中小文件處理詳解
3.5.1　SequenceFile詳解
3.5.2　MapFile詳解
本章小結(jié)
第4章　“大象的大腦”--MapReduce框架結(jié)構(gòu)與源碼分析
4.1　MapReduce框架結(jié)構(gòu)與源碼分析
4.1.1　MapReduce框架分析與執(zhí)行過程詳解
4.1.2　MapReduce輸入輸出與源碼分析
4.1.3　MapReduce中Job類詳解
4.2　編程實戰(zhàn)：經(jīng)典的MapReduce單詞計數(shù)程序
4.2.1　準(zhǔn)備工作
4.2.2　 MapReduce過程分析
4.2.3　計數(shù)程序的MapReduce實現(xiàn)
4.2.4　計數(shù)程序的main方法
4.2.5　注意事項
4.2.6　運(yùn)行結(jié)果
4.2.7　Mapper中的Combiner詳解
本章小結(jié)
第5章　深入！MapReduce配置與測試
5.1　MapReduce環(huán)境變量配置詳解
5.1.1　使用XML配置新的配置文件
5.1.2　修改已有的配置文件
5.1.3　輔助類ToolRunner、Configured詳解
5.2　使用MRUnit對MapReduce進(jìn)行測試
5.2.1　MRUnit簡介與使用
5.2.2　使用MRUnit完成Mapper單元測試
5.2.3　使用MRUnit完成Reduce單元測試
5.2.4 使用MRUnit完成MapReduce單元測試
5.3　在本地磁盤上進(jìn)行MapReduce測試
5.3.1　偽環(huán)境欺騙
5.3.2　在Eclipse中配置Hadoop插件
5.3.3　編寫本地測試代碼
5.4　MapReduce計數(shù)器
5.4.1　使用計數(shù)器的MapReduce程序設(shè)計
5.4.2　通過Web接口進(jìn)行任務(wù)分析
5.4.3　通過Web接口查看計數(shù)器
本章小結(jié)
第6章　大象的思考流程--MapReduce運(yùn)行流程詳解
6.1　經(jīng)典MapReduce任務(wù)的工作流程
6.1.1　ClientNode執(zhí)行任務(wù)的初始化
6.1.2　消息傳遞
6.1.3　MapReduce任務(wù)的執(zhí)行
6.1.4　任務(wù)的完成與狀態(tài)更新
6.2　經(jīng)典MapReduce任務(wù)異常處理詳解
6.2.1　MapReduce任務(wù)異常的處理方式
6.2.2　MapReduce任務(wù)失敗的處理方式
6.3　經(jīng)典MapReduce任務(wù)的數(shù)據(jù)處理過程
6.3.1　Map端的輸入數(shù)據(jù)處理過程
6.3.2　Reduce端的輸入數(shù)據(jù)處理過程
6.3.3　Java虛擬機(jī)重用
6.4　MapReduce 2.0（YARN）工作流程詳解
6.4.1　YARN概述
6.4.2　YARN任務(wù)過程分析
6.4.3　YARN的異常處理
本章小結(jié)
第7章　更強(qiáng)的大象--MapReduce高級程序設(shè)計續(xù)
7.1　MapReduce程序設(shè)計默認(rèn)格式類型詳解
7.1.1　map與reduce方法的默認(rèn)輸入輸出類型
7.1.2　自定義輸入輸出類型設(shè)置
7.1.3　自定義全局類型變量設(shè)置要求
7.1.4　默認(rèn)的MapReduce程序設(shè)置
7.2　InputFormat輸入格式詳解
7.2.1　輸入記錄與分區(qū)
7.2.2　InputFormat源碼及執(zhí)行過程分析
7.2.3　實現(xiàn)自己的RecordReader類
7.2.4　自定義的FileInputFormat類
7.2.5　一些常用的InputFormat類詳解
7.3　OutputFormat輸出格式詳解
7.3.1　OutputFormat默認(rèn)輸出格式
7.3.2　自定義OutputFormat輸出格式
7.3.3　對Reduce任務(wù)數(shù)進(jìn)行設(shè)置
7.3.4　OutputFormat分區(qū)類Partitioner詳解
7.4　多種輸入與輸出使用介紹
7.4.1　MultipleInputs多種輸入方式詳解
7.4.2　MultipleOutputs多種輸出方式詳解
本章小結(jié)
第8章　MapReduce相關(guān)特性詳解
8.1　MapReduce計數(shù)器
8.1.1　Hadoop框架內(nèi)置的計數(shù)器
8.1.2　自定義計數(shù)器
8.1.3　動態(tài)計數(shù)器
8.1.4　獲取計數(shù)器值
8.2　排序與查找
8.2.1　普通排序規(guī)則與查找
8.2.2　使用MapFile進(jìn)行排序與查找
8.3　對輸出結(jié)果的值分組排序
8.3.1　準(zhǔn)備工作
8.3.2　對結(jié)果進(jìn)行分組處理
8.3.3　對鍵的二次排序
8.3.4　自定義輸出分組
8.4　編程實戰(zhàn)：使用二次排序自動查找最小值
8.4.1　思路分析
8.4.2　驗證輸入輸出結(jié)果
8.4.3　對結(jié)果進(jìn)行二次排序
8.4.4　對結(jié)果進(jìn)行分組
8.4.5　分片處理排序與分組
8.4.6　驗證結(jié)果
本章小結(jié)
第9章　啤酒與尿布--MapReduce連接與數(shù)據(jù)挖掘初步
9.1　對于同樣格式數(shù)據(jù)進(jìn)行MapReduce連接
9.2　對于不同格式數(shù)據(jù)進(jìn)行MapReduce連接
9.3　不能說的秘密--啤酒與尿布
9.3.1　銷售清單的秘密
9.3.2　設(shè)計程序
9.3.3　程序執(zhí)行結(jié)果
9.4　數(shù)據(jù)挖掘初步
本章小結(jié)
第10章　MapReduce實戰(zhàn)編程及深度分析
10.1　編程實戰(zhàn)：自定義數(shù)據(jù)庫中讀取數(shù)據(jù)
10.1.1　準(zhǔn)備工作
10.1.2　程序分析
10.1.3　自定義SQLInputFormat
10.1.4　使用自定義程序從數(shù)據(jù)庫中讀取數(shù)據(jù)
10.1.5　程序運(yùn)行及數(shù)據(jù)分析
10.1.6　使用合并記錄進(jìn)行性能調(diào)優(yōu)
10.2　編程實戰(zhàn)：串聯(lián)尋找共同轉(zhuǎn)載微博
10.2.1　應(yīng)用分析
10.2.2　第一步表轉(zhuǎn)換
10.2.3　建立關(guān)注連接
10.2.4　自定義的OutputFormat
10.2.5　串聯(lián)解決共同轉(zhuǎn)載微博
10.2.6　性能調(diào)優(yōu)及后續(xù)處理
10.3　編程實戰(zhàn)：云存儲模型
10.3.1　應(yīng)用分析
10.3.2　Tomcat簡介
10.3.3　配置Tomcat服務(wù)器
10.3.4　測試Tomcat服務(wù)器
10.3.5　在Eclipse中配置Tomcat
10.3.6　創(chuàng)建云存儲目錄
10.3.7　獲取云存儲列表
10.3.8　將文件上傳至數(shù)據(jù)云存儲中
10.3.9　刪除文件
10.3.10　下載云端存儲文件
10.3.11　程序執(zhí)行與性能調(diào)優(yōu)
10.4　編程實戰(zhàn)：多文檔相似關(guān)鍵字檢索
10.4.1　應(yīng)用分析
10.4.2　自定義任務(wù)處理類
10.4.3　程序執(zhí)行及后續(xù)分析
10.5　編程實戰(zhàn)：學(xué)生成績整理與分組
10.5.1　應(yīng)用分析
10.5.2　自定義的ScoreWritable
10.5.3　自定義的MapReduce
10.5.4　自定義的分組
10.5.5　程序運(yùn)行結(jié)果
10.5.6　采用更多分組類型
本章小結(jié)