Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 PDF下载

“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。

本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

前言

为什么要写这本书

读者对象

如何阅读本书

勘误和支持

致谢

第一部分　基础篇

第1章　阅读源代码前的准备

1.1　准备源代码学习环境

1.2　获取Hadoop源代码

1.3　搭建Hadoop源代码阅读环境

1.4　Hadoop源代码组织结构

1.5　Hadoop初体验

1.6　编译及调试Hadoop源代码

1.7　小结

第2章　MapReduce设计理念与基本架构

2.1　Hadoop发展史

2.2　Hadoop MapReduce设计目标

2.3　MapReduce编程模型概述

2.4　Hadoop基本架构

2.5　Hadoop MapReduce作业的生命周期

2.6　小结

第二部分　MapReduce编程模型篇

第3章　MapReduce编程模型

3.1　MapReduce编程模型概述

3.2　MapReduce API基本概念

3.3　Java API解析

3.4　非Java API解析

3.5　Hadoop工作流

3.6　小结

第三部分　MapReduce核心设计篇

第4章　Hadoop RPC框架解析

4.1　Hadoop RPC框架概述

4.2　Java基础知识

4.3　Hadoop RPC基本框架分析

4.4　MapReduce通信协议分析

4.5　小结

第5章　作业提交与初始化过程分析

5.1　作业提交与初始化概述

5.2　作业提交过程详解

5.3　作业初始化过程详解

5.4　Hadoop DistributedCache原理分析

5.5　小结

第6章　JobTracker内部实现剖析

6.1　JobTracker概述

6.2　JobTracker启动过程分析

6.3　心跳接收与应答

6.4　Job和Task运行时信息维护

6.5　容错机制

6.6　任务推测执行原理

6.7　Hadoop资源管理

6.8　小结

第7章　TaskTracker内部实现剖析

7.1　TaskTracker概述

7.2　TaskTracker启动过程分析

7.3　心跳机制

7.4　TaskTracker行为分析

7.5　作业目录管理

7.6　启动新任务

7.7　小结

第8章　Task运行过程分析

8.1　Task运行过程概述

8.2　基本数据结构和算法

8.3　Map Task内部实现

8.4　Reduce Task内部实现

8.5　Map/Reduce Task优化

8.6　小结

第四部分　MapReduce高级篇

第9章　Hadoop性能调优

9.1　概述

9.2　从管理员角度进行调优

9.3　从用户角度进行调优

9.4　小结

第10章　Hadoop多用户作业调度器

10.1　多用户调度器产生背景

10.2　HOD

10.3　Hadoop队列管理机制

10.4　Capacity Scheduler实现

10.5　Fair Scheduler实现

10.6　其他Hadoop调度器介绍

10.7　小结

第11章　Hadoop安全机制

11.1　Hadoop安全机制概述

11.2　基础知识

11.3　Hadoop安全机制实现

11.4　应用场景总结

11.5　小结

第12章　下一代MapReduce框架

12.1　第一代MapReduce框架的局限性

12.2　下一代MapReduce框架概述

12.3　Apache YARN

12.4　Facebook Corona

12.5　Apache Mesos

12.6　小结

附录A　安装Hadoop过程中可能存在的问题及解决方案

附录B　Hadoop默认HTTP端口号以及HTTP地址

参考资料