mapreduce编程步骤（好程序员mapreduce概述）

mapreduce：分布式并行离线计算框架，是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架;MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

- 与HDFS解决问题的原理类似，HDFS是将大的文件切分成若干小文件，然后将它们分别存储到集群中各个主机中。

- 同样原理，mapreduce是将一个复杂的运算切分成若干个子运算，然后将它们分别交给集群中各个主机，由各个主机并行运算。

1.1 mapreduce产生的背景

- 海量数据在单机上处理，因为硬件资源限制，无法胜任。

- 而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度。

- 引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理。

1.2 mapreduce编程模型

- 一种分布式计算模型。

- MapReduce将这个并行计算过程抽象到两个函数。

1.3 Mapreduce的几个关键名词

- Job ：用户的每一个计算请求称为一个作业。

- Task：每一个作业，都需要拆分开了，交由多个主机来完成，拆分出来的执行单位就是任务。

- Task又分为如下三种类型的任务：

- Map：负责map阶段的整个数据处理流程

- Reduce：负责reduce阶段的整个数据处理流程

- mrAppMaster：负责整个程序的过程调度及状态协调

1.4 mapreduce程序运行流程

具体流程说明：

1. 一个mr程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程

2. maptask进程启动之后，根据给定的数据切片范围进行数据处理，主体流程为：

- 利用客户指定的inputformat来获取RecordReader读取数据，形成输入KV对。

- 将输入KV(K是文件的行号，V是文件一行的数据)对传递给客户定义的map()方法，做逻辑运算，并将map()方法输出的KV对收集到缓存。

- 将缓存中的KV对按照K分区排序后不断溢写到磁盘文件

3. MRAppMaster监控到所有maptask进程任务完成之后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据范围(数据分区)

4. Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同key的KV为一个组，调用客户定义的reduce()方法进行逻辑运算，并收集运算输出的结果KV，然后调用客户指定的outputformat将结果数据输出到外部存储。