hadoop的存储系统mapreduce(Hadoop的mapreduce任务运行原理)

hadoop的存储系统mapreduce(Hadoop的mapreduce任务运行原理)(1)

Hadoop任务运行原理

a>.客户端,提交MapReduce作业;

    b>.YARN资源管理器,负责协调集群上计算机资源的分配;

    c>.YARN节点管理器,负责启动和监视集群中机器上的计算容器(container);

    d>.MapReduce 的 application master,负责协调运行MapReduce 作业的任务。它和MapReduce任务在容器中运行,这些容器由资源管理器分配并由节点管理器进行管理;

    e>.分布式文件系统(一般为HDFS),用来与其他实体间共享作业信息;

一.任务运行过程

driver端将任务提交给某一个dateNode即我们得客户端,与此同时,起一个ApplicationMaster进程来来检测任务执行状态,并负责任务起停,资源管理器收到有任务来,查看资源且让schedule分配container,来运行任务,当任务运行结束时A p p li cationMaster进程来汇报任务执行状态 收到反馈后自己也被销毁,任务运行结束

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页