Yarn架构-创新互联

Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。
yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。
Yarn架构

目前成都创新互联公司已为超过千家的企业提供了网站建设、域名、虚拟主机、网站托管运营、企业网站设计、周口网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（Applications Manager）
scheduler主要进行资源调度，不进行任何与应用程序相关的动作，主要包括Capacity Scheduler和Fair scheduler。
ASM：主要负责提交、启动以及监控每个application的application master
AM
每个作业都有一个application master来监控和管理自己的所有任务，具备的功能包括：
a，与RM交互获取任务运行的资源；
b，与NM交互提交任务、监控任务运行情况等
NM
一般集群中每个节点启动一个NM，NM不但向RM发送心跳，汇报本节点的资源使用情况；并与AM交互，接收并处理来自AM的所有关于container的请求。
container
一个逻辑概念，抽象的资源表示形式，可以代表一组多维度资源，目前yarn主要支持cpu和内存。

yarn工作流程

Yarn架构
向yarn提交一个应用程序后，yarn主要分为两个步骤：第一步先启动application master；第二步由AM启动并监控本application中的所有任务，直到完成。

向yarn提交应用程序，包含application master程序，以及启动am的命令；
RM为AM分配一个container，并与NM通信启动container来运行这个AM（这是唯一一个由RM和NM通信启动的container，其它的container都是AM与NM通信启动）
AM启动之后，主动向RM发送心跳注册自己，此时RM可以监控这个AM，我们可以在yarn web页面上看到这个任务；
AM轮询方式向RM申请和获取资源；
AM获取到资源后，与NM通信要求启动任务；
NM设置任务运行环境，启动任务；
各个NM上的任务，不断通过RPC向AM发送心跳，汇报自己的状态和进度；
任务全部完成后，AM向RM注销自己。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网页名称：Yarn架构-创新互联
URL地址：http://gyruijie.cn/article/csssho.html

扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

Yarn架构-创新互联

yarn工作流程

扫二维码与项目经理沟通

其他资讯

行业动态

企业网站建设的重要性！

服务项目

网站建设

移动端/APP

微信/小程序

技术支持

其它服务

更多服务项目

联系吧在百度地图上找到我们

电话：13518219792

Yarn架构-创新互联

yarn工作流程

扫二维码与项目经理沟通

其他资讯

行业动态

企业网站建设的重要性！

服务项目

网站建设

移动端/APP

微信/小程序

技术支持

其它服务

更多服务项目

联系吧 在百度地图上找到我们

电话：13518219792

联系吧在百度地图上找到我们