【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构 _生活百科

一、Yarn 产生的背景Hadoop2 之前是由 HDFS 和 MR组成的，HDFS 负责存储，MR 负责计算。
一）MRv1 的问题

耦合度高：MR 中的 jobTracker 同时负责资源管理和作业控制两个功能，互相制约。
可靠性差：管理节点是单机的，有单点故障的问题。
资源利用率低：基于 slot 的资源分配模型。机器会将资源划分成若干相同大小的 slot，并划定哪些是 map slot、哪些是 reduce slot 。
无法支持多种计算框架：限定了只能用于 MapReduce 程序。

二）Yarn 的诞生由于之前 Hadoop 资源调度的种种问题，新的资源调度框架产生了 —— YARN（Yet Another Resource Negotiator）。
它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
二、Yarn 的基本架构一）Yarn 三大组件

ResourceManager
Nodemanager
ApplicationMaster

文章插图
Yarn依然是Master/Slave的结构：

在资源架构层面：RM 是 master、NM 是 slave
在应用运行期间：AM 是 master、container 是 slave

1、ResourceManagerResourceManager 主要由两个组件构成：调度器( Scheduler）和应用程序管理器（Applications Manager，ASM) 。

调度器（Scheduler）：
- 根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。
应用程序管理器（Applications Manager）：
- 负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动等。

2、NodeManagerNodeManager 是每个节点上的资源和任务管理器。

定时地向 RM 汇报本节点上的资源使用情况和各个 Container 的运行状态；
接收并处理来自 AM 的 Container启动/停止等各种请求。

3、ApplicationMasterApplicationMaster 是一个任务最先启动的容器，用于管理当前任务的调度。

与 RM 调度器协商以获取资源（用 Container 表示）；
将得到的任务进一步分配给内部的任务；
与NM 通信以启动 / 停止任务；
监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

4、Container不属于 Yarn 三大组件，但是 yarn 中资源的抽象。

封装 NM 上的资源（hadoop2 仅支持 cpu 和内存，hadoop3 扩展网络、硬盘、GPU 等资源）；
不同于静态的 slot，container 可以根据需要动态划分。

二）Yarn 通信协议通信协议共有 5 种如下图所示：

文章插图

分布式环境下，需要涉及跨机器跨网络通信，YARN底层使用RPC协议实现通信。
RPC是远程过程调用（Remote Procedure Call）的缩写形式。基于RPC进行远程调用就像本地调用一样。
在RPC协议中，通信双方有一端是Client，另一端为Server，且Client总是主动连接 Server 的。因此，YARN实际上采用的是拉式（pull-based）通信模型。

三、Yarn 工作流程