本文介绍: Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.x 引入的分布式资源管理系统。主要用于解决 hadoop 1.x 架构中集群资源管理和数据计算耦合在一起,导致维护成本越来越高的问题。用户可以将各种服务框架部署在 YARN 上,由 YARN 进行统一地管理和资源分配。
一、yarn 简介
Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.x 引入的分布式资源管理系统。主要用于解决 hadoop 1.x 架构中集群资源管理和数据计算耦合在一起,导致维护成本越来越高的问题。
用户可以将各种服务框架部署在 YARN 上,由 YARN 进行统一地管理和资源分配。
二、yarn架构
yarn架构中主要包括ResourceManager和NodeManager
1. ResourceManager
yarn集群的主节点,支持1个或2个,是整个集群资源的主要协调者和管理者。
2. NodeManager
3. Container
4. ApplicationMaster
三、yarn工作原理简述
四、YARN工作原理详述
1. MapReduce任务
2. Flink任务
五、YARN中的资源调度器
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。