YARN简介
作为一个通用的资源管理模块，YARN（Yet Another Resource Negotiator）能为各类应用程序进行资源管理和调度。将资源管理和作业调度/监视的功能拆分为多带带的守护程序，包括全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。
YARN结构
YARN模型主要由ResourceManager、ApplicationMaster和NodeManager组成：ResourceManager负责集群中所有资源的统一管理和分配；ApplicationMaster负责一个Application生命周期内的所有工作，包括与RM调度器协商以获取资源和与NM通信以启动/停止任务等；NodeManager是集群中的代理，可监督Container的生命周期管理和运行状态等。
YARN-Cluster运行原理
客户端生成Application信息并提交给ResourceManager，为Application分配第一个Container（ApplicationMaster），并向该Container上启动Driver。ApplicationMaster申请资源以运行Container，ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor向Driver注册并申请Task，Driver分配Task给Executor执行，Executor向Driver汇报运行情况。
YARN资源优化配置方面，可通过YarnwebUI查询集群资源总量，配置ResourceManager、NodeManager、Scheduler、MapReduce属性以及资源故障处理，具体设置可根据集群和节点物理CPU及内存配置参数，设置最小最大内存和CPU等相关属性。
以上是本际云服务器推荐网的小编小本本为大家整理的Hadoop常见YARN资源调优知识点，希望对您有所帮助。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5962.html
相关推荐
-
工业品电商平台有哪些(易工品平台操作模式？)
易工品平台操作模式 你好，我是本际云服务器推荐网的小编小本本。易工品平台以工业品+电商为起点，在工业行业深耕并借助规模效应带来的供应链优势，连接产业链上下游，致力于通过创新的解决方…
-
关于pygame自定义窗口创建及相关操作指南
关于pygame的问题解答 作为本际云服务器推荐网的小编小本本，今天给大家分享一下有关pygame的一些问题解答。Pygame是用python进行编译的，如果想要自定义窗口，下面就…
-
PostgreSQL流复制监控
PostgreSQL流复制监控 我是本际云服务器推荐网的小编小本本，今天要和大家分享一下关于PostgreSQL流复制监控的知识。 流复制启动顺序和pg_stat_replicat…
-
速卖通买家级别有哪些(ebay客户群体以及特点？)
ebay客户群体以及特点 作为国内C2C出口零售平台的主要竞争对手，ebay在全球跨境电商市场上也占据着重要地位。据了解，ebay的客户群体以欧美消费者为主，平台上入驻的商家主要集…
-
Python如何利用pandas读取csv数据并绘图
Python pandas 应用：如何读取csv数据并绘图 小编想和大家分享一些有关 Python 的知识，今天我们讲解的主题是利用 Pandas 模块进行 csv 数据读取和绘图…
-
GPCC端口号占用无法正常收集数据
小本本介绍 大家好，我是本际云服务器推荐网的小编小本本。今天给大家带来的是关于GPCC端口号占用无法正常收集数据的问题。 报错概述 近日在重建集群后登录gpcc发现并不能实时监控，…
-
什么是SAP系统(SAP系统的理解？)
什么是SAP系统？ SAP系统是SAP公司开发的企业管理解决方案软件，帮助企业从后台到决策层、从工厂仓库到商铺店面、从电脑桌面到移动终端，完成高效的协作，在竞争中脱颖而出。 SAP…
-
跨境电商培训机构有哪些(跨境电商app排行？)
跨境电商app排行 您好，我是本际云服务器推荐网的小编小本本。下面为您介绍跨境电商app排行。 跨境电商平台20强排名 根据综合排名，以下是跨境电商平台20强名单： 天猫国际 林德…
-
Nginx部署应用实践指南（附优化技巧）
什么是Nginx Nginx是一款高性能的Web服务器、反向代理服务器以及电子邮件（IMAP/POP3）代理服务器。它最初由伊戈尔·赛索耶夫创建，于2004年首次公开发布。Ngin…
-
Centos搭建chrony时间同步服务器过程图解
本际云服务器推荐网小编介绍 大家好，我是本际云服务器推荐网的小编小本本。今天，我将为大家介绍一下如何安装和配置chrony服务，让你的服务器实现时间同步。 安装和配置chrony服…