登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x yarn 调度策略:Fair Scheduler(公平调度)

介绍

支持多个队列,资源池机制,应用共享 pool 的资源,每个应用占用的资源是相同的

  • 每个队列可分配不同的资源
  • 队列中每个应用的资源,是公平相同的

官网:
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

CDH hadoop 默认的调度策略

优点

Fair 的每个队列可以单独设置资源分配方式:FIFO、FAIR、DRF

优点

  • 容量保证:为每个队列设置资源的上限和下限,保证每个队列不会占用整个集群

  • 弹性分配:如果一个队列中的资源有剩余,可暂时共享给其他队列

  • 多租户:支持多用户共享集群,多应用程序同时运行。

  • 动态修改:修改配置不需要重启

  • 按照提交作业的优先级和提交时间顺序分配资源

配置

yarn-site.xml

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

原文出处:http://malaoshi.top/show_1IX2Ew6WklJS.html