登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x yarn 调度策略:Capacity Scheduler

介绍

支持多队列,每个队列可配置指定的资源(内存、CPU),每个队列采用FIFO调度策略

如下图:

解释:

  • root:根队列,逻辑概念
  • default:该队列划分资源 较多
  • dev:用于开发的队列,划分资源 较少,且又划分了2个子队列
    • group1
    • group2

Apache hadoop3.x 默认的调度策略

优点

  • 容量保证:为每个队列设置资源的上限和下限,保证每个队列不会占用整个集群

  • 弹性分配:如果一个队列中的资源有剩余,可暂时共享给其他队列

  • 多租户:支持多用户共享集群,多应用程序同时运行。

  • 动态修改:修改配置不需要重启

  • 按照提交作业的优先级和提交时间顺序分配资源

配置

yarn-site.xml

$hadoop_HOME/etc/hadoop/yarn-site.xml 配置:

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

Apache hadoop3.x 默认使用该调度策略,所以不需要配置

capacity-scheduler.xml

hadoop_HOME/etc/hadoop/capacity-scheduler.xml 配置:

默认只有一个 default 队列,占 100% 资源


原文出处:http://malaoshi.top/show_1IX2Ev41qiCX.html