hadoop3.x Fair Scheduler 公平调度队列内存和yarn.nodemanager.resource.memory-mb的关系

yarn.nodemanager.resource.memory-mb

关于 yarn.nodemanager.resource.memory-mb 的解释,参见 链接

Fair Scheduler

链接

二者关系

没有配置 yarn.nodemanager.resource.memory-mb 参数

Fair Scheduler 公平调度队列的内存,设置多少都会生效,即使超过 物理内存,在 yarn web 中也可以 看到生效,如下图:

注意: 虽然 公平调度器 队列内存 大于 物理内存,在 上图中 看到 确实生效了。但是,运行 MapReduce 程序时,仍然只能 并发 运行2个任务,因为物理内存只能支持2个任务

配置 yarn.nodemanager.resource.memory-mb 参数

如果配置 yarn.nodemanager.resource.memory-mb 参数,那么 Fair Scheduler 公平调度队列的内存,不能超过 yarn.nodemanager.resource.memory-mb 内存,如果超过该内存,在 yarn web 中,也 不会识别到


原文出处:https://malaoshi.top/show_1IX4AUUdB8ST.html