hadoop3.x Fair Scheduler 公平调度队列内存和yarn.nodemanager.resource.memory-mb的关系 作者：马育民 • 2022-10-04 22:05 • 阅读：10089 ### yarn.nodemanager.resource.memory-mb 关于 `yarn.nodemanager.resource.memory-mb` 的解释，参见 [链接](https://www.malaoshi.top/show_1IX4A8wxEuBu.html "链接") ### Fair Scheduler 见 [链接](https://www.malaoshi.top/show_1IX2Ew7TJBqX.html "链接") # 二者关系 ### 没有配置 `yarn.nodemanager.resource.memory-mb` 参数 Fair Scheduler 公平调度队列的内存，设置多少都会生效，即使超过 物理内存，在 yarn web 中也可以 **看到生效**，如下图： [](/upload/0/0/1IX4AUROKYKP.png) **注意：** 虽然 公平调度器 队列内存 **大于 物理内存**，在 上图中 看到 确实生效了。但是，运行 MapReduce 程序时，仍然只能 **并发 运行2个任务**，因为物理内存只能支持2个任务 ### 配置 `yarn.nodemanager.resource.memory-mb` 参数 如果配置 `yarn.nodemanager.resource.memory-mb` 参数，那么 Fair Scheduler 公平调度队列的内存，不能超过 `yarn.nodemanager.resource.memory-mb` 内存，如果超过该内存，在 yarn web 中，也 **不会识别到** 原文出处：http://malaoshi.top/show_1IX4AUUdB8ST.html