Toggle navigation
  • 首页
  • 所有教程
  • 导航
  • Python
  • 人工智能
  • JAVA
  • 数据库
  • 前端
  • linux
  • 大数据
  • 技术文章
  • 更多
    • C/C++
    • 软件
    • 大杂烩
    • 硬件
    • 搜索

hadoop3.x Capacity Scheduler 和 Fair Scheduler

作者:马育民 • 2021-04-16 23:28 • 阅读:10253

说明

Fair Scheduler是资源池机制,应用是共享pool的资源

Capacity Scheduler是队列概念,来一个应用,如果发现资源不够了,则根据 FIFO 排队

选择

中小型集群,上千节点以内,资源比较紧张,建议使用 Fair Scheduler,配置简单,对资源的使用效率也高

Capacity Scheduler配置复杂,适合大集群

详见:
https://hero78.blog.csdn.net/article/details/117284107

hadoop , yarn

搜索

相关文章

hive 设置内存,否则批量执行SQL会因为内存溢出崩溃
spark3.0教程-SparkSQL:连接MySQL,写入数据,打包后,部署到yarn运行(依赖第三方包)
2026年大数据平台操作系统选型指南:从CentOS替代到信创适配
2026年大数据部署方式:容器主导,混合部署成主流
spark 读取 hive 报错:Permission denied: user=xxx, access=EXECUTE, inode="/tmp":root:supergroup:drwx
不懂数据湖项目?用普通人能听懂的话讲明白
Atlas2.1.0-启动和停止(集群+单机)
flink1.12.x:per-job cluster模式(yarn-cluster)启动程序,按ctrl+c断开客户端后关闭flink任务
flink1.12.x flink list列出 Flink 集群中正在运行的任务
hadoop3.x集群部署-VMware17 克隆虚拟机
吉ICP备15003043号