登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x集群部署-介绍

介绍

Hadoop集群包括两个集群:

  • HDFS集群
  • YARN集群

两个集群都是标准的 主从 架构集群

HDFS集群

作用:分布式存储

主角色:NameNode
从角色:DataNode
主角色辅助角色:SecondaryNameNode(相当于 主角色的秘书)

YARN集群

作用:资源管理、调度

主角色:ResourceManager
从角色:NodeManager

集群部署特点

两个集群(HDFS集群、YARN集群) 通常 物理上在一起逻辑上分离

物理上在一起

某些角色进程往往部署在同一台物理服务器上

例子: 一台电脑安装了 jdk 和 word

逻辑上分离

两个集群互相之间没有依赖、互不影响

例子: jdk与word没有依赖,一个出问题了,互不影响

MapReduce集群

MapReduce是计算框架、代码层面的组件 没有集群之说


原文出处:https://malaoshi.top/show_1IX1WBcLAQ7V.html