hadoop
HDFS-NameNode
推荐 jvm(堆)内存:8G
每 100TB 数据 或 100W 个文件,大约占 1G 的内存
HDFS-secondarynamenode
推荐 jvm(堆)内存:8G
在内存中重做 NameNode 的EditLog,因此配置要与 NameNode 一样
HDFS-DataNode
推荐 jvm(堆)内存:1G
适度即可
yarn-ResourceManager
推荐 jvm(堆)内存:4G
适度即可,MapReduce的推荐配置
yarn-NodeManager
推荐 jvm(堆)内存:2G
适度即可,MapReduce的推荐配置
hbase
hmaster
推荐 jvm(堆)内存:4G
适度即可
RegionServer
推荐 jvm(堆)内存:12G
负责数据读写,服务器留下必要内存后,大部分内存都分给该服务
zookeeper
推荐 堆内存:1G
适度即可
jvm内存 不是越大越好
jvm 堆内存越大,在运行过程中会产生更多的碎片,gc时需要耗费的时间越多,等待时间越长,会导致集群认为该节点挂掉,移除掉该节点
服务器 内存 推荐
master 服务器
要运行:
- NameNode
- ResourceManager
- Hbase HMaster
推荐 24GB
slave 服务器
要运行:
- DataNode
- NodeManager
- Hbase RegionServer
推荐 24GB 以上
服务器 CPU 推荐
根据 CPU 的核心数量 来决定运行的进程数,推荐 2个8核 CPU,可独立运行8个java进程