hadoop3.x集群：配置、启动历史服务（history server，端口19888） 作者：马育民 • 2021-09-21 09:58 • 阅读：11241 # 提出问题 详见：https://www.malaoshi.top/show_1IX1tmQBfFCA.html 访问：http://192.168.58.102:8088/ ，显示界面如下： [](https://www.malaoshi.top/upload/pic/hadoop/QQ20210921095923.png) 点击上图中的 【History】，**不能显示历史信息** 当重启 `yarn` 服务后，这些记录就看不到了 # 修改 mapred-site.xml 进入 hadoop目录 ``` cd /program/hadoop-3.0.3/etc/hadoop/ ``` ### vim mapred-site.xml ``` vim mapred-site.xml ``` ### 配置历史服务器 历史服务器部署在 `hadoop1` 上 ``` <!-- 历史服务器端地址，各节点之间内部通信 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop1:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop1:19888</value> </property> <!-- 运行过的日志保存在HDFS上的路径 --> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/hadoop-yarn/staging/history/done</value> </property> <!-- 正在运行的日志保存在HDFS上的路径 --> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/hadoop-yarn/staging/history/done_intermediate</value> </property> ``` # 同步文件 ### 同步到 hadoop2 更新配置文件目录： ``` rsync -av /program/hadoop-3.0.3/etc/ root@hadoop2:/program/hadoop-3.0.3/etc ``` ### 同步到 hadoop3 ``` rsync -av /program/hadoop-3.0.3/etc/ root@hadoop3:/program/hadoop-3.0.3/etc ``` # 重启yarn `resourcemanager` 部署在 `hadoop2` 上，所以 登录 `hadoop2`，执行下面命令： ``` stop-yarn.sh ``` ``` start-yarn.sh ``` # 启动历史服务器 历史服务器部署在 `hadoop1` 上，登录 `hadoop1`，执行下面命令： hadoop3.x 执行下面命令： ``` mapred --daemon start historyserver ``` hadoop2.x 执行下面命令： ``` mr-jobhistory-daemon.sh start historyserver ``` ### jps查看 ``` jps ``` 显示如下： ``` 56407 DataNode 56221 NameNode 120255 Jps 119982 NodeManager 120174 JobHistoryServer ``` JobHistoryServer就是历史服务器 # 停止 hadoop3.x 执行下面命令： ``` mapred --daemon stop historyserver ``` hadoop2.x 执行下面命令： ``` mr-jobhistory-daemon.sh stop historyserver ``` # 执行统计词频 ### 删除结果目录 如果有该目录，就先删除 ``` hadoop fs -rm -r /result ``` ### 启动程序 ``` hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /test /result ``` # web管理 ### 入口一： 访问 http://hadoop1:19888/ [](https://www.malaoshi.top/upload/pic/hadoop/QQ20210211094510.png) 点击上图的 **红框处**，如下图： [](https://www.malaoshi.top/upload/pic/hadoop/QQ20210211083556.png) ### 入口二： 访问：http://hadoop2:8088/ ，显示界面如下： [](https://www.malaoshi.top/upload/pic/hadoop/QQ20210210214302.png) 点击 【History】，可以查看历史信息，如下： [](https://www.malaoshi.top/upload/pic/hadoop/QQ20210211083556.png) 原文出处：/show_1IX1twV9qiPo.html