hadoop3.x集群:配置、启动历史服务(history server,端口19888) 作者:马育民 • 2021-09-21 09:58 • 阅读:11047 # 提出问题 详见:https://www.malaoshi.top/show_1IX1tmQBfFCA.html 访问:http://192.168.58.102:8088/ ,显示界面如下: [![](http://65242847.gitee.io/pic/hadoop/QQ20210921095923.png)](http://65242847.gitee.io/pic/hadoop/QQ20210921095923.png) 点击上图中的 【History】,**不能显示历史信息** 当重启 `yarn` 服务后,这些记录就看不到了 # 修改 mapred-site.xml 进入 hadoop目录 ``` cd /program/hadoop-3.0.3/etc/hadoop/ ``` ### vim mapred-site.xml ``` vim mapred-site.xml ``` ### 配置历史服务器 历史服务器部署在 `hadoop1` 上 ``` mapreduce.jobhistory.address hadoop1:10020 mapreduce.jobhistory.webapp.address hadoop1:19888 mapreduce.jobhistory.done-dir /hadoop-yarn/staging/history/done mapreduce.jobhistory.intermediate-done-dir /hadoop-yarn/staging/history/done_intermediate ``` # 同步文件 ### 同步到 hadoop2 更新配置文件目录: ``` rsync -av /program/hadoop-3.0.3/etc/ root@hadoop2:/program/hadoop-3.0.3/etc ``` ### 同步到 hadoop3 ``` rsync -av /program/hadoop-3.0.3/etc/ root@hadoop3:/program/hadoop-3.0.3/etc ``` # 重启yarn `resourcemanager` 部署在 `hadoop2` 上,所以 登录 `hadoop2`,执行下面命令: ``` stop-yarn.sh ``` ``` start-yarn.sh ``` # 启动历史服务器 历史服务器部署在 `hadoop1` 上,登录 `hadoop1`,执行下面命令: hadoop3.x 执行下面命令: ``` mapred --daemon start historyserver ``` hadoop2.x 执行下面命令: ``` mr-jobhistory-daemon.sh start historyserver ``` ### jps查看 ``` jps ``` 显示如下: ``` 56407 DataNode 56221 NameNode 120255 Jps 119982 NodeManager 120174 JobHistoryServer ``` JobHistoryServer就是历史服务器 # 停止 hadoop3.x 执行下面命令: ``` mapred --daemon stop historyserver ``` hadoop2.x 执行下面命令: ``` mr-jobhistory-daemon.sh stop historyserver ``` # 执行统计词频 ### 删除结果目录 如果有该目录,就先删除 ``` hadoop fs -rm -r /result ``` ### 启动程序 ``` hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /test /result ``` # web管理 ### 入口一: 访问 http://hadoop1:19888/ [![](http://65242847.gitee.io/pic/hadoop/QQ20210211094510.png)](http://65242847.gitee.io/pic/hadoop/QQ20210211094510.png) 点击上图的 **红框处**,如下图: [![](http://65242847.gitee.io/pic/hadoop/QQ20210211083556.png)](http://65242847.gitee.io/pic/hadoop/QQ20210211083556.png) ### 入口二: 访问:http://hadoop2:8088/ ,显示界面如下: [![](http://65242847.gitee.io/pic/hadoop/QQ20210210214302.png)](http://65242847.gitee.io/pic/hadoop/QQ20210210214302.png) 点击 【History】,可以查看历史信息,如下: [![](http://65242847.gitee.io/pic/hadoop/QQ20210211083556.png)](http://65242847.gitee.io/pic/hadoop/QQ20210211083556.png) 原文出处:http://malaoshi.top/show_1IX1twV9qiPo.html