登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x集群:配置、启动历史服务(history server,端口19888)

提出问题

详见:https://www.malaoshi.top/show_1IX1tmQBfFCA.html

访问:http://192.168.58.102:8088/ ,显示界面如下:

点击上图中的 【History】,不能显示历史信息

当重启 yarn 服务后,这些记录就看不到了

修改 mapred-site.xml

进入 hadoop目录

cd /program/hadoop-3.0.3/etc/hadoop/

vim mapred-site.xml

vim mapred-site.xml

配置历史服务器

历史服务器部署在 hadoop1

<!-- 历史服务器端地址,各节点之间内部通信 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
</property>

<!-- 运行过的日志保存在HDFS上的路径 -->
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/hadoop-yarn/staging/history/done</value>
</property>

<!-- 正在运行的日志保存在HDFS上的路径 -->
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/hadoop-yarn/staging/history/done_intermediate</value>
</property>

同步文件

同步到 hadoop2

更新配置文件目录:

rsync -av /program/hadoop-3.0.3/etc/ root@hadoop2:/program/hadoop-3.0.3/etc

同步到 hadoop3

rsync -av /program/hadoop-3.0.3/etc/ root@hadoop3:/program/hadoop-3.0.3/etc

重启yarn

resourcemanager 部署在 hadoop2 上,所以 登录 hadoop2,执行下面命令:

stop-yarn.sh
start-yarn.sh

启动历史服务器

历史服务器部署在 hadoop1 上,登录 hadoop1,执行下面命令:

hadoop3.x 执行下面命令:

mapred --daemon start historyserver

hadoop2.x 执行下面命令:

mr-jobhistory-daemon.sh start historyserver

jps查看

jps

显示如下:

56407 DataNode
56221 NameNode
120255 Jps
119982 NodeManager
120174 JobHistoryServer

JobHistoryServer就是历史服务器

停止

hadoop3.x 执行下面命令:

mapred --daemon stop historyserver

hadoop2.x 执行下面命令:

mr-jobhistory-daemon.sh stop historyserver

执行统计词频

删除结果目录

如果有该目录,就先删除

hadoop fs -rm -r /result

启动程序

hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /test /result

web管理

入口一:

访问 http://hadoop1:19888/

点击上图的 红框处,如下图:

入口二:

访问:http://hadoop2:8088/ ,显示界面如下:

点击 【History】,可以查看历史信息,如下:


原文出处:http://malaoshi.top/show_1IX1twV9qiPo.html