hadoop3.x 伪分布式配置日志聚集(log aggregation)

提出问题

访问 http://hadoop1:19888/

在历史服务web管理页面中,如下图:

点击上图的 【logs】 ,显示界面如下:

因为没有配置日志聚集服务

日志聚集

将程序运行 日志信息 上传到 HDFS 中

作用

便于查看到 程序运行详情,方便 开发调试。

修改 yarn-site.xml

启用日志聚集

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

日志保留时间

<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

解释: 时间单位:秒。604800秒/60/60/24=7天

重新启动服务

必须重新启动服务

停止服务:

stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver

启动服务:

start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

执行统计词频

删除结果目录

如果有该目录,就先删除

hadoop fs -rm -r /result

启动程序

hadoop jar /devtools/hadoop-3.0.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /top/malaoshi/data /result

web 查看日志聚集

入口一:

访问 http://localhost:19888/

点击上图的 红框处,如下图:

点击上图的 【logs】 ,显示界面如下:

入口二:

访问:http://localhost:9870/ ,显示界面如下:

点击【history】,如下图:

点击上图的 【logs】 ,显示界面如下:


原文出处:/show_1IXZVPJZ7mU.html