flink1.12.x:session cluster模式-测试wordcount

说明

在 flink 的 examples 目录下,都是一些官方的例子,如:WordCount.jar,读取一个文件,计算 wordcount,然后将结果保存到另一个文件中

准备文件

创建文本文件,内容如下:

李雷 lucy
韩梅梅 lili
lucy 李雷
lili 张三
张三
李四
王五
李雷
韩梅梅
lucy
李雷
韩梅梅
李雷

将其上传到 hdfs 的 /test2 目录下

启动 yarn-session

yarn-session.sh

或者 后台执行

yarn-session.sh -d

执行结果如下:

看到上面红框处,说明启动成功

访问 http://hadoop1:43347 可查看 web ui

yarn web ui

访问:http://hadoop2:8088/ 查看 yarn web ui

提交任务

如下:

flink run /program/flink-1.12.5/examples/batch/WordCount.jar --input hdfs://hadoop1:8020/test2/data.txt --output hdfs://hadoop1:8020/flink_result8

解释:

  • --input:要读取的文件路径
  • --output:要保存结果的文件

访问 http://hadoop1:43347 可查看 web ui


原文出处:http://malaoshi.top/show_1IX2Sc2JODEG.html