说明
在 flink 的 examples 目录下,都是一些官方的例子,如:WordCount.jar,读取一个文件,计算 wordcount,然后将结果保存到另一个文件中
准备文件
创建文本文件,内容如下:
李雷 lucy
韩梅梅 lili
lucy 李雷
lili 张三
张三
李四
王五
李雷
韩梅梅
lucy
李雷
韩梅梅
李雷
将其上传到 hdfs 的 /test2
目录下
启动 yarn-session
yarn-session.sh
或者 后台执行
yarn-session.sh -d
执行结果如下:
看到上面红框处,说明启动成功
flink web ui
访问 http://hadoop1:43347 可查看 web ui
yarn web ui
访问:http://hadoop2:8088/ 查看 yarn web ui
提交任务
如下:
flink run /program/flink-1.12.5/examples/batch/WordCount.jar --input hdfs://hadoop1:8020/test2/data.txt --output hdfs://hadoop1:8020/flink_result8
解释:
--input
:要读取的文件路径--output
:要保存结果的文件
flink web ui
访问 http://hadoop1:43347 可查看 web ui