登录 hadoop1
登录 hadoop1 ,执行下面操作
上传
将 flink-1.12.5-bin-scala_2.12.tgz 上传到 hadoop1 的 /program 目录
解压缩
root 用户执行下面命令:
tar zxvf flink-1.12.5-bin-scala_2.12.tgz --no-same-owner
启动
进入 /program/flink-1.12.5/bin 目录:
cd /program/flink-1.12.5/bin
执行下面命令:
./start-cluster.sh
执行结果如下:
Starting cluster.
Starting standalonesession daemon on host hadoop1.
Starting taskexecutor daemon on host hadoop1.
表示在 hadoop1 上启动 jobmanager、taskmanager
jps 查看是否启动成功
执行 jps 命令,看到下面进程:
114358 StandaloneSessionClusterEntrypoint
118642 TaskManagerRunner
表示启动成功
停止
在 bin 目录下,执行下面命令:
./stop-cluster.sh
执行结果如下:
Stopping taskexecutor daemon (pid: 130963) on host hadoop1.
Stopping standalonesession daemon (pid: 130681) on host hadoop1.
表示在 hadoop1 上停止运行 jobmanager、taskmanager
jps 查看是否停止成功
执行 jps 命令,没有下面进程:
114358 StandaloneSessionClusterEntrypoint
118642 TaskManagerRunner
表示停止成功
测试 wordcount
创建测试文件
在 /program/ 目录下创建 data.txt,如下:
vim /program/data.txt
添加内容如下:
李雷
韩梅梅
lucy
lili
张三
李四
王五
李雷
韩梅梅
lucy
李雷
韩梅梅
李雷
执行 wordcount
通过 flink 命令,执行 .jar 包,命令如下:
/program/flink-1.12.5/bin/flink run /program/flink-1.12.5/exampl es/batch/WordCount.jar --input /program/data.txt --output /program/result.txt
解释:
run:后面是.jar路径,在exampl目录下有很多例子--input:读取文件路径--output:输出结果文件路径
执行结果:
Job has been submitted with JobID 8fb233ddc85f523bae09b92c1344744f
Program execution finished
Job with JobID 8fb233ddc85f523bae09b92c1344744f has finished.
Job Runtime: 1971 ms
查看 result 文件:
cat /program/result3
执行结果如下:
lili 1
lucy 2
不支持中文