flink1.12.x standalone独立集群模式-安装部署(支持 HDFS)

登录 hadoop1

登录 hadoop1 ,执行下面操作

上传

将 flink-1.12.5-bin-scala_2.12.tgz 上传到 hadoop1 的 /program 目录

解压缩

root 用户执行下面命令:

tar zxvf flink-1.12.5-bin-scala_2.12.tgz --no-same-owner

修改 conf/flink-conf.yaml

注意: 是 yaml 文件,:后面要有空格

vim conf/flink-conf.yaml

jobmanager.rpc.address

找到下面配置,修改如下:

jobmanager.rpc.address: hadoop1

taskmanager.numberOfTaskSlots

找到下面配置,修改如下:

taskmanager.numberOfTaskSlots: 2

相当于 taskmanager 有 2 个线程执行

web.submit.enable

找到下面配置,修改如下:

web.submit.enable: true

修改 conf/masters

将内容修改如下:

hadoop1:8081

web 服务端口

修改 conf/workers

内容清空,添加下面内容:

hadoop1
hadoop2
hadoop3

hadoop2 和 hadoop3 运行 TaskManager

支持 HDFS(hadoop3)

flink1.12 默认不支持 HDFS(hadoop3),所以需要以下配置

将下面 2 个jar包添加到 flink的lib目录下:

  • Flink Shaded Hadoop 3 Uber
  • commons-cli

访问 下载网址

下载 commons-cli

访问 下载网址

上传到 lib目录

登录 hadoop1 ,将上面2个jar 上传到 /program/flink-1.12.5/lib/

同步 hadoop2、hadoop3

同步到 hadoop2

rsync -av /program/flink-1.12.5 root@hadoop2:/program

同步到 hadoop3

rsync -av /program/flink-1.12.5 root@hadoop3:/program

查看

登录 hadoop2、hadoop3,查看文件是否以同步

配置环境变量(可选)

修改 bigdata_env.sh

vim /etc/profile.d/bigdata_env.sh

增加 hadoop 配置目录

增加下面内容:

# 配置 FLINK_HOME
export HADOOP_CONF_DIR=/program/hadoop-3.0.3/etc/hadoop

export FLINK_HOME=/program/flink-1.12.5
export PATH=${FLINK_HOME}/bin:$PATH

立即生效

source /etc/profile

同步 bigdata_env.sh(可选)

同步到 hadoop2

rsync -av /etc/profile.d/bigdata_env.sh root@hadoop2:/etc/profile.d/

登录 hadoop2,执行下面命令,立即生效

source /etc/profile

同步到 hadoop3

rsync -av /etc/profile.d/bigdata_env.sh root@hadoop3:/etc/profile.d/

登录 hadoop3,执行下面命令,立即生效

source /etc/profile

原文出处:/show_1IX1yaSsGEPO.html