Atlas2.1.0-集成Hive

说明

Atlas Hive hook 侦听 Hive 创建、更新、删除 操作时,通过 Kafka 通知更新 Atlas 中的元数据,获取 Hive 中的更改

根据 官网 配置

安装 Hive Hook

上传

将 apache-atlas-2.1.0-hive-hook.tar.gz 上传到 /program 目录下

解压缩

cd /program
tar zxvf apache-atlas-2.1.0-hive-hook.tar.gz --no-same-owner

复制文件

将 apache-atlas-hive-hook-2.1.0 目录下的文件复制到 atlas-2.1.0 目录下:

cp -r apache-atlas-hive-hook-2.1.0/* atlas-2.1.0/

修改 atlas 配置文件

配置线程池和通知参数

vim /program/atlas-2.1.0/conf/atlas-application.properties

在文件末尾增加下面内容:

# 是否同步运行
atlas.hook.hive.synchronous=false
# 失败重试次数
atlas.hook.hive.numRetries=3
# 队列大小
atlas.hook.hive.queueSize=10000
# 集群名称
atlas.cluster.name=primary

修改 Hive 配置文件

将 Atlas Hive hook 注册到 Hive 中,当侦听 创建、更新、删除 操作时,通过 Kafka 通知更新 Atlas 中的元数据,获取 Hive 中的更改

修改 hive-site.xml

打开下面文件:

/program/hive-3.1.2/conf/hive-site.xml

在文件末尾添加下面内容:

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

修改 hive-env.sh 文件

将 hive hook 程序的目录添加到 hive-env.sh 文件中

vim /program/hive-3.1.2/conf/hive-env.sh

修改最下面一行,如下:

export HIVE_AUX_JARS_PATH=/program/atlas-2.1.0/hook/hive/

复制文件

将 atlas-application.properties 复制到 /program/hive-3.1.2/conf 目录下

cp /program/atlas-2.1.0/conf/atlas-application.properties /program/hive-3.1.2/conf

原文出处:/show_1IX3SfTIy3GV.html