大数据项目-金融审批实时数据仓库:采集数据-全量同步(启动zookeeper、启动kafka、启动maxwell)

提示

下面命令,如果没有说明,都在 hadoop1 中操作

启动zookeeper

/program/bin/zk.sh start

启动kafka

/program/bin/kafka.sh start

kafka操作

创建主题

kafka-topics.sh --bootstrap-server hadoop1:9092 --create --topic fl-db

启动kafka消费者

启动kafka消费者,监听采集数据

kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic fl-db

maxwell配置

进入 /program/maxwell-1.29.2 目录

cd /program/maxwell-1.29.2

复制配置文件

cp config.properties.example config.properties

修改配置文件

vim config.properties

修改下面内容:

# MySQL 连接信息
user=maxwell
password=maxwell
host=hadoop1


# Kafka 配置(生产者)
producer=kafka
kafka.bootstrap.servers=hadoop1:9092,hadoop2:9092,hadoop3:9092
kafka_topic=fl-db

# Maxwell 模拟的 slave 节点 ID(需唯一)
client_id=maxwell_fl

启动maxwell全量同步

进入 /program/maxwell-1.29.2 目录

cd /program/maxwell-1.29.2

提示:不能同步的操作

如果不能同步,将 maxwell 数据库中的所有表删除

首先执行 maxwell 命令

以后台方式运行

bin/maxwell  --config config.properties   --daemon

全量同步某个表

bin/maxwell-bootstrap --database finance_lease --table credit_facility

原文出处:/show_1GW1eUTagrc8.html