提示
下面命令,如果没有说明,都在 hadoop1 中操作
启动zookeeper
/program/bin/zk.sh start
启动kafka
/program/bin/kafka.sh start
kafka操作
创建主题
kafka-topics.sh --bootstrap-server hadoop1:9092 --create --topic fl-db
启动kafka消费者
启动kafka消费者,监听采集数据
kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic fl-db
maxwell配置
进入 /program/maxwell-1.29.2 目录
cd /program/maxwell-1.29.2
复制配置文件
cp config.properties.example config.properties
修改配置文件
vim config.properties
修改下面内容:
# MySQL 连接信息
user=maxwell
password=maxwell
host=hadoop1
port=3306
# Kafka 配置(生产者)
producer=kafka
kafka.bootstrap.servers=hadoop1:9092,hadoop2:9092,hadoop3:9092
kafka_topic=scott
# Maxwell 模拟的 slave 节点 ID(需唯一)
client_id=maxwell_scott
启动maxwell全量同步
进入 /program/maxwell-1.29.2 目录
cd /program/maxwell-1.29.2
提示:不能同步的操作
如果不能同步,将 maxwell 数据库中的所有表删除
首先执行 maxwell 命令
以后台方式运行
bin/maxwell --config config.properties --daemon
全量同步某个表
bin/maxwell-bootstrap --database scott --table dept
也可以加入where条件:
bin/maxwell-bootstrap --database hadoop3 --table user_detail --where "id>30"
参考:
https://blog.csdn.net/qq_27528193/article/details/127098503