大数据项目-金融审批实时数据仓库:采集数据-增量同步(启动zookeeper、启动kafka、启动maxwell)

提示

下面命令,如果没有说明,都在 hadoop1 中操作

启动zookeeper

/program/bin/zk.sh start

启动kafka

/program/bin/kafka.sh start

kafka操作

创建主题

kafka-topics.sh --bootstrap-server hadoop1:9092 --create --topic fl-db

启动kafka消费者

启动kafka消费者,监听采集数据

kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic fl-db

启动maxwell:命令方式

前台方式运行

/program/maxwell-1.29.2/bin/maxwell --user='maxwell' --password='maxwell' --host='hadoop1' --producer=kafka --kafka.bootstrap.servers=hadoop1:9092 --kafka_topic=fl-db

缺点:窗口不能关闭,否则程序就关闭

后台方式运行

/program/maxwell-1.29.2/bin/maxwell --user='maxwell' --password='maxwell' --host='hadoop1' --producer=kafka --kafka.bootstrap.servers=hadoop1:9092 --kafka_topic=fl-db   --daemon

原文出处:/show_1GW1eSMfUME7.html