第一次运行
创建hbase命名空间
登录 hadoop1
hbase shell
create_namespace 'fl_realtime'
重新开始
如果出现数据错误,可通过下面方式,重新开始
1.删除finance_lease所有表
生成测试数据的程序,只第一次运行才创建表、并向事实表、维表添加数据。之后再次运行,只是向 credit_facility、credit_facility_status 等事实表添加数据
所以要删除所有表,否则 maxwell 无法监听 维表创建表、向维表插入数据
提示:maxwell全量采集是可以的,但执行命令稍麻烦
2.删除kafaka主题(可略)
如果不删除主题,数据太多,不方便调试数据
断开 所有 消费
fl-db主题的消费者(否则删除无效)删除主题
kafka-topics.sh --bootstrap-server hadoop1:9092 --delete --topic fl-db查看该消费组的主题
kafka-topics.sh --bootstrap-server hadoop1:9092 --list
3.启动maxwell
bin/maxwell --config config.properties --daemon
4.删除hbase表
启动hbase shell
hbase shell
查看命名空间:
list_namespace
禁用所有表:
disable_all 'fl_realtime.*'
删除所有表:
drop_all 'fl_realtime.*'
删除命名空间:
drop_namespace 'fl_realtime'
运行flink程序
重新读取kafka数据
数据没有问题,只是要重新读取kafka数据,可通过下面方式处理:
如果不删除主题,数据太多,不方便调试数据
断开 所有 消费
fl-db主题的消费者(否则删除无效)查看某 group组 的消费偏移量
kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --describe删除消费偏移量
kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --delete-offsets --topic fl-db