大数据项目-金融审批实时数据仓库-DIM层运行、调试程序

第一次运行

创建hbase命名空间

登录 hadoop1

hbase shell
create_namespace 'fl_realtime'

重新开始

如果出现数据错误,可通过下面方式,重新开始

1.删除finance_lease所有表

生成测试数据的程序,只第一次运行才创建表、并向事实表、维表添加数据。之后再次运行,只是向 credit_facility、credit_facility_status 等事实表添加数据

所以要删除所有表,否则 maxwell 无法监听 维表创建表、向维表插入数据

提示:maxwell全量采集是可以的,但执行命令稍麻烦

2.删除kafaka主题(可略)

如果不删除主题,数据太多,不方便调试数据

  1. 断开 所有 消费 fl-db 主题的消费者(否则删除无效)

  2. 删除主题

    kafka-topics.sh --bootstrap-server hadoop1:9092 --delete --topic fl-db
    
  3. 查看该消费组的主题

    kafka-topics.sh --bootstrap-server hadoop1:9092 --list
    

3.启动maxwell

bin/maxwell  --config config.properties   --daemon

4.删除hbase表

启动hbase shell

hbase shell

查看命名空间:

list_namespace

禁用所有表:

disable_all 'fl_realtime.*'

删除所有表:

drop_all 'fl_realtime.*'

删除命名空间:

drop_namespace 'fl_realtime'

重新读取kafka数据

数据没有问题,只是要重新读取kafka数据,可通过下面方式处理:

如果不删除主题,数据太多,不方便调试数据

  1. 断开 所有 消费 fl-db 主题的消费者(否则删除无效)

  2. 查看某 group组 的消费偏移量

    kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --describe
    
  3. 删除消费偏移量

    kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --delete-offsets --topic fl-db
    

原文出处:/show_1GW1fYDiCqHG.html