大数据项目-金融审批实时数据仓库-数仓开发之ODS层

ODS 层

全称:Operation Data Store ,翻译较多:数据运营层、运营数据存储、操作性数据

最接近 数据源 的层,是作为 数据库到数据仓库的过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性

数据源的数据,经过 抽取、清洗、传输,也就是 ETL 过程之后进入本层。

主要: 为了考虑后续可能需要追溯数据问题,因此对于这一层就 不建议做过多的数据清洗工作,原封不动地接入原始数据即可

该层的主要功能:

  • ODS是后面数据仓库层的准备区,是后续数据仓库加工数据的来源。
  • 为DWD层提供原始数据
  • 减少对业务系统的影响

数据来源的方式:

  • 业务库:sqoop定时抽取数据;实时方面考虑使用canal监听mysql的binlog日志,实时接入即可
  • 埋点日志:日志一般是以文件的形式保存,可以选择使用flume来定时同步;可以使用spark streaming或者Flink、Kafka来实时接入
  • 消息队列:来自ActiveMQ、Kafka的数据等

本项目 ODS 层介绍

使用 Maxwell 采集数据,写入的 Kafka 的 fl_db 主题中,即为实时数仓的 ODS 层,这一层的作用是对数据做原样展示和备份。


原文出处:/show_1GW1emBx3bdy.html