ODS 层
全称:Operation Data Store ,翻译较多:数据运营层、运营数据存储、操作性数据
最接近 数据源 的层,是作为 数据库到数据仓库的过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性
数据源的数据,经过 抽取、清洗、传输,也就是 ETL 过程之后进入本层。
主要: 为了考虑后续可能需要追溯数据问题,因此对于这一层就 不建议做过多的数据清洗工作,原封不动地接入原始数据即可
该层的主要功能:
- ODS是后面数据仓库层的准备区,是后续数据仓库加工数据的来源。
- 为DWD层提供原始数据
- 减少对业务系统的影响
数据来源的方式:
- 业务库:sqoop定时抽取数据;实时方面考虑使用canal监听mysql的binlog日志,实时接入即可
- 埋点日志:日志一般是以文件的形式保存,可以选择使用flume来定时同步;可以使用spark streaming或者Flink、Kafka来实时接入
- 消息队列:来自ActiveMQ、Kafka的数据等
本项目 ODS 层介绍
使用 Maxwell 采集数据,写入的 Kafka 的 fl_db 主题中,即为实时数仓的 ODS 层,这一层的作用是对数据做原样展示和备份。
