dw是什么意思啊(ods)

首页常识更新时间:2023-03-17 23:33:41

关注点赞转发,是我分享最大的动力

先看一下数据中心的整体架构以及数据流向:

DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。
ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:

  1. Extract,数据抽取:把数据从数据源读出来。
  2. Transform,数据转换:把原始数据转换成期望的格式和维度。
    如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。
  3. Load 数据加载:把处理后的数据加载到目标处,比如数据仓库。
  4. ODS(Operational Data Store) 操作性数据:是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,ODS的数据周期一般比较短;也就是原始数据的保存区域,存储来自各业务系统(消息队列)的原始数据。如:电商网站的访问日志(埋点的时候是以JSON存储),物联网终端设备实时发送的数据等原始数据直接存储在数据仓库的ODS层;ODS的数据最终流入DW。
  5. DW (Data Warehouse)数据仓库,是数据的归宿,这里保持这所有的从ODS到来的数据,并长期保持,而且这些数据不会被修改。
  6. DM(Data Mart) 数据集市:为了特定的应用目的或应用范围,从数据仓库中独立出来的一部分数据,也可称为主题数据,面向应用。
,
展开阅读全文
推荐内容
热门内容
热门文章

© 2007-2022 http://www.anhuiqq.cn,All Rights Reserved.