当前位置:   article > 正文

数据仓库分层_hbase一般用于 ods层还是dwd层

hbase一般用于 ods层还是dwd层
数据仓库&数据集市
  • 数据仓库
    数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制

简单来说就是一堆数据集合(log型和db型)的整合处理,,挖掘有效价值,提供决策支持

  • 数据集市
    数据集市(Data Mart) ,也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体

数仓重抽离出来的以部门数据或者专题数据,也可以简单理解为迷你型数据仓库

离线数仓
  • 架构

ERP/MySQL—sqoop----->Hive/hbase----sqoop---->MySQL-------->BI

hive层就是数仓的核心部分

  • 分层

ODS----->DWD----->DWS----->ADS

不同公司的分层数和叫法都会有略微区别

ODS:基础数据,一般选择初始全量+按分区增量
DWD:清洗后分为维度表和事实表,生成拉链表,保留多条,但是最新一条数据有最新标识(拉链表是一个非常重要的,不

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/969573
推荐阅读
相关标签
  

闽ICP备14008679号