搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
知新_RL
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
AI领域中一个被严重低估的方向!
2
灵长类动物手臂的计算模型:从手部位置到关节角度、关节扭矩和肌肉力_肌肉的生物力学模型
3
安卓开发大作业_安卓开发——大公司面试技巧及方向
4
Mac unity 导出 exe_mac 电脑下 untiy 导出windows平台的
5
Python:数据分析工具Streamlit_python streamlit
6
去掉excel下面不用的空白行_excel下面无用的行不显示
7
ChatGPT 成为 Nature 年度十大人物,首个非人类实体
8
mysql的触发器_mysql trigger insert
9
LINUX上的通用的springboot项目脚本(启动,停止,重启)_linux springboot git 重启脚本
10
全球排名第一的质量管理(QMS)系统介绍,100%免费开源_qms系统开源
当前位置:
article
> 正文
数据中台、数据仓库、数据湖的区别和关联
作者:知新_RL | 2024-06-11 11:14:41
赞
踩
数据中台、数据仓库、数据湖的区别和关联
区别
概念定义
数据中台
:是企业级的逻辑概念,体现企业数据向业务价值转化的能力。它距离业务更近,能够更快速地响应业务和应用开发需求,为业务提供速度更快的服务。
数据仓库
:是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。
数据湖
:是一类存储数据自然/原始格式的系统或存储,包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据。它可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。
功能特点
数据中台
:
集中化:将企业内部的数据进行集中管理,实现数据共享和交互。
标准化:对数据进行标准化管理,保证数据的准确性和完整性。
可扩展性:根据企业需求进行灵活的扩展和定制。
数据仓库
:
面向主题:数据是按照一定的主题域进行组织。
集成性:数据来源于分散的操作型数据,经过加工与集成后统一进入数据仓库。
稳定性:数据一旦进入数据仓库,通常会被长期保留,修改和删除操作很少。
数据湖
:
原始性:存储的是数据的原始副本,保持业务系统中的原样。
多样性:可以存储任意类型的数据,包括结构化、半结构化和非结构化数据。
灵活性:提供多样化的分析能力,包括批处理、流式计算、交互式分析等。
应用场景
数据中台
:适用于需要快速响应业务需求、整合和管理企业数据、实现数据价值最大化的场景。
数据仓库
:适用于需要对企业历史数据进行长期存储、管理和分析,以支持管理决策和商业智能的场景。
数据湖
:适用于需要存储和处理海量、多类型数据的场景,特别是当数据格式多样、来源广泛时,数据湖能够提供灵活的数据存储和处理能力。
关联
数据整合
:三者都涉及到数据的整合和管理,但侧重点和方式有所不同。数据中台强调企业级的数据整合和管理能力,数据仓库注重数据的集成和长期存储,而数据湖则强调数据的原始性和多样性。
价值转化
:数据中台和数据仓库都致力于实现数据的价值转化,但数据中台更侧重于为业务提供快速、灵活的服务,而数据仓库则更注重为决策支持提供稳定、可靠的数据支持。
技术融合
:随着技术的发展,三者之间的界限逐渐模糊,出现了融合的趋势。例如,数据中台可以基于数据仓库或数据湖构建,以实现更高级别的数据管理和应用;数据仓库也可以借鉴数据湖的技术和理念,提高数据的灵活性和多样性。
数据中台
技术实现
数据集成
:
提供多种数据接入工具,实现结构化和非结构化数据的汇聚接入。
支持数据的预处理,为大数据平台提供原始数据支撑。
数据资产管理
:
管理数据标准、元数据、主数据、数据资源等,提高数据资产的价值。
通过数据模型管理,统一数据字段命名和开发规范,实现有效的数据识别。
数据治理
:
规范数据的生成和使用,持续改善数据质量。
数据质量(DQC):在Hadoop, Spark, Storm等分布式系统中,提供统一的流程来定义和检测数据集的质量,并及时报告问题。
元数据管理:支持表级别、字段级别数据血缘关系,为数据发现、追朔、标签体系构建、数据资产运营等提供支撑。
数据开发
:
提供大数据开发、分析、挖掘等功能。
图形化的IDE使得非专业的业务人员也能进行数据分析。
数据共享
:
实现不同部门、不同格式数据的共享交换,以及异构系统之间、新老系统之间的信息透明交换。
数据安全
:
提升一系列安全工具,包括数据加密、数据脱敏、数据备份、日志审计等。
数据仓库
技术实现
存储技术
:
关系型数据库:常见的存储技术,但在处理大量数据时性能和扩展性受限。
列式数据库:适合读多写少的数据处理场景,具有较高的查询性能。
NoSQL数据库:适用于海量非结构化数据处理的场景。
大数据技术
:
Hadoop生态:实现分布式存储和分布式计算。
Spark技术:分布式数据处理引擎,实现快速的数据处理和分析。
数据可视化
:
各类报表、图表、散点图、柱状图等,使数据更加直观、易于理解。
数据湖
技术实现
全量数据存储
:
实现全量数据的单一存储,包括结构化、半结构化、非结构化、二进制数据等任意类型的数据。
原始数据存储
:
存储数据的原始副本,保持业务系统中的原样。
存储和分析
:
轻松实现数据的采集、存储和分析,无论数据类型如何。
总结
:
数据中台强调数据的整合、管理和治理,以及为业务提供快速服务的能力。
数据仓库侧重于数据的存储、管理和分析,支持管理决策和商业智能。
数据湖则关注全量数据的存储和分析,为海量、多类型数据提供灵活的存储和处理能力。
这三者在实际应用中可能相互关联和融合,例如数据中台可以基于数据仓库或数据湖构建,而数据仓库也可以借鉴数据湖的技术和理念来优化其存储和分析能力。
本文内容由网友自发贡献,转载请注明出处:
https://www.wpsshop.cn/w/知新_RL/article/detail/702932
推荐阅读
article
mysql
窗口
函数
(
分析
函数
)知识笔记_
mysql
分析
函数
...
窗口
函数
MySQL从8.0开始支持开窗
函数
,这个功能在大多商业数据库中早已支持,也叫
分析
函数
。开窗
函数
与分组聚合比较像,...
赞
踩
article
【
Linux
】
firewall
-
cmd
之
防火墙
简介及
命令
详解【附加实战⭐建议收藏!!⭐】_
linux
...
在CentOS 7中,新引入了
firewall
d
防火墙
,取代了CentOS 6
之
前的iptables
防火墙
。iptabl...
赞
踩
article
Python
(常用数据类型操作)_
python
分别输出整数(
十六进制
,
十进制
,
八进制
,
二进制
)
,
浮点...
Python
基础_
python
分别输出整数(
十六进制
,
十进制
,
八进制
,
二进制
)
,
浮点数
,
字符串
,
布尔数
python
分别输...
赞
踩
article
sqlServer
连表
分页
查询
_
sqlserver
进行联表
分页
查询
...
【代码】
sqlServer
连表
分页
查询
。_
sqlserver
进行联表
分页
查询
sqlserver
进行联表
分页
查询
...
赞
踩
article
了解
Docker
,
容器
和更安全的
软件
交付
...
Databases, dependencies, cron jobs … Applications today have...
赞
踩
article
MYSQL
开窗
函数
详解...
MYSQL
8.0支持窗口
函数
(Window Function),也称分析
函数
。窗口
函数
与组分聚合
函数
类似,但是每一行数据...
赞
踩
article
Mac
帆软
生成
docker
镜像
之二_
帆软
docker
...
场景之前的博客:
Mac
帆软
生成
docker
镜像
,生成决策报表的
镜像
需要1-2小时;现在,使用
docker
file 的形...
赞
踩
article
Linux
部署
帆软Report_帆软
8lunix
部署
...
帆软是国内首屈一指的集报表,BI,可视化大屏,数据集成平台的一站式大数据商业智能解决方案,感兴趣的可以去官网了解详情。_...
赞
踩
article
Llama
2 高调开源
,
大
模型
微调
我已经上手了(附
99
个
大
模型
微调
模型
/数据/工具)!
...
...
最近出现了一系列令人激动的开源
大
语言
模型
,
如meta的LLaMA、清华的ChatGLM等。伴随
大
模型
一起爆火的
,
还有
大
模...
赞
踩
article
Neo4j
插件
安装_
neo4j
怎么安装
插件
...
昨天再次安装Apoc
插件
,又去找之前看的教程,有些地方不够清晰要几个教程对比着看,想到可以把常用
插件
的安装过程整理一下,...
赞
踩
article
ncnn
使用GPU时报
error
:
undefined
reference
to
*******_n...
导读根据
ncnn
的官方教程使用vulkan-sdk编译了一个带gpu功能的lib
ncnn
.a库,官方教程如下:https...
赞
踩
article
2024年
大
数据
最全
Hadoop
大
数据
集群
搭建
(超详细)
_
hadoop
集群
搭建
,快速从入门到精通
_
h...
修改完成之后记得使用命令source /etc/profile,使修改生效。
_
hadoop
集群
搭建
完整教程
hadoop
集...
赞
踩
article
Hexo
+
Github
博客
搭建
教程(个人
操作过程
)_
hexo
+
github
搭建
...
hexo
+
github
平台
搭建
的一次过程记录_
hexo
+
github
搭建
hexo
+
github
搭建
...
赞
踩
article
Python
进制
转换,
进制
转换函数
bin
(),oct(),
int
(),hex()_
python
函数:...
目录转换二
进制
bin
()函数转换
八
进制
oct()函数转换十
进制
int
()函数转换十六
进制
hex()函数?????????...
赞
踩
article
SQL
Server
查询
_sql
server
查询
...
查询
数据数据库是存储数据库中所有数据的对象。在表中,数据按行和列格式逻辑组织,类似于电子表格(Excel)。在表中,每行...
赞
踩
article
【
表情
识别
】基于卷积
神经网络
CNN
实现
jaffe
数据集七种
表情
情感
识别
附
matlab
代码...
表情
识别
是计算机视觉领域的重要研究方向之一,在人机交互、智能监控、情感分析等方面有着广泛的应用。本文基于卷积
神经网络
C...
赞
踩
article
Linux
防火墙
和
firewall
-
cmd
命令应用...
记录:341场景:在CentOS 7.9操作系统上,操作
防火墙
firewall
d,主要是查看、开启、关闭以及禁用等。fi...
赞
踩
article
Rust
中
文翻译
1_
rust
游戏
中
高金 翻译...
Rust
中
文翻译
1http://blog.csdn.net/zcmit/article/details/46492365...
赞
踩
article
FPGA
20个
例程
篇:7.
FLASH
读写
断电存储_极化码
fpga
例程
...
三、数据断电存储,工程必备7.
FLASH
读写
断电存储 这篇博客主要讲述QSPI-
FLASH
,怎么设计
FPGA
的时序逻辑去...
赞
踩
article
Windows
安装
Neo4j
数据库
教程(
3
.X
版本
)_
neo4j
3
.x
版本
安装
...
在
Windows
安装
Neo4j
_
neo4j
3
.x
版本
安装
neo4j
3
.x
版本
安装
安装
j...
赞
踩
相关标签
linux
运维
网络
python
sqlserver
数据库
sql
docker
大数据
mysql
Mac帆软
dockerfile
生成docker镜像
llama
知识图谱
面试
学习
github
笔记