0
No products in the cart.
Cart
Total:
¥
0.00
云技术
云服务器运维
云数据库技术
云存储技术
云安全服务
云网络服务
云慧采
云服务器
云数据库
云存储
云安全
网络与CDN
视频服务
大数据
物联网
人工智能
开发与运维
企业应用
云服务
阿里云技术支持
华为云技术支持
腾讯云技术支持
木马病毒查杀
渗透测试服务
服务器迁移服务
高并发业务保障服务
数据库运维/专家服务
客户案例
云技术
云服务器运维
云数据库技术
云存储技术
云安全服务
云网络服务
云慧采
云服务器
云数据库
云存储
云安全
网络与CDN
视频服务
大数据
物联网
人工智能
开发与运维
企业应用
云服务
阿里云技术支持
华为云技术支持
腾讯云技术支持
木马病毒查杀
渗透测试服务
服务器迁移服务
高并发业务保障服务
数据库运维/专家服务
客户案例
全站
云技术文档
云产品文档
产品
一文看懂数据仓库,数据湖,数据工厂,数据中台的区别
1. 数据仓库
数据仓库(Data Warehouse)是一个
面向主题的、集成的、相对稳定的、反映历史变化
的数据集合,用于支持管理决策和信息的全局共享。
所谓面向主题
,是指根据使用者实际需求,将不同数据源的数据在一个较高的抽象层次上做整合,所有数据都围绕某一主题来组织,例如:采购主题、生产主题、客户主题、销售主题等。
所谓集成性
,是指数据仓库中存储的数据是来源于多个数据源的集成、汇总。由于原始数据来自不同的数据源,存储方式各不相同。要整合成为最终的数据集合,需要从数据源经过一系列抽取、清洗、转换的过程。
所谓相对稳定
,是指数据仓库中存储的数据一般为“既成事实”的数据,也可理解为历史数据的一个快照,只做查询分析用,不允许修改。
所谓反映历史变化
,是指数据仓库根据不断集成新的主题数据,反应出该主题的数据变化情况,例如:销售业绩完成情况。
2. 数据湖
数据湖是将来自不同数据源、不同数据类型(结构化、半结构化、非结构化)的数据,以原始格式存储进行存储的系统,它按原样存储数据,而无需事先对数据进行结构化处理。
有人认为数据湖是数据仓库的PLUS版,增强了数据存储的能力。而实际上,数据湖不简单是数据仓库一个技术上的升级,更重要的是数据管理思维的升级。数据仓库是需要事先定义好数据结构,然后是报表取数。而大数据的发展,数据形式越发多样化,传统数仓这种定义数据结构、取数、出表的模式,已经很难满足业务上的需求了。
因此,数据湖以原始格式存储各种类型数据,以及按需进行数据结构化处理、数据清理、提供数据服务,以更加灵活的方式支持多种应用场景的能力越来越受到人们的欢迎。
3. 数据工厂
前边提到的数据仓库和数据湖,重点侧重于数据的存储,本质上是“原材料”的存储系统,而要让数据发挥价值,就必须将这个“原材料”需要加工成用户需要的“产品”。
数据工厂就是根据用户的需求,将原始数据进行加工、处理、清洗、转换、汇总等各种加工工序,生产出能够被用户直接使用的数据产品。
数据工厂包含了多种数据处理的工具,以满足不同处理工序的作业需要,例如:数据源连接、数据同步、数据清洗、数据转换、数据工作流、数据目录、数据服务等等。
4. 数据中台
其实,如果从功能构件上来讲,我认为:数据中台就是数据湖+数据工厂的一个综合。但不同的是数据中台更注重数据应用,
离业务更近
,强调一个
快速敏捷
。
数据中台不仅关注原始数据的存储及处理加工,更侧重将数据处理过程中,常用的逻辑、算法、标签、模型进行沉淀,而形成一系列的“数据半成品”,然后根据前台业务的需要,快速生产出用户需要的“数据产品”。数据中台能力强弱,要看这个“数据半成品”积累的多少了。
在数据生产的整个链条中,对于如何筑湖、如何选址建厂、按什么工序加工、以及如何配送,这是技术部门的事情,而“数据半成品”的沉淀和积累,却不是技术能决定的了。因此,数据中台的建设更强调需求驱动、业务主导。
以上内容对您有帮助吗?如有问题,可联系在线工程师为您提供技术支持
Yes
No
相关内容
AI技术在畜牧养殖业的应用
阿里云数据湖解决方案下载
全站
云技术文档
云产品文档
产品