跳到正文
阿里雲開發者社區 AI·· 10 天前AI 評分35

數據倉庫、數據湖、湖倉一體、語義層、Ontology、知識庫與 Data Agent:一次講透

数据仓库、数据湖、湖仓一体、语义层、Ontology、知识库、Data Agent,一次讲透

AI 導讀

企業數據架構中的數據倉庫、數據湖、湖倉一體、語義層、Ontology、知識庫及 Data Agent,分屬數據底座、業務理解、企業知識和智能執行四層。數據底座負責數據的儲存與加工,語義層統一業務指標,Ontology 描述業務對象和關係,知識庫保存企業文檔與經驗。Data Agent 調用前述能力,分析和驗證問題,再推進後續任務。

正文

简介: 本文厘清数据架构七大概念的本质差异:数据仓库、湖、湖仓一体属**数据底座层**(解决“怎么存与加工”);语义层属**业务理解层**(统一指标口径);Ontology与知识库构成**企业知识层**(刻画业务关系与沉淀非结构化知识);Data Agent位于**智能执行层**(调用前序能力完成端到端任务)。四层递进,缺一不可。

这两年企业数据架构里,有几个词越来越绕不开:数据仓库、数据湖、湖仓一体、语义层、Ontology、知识库、Data Agent。

很多人第一次看到这些概念,会下意识把它们放在一起比较:数据仓库和数据湖选哪个?有了湖仓一体还需不需要语义层?有知识库为什么还要 Ontology?最后是不是全部都会被 Data Agent 替代?其实,这七个东西根本不在同一个层级。

如果把企业数据和 AI 架构从下往上拆,它们解决的是四类完全不同的问题:数据仓库、数据湖、湖仓一体解决数据怎么存、怎么加工;语义层解决数据在业务上是什么意思;Ontology 和知识库解决 AI 怎么理解企业世界、获取企业知识;Data Agent 则负责调用前面的能力完成具体任务。

不过真正做项目时,通常还没走到“选仓、建湖、做 Agent”这一步,先遇到的往往是更基础的问题:数据根本还没有到一起。

ERP 里有订单,CRM 里有客户,MES 里有设备数据,另外还有 API、文件、数据库和消息队列。数据源不同、更新频率不同、字段结构也不同,后面的分析架构再完整,如果这条链路没有先打通,也很难真正运转起来。

所以实际建设中,第一步往往是先把这些数据按不同方式接进来:批量数据定时同步,变化频繁的数据持续传递,需要加工的再做清洗、转换和关联。FineDataLink 5.0在这类项目里通常就在这一段链路中使用,先把分散的数据接到后续数据体系里,至于最终进入数据仓库、数据湖还是其他平台,则要看后面的架构和使用场景。理解了这个前提,再看后面的七个概念,会清楚很多。

image.png

一、数据仓库:不是“存数据”,而是把数据重新组织成分析结构

假设一家零售企业同时有:订单系统、会员系统、库存系统、财务系统、门店系统。 这些系统里的数据,本质上都是为“把业务跑起来”服务的。订单系统关心交易有没有完成;库存系统关心商品还有多少;财务系统关心收入有没有正确确认。

但管理层真正想知道的是:华东本月收入为什么下降?哪个品类毛利连续三个月变差?高价值会员复购率为什么下滑?

这类问题已经不是单个业务系统能够回答的。所以数据仓库真正解决的是:把面向交易的数据,重新组织成面向分析的数据。

一般会经历:抽取、清洗、转换、关联、建模、汇总。 最后形成事实表、维度表、主题域、明细层、汇总层等结构。
image.png

这里有一个非常重要的区别:业务系统记录“发生了什么”,数据仓库负责把这些记录重新整理成“为什么会这样”。

例如,同一个客户:CRM 用客户编号识别;ERP 按企业主体识别;电商平台可能直接按账号识别。如果这些关系不统一,数仓里所谓“客户数”本身就可能是错的。

实际项目中,很多问题都会在入仓前暴露出来:字段类型不同、编码不一致、空值异常、时间口径冲突、历史数据缺失。

因此使用FineDataLink 5.0做数仓链路时,真正需要处理的并不只是“把表从 A 搬到 B”。字段映射怎么做、异常数据怎么清洗、多个来源如何关联、哪些数据每天批量同步、哪些变化需要持续进入下游,都会直接影响最后数仓里的数据质量。数据仓库的质量,很大程度上取决于数据进入仓库之前有没有被处理干净。
image.png

二、数据湖和湖仓一体:为什么“先建模再存”开始不够用了?

传统数据仓库特别适合结构化数据。但后来企业的数据类型越来越复杂。除了订单、客户、库存,还有:设备日志、埋点数据、JSON、PDF、图片、语音、IoT数据、模型训练数据。

如果所有数据都要求:先设计表结构 → 再建模型 → 最后才能存, 成本会越来越高。于是出现了数据湖。数据湖的核心思想可以概括为:先保存,再决定以后怎么用。

image.png

因此它更容易承载结构化、半结构化和非结构化数据。但这种自由也带来了新的问题。如果什么数据都能往里放,却没有元数据、权限、质量、生命周期和责任人管理,几年以后就很容易出现:这份数据谁产生的?还能不能用?有没有重复?最新版本是哪一个?

所谓“数据湖变数据沼泽”,本质不是存储技术出了问题,而是:只有数据积累,没有形成可持续的数据治理机制。 这也是后来 Lakehouse,也就是湖仓一体出现的重要背景。
image.png

它不是简单把“仓”和“湖”拼在一起,而是希望同时拥有:数据湖对多类型数据的承载能力, 以及数据仓库在事务、治理、建模和分析上的能力。

所以湖仓一体真正试图解决的是:一份底层数据,能不能同时服务 BI、数据科学、机器学习和 AI。 不过,架构从仓变成湖仓以后,前面的数据链路并不会消失。ERP 还在产生订单,MES 还在产生设备数据,数据库也还在不断变化。

不管后端采用传统数仓还是 Lakehouse,前面的数据接入和更新链路都还要继续运行。FineDataLink 5.0可以把数据库、API、文件等不同来源的数据同步到目标端,批量数据按周期更新,变化频繁的数据则可以通过实时任务、实时管道持续传递;中间需要清洗、转换、关联的数据,也可以在同步链路里一起处理。

image.png

所以:仓、湖、湖仓解决的是数据最终怎么组织; 数据集成解决的是数据怎样持续到达那里。 这是两个完全不同的问题。

三、语义层:数据已经统一,为什么指标还是会打架?

很多企业建完数仓以后,会遇到第二层问题:数据统一了,指标却没有统一。 最常见的就是“销售额”。销售部门按订单金额统计;财务按确认收入统计;电商部门扣除退款;经营分析可能还需要排除内部交易。
image.png

于是同样三个字:销售额。 背后完全可能对应四套 SQL。再看一句普通的问题:看看华东今年哪些大客户掉得比较厉害。对人来说是一句话。但系统至少要知道:“华东”包括哪些省? “大客户”按收入、合同额还是回款额判断? “掉得厉害”是同比下降 20%,还是少了 500 万元?

所以语义层真正解决的,不只是给字段起中文名。它是在底层数据和业务语言之间建立一套稳定映射:表和字段是什么 → 指标怎么算 → 维度怎么关联 → 业务术语怎么解释。

而且语义层真正难的地方,并不是第一次把指标定义出来。而是:这些定义能不能在不同分析场景里反复复用。

image.png

否则报表里维护一套销售额,经营分析又写一套,大模型临时生成 SQL 时再猜一套,最后还是回到指标打架的问题。

这一层过去主要服务 BI。到了 AI 时代,重要性反而更高。因为大模型当然知道“利润”是什么意思,却不知道:你们公司的利润到底怎么算。

到了 AI 分析场景,这个问题会更加明显。FineBI Next可以在已有数据基础上,可以通过自然语言完成问数、分析和进一步下钻。面对比较明确的问题,用户可以直接提问;如果问题更复杂,还可以先把业务场景、指标口径、分析对象和范围确认清楚,再按照分析计划一步步往下拆。

比如用户问:“为什么华东利润下降?” 真正进入分析之前,系统首先要弄清楚“华东”包括哪些区域、“利润”采用什么口径、比较的是同比还是环比。只有这些业务规则先明确,后面的计算和分析才有意义。所以语义层真正补的,是:自然语言和企业业务规则之间的距离。
image.png

四、Ontology:比“指标怎么算”再进一步,描述企业世界怎么运转

Ontology 经常翻译成:本体。 听起来很玄。但放到企业场景里,可以把它理解为:企业现实世界的一套数字化模型。

例如一家制造企业存在:客户、订单、产品、设备、工厂、供应商、合同。 这些是对象。客户具有行业、地区、等级;设备具有型号、状态、位置,这些是属性。

对象之间还有关系:客户下订单;订单包含产品;产品使用物料;设备属于工厂;供应商提供物料。甚至还可以继续描述动作:库存不足可以触发补货;设备异常可以创建工单;风险订单可以进入审批。所以语义层和 Ontology 虽然都在解决“理解”,但重点完全不同。
image.png

语义层关心:销售额怎么计算?

Ontology 更关心:这笔销售额属于哪个客户?客户关联哪些合同?合同对应哪些产品?这些产品又由谁负责?

再进一步看,Ontology 的重要性其实来自一个变化:过去 BI 主要分析的是表和指标;Agent 真正进入业务以后,需要操作的却往往是客户、订单、合同、设备这些现实业务对象。

这也能解释为什么仅靠智能 BI 还不等于建立了 Ontology。FineBI Next可以沿着已有经营数据继续计算、对比、下钻和寻找异常;
image.png

但如果问题继续变成:“这个异常客户关联哪些合同、产品、销售负责人和审批流程?” 系统需要理解的已经不只是指标,而是完整的业务对象关系。换句话说:语义层让 AI 懂企业怎么“算”,Ontology 则进一步让 AI 懂企业怎么“运转”。

五、知识库:企业真正重要的信息,不一定都在数据库里

即使企业已经有了数仓、语义层和 Ontology,也仍然有大量信息无法覆盖。因为企业还有大量知识存在:合同、制度、SOP、产品手册、维修记录、会议纪要、研究报告。

这些内容本来就不适合全部拆成数据库字段。但员工经常会问:差旅住宿标准是多少?某型号设备出现 E102 应该怎么处理?客户 A 合同约定的账期是多少天?

这类问题更适合通过知识库完成:文档解析 → 切分 → 索引 → 检索 → 召回 → 提供给模型。 但这里还有一个很容易被忽略的问题:知识库有资料,不等于回答一定可靠。

比如同一份采购制度存在 2024 版、2025 版和 2026 版,如果检索时没有版本、生效日期和适用范围,AI 完全可能找到一段内容,却引用了已经失效的制度。
image.png

所以企业知识库真正要管理的不只是“文档有没有上传”,还包括:版本、权限、来源、更新时间、适用对象以及知识之间的关联。 这也是知识库和 Ontology 的区别。

可以简单理解:Ontology 是企业业务世界的“关系网”; 知识库是企业经验和制度的“资料室”。 两者经常需要一起使用。

假设 FineBI Next 从经营数据里发现:某个客户最近三个月毛利率持续下降。 继续分析结构化数据,可以看到价格、成本、销量和产品结构变化。

但如果真正的原因藏在一份合同里:从今年 7 月开始执行新的阶梯折扣。那仅仅分析数据就不够了。这时候需要把两类证据放到一起:数据告诉你“发生了什么”; 知识帮助解释“为什么会发生”。 这也是企业 AI 和普通数据库分析非常大的区别。
image.png

六、Data Agent:真正的 Agent 不是会聊天,而是能把任务继续做下去

最后才轮到 Data Agent。很多人现在理解 Data Agent 的方式是:以前点报表,现在直接问 AI。 如果只是这样,本质上仍然只是换了查询入口。

真正的 Data Agent 应该处理的是一条更完整的任务链。比如老板问:华东利润为什么连续三个月下降?找出主要原因,并告诉我应该重点关注哪些客户。

系统首先需要通过语义层确认:利润怎么算,华东包括哪些区域。 然后查询数仓或 Lakehouse,分析:收入、销量、价格、成本、产品结构。

找到异常客户以后,还可能继续沿业务关系寻找:订单、合同、产品和负责人。 如果怀疑价格政策发生变化,再去知识库读取合同或者制度。

最终形成的不是一个数字,而是:事实 → 异常 → 原因 → 证据 → 建议。 而真正成熟的 Agent 还需要多做一步:验证。
image.png

因为模型得出“某客户是利润下降主因”,并不意味着结论就一定成立。至少还要检查:数据是不是最新的;原因贡献能不能和利润变化基本闭合;所谓“客户需求下降”究竟是数据事实,还是模型进一步做出的推断。所以企业级 Data Agent 不能只有“生成答案”的能力,还要能够区分:事实、推断和假设。

从这个角度看,FineBI Next的智能分析已经覆盖了其中一部分链路:复杂分析任务可以先拆步骤,再完成数据处理、指标计算、可视化和结论总结;发现异常以后,还能沿着已有结果继续追问和下钻,而不是每问一句就重新开始。

image.png

但真正企业级的 Data Agent 还会继续往前:查询数据、调用知识、调用系统、触发流程、读取执行结果,再决定下一步。

所以 Data Agent 最终比拼的并不是:模型能不能给出一段漂亮回答。 而是:它能不能在可靠的数据、语义和知识基础上,把一件事情真正推进下去。

七、把七个概念放到一起看,其实就是四层能力

如果逐个记名词,很容易越记越乱。更容易理解的方式,是把它们归到四层。

数据底座层

数据仓库、数据湖、湖仓一体。 包括:它们主要回答:数据放在哪里、怎么组织、怎样支撑后续计算。 区别更多在数据类型、建模方式、治理能力和使用场景,而不是简单的新旧替代关系。

业务理解层

核心是:语义层。 它回答:这些字段、指标和维度,在企业内部到底意味着什么。 如果这一层没有统一,AI 越强,反而可能越快地产生一套“算得出来但口径不对”的结果。

企业知识层

包括:Ontology + 知识库。 Ontology 描述企业里的对象、关系和动作;知识库补充合同、制度、文档和经验。一个更强调结构,一个更强调内容。
image.png

智能执行层

最上面才是:Data Agent。 它需要调用前面的数据、语义和知识,把一个业务问题拆开、分析、验证,再决定下一步。

所以这七个概念不是七种互相竞争的新技术。它们实际上对应的是企业数据能力不断升级的四个阶段:先让数据可用, 再让数据可理解, 再让 AI 理解企业业务和企业知识, 最后才让 Agent 真正参与任务执行。

理解到这里就会发现,大模型出现以后,过去的数据建设并没有失去意义。恰恰相反。越往 Data Agent 走,越依赖前面的数据质量、指标口径、业务语义、对象关系和企业知识。

大模型解决的是:“听懂人话。” 而企业真正需要补上的,是让它进一步:听懂这家公司的话,读懂这家公司的数据,理解这家公司怎样运转,并且知道接下来应该做什么。 这才是从数据平台走向企业智能真正完整的一条路。

來源:阿里雲開發者社區 AI · developer.aliyun.com