数据仓库、数据湖、语义层、Data Agent:7个概念,其实只分4层

零门槛、免安装!海量模板方案,点击即可,在线试用!

免费试用

数据仓库、数据湖、语义层、Data Agent:7个概念,其实只分4层

阅读人数:40预计阅读时长:8 min

这两年企业数据架构里,有几个词越来越绕不开: 数据仓库、数据湖、湖仓一体、语义层、Ontology、知识库、Data Agent。 很多人第一次看到这些概念,会下意识把它们放在一起比较: 数据仓库和数据湖选哪个? 有了湖仓一体还需不需要语义层? 有知识库为什么还要 Ontology? 最后是不是全部都会被 Data Agent 替代? 其实,这七个东西根本不在同一个层级。 如果把企业数据和 AI 架构从下往上拆,它们解决的是四类完全不同的问题: 数据仓库、数据湖、湖仓一体解决数据怎么存、怎么加工; 语义层解决数据在业务上是什么意思; Ontology 和知识库解决 AI 怎么理解企业世界、获取企业知识; Data Agent 则负责调用前面的能力完成具体任务。 不过真正做项目时,通常还没走到"选仓、建湖、做 Agent"这一步,先遇到的往往是更基础的问题: 数据根本还没有到一起。 ERP 里有订单,CRM 里有客户,MES 里有设备数据,另外还有 API、文件、数据库和消息队列。数据源不同、更新频率不同、字段结构也不同,后面的分析架构再完整,如果这条链路没有先打通,也很难真正运转起来。 所以实际建设中,第一步往往是先把这些数据按不同方式接进来:批量数据定时同步,变化频繁的数据持续传递,需要加工的再做清洗、转换和关联。FineDataLink 5.0 在这类项目里通常就在这一段链路中使用,先把分散的数据接到后续数据体系里,至于最终进入数据仓库、数据湖还是其他平台,则要看后面的架构和使用场景。 理解了这个前提,再看后面的七个概念,会清楚很多。

一、数据仓库:不是"存数据",而是把数据重新组织成分析结构 假设一家零售企业同时有: 订单系统、会员系统、库存系统、财务系统、门店系统。 这些系统里的数据,本质上都是为"把业务跑起来"服务的。 订单系统关心交易有没有完成; 库存系统关心商品还有多少; 财务系统关心收入有没有正确确认。 但管理层真正想知道的是: 华东本月收入为什么下降? 哪个品类毛利连续三个月变差? 高价值会员复购率为什么下滑? 这类问题已经不是单个业务系统能够回答的。 所以数据仓库真正解决的是: 把面向交易的数据,重新组织成面向分析的数据。 一般会经历: 抽取、清洗、转换、关联、建模、汇总。 最后形成事实表、维度表、主题域、明细层、汇总层等结构。 这里有一个非常重要的区别: 业务系统记录"发生了什么",数据仓库负责把这些记录重新整理成"为什么会这样"。 例如,同一个客户: CRM 用客户编号识别; ERP 按企业主体识别; 电商平台可能直接按账号识别。 如果这些关系不统一,数仓里所谓"客户数"本身就可能是错的。 实际项目中,很多问题都会在入仓前暴露出来:字段类型不同、编码不一致、空值异常、时间口径冲突、历史数据缺失。 因此使用 FineDataLink 5.0 做数仓链路时,真正需要处理的并不只是"把表从 A 搬到 B"。字段映射怎么做、异常数据怎么清洗、多个来源如何关联、哪些数据每天批量同步、哪些变化需要持续进入下游,都会直接影响最后数仓里的数据质量。 数据仓库的质量,很大程度上取决于数据进入仓库之前有没有被处理干净。

二、数据湖和湖仓一体:为什么"先建模再存"开始不够用了? 传统数据仓库特别适合结构化数据。 但后来企业的数据类型越来越复杂。 除了订单、客户、库存,还有: 设备日志、埋点数据、JSON、PDF、图片、语音、IoT数据、模型训练数据。 如果所有数据都要求: 先设计表结构 → 再建模型 → 最后才能存, 成本会越来越高。 于是出现了数据湖。 数据湖的核心思想可以概括为: 先保存,再决定以后怎么用。 因此它更容易承载结构化、半结构化和非结构化数据。 但这种自由也带来了新的问题。 如果什么数据都能往里放,却没有元数据、权限、质量、生命周期和责任人管理,几年以后就很容易出现: 这份数据谁产生的? 还能不能用? 有没有重复? 最新版本是哪一个? 所谓"数据湖变数据沼泽",本质不是存储技术出了问题,而是: 只有数据积累,没有形成可持续的数据治理机制。 这也是后来 Lakehouse,也就是湖仓一体出现的重要背景。 它不是简单把"仓"和"湖"拼在一起,而是希望同时拥有: 数据湖对多类型数据的承载能力, 以及数据仓库在事务、治理、建模和分析上的能力。 所以湖仓一体真正试图解决的是: 一份底层数据,能不能同时服务 BI、数据科学、机器学习和 AI。 不过,架构从仓变成湖仓以后,前面的数据链路并不会消失。 ERP 还在产生订单,MES 还在产生设备数据,数据库也还在不断变化。 不管后端采用传统数仓还是 Lakehouse,前面的数据接入和更新链路都还要继续运行。FineDataLink 5.0 可以把数据库、API、文件等不同来源的数据同步到目标端,批量数据按周期更新,变化频繁的数据则可以通过实时任务、实时管道持续传递;中间需要清洗、转换、关联的数据,也可以在同步链路里一起处理。 所以: 仓、湖、湖仓解决的是数据最终怎么组织; 数据集成解决的是数据怎样持续到达那里。 这是两个完全不同的问题。

三、语义层:数据已经统一,为什么指标还是会打架? 很多企业建完数仓以后,会遇到第二层问题: 数据统一了,指标却没有统一。 最常见的就是"销售额"。 销售部门按订单金额统计; 财务按确认收入统计; 电商部门扣除退款; 经营分析可能还需要排除内部交易。 于是同样三个字: 销售额。 背后完全可能对应四套 SQL。 再看一句普通的问题: 看看华东今年哪些大客户掉得比较厉害。 对人来说是一句话。 但系统至少要知道: "华东"包括哪些省? "大客户"按收入、合同额还是回款额判断? "掉得厉害"是同比下降 20%,还是少了 500 万元? 所以语义层真正解决的,不只是给字段起中文名。 它是在底层数据和业务语言之间建立一套稳定映射: 表和字段是什么 → 指标怎么算 → 维度怎么关联 → 业务术语怎么解释。 而且语义层真正难的地方,并不是第一次把指标定义出来。 而是: 这些定义能不能在不同分析场景里反复复用。 否则报表里维护一套销售额,经营分析又写一套,大模型临时生成 SQL 时再猜一套,最后还是回到指标打架的问题。 这一层过去主要服务 BI。 到了 AI 时代,重要性反而更高。 因为大模型当然知道"利润"是什么意思,却不知道: 你们公司的利润到底怎么算。 到了 AI 分析场景,这个问题会更加明显。 FineBI Next 可以在已有数据基础上,通过自然语言完成问数、分析和进一步下钻。面对比较明确的问题,用户可以直接提问;如果问题更复杂,还可以先把业务场景、指标口径、分析对象和范围确认清楚,再按照分析计划一步步往下拆。 比如用户问: "为什么华东利润下降?" 真正进入分析之前,系统首先要弄清楚"华东"包括哪些区域、"利润"采用什么口径、比较的是同比还是环比。只有这些业务规则先明确,后面的计算和分析才有意义。 所以语义层真正补的,是: 自然语言和企业业务规则之间的距离。

免费试用

四、Ontology:比"指标怎么算"再进一步,描述企业世界怎么运转 Ontology 经常翻译成: 本体。 听起来很玄。 但放到企业场景里,可以把它理解为: 企业现实世界的一套数字化模型。 例如一家制造企业存在: 客户、订单、产品、设备、工厂、供应商、合同。 这些是对象。 客户具有行业、地区、等级; 设备具有型号、状态、位置。 这些是属性。 对象之间还有关系: 客户下订单; 订单包含产品; 产品使用物料; 设备属于工厂; 供应商提供物料。 甚至还可以继续描述动作: 库存不足可以触发补货; 设备异常可以创建工单; 风险订单可以进入审批。 所以语义层和 Ontology 虽然都在解决"理解",但重点完全不同。 语义层关心: 销售额怎么计算? Ontology 更关心: 这笔销售额属于哪个客户? 客户关联哪些合同? 合同对应哪些产品? 这些产品又由谁负责? 再进一步看,Ontology 的重要性其实来自一个变化: 过去 BI 主要分析的是表和指标; Agent 真正进入业务以后,需要操作的却往往是客户、订单、合同、设备这些现实业务对象。 这也能解释为什么仅靠智能 BI 还不等于建立了 Ontology。 FineBI Next 可以沿着已有经营数据继续计算、对比、下钻和寻找异常; 但如果问题继续变成: "这个异常客户关联哪些合同、产品、销售负责人和审批流程?" 系统需要理解的已经不只是指标,而是完整的业务对象关系。 换句话说: 语义层让 AI 懂企业怎么"算",Ontology 则进一步让 AI 懂企业怎么"运转"。

五、知识库:企业真正重要的信息,不一定都在数据库里 即使企业已经有了数仓、语义层和 Ontology,也仍然有大量信息无法覆盖。 因为企业还有大量知识存在: 合同、制度、SOP、产品手册、维修记录、会议纪要、研究报告。 这些内容本来就不适合全部拆成数据库字段。 但员工经常会问: 差旅住宿标准是多少? 某型号设备出现 E102 应该怎么处理? 客户 A 合同约定的账期是多少天? 这类问题更适合通过知识库完成: 文档解析 → 切分 → 索引 → 检索 → 召回 → 提供给模型。 但这里还有一个很容易被忽略的问题: 知识库有资料,不等于回答一定可靠。 比如同一份采购制度存在 2024 版、2025 版和 2026 版,如果检索时没有版本、生效日期和适用范围,AI 完全可能找到一段内容,却引用了已经失效的制度。 所以企业知识库真正要管理的不只是"文档有没有上传",还包括: 版本、权限、来源、更新时间、适用对象以及知识之间的关联。 这也是知识库和 Ontology 的区别。 可以简单理解: Ontology 是企业业务世界的"关系网"; 知识库是企业经验和制度的"资料室"。 两者经常需要一起使用。 假设 FineBI Next 从经营数据里发现: 某个客户最近三个月毛利率持续下降。 继续分析结构化数据,可以看到价格、成本、销量和产品结构变化。 但如果真正的原因藏在一份合同里: 从今年 7 月开始执行新的阶梯折扣。 那仅仅分析数据就不够了。 这时候需要把两类证据放到一起: 数据告诉你"发生了什么"; 知识帮助解释"为什么会发生"。 这也是企业 AI 和普通数据库分析非常大的区别。

免费试用

六、Data Agent:真正的 Agent 不是会聊天,而是能把任务继续做下去 最后才轮到 Data Agent。 很多人现在理解 Data Agent 的方式是: 以前点报表,现在直接问 AI。 如果只是这样,本质上仍然只是换了查询入口。 真正的 Data Agent 应该处理的是一条更完整的任务链。 比如老板问: 华东利润为什么连续三个月下降?找出主要原因,并告诉我应该重点关注哪些客户。 系统首先需要通过语义层确认: 利润怎么算,华东包括哪些区域。 然后查询数仓或 Lakehouse,分析: 收入、销量、价格、成本、产品结构。 找到异常客户以后,还可能继续沿业务关系寻找: 订单、合同、产品和负责人。 如果怀疑价格政策发生变化,再去知识库读取合同或者制度。 最终形成的不是一个数字,而是: 事实 → 异常 → 原因 → 证据 → 建议。 而真正成熟的 Agent 还需要多做一步: 验证。 因为模型得出"某客户是利润下降主因",并不意味着结论就一定成立。 至少还要检查: 数据是不是最新的; 原因贡献能不能和利润变化基本闭合; 所谓"客户需求下降"究竟是数据事实,还是模型进一步做出的推断。 所以企业级 Data Agent 不能只有"生成答案"的能力,还要能够区分: 事实、推断和假设。 从这个角度看,FineBI Next 的智能分析已经覆盖了其中一部分链路:复杂分析任务可以先拆步骤,再完成数据处理、指标计算、可视化和结论总结;发现异常以后,还能沿着已有结果继续追问和下钻,而不是每问一句就重新开始。 但真正企业级的 Data Agent 还会继续往前: 查询数据、调用知识、调用系统、触发流程、读取执行结果,再决定下一步。 所以 Data Agent 最终比拼的并不是: 模型能不能给出一段漂亮回答。 而是: 它能不能在可靠的数据、语义和知识基础上,把一件事情真正推进下去。

七、把七个概念放到一起看,其实就是四层能力 如果逐个记名词,很容易越记越乱。 更容易理解的方式,是把它们归到四层。 数据底座层 包括: 数据仓库、数据湖、湖仓一体。 它们主要回答: 数据放在哪里、怎么组织、怎样支撑后续计算。 区别更多在数据类型、建模方式、治理能力和使用场景,而不是简单的新旧替代关系。 业务理解层 核心是: 语义层。 它回答: 这些字段、指标和维度,在企业内部到底意味着什么。 如果这一层没有统一,AI 越强,反而可能越快地产生一套"算得出来但口径不对"的结果。 企业知识层 包括: Ontology + 知识库。 Ontology 描述企业里的对象、关系和动作; 知识库补充合同、制度、文档和经验。 一个更强调结构, 一个更强调内容。 智能执行层 最上面才是: Data Agent。 它需要调用前面的数据、语义和知识,把一个业务问题拆开、分析、验证,再决定下一步。 所以这七个概念不是七种互相竞争的新技术。 它们实际上对应的是企业数据能力不断升级的四个阶段: 先让数据可用, 再让数据可理解, 再让 AI 理解企业业务和企业知识, 最后才让 Agent 真正参与任务执行。 理解到这里就会发现,大模型出现以后,过去的数据建设并没有失去意义。 恰恰相反。 越往 Data Agent 走,越依赖前面的数据质量、指标口径、业务语义、对象关系和企业知识。 大模型解决的是: "听懂人话。" 而企业真正需要补上的,是让它进一步: 听懂这家公司的话,读懂这家公司的数据,理解这家公司怎样运转,并且知道接下来应该做什么。 这才是从数据平台走向企业智能真正完整的一条路。

【AI声明】本文内容通过大模型匹配关键字智能生成,仅供参考,帆软不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系blog@fanruan.com进行反馈,帆软收到您的反馈后将及时答复和处理。

若想了解更多关于FineDataLink的相关信息,您可以访问下方链接,或点击下方组件,快速获得帆软为您提供的企业大数据分析平台建设建议、免费的FineDataLink试用和同行业自助智能分析标杆案例学习参考。

了解更多FineDataLink信息:www.finedatalink.com

帆软FineDataLink数据集成平台在线试用!

免费下载

评论区

暂无评论
帆软企业数字化建设产品推荐
报表开发平台免费试用
自助式BI分析免费试用
数据可视化大屏免费试用
数据集成平台免费试用