数据仓库分层详解:ODS、DWD、DWS、ADS 四层到底各管什么?

零门槛、免安装!海量模板方案,点击即可,在线试用!

免费试用

数据仓库分层详解:ODS、DWD、DWS、ADS 四层到底各管什么?

阅读人数:63预计阅读时长:8 min

"这个销售额,你们数据仓库里到底是哪张表算出来的?"

经营分析会上,老板突然问了一句。数据负责人开始往回查:先查报表,再查汇总表,再查明细表,最后一路追到业务系统。一笔销售额,前前后后经过了好几层,最后却发现不同报表里的数字还对不上。

其实,数据仓库分层的核心,就是把不同的数据加工工作拆开。最常见的就是:ODS → DWD → DWS → ADS。

可以先记住一句话:ODS 负责接,DWD 负责理,DWS 负责算,ADS 负责用。

下面就从一笔订单说清楚。

一、为什么数据仓库一定要分层?实际建设时要注意什么?

数据仓库为什么不能把所有数据放在一起处理,而要划分成 ODS、DWD、DWS、ADS 四层?核心原因在于:不同阶段的数据加工任务不同,数据的标准化程度、业务粒度和使用场景也不同。

如果不进行分层,数据采集、清洗、关联、指标计算和业务应用就会混在一起,容易产生三个问题:

  • 数据重复加工:不同部门反复清洗、关联同一批原始数据,造成资源浪费。
  • 指标口径不统一:各业务部门独立计算销售额、利润、订单量等指标,同一指标可能出现不同结果。
  • 数据维护困难:源系统字段发生变化,可能影响多张报表和分析应用,排查与修改成本很高。

因此,数据仓库分层的本质,是将数据加工过程拆解为不同职责的环节,让每一层只负责特定的数据处理任务。数仓分层真正解决的,并不是数据应该放在哪张表,而是如何隔离不同的数据处理逻辑。

可以把整个过程拆成四个阶段:

业务系统 → ODS → DWD → DWS → ADS

对应的职责分别是:ODS 负责接,DWD 负责理,DWS 负责沉淀,ADS 负责用。

接下来,我们就从 ODS 开始,逐层拆解四层数据仓库的设计方法、核心表结构和实际建设流程。

二、ODS:原始数据层,解决数据怎么进来

ODS(Operational Data Store)是数仓最靠近业务系统的一层。ERP、CRM、MES、财务系统、订单系统等产生的数据,首先需要进入 ODS。这一层的核心任务不是做复杂分析,而是:稳定接入数据,并尽可能保留源系统的原始信息。

ODS 到底应该存什么?

原则上,ODS 应该尽可能贴近源系统。比如业务系统中的订单表有哪些字段,进入 ODS 后通常也保留这些核心字段,而不是在这一层就重新设计一套复杂的业务模型。这样做的好处是:源系统的数据是什么样,ODS 能够比较清晰地还原出来;当上层数据出现异常时,也可以从 ODS 向下追溯,判断问题到底发生在哪个环节。

ODS 重点关注数据同步,而不是业务计算

实际建设 ODS 时,需要重点考虑:数据源有哪些;数据采用全量还是增量同步;同步频率是多少;数据延迟能接受到什么程度;同步失败后如何重跑;如何避免重复同步;如何记录同步批次和更新时间。

例如订单数据每天增长数百万条,就不适合每天把整张订单表重新同步一次,而应该根据业务主键、更新时间等字段设计增量同步机制。这也是 ODS 建设中非常重要的一点:数据接入策略要和数据增长方式匹配。

在这个环节,FineDataLink 可以承担底层数据集成和同步工作,将不同业务系统的数据统一接入 ODS,并通过调度、监控和异常告警保证数据链路稳定运行。

ODS 不要过早承载业务逻辑

ODS 可以进行必要的数据类型转换、字段映射等基础处理,但不建议在这里大量计算销售额、毛利率、客户等级、复购率、库存周转率等指标,因为这些都属于更上层的数据加工逻辑。因为 ODS 的定位是源数据接入层,如果把大量业务规则直接写进 ODS,后续业务规则变化时,底层数据就需要频繁修改,数据链路也会越来越难维护。

所以,ODS 的设计重点可以概括为:来源清楚、接入稳定、原始信息可追溯。 在企业落地时,这一步通常会用到数据集成工具。比如通过 FineDataLink 把不同业务系统、数据库、接口文件里的数据接进来,并设置定时同步任务。这样 ODS 层就不是靠人工导表维护,而是形成一条稳定的数据接入链路。

三、DWD:明细数据层,解决数据怎么变标准

ODS 解决的是数据有没有接进来,但把数据接进来,并不意味着数据已经可以直接分析。业务系统中的数据,通常是围绕交易、业务操作设计的,而不是围绕分析设计的。不同系统之间很容易出现字段命名不一致、编码不统一、状态口径不同、时间格式不同,甚至同一业务对象粒度不同的问题。

因此,进入 ODS 之后,还需要经过一层系统性的加工,把原始数据转换成结构统一、口径明确、粒度稳定的明细数据。这就是 DWD(Data Warehouse Detail,明细数据层)要解决的问题。简单来说:ODS 负责原样接入,DWD 负责标准化加工。

DWD 首先要解决:数据标准统一

DWD 不是简单地把 ODS 里的字段换个名字,而是要建立企业统一的数据标准。通常包括四类内容:

  • 字段标准:统一字段名称、数据类型、长度、时间格式、金额精度等基础规范。
  • 编码标准:统一客户、商品、组织、地区、渠道等核心业务对象的编码体系,解决不同系统之间"同一个对象多个 ID"的问题。
  • 状态标准:统一业务状态及其流转关系,明确不同系统中的状态如何映射到企业统一口径。
  • 主数据标准:对于客户、商品、组织、供应商等核心业务对象,需要建立统一的主数据映射关系,避免不同系统各自维护一套数据。

所以,DWD 真正要做的不是把数据洗干净,而是把不同来源的数据转换成企业内部可以共同使用的数据标准。

数据清洗的重点,是建立可执行的业务规则

免费试用

数据清洗只是 DWD 的一部分,而且不能简单理解成去重、补空值。真正的数据加工通常包括:重复数据识别与处理、空值与异常值处理、字段类型和格式转换、编码映射、业务状态转换、主数据关联、跨系统数据匹配、业务规则校验、无效数据隔离。

关键在于:每一种处理都应该有明确的业务规则,而不是依赖人工判断。这些规则一旦确定,就应该固化在数据加工流程中。这样做的意义在于,DWD 不仅要让数据看起来干净,更要让数据的处理过程可追溯、可复用、可维护。

FineDataLink 除了完成数据同步,还可以在数据进入数仓的过程中进行必要的清洗、转换和关联处理,将不同系统中的原始字段转化为统一的数据结构。同时,将确定的数据处理规则配置到任务流程中,让数据按照既定规则自动执行,减少人工干预。这样,DWD 不仅能保证数据格式和业务标准的一致性,还能让整个数据加工过程更加规范,便于后续复用、维护和问题追溯。

DWD 设计的核心,不是数据越多越好

实际建设 DWD 时,还需要控制一个问题:不要把 DWD 做成什么都往里面塞的大宽表。DWD 更关注的是明细事实的完整性和标准化,而不是一次性满足所有分析需求。因此设计时应该重点关注:

  • 粒度是否唯一:一张表只能有一个明确的业务粒度。
  • 主键是否稳定:能够唯一标识一条业务事实,避免重复记录。
  • 口径是否统一:核心字段、状态、编码和业务规则必须有统一定义。
  • 数据是否可追溯:能够追溯到 ODS 甚至源系统,方便异常排查。
  • 模型是否可复用:不能只服务某一张报表,而应该成为上层数据应用的通用明细基础。

最终,DWD 承担的是数据仓库中非常关键的标准化层职责:把 ODS 中来源分散、结构不一、口径不同的原始数据,按照统一的业务规则和数据粒度,转换成企业可以复用的标准明细数据。到了这一层,数据才真正具备了进入后续汇总、分析和指标计算的基础。

四、DWS:汇总数据层,解决指标如何统一和复用

到了 DWD,数据已经完成了清洗、标准化和明细建模,但如果所有分析需求都直接从 DWD 开始计算,数据仓库还会面临一个新的问题:相同的业务指标被不同报表、不同部门重复计算。长期下来,不仅会增加计算和开发成本,还容易造成指标口径不一致。

因此,DWS(Data Warehouse Summary)主要负责对 DWD 明细数据进行进一步的主题化加工和汇总,将高频、稳定、具有公共复用价值的指标和数据结果沉淀下来。如果说 DWD 解决的是明细数据怎么标准化,那么 DWS 解决的就是:公共指标怎么算,以及算完之后如何被不同应用复用。

DWS 到底在做什么?

DWS 实际上承担了两个核心任务:

  • 第一,统一指标口径:将业务指标的计算规则、统计范围、时间口径和维度口径进行统一,避免同一个指标在不同应用中重复实现。
  • 第二,沉淀公共汇总数据:根据稳定的业务主题和统计粒度,对 DWD 明细数据进行预计算,将高频使用的数据结果沉淀下来,供多个下游应用复用。

因此,DWS 的核心产出不是更少的数据,而是:统一的指标 + 稳定的统计粒度 + 可复用的公共数据。

在实际建设中,DWS 需要围绕销售、客户、库存等业务主题,对 DWD 明细数据进行关联、转换和聚合,形成可以重复使用的公共数据模型。例如,销售主题可以关联订单、客户、商品和区域数据,统一销售额、订单量、客单价等指标的计算口径,再按照日期、区域、商品等维度进行汇总,形成标准化的销售分析数据集。

在这个过程中,可以借助 FineDataLink 完成多源数据接入、字段映射、数据关联和聚合转换,将分散的业务明细加工成主题汇总表。同时,根据业务需求配置全量或增量同步、定时调度和任务依赖,保证 DWS 数据持续更新,减少重复开发和人工维护。这样,后续无论是搭建销售经营看板,还是开展客户贡献度、区域销售等专题分析,都可以直接复用已有的数据模型。

哪些数据适合沉淀到 DWS?

并不是所有指标都需要提前计算。DWS 主要沉淀具有公共性和稳定性的数据。判断一个指标是否适合进入 DWS,可以重点看三个条件:

  • 使用频率高:是否被多个报表、分析场景或数据应用重复使用。
  • 业务口径稳定:指标定义、计算公式和统计范围是否已经明确。
  • 具有复用价值:是否能够脱离具体报表,作为公共数据供多个下游场景使用。

满足这些条件的指标,更适合在 DWS 中统一沉淀。而临时分析指标、一次性需求以及强依赖具体应用逻辑的数据,不需要全部放进 DWS,否则 DWS 很容易变成新的需求堆积层。

DWS 表应该按照业务主题组织

DWS 的表设计通常围绕业务主题展开,而不是按照某一张具体报表建立。常见的主题包括:销售主题、客户主题、商品主题、库存主题、财务主题、供应链主题。每个主题内部,再根据业务分析需求确定对应的统计粒度和指标体系。

这样设计的好处是:上层应用变化时,底层公共数据不需要频繁调整。BI 报表、经营驾驶舱、数据应用都可以基于 DWS 中的公共数据进行二次组织,而不是每开发一个应用,就重新从 DWD 开始做一套计算。因此:DWS 应该面向公共业务能力建设,而不是面向单一报表建设。

五、ADS:应用数据层,解决数据如何服务具体业务

到了 DWS,公共指标和主题数据已经完成沉淀,但这些数据还不一定能够直接用于具体业务场景。因为 DWS 解决的是公共数据复用,而业务应用需要的是面向具体场景组织好的数据结果。因此,还需要 ADS。

ADS(Application Data Service)是应用数据层,主要负责根据具体业务应用、分析场景和展示需求,对 DWS 或 DWD 中的数据进行进一步加工,形成可以直接被业务系统、BI 工具或数据应用使用的数据集。

如果说 DWD 解决明细数据标准化,DWS 解决公共指标复用,那么 ADS 解决的就是:数据如何面向具体业务场景交付。

ADS 的核心职责:面向应用组织数据

ADS 最大的特点是场景化。DWS 中的数据强调公共性和复用性,而 ADS 不再要求所有场景通用,而是围绕具体应用确定:需要哪些指标、使用哪些维度、数据采用什么粒度、多长时间更新一次、最终以什么结构提供。因此,ADS 本质上是数据仓库和业务应用之间的一层适配层。

ADS 还承担数据服务和性能优化职责

ADS 不只是为 BI 报表准备数据,还需要根据不同应用的访问需求,设计合适的数据组织方式和查询策略。实际建设中,需要重点考虑:

  • 更新频率:根据业务需求确定实时、小时级或日级更新。
  • 数据粒度:根据应用场景确定明细、汇总或指标级数据。
  • 数据保留:明确历史数据的存储周期和归档规则。
  • 查询性能:通过预计算、数据汇总、分区及查询优化,降低复杂查询的响应压力。

随着企业数据应用不断增加,BI 看板、经营分析系统、业务应用甚至 AI 应用,都可能需要调用数仓中的数据。因此,ADS 还需要考虑数据如何按照不同应用的需求稳定输出。在实际建设中,可以借助 FineDataLink 将数据集成、加工、任务调度和数据服务纳入统一流程,完成 ADS 数据集的持续更新与输出,让加工后的数据能够更好地支撑下游 BI 分析及业务应用。

因此,ADS 的核心职责是:将数仓内部的数据模型,转化为面向具体业务应用的数据服务。这也是 ADS 与 DWS 的关键区别:DWS 关注公共数据和指标的沉淀与复用,ADS 关注数据面向具体应用的组织、输出和使用。

六、数据仓库分层,实际建设时要注意什么?

理解四层架构只是第一步,真正落地时,还需要把握几个关键原则。

① 每一层必须有明确的数据处理边界。 ODS 不承担复杂业务计算,DWD 不随意进行指标汇总,DWS 重点沉淀公共数据,ADS 面向具体应用需求。避免不同层级的处理职责相互混淆。

而要真正把这些边界落到数据链路中,首先要解决的其实是数据接入和加工效率。尤其是业务系统较多的企业,数据可能分散在 ERP、CRM、MES、财务系统以及各种数据库中,如果每个系统都单独开发同步和加工程序,后续维护成本会非常高。这类场景可以借助 FineDataLink 统一完成数据集成与开发,将不同来源的数据按照既定规则同步到 ODS,并进一步完成清洗、转换和加工。这样做的价值不只是把数据搬进数仓,更重要的是让数据接入、加工和调度能够纳入统一的数据链路,方便后续维护和扩展。

② 明确数据粒度,避免明细与汇总混用。 例如,订单明细表可能一行代表一个商品订单项,而销售汇总表一行代表某天某区域的销售情况。两者的数据粒度不同,不能直接混用或随意关联。实际建表时,尤其要先明确 DWD 层的粒度:一行数据到底代表什么。粒度确定之后,再设计主键、维度关联以及后续汇总逻辑,否则很容易出现重复关联、重复计算,最终导致指标失真。

③ 公共指标尽量统一沉淀。 对于销售额、毛利率、订单量、库存周转率等高频指标,应明确计算逻辑、统计范围和时间口径,避免不同部门各算一套。这里要特别注意,公共指标不是简单把一个数字存进 DWS,而是要把指标定义、计算逻辑、统计粒度和适用范围一起规范下来。只有口径统一,DWS 才真正具备复用价值,ADS 和上层报表也不需要重复开发同一套计算逻辑。

④ 不要为了分层而分层。 四层是常见的数仓建设模式,并不是所有企业都必须机械地建立四套独立数据表。具体还要结合数据规模、业务复杂度、更新频率和应用需求设计。小规模、低复杂度的数据场景,没有必要为了"架构完整"增加大量中间表;而对于数据来源复杂、业务系统较多、指标复用程度高的企业,则需要更加清晰地划分数据加工边界。

归根结底,数据仓库分层不是为了增加数据表,而是为了让数据采集有规范、数据加工有标准、公共指标可复用、业务应用有支撑。

结语:好的数仓,不是层越多越专业

数据仓库分层看起来是在讲 ODS、DWD、DWS、ADS,但真正要解决的问题,其实只有一个:让数据加工过程变得清楚。

数据从哪里来?在 ODS 里解决。数据怎么变得标准?在 DWD 里解决。公共指标怎么统一、复用?在 DWS 里解决。具体业务怎么使用?在 ADS 里解决。

所以,真正好的数仓,不是表最多,也不是层级最复杂。数据仓库分层的意义,是让每一份数据都有明确的位置、明确的职责,也让每一个指标都经得起追问。

【AI声明】本文内容通过大模型匹配关键字智能生成,仅供参考,帆软不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系blog@fanruan.com进行反馈,帆软收到您的反馈后将及时答复和处理。

若想了解更多关于FineDataLink的相关信息,您可以访问下方链接,或点击下方组件,快速获得帆软为您提供的企业大数据分析平台建设建议、免费的FineDataLink试用和同行业自助智能分析标杆案例学习参考。

了解更多FineDataLink信息:www.finedatalink.com

帆软FineDataLink数据集成平台在线试用!

免费下载

评论区

暂无评论
帆软企业数字化建设产品推荐
报表开发平台免费试用
自助式BI分析免费试用
数据可视化大屏免费试用
数据集成平台免费试用