数据模型分层是什么?概念层、公共层、应用层如何协同

零门槛、免安装!海量模板方案,点击即可,在线试用!

免费试用

数据模型分层是什么?概念层、公共层、应用层如何协同

阅读人数:174预计阅读时长:5 min

你有没有遇到过这种情况:业务部门提出一个"近 30 天高价值用户复购率"的分析需求,数据开发人员发现三张表里都有相关字段,但统计口径各不相同,最终计算结果相差好几个百分点。

数据模型分层是什么?概念层、公共层、应用层如何协同

追查原因才发现,问题出在缺少统一的业务定义和公共模型。各部门各自建模、重复加工,数据烟囱也就逐渐形成。

要解决这些问题,企业需要建立从数据集成、模型建设到数据应用的完整体系。而数据模型分层,正是其中重要的一环。概念层、公共层、应用层分别解决什么问题?三者又该如何协同?下面逐一讲清楚。

一、概念层:解决业务如何理解数据的问题

概念层是数据模型建设的基础,主要负责将企业业务语言转化为统一的数据定义。

企业内部往往存在大量业务系统和管理部门,不同部门对同一个业务概念,可能有不同的理解。例如,财务部门关注确认收入,销售部门关注销售业绩,运营部门关注订单成交金额。如果缺少统一定义,同一个指标就可能出现多套计算口径,影响跨部门的数据分析和经营决策。

免费试用

因此,概念层需要从业务视角出发,对企业的业务对象、业务关系、业务规则和指标定义进行统一管理。主要包括三个方面:

业务实体定义

明确企业核心业务对象及其属性,例如客户、产品、订单、合同、供应商等。除了统一实体名称,还需要明确实体的业务含义、关键属性、唯一标识和管理范围,避免不同系统对同一对象采用不同的命名和定义。

业务关系定义

梳理不同业务实体之间的关联关系,明确客户与订单、订单与商品、合同与回款等业务关系。通过定义实体之间的联系,可以帮助数据人员理解业务流程,明确数据关联方式,为后续数据建模和跨主题分析提供依据。

指标与术语定义

统一业务指标的名称、计算公式、统计范围、时间口径和适用场景。例如,同样是销售额,需要明确采用订单金额、发货金额还是确认收入;涉及客户数量时,也需要明确统计的是全部客户、活跃客户还是有效客户。

这些定义看似基础,却直接影响后续数据加工和分析结果。概念层的核心价值,是建立统一的业务认知,让业务人员、数据人员和管理人员能够使用同一套语言理解数据,减少因业务定义不一致带来的沟通成本和数据偏差。

业务定义统一之后,还需要落实到具体的数据标准和质量规则中。在实际建设过程中,可以通过 FineDataLink 配置数据质量校验规则,对关键字段、数据格式和业务规则进行检查,及时识别缺失值、异常值及不符合规范的数据,减少基础数据问题对后续模型建设的影响。

二、公共层:解决数据如何复用的问题

概念层明确了业务含义,公共层则负责将这些定义落实到可复用的数据模型中。它主要面向企业多个业务部门和应用场景,沉淀经过标准化处理的公共数据,将分散在不同系统中的数据按照统一规则组织起来,减少重复开发和重复加工。公共层通常包括以下内容:

公共维度模型

统一客户、产品、组织、区域、时间等公共维度,明确维度属性、编码规则和层级关系。公共维度是不同业务主题开展关联分析的基础。例如,销售分析和库存分析都需要使用产品维度,如果两个主题分别维护产品编码和分类标准,就容易出现数据无法关联、统计结果不一致的问题。通过统一维度模型,可以让不同业务主题在相同的标准下开展分析。

公共事实模型

围绕订单、采购、销售、库存、回款等核心业务过程,建立统一的事实数据模型。事实模型需要明确业务事件、数据粒度、关键字段和关联关系,确保不同业务过程的数据能够按照统一规则进行记录和分析。尤其需要注意数据粒度。同一业务过程可能存在订单级、订单明细级、商品级等不同粒度,建模时需要明确区分,避免后续关联计算出现重复统计。

公共指标模型

沉淀具有跨部门复用价值的指标,统一计算逻辑、统计口径和数据来源。除了指标名称和计算公式,还需要明确指标的统计周期、适用维度、数据更新频率及责任归属。对于具有上下级关系或组合计算逻辑的指标,还应梳理指标之间的依赖关系,保证指标体系能够持续扩展。

公共数据标准

统一编码规则、字段命名、数据类型、主键规范和关联关系,提升模型之间的数据一致性。例如,客户编码、组织编码和产品编码需要建立统一标准,避免同一业务对象在不同系统中出现多个编码,影响数据整合和关联分析。

公共层不是简单地把所有数据集中起来,而是将具有共性的数据加工逻辑、业务规则和指标口径沉淀下来,形成可以持续复用的数据资产。

面对分散在 ERP、CRM、MES 等系统中的业务数据,企业需要先打通数据来源,再进行统一加工。FineDataLink 支持多种异构数据源连接,并提供全量与增量同步、数据转换和任务调度等能力,帮助企业整合分散的数据资源,为公共维度、事实模型和指标模型建设提供支撑。

三、应用层:解决数据如何服务业务的问题

应用层是数据模型面向业务消费的最后一层,主要根据具体业务场景,对公共层的数据进行组合、加工和组织,形成可以直接使用的数据产品。

与公共层强调通用性不同,应用层更关注业务需求和实际使用效果。它不需要重新定义所有底层数据,而是根据不同部门的管理目标,灵活调用已经沉淀的公共模型。主要包括三个方面:

主题应用模型

围绕财务分析、销售分析、库存分析、人力资源分析等业务主题,组织相关数据,满足不同部门的分析需求。主题应用模型通常需要整合多个公共维度、事实数据和指标,让业务人员能够从统一的数据入口获取所需信息。

专项分析模型

针对特定管理问题,整合多个业务主题的数据,提供更有针对性的分析数据。这类模型通常服务于明确的业务目标,可能涉及多维度数据关联、复杂指标计算和特定分析逻辑。建设时需要兼顾业务需求与模型复用,避免将大量临时需求直接固化为重复的数据模型。

数据服务模型

将加工后的数据通过数据集、API、指标服务等方式提供给 BI、业务系统和 AI 应用使用。不同应用对数据的要求并不相同,有的需要结构化数据集,有的需要实时查询接口,还有的需要按照统一指标口径获取分析结果。因此,应用层还需要考虑数据服务方式、访问权限、更新频率和使用范围。

应用层不应该重新建设一套底层数据逻辑,而应尽可能复用公共层已经沉淀的数据和指标,在此基础上进行场景化加工。例如,财务分析看板可以直接调用公共层的收入、成本、利润等指标,再结合组织、区域和时间维度进行组合分析,无须重新定义每个指标的计算规则。

当公共模型完成沉淀后,数据还需要进一步开放给业务应用。对于需要跨系统调用数据的场景,可以利用 FineDataLink 的 API 数据服务能力,将加工后的数据封装为标准接口,供 BI、业务系统等应用调用,减少重复开发,让公共数据资产得到更充分的利用。

四、三层之间是什么关系?

概念层、公共层和应用层不是三个独立的数据仓库,而是从业务定义到数据沉淀,再到业务消费的一套完整体系。可以从三个角度理解:

  • 概念层:统一业务定义。明确业务对象、业务关系、指标口径和数据标准,解决数据含义不统一的问题。
  • 公共层:沉淀通用模型。围绕公共维度、事实和指标,形成标准化、可复用的数据资产,解决重复建模和数据标准不一致的问题。
  • 应用层:支撑业务场景。根据具体需求组织数据,提供报表、分析和数据服务,解决数据如何落地使用的问题。

三者之间存在明确的依赖关系:

  1. 概念层为公共层提供统一的业务定义和建模标准。
  2. 公共层承接概念层的定义,形成可复用的数据模型。
  3. 应用层复用公共层的数据资产,满足不同业务场景的使用需求。

应用层产生的新需求和业务反馈,也可以反向推动概念层和公共层持续优化。

需要注意,三层之间并不是简单的一对一映射。一个业务概念可能对应多个物理模型,一个公共模型也可能同时服务多个应用场景。

另外,数据模型的逻辑分层与 ODS、DWD、DWS、ADS 等数仓分层并不是完全相同的概念。ODS、DWD、DWS、ADS 更多是从数据加工和存储过程出发,划分数据在数仓中的不同处理层次;概念层、公共层、应用层则更强调业务定义、公共资产沉淀和场景化应用之间的职责划分。两者可以结合使用,但不能简单地将它们一一对应。

五、数据模型分层应该怎么落地?

明确分层结构只是第一步,真正落地还需要解决数据来源、模型规范、加工流程和持续治理等问题。

第一步:梳理业务对象和数据需求。 从企业核心业务出发,识别关键业务实体、业务流程和分析需求,明确哪些概念需要统一,哪些数据需要共享。这一阶段需要业务部门和数据团队共同参与,避免模型建设完全由技术人员决定,导致模型结构与实际业务脱节。

第二步:建立统一的模型规范。 制定命名规则、字段标准、主键规范、数据粒度和指标口径,明确不同层次模型的建设要求。同时建立模型命名、版本管理和变更管理机制,避免不同团队按照自己的习惯重复建模,造成后续维护困难。

第三步:建设公共数据模型。 优先梳理跨部门、跨业务复用频率较高的数据,将公共维度、事实模型和核心指标沉淀下来。不必一开始就追求覆盖所有业务,可以从客户、产品、组织等基础维度,以及订单、销售、库存等核心业务过程入手,逐步扩大公共模型的覆盖范围。

第四步:按业务场景建设应用模型。 围绕财务、销售、供应链、仓储物流等业务需求,组合公共数据,形成面向具体场景的数据应用。建设过程中需要控制应用模型的重复建设。能够直接复用公共模型的,不必重新加工;确实存在特殊业务逻辑的,再进行针对性扩展。

第五步:建立持续治理机制。 对模型的使用情况、数据质量、指标口径、血缘关系和变更记录进行持续管理,及时发现重复模型、冗余字段和数据不一致问题。同时建立模型责任机制,明确维护人员和业务归属,确保模型不仅能够建起来,也能够长期维护和迭代。

除了模型本身,数据加工链路是否稳定、数据流转过程是否可追溯,也直接影响模型的长期使用。日常运维中,FineDataLink 的任务监控、异常告警和数据血缘能力,可以帮助技术人员掌握任务运行状态,追踪数据流转关系,及时发现并定位异常,降低数据链路的维护成本。

六、最后总结

数据模型分层,本质上是对企业数据进行分工管理和价值组织。

概念层解决业务定义统一,让大家知道数据代表什么;公共层解决数据标准复用,让同一套数据逻辑能够服务多个部门;应用层解决业务场景落地,让数据真正支撑分析、管理和决策。三层之间既要保持边界清晰,也要建立有效衔接。

企业建设数据模型,不能只关注某个报表能不能取到数据,更需要考虑业务定义是否统一、公共逻辑能否复用,以及新增应用能否快速接入。只有把业务定义、公共数据资产和应用需求连接起来,才能减少重复建设和数据口径冲突,让企业的数据建设从满足单点需求,逐步走向标准化、体系化和可持续发展。

【AI声明】本文内容通过大模型匹配关键字智能生成,仅供参考,帆软不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系blog@fanruan.com进行反馈,帆软收到您的反馈后将及时答复和处理。

若想了解更多关于FineDataLink的相关信息,您可以访问下方链接,或点击下方组件,快速获得帆软为您提供的企业大数据分析平台建设建议、免费的FineDataLink试用和同行业自助智能分析标杆案例学习参考。

了解更多FineDataLink信息:www.finedatalink.com

帆软FineDataLink数据集成平台在线试用!

免费下载

评论区

暂无评论
帆软企业数字化建设产品推荐
报表开发平台免费试用
自助式BI分析免费试用
数据可视化大屏免费试用
数据集成平台免费试用