数据管理,不能只看数据本身。
一份数据资产,需要有清晰的定义和归属;一条数据链路,需要能够追踪来源和去向;经过加工的数据,还需要能够被不同业务部门共享使用。
于是很多人会默认认为:只要上了数据中台,就自然有了资产目录;只要梳理了资产目录,就等于画好了数据地图。
但真正落地时会发现,事情没这么简单——企业可能已经整理了上千张数据表,却没人知道哪些表真正有价值;也可能画出了系统之间的数据流向,却无法回答某个指标该找谁确认;甚至已经建设了数据中台,但业务部门依然习惯找 IT 临时取数。
这说明,数据资产目录、数据地图和数据中台虽然都服务于数据治理,但定位并不一样。三个概念分别管理什么?有什么区别?企业又应该如何建设?下面从概念、功能、区别和落地方法四个方面展开。
一、数据资产目录:企业有哪些数据资产?
数据资产目录(Data Asset Catalog),简单来说,就是企业数据资产的统一清单。它主要解决一个问题:企业有哪些数据,这些数据在哪里,由谁负责,可以用来做什么?
随着 ERP、CRM、MES、WMS 等业务系统不断增加,数据分散在不同数据库、数据表和业务平台中。业务人员可能知道自己需要销售数据,却不知道应该找哪张表;开发人员也可能不清楚某张表属于哪个业务领域。数据资产目录就是把这些分散的数据资源按照统一规则组织起来。
1. 数据资产清单:摸清企业的数据家底
按照业务领域、系统来源和数据类型进行分类:
- 销售主题:客户表、销售订单表、销售明细表。
- 采购主题:供应商表、采购订单表、采购入库表。
- 库存主题:库存余额表、出入库明细表。
- 财务主题:应收账款表、应付账款表、费用明细表。
通过分类整理,企业可以掌握各个业务领域的数据资源。
2. 数据资产说明:明确数据的业务含义
每项数据资产需要补充必要的说明信息,包括:
- 业务定义:数据表和字段具体代表什么。
- 数据来源:来自哪个业务系统或数据库。
- 更新频率:实时更新还是定期更新。
- 使用场景:适合用于哪些业务分析。
- 责任部门:由哪个部门或岗位负责维护。
例如,销售订单表需要明确记录的是订单头还是订单明细,销售金额是否包含税额。业务定义和统计口径不清楚,数据就容易被误用。
3. 数据责任与权限:明确管理边界
除了数据说明,还需要记录业务负责人、技术维护人员、数据安全等级和使用权限等信息,方便后续维护和问题追踪。
在数据资产梳理过程中,FineDataLink 5.0 可以连接不同业务系统的数据源,并结合数据表、字段和开发任务之间的关系,辅助整理数据来源和技术信息。
二、数据地图:把企业的数据分布和关系展示出来
数据资产目录解决了企业有哪些数据的问题,但数据资产越来越多,仅靠清单仍然不够直观。一张数据表来自哪里?经过哪些加工?最终被哪些报表和业务应用使用?这就需要数据地图(Data Map)。
数据地图可以理解为企业数据资产的可视化全景图,通过图形化方式展示数据的分布、关联、流转和使用情况,主要关注三个方面:
1. 数据分布:数据在哪里
按照业务系统、业务领域和数据主题,展示企业的数据资源分布。管理人员可以了解各个系统存储了哪些数据,开发人员也能快速定位数据所在的位置。
2. 数据流转:数据从哪里来、到哪里去
数据从业务系统采集后,通常还要经过 ODS、明细层、汇总层等加工环节,最后进入报表或业务应用。一条销售数据链路可能是:
```
ERP销售订单 → ODS订单数据 → DWD销售明细 → DWS销售汇总 → 销售分析报表
```
当报表数据出现异常时,可以沿着这条链路向上追踪,检查源数据、加工任务和中间数据表。在这一过程中,FineDataLink 5.0 可以通过 ETL 数据流配置数据同步、字段映射和加工规则,并结合数据表与开发任务之间的血缘关系,辅助梳理上下游依赖。
数据地图让原本分散在不同系统中的数据关系变得可视化,数据开发人员不必只靠人工翻查 SQL 和开发文档来理解数据链路。
3. 数据关联与使用:数据之间有什么联系
除了数据来源和加工关系,还可以关注数据之间的关联,以及哪些部门、报表和应用在使用相关数据。一张客户数据表可能同时被销售分析、客户管理和经营驾驶舱使用。了解这些关系,有助于评估数据变更的影响范围。
需要区分的是,数据地图不等于数据血缘图。数据血缘重点描述数据的来源、加工和去向,而数据地图还可以进一步展示资产分类、业务说明、数据分布和使用情况。
三、数据中台:让企业的数据能够统一加工和复用
前面两个概念,一个管理数据资产清单,一个展示数据资产关系。数据中台(Data Middle Platform)则进一步解决数据如何统一采集、加工、治理,并持续提供给业务部门使用的问题。
数据中台不是简单的数据存储平台,而是一套围绕数据整合、治理、加工、服务和复用建立起来的能力体系。可以把它理解为企业的数据加工中心:底层接入业务数据,中间进行清洗、建模和治理,上层向不同业务应用提供数据服务。主要包括四项能力:
1. 数据集成:打通不同业务系统
企业的数据可能来自 ERP、CRM、MES、WMS、财务系统以及外部数据源,需要通过统一的数据集成能力打通。FineDataLink 5.0 支持多种数据源连接,以及全量、增量和 CDC 等数据同步方式,可以帮助企业建立统一的数据采集链路。
2. 数据加工:建立统一的数据模型
数据采集之后,还需要经过清洗、转换、关联和计算,形成规范的数据模型。企业需要按照业务过程、事实表、维度表和指标口径组织数据,减少不同部门重复加工和统计口径不一致的问题。
3. 数据治理:保证数据质量和使用规范
数据中台还需要建立统一的数据标准、元数据、数据字典、数据质量和数据安全管理机制:
- 客户编号需要统一编码规则;
- 销售金额需要明确统计口径;
- 库存数量需要区分账面库存、可用库存和锁定库存。
对于关键数据,还需要设置完整性、唯一性、准确性和及时性等质量规则。FineDataLink 5.0 提供数据质量检测、任务调度、运行监控和异常告警等能力,可以辅助企业发现数据加工过程中的问题。
4. 数据服务:让数据真正进入业务应用
经过统一加工的数据,可以通过不同方式提供给业务部门,基于统一的数据模型和指标口径获取数据,减少重复计算和统计口径冲突。
数据中台的核心价值,是把分散的数据加工能力沉淀下来,让数据能够跨部门、跨系统持续复用。
四、数据资产目录、数据地图、数据中台,到底有什么区别?
三个概念经常一起出现,但它们解决的问题并不相同。可以用三个简单的比喻来理解:
- 数据资产目录:像一本数据资源手册,告诉你有什么数据、在哪里、由谁负责。
- 数据地图:像一张数据导航图,展示数据分布、加工关系和上下游影响。
- 数据中台:像一套数据生产和服务体系,负责把数据接进来、加工好,再提供给业务使用。
三者并不是相互替代的关系。数据资产目录偏向资产管理,数据地图偏向关系展示,数据中台偏向数据加工与服务。数据资产目录和数据地图更多属于数据资产管理与治理的应用能力,而数据中台覆盖数据接入、加工、治理和服务等环节。不同企业的产品架构和建设模式可能有所不同,三者的功能边界也不一定完全一致。
五、企业应该如何把三者结合起来?
理解概念之后,更重要的是如何落地。对于制造企业,可以围绕销售、采购、生产、库存和财务等核心业务,分阶段推进:
- 第一步:梳理业务系统和数据资源。盘点 ERP、CRM、MES、WMS 等系统,明确有哪些数据表、数据文件和业务报表,确定优先管理的数据范围。
- 第二步:建立数据资产目录。按照业务主题整理数据资产,补充数据名称、业务定义、来源系统、更新频率和责任部门等信息。
- 第三步:梳理数据地图和血缘关系。从核心业务链路入手,梳理数据从源系统到数据仓库,再到下游报表的流转关系。借助 FineDataLink 5.0 的任务配置和血缘关系,辅助梳理数据表、开发任务及上下游依赖。
- 第四步:建设统一的数据加工体系。按照业务需求建立数据分层和主题模型,规范字段定义、数据标准和指标计算口径。
- 第五步:建立数据服务和持续运营机制。将经过治理的数据提供给经营分析、业务系统和管理应用使用,同时建立数据质量检查、任务监控、权限管理和资产维护机制。
结语
数据资产目录、数据地图和数据中台,虽然都与数据管理有关,但各自关注的重点不一样:
- 数据资产目录:解决数据有哪些、在哪里、由谁负责。
- 数据地图:解决数据如何分布、如何关联、如何流转。
- 数据中台:解决数据如何集成、加工、治理和复用。
实际建设中,这三项工作需要相互配合。数据资产要有人梳理,数据关系要有人维护,加工好的数据也要真正进入业务场景。数据只有找得到、看得懂、追得溯、用得上,才能真正发挥数据资产的价值。