数据治理到底治什么?5条主线拆清标准、质量、血缘、资产与权限

零门槛、免安装!海量模板方案,点击即可,在线试用!

免费试用

数据治理到底治什么?5条主线拆清标准、质量、血缘、资产与权限

阅读人数:109预计阅读时长:5 min

数据治理这个词,在企业里的命运通常是这样的:开会的时候所有人都说重要,但落地的时候没有人知道从哪里开始。IT 说这是业务的事,业务说这是 IT 的事。最后要么立了个项目花了一大笔钱、做出来没人用,要么拖了两年还在讨论怎么建。

数据治理确实复杂,但复杂不等于无从下手。它本质上是五件事:统一语言(数据标准)、保证质量(数据质量)、看清来龙去脉(数据血缘)、管好资产(数据资产)、控好权限(数据权限)。把这五条主线分别拆清楚,治理就有了落脚点。

一、数据标准:先统一语言,再谈分析

数据治理最先要解决的问题,不是技术问题,是语言问题。

同一家企业,"客户"这个词在 CRM 里是有购买记录的人,在市场部是注册了但没买过的潜在用户,在财务系统里是有应收账款的单位。三个部门说的"客户数",含义完全不同,数字也完全不同。到了集团层做综合分析,你会发现根本无法对数,因为基础概念就不一样。

数据标准要解决的就是这个问题:把企业里关键业务对象和指标的定义统一起来,形成大家认可的"官方口径"。

数据标准通常包括几个层次:

  • 业务术语标准:定义业务概念,比如"客户""订单""SKU""成本中心"在本企业的准确含义。
  • 数据元标准:定义数据字段的格式要求,比如日期统一用 YYYY-MM-DD,手机号统一11位数字,金额统一保留两位小数。
  • 编码标准:统一各系统的编码体系,比如产品编码规则、组织机构编码、地区编码。这一条往往是数据对账最麻烦的地方——同一个产品,在 ERP 里是一套编码,在 WMS 里是另一套,在电商系统里又是一套,对不上。
  • 指标口径标准:定义核心指标的计算规则,比如"毛利率"是用含税还是不含税,"在职员工数"是否包含兼职,"库存周转天数"用的是哪个库存口径。

数据标准建立之后,不是放在文档里就完事了,要落到具体系统里执行——系统录入时按标准校验,数据同步时按标准映射。

比如 FineDataLink 在做数据同步任务时,可以配置字段映射和转换规则,把源系统里不规范的编码、格式、字段名按照已定义的数据标准进行转换,让进入数据层的数据从一开始就符合统一口径,而不是让每个分析师在取数的时候各自做转换。

二、数据质量:发现问题比修复问题更重要

数据质量问题在每家企业里都存在,区别只是知不知道、严不严重、有没有人管。

典型的数据质量问题:

  • 完整性问题:字段为空,比如客户联系方式缺失,订单的商品编码为空。
  • 准确性问题:数据录入错误,比如金额多打了一个零,日期填成了未来时间。
  • 一致性问题:同一个事实在不同系统里的记录不一样,比如 ERP 里的库存数量和 WMS 里的实物盘点对不上。
  • 及时性问题:数据更新滞后,分析层用的还是昨天的数据,但业务已经发生了重大变化。
  • 重复性问题:同一条记录在数据库里存了多次,导致汇总结果偏大。

数据质量管理的核心逻辑是:先定规则,再检测,再报告,再处理。

不同字段的质量规则不一样:有些字段不能为空,有些字段有合法值域,有些字段有格式要求,有些字段之间有逻辑约束(比如退款金额不能大于订单金额)。把这些规则显式定义出来,然后定期或实时跑检测任务,发现问题及时通知。

FineDataLink 支持在数据同步任务里内嵌数据检测规则:同步完成后自动运行检测,校验记录数是否符合预期、主键是否有重复、关键字段是否为空、金额汇总是否与源端一致。如果检测不通过,任务报警,数据不继续流向下游,避免脏数据污染分析层。这种"在管道里做质量门禁"的方式,比事后发现问题再回头修复效率高得多。

很多企业的质量问题不是没有人发现,而是发现太晚。数据错了一个月后才在报表里发现异常,这时候已经影响了很多下游分析和决策。越靠近数据产生的源头做质量检测,修复成本越低。

三、数据血缘:知道数据从哪里来、到哪里去

数据血缘(Data Lineage)是一个经常被低估的能力。做数据治理的团队经常遇到这些问题:

  • 有人反映报表数字不对,但不知道这个数字是怎么算出来的,经过了哪些加工步骤,原始数据来自哪个系统;
  • 想修改某个字段的计算口径,不知道下游有哪些报表和应用依赖这个字段,改了会影响什么;
  • 源系统做了一次改版,某些字段改了名字或含义,不知道数据链路里哪些地方需要跟着改;
  • 数据泄露了,不知道这批数据的访问路径是什么,经过了哪些处理环节。

这些问题都需要数据血缘来回答。数据血缘记录的是数据的流动路径:从哪个源系统来,经过了哪些 ETL 加工,存到哪些表里,被哪些报表和应用消费。

粒度可以细到字段级别——某个指标字段,追溯到它的计算公式,再追溯到参与计算的原始字段,再追溯到那些字段来自哪个业务系统的哪张表。

血缘的建立有两种方式:一种是手工梳理,工作量大,容易遗漏;另一种是从数据处理工具里自动采集,在数据流转过程中自动记录每一步的输入输出关系。

FineDataLink 在执行数据任务的过程中,会记录任务的源表、目标表、转换逻辑和执行时间,这些本身就是血缘信息的来源之一。结合数据治理平台的血缘管理模块,可以把 FineDataLink 各任务的处理链路纳入整体血缘图,帮助数据团队在全局视角下看清数据是怎么从业务系统一步步流到分析消费端的。

四、数据资产:让数据真正被找到和用好

数据资产管理(Data Asset Management)解决的问题是:企业里有大量数据,但分析师不知道有哪些数据可以用,也不知道去哪里找。

这个问题比想象的普遍。很多企业有几十个业务系统,上千张数据表,但没有统一的数据目录。新人入职,想找一份客户数据,不知道问谁,不知道在哪个系统,不知道哪张表是准确的,只能在茫然中四处打听。

数据资产管理通常包括:

  • 数据目录:把企业所有的数据资产登记在册,包括数据库、数据表、字段、文件、指标、报告——有什么、在哪里、是什么含义,一张清单说清楚。
  • 元数据管理:记录每个数据对象的描述信息,包括业务含义、负责人、更新频率、数据量、质量状态、使用频率。
  • 数据搜索:支持按关键词、按业务主题、按标签检索数据资产,找到之后知道怎么申请使用权限。
  • 数据评级:对数据资产的可信度和质量做评估,让使用者知道哪些数据是"黄金数据",哪些数据是"参考数据",哪些数据质量存疑。

数据资产管理做好了,分析效率会有明显提升:不用再花大量时间找数据、确认口径,找到了就知道能不能用、怎么用。

数据资产目录的元数据来源,一部分来自业务系统的库表结构,一部分来自数据集成工具的任务元信息。FineDataLink 的任务配置里包含源表和目标表的结构信息、字段映射关系、更新频率等,这些可以作为元数据的重要来源,供数据资产目录采集,减少手工录入的工作量。

五、数据权限:该看的看到,不该看的看不到

数据权限管理是数据治理里最容易被忽略、但出了问题后果最严重的一条。

企业数据里包含大量敏感信息:员工薪资、客户身份信息、财务明细、商业合同、核心指标……不是所有人都应该看到所有数据。

数据权限要解决三个问题:

  • 谁能访问哪些数据? 按角色、部门、职级划分数据访问范围,不同角色看到的数据范围不同。比如,业务员只能看自己负责区域的销售数据,区域经理看本大区的,总监看全国的。
  • 能看到什么程度? 有些数据可以看汇总,但不能看明细;有些字段可以看,但关键字段(比如手机号、身份证号、工资)需要脱敏后才展示。
  • 权限变化怎么管? 员工离职、换岗时权限要及时调整;临时权限要有时效限制;权限申请要有审批流程,不能随意开通。

数据权限不只是在分析工具上配一下可见范围,更根本的是在数据流通的每个环节都要考虑:数据从业务系统同步的时候,敏感字段是否应该脱敏或加密?数据存储的时候,不同密级的数据是否应该隔离存放?数据被访问的时候,操作日志是否有记录,便于审计?

免费试用

FineDataLink 在数据同步任务中支持字段级别的脱敏处理:在数据从源端同步到目标端的过程中,可以对手机号、身份证号、银行账号等敏感字段配置脱敏规则(掩码、哈希、替换等),让进入数据分析层的数据从一开始就是脱敏后的版本,而不是把脱敏责任全部推到分析工具层。这样的处理方式更安全,也更容易管理。

六、五条主线怎么结合起来推进

五条主线说完了,实际推进的时候,不可能同时全部开始。一个相对务实的推进顺序:

第一步,先把数据标准做起来。 选择最核心的几个业务对象和最常用的指标,把口径定清楚。不用追求大而全,从最痛的地方开始,比如"销售额"的口径到底是含税还是不含税、包不包括退款。

第二步,在数据集成环节做质量检测。 数据流入分析层的时候,加上基本的质量门禁。这一步技术门槛不高,收益却很明显——至少能保证分析层的数据不会有明显的脏数据。

第三步,把数据资产目录建起来。 至少让分析师知道有哪些数据可以用,在哪里找。这一步需要持续维护,不是建完就结束的。

第四步,完善数据权限管理。 结合实际的数据敏感程度和组织架构,把权限体系建起来,同时完善审计日志。

第五步,建立数据血缘体系。 血缘建立有一定复杂度,适合在数据架构相对稳定、核心链路清晰之后再做,不适合在最初阶段投入过多精力。

数据治理不是一次性项目,而是持续运营的机制。业务在变,数据在变,治理规则也需要随之调整。建立一个能持续运作的治理机制,比做一个漂亮的治理项目更重要。

结语

数据治理落地难,难在它是一件需要技术、业务和管理共同配合的事。

技术工具能解决数据流通、质量检测、权限执行的问题,但统一口径、建立规范、推动业务部门配合,靠的是管理和组织推动力。

很多数据治理项目失败,不是因为工具不好,而是因为把所有问题都当成技术问题来解决,忽略了背后的组织和流程问题。

技术是治理的支撑,不是治理本身。把这个关系想清楚,再去选工具、定方案,事情会好做很多。

【AI声明】本文内容通过大模型匹配关键字智能生成,仅供参考,帆软不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系blog@fanruan.com进行反馈,帆软收到您的反馈后将及时答复和处理。

若想了解更多关于FineDataLink的相关信息,您可以访问下方链接,或点击下方组件,快速获得帆软为您提供的企业大数据分析平台建设建议、免费的FineDataLink试用和同行业自助智能分析标杆案例学习参考。

了解更多FineDataLink信息:www.finedatalink.com

帆软FineDataLink数据集成平台在线试用!

免费下载

评论区

暂无评论
帆软企业数字化建设产品推荐
报表开发平台免费试用
自助式BI分析免费试用
数据可视化大屏免费试用
数据集成平台免费试用