企业做数据分析,最怕的不是没有数据,而是数据看起来没问题,分析结果却不可信。
一张报表中的销售额与业务系统对不上,一份客户数据存在大量空值,一组经营指标经过核对后发现计算错误。这些问题都属于数据质量问题,但背后的原因并不相同。
有些是数据缺失,有些是数据本身不准确,还有些是不同系统之间的数据存在冲突。如果把所有问题都归结为数据质量差,就很难找到真正的原因。
判断数据质量,需要先建立清晰的标准。其中,完整性、准确性和一致性是三个最基础、也最容易混淆的维度。
它们分别回答三个问题:数据有没有缺失?数据本身对不对?不同数据之间能不能对得上?
在实际的数据处理过程中,这三个维度也需要落实为具体的检查规则。完整性检查可以识别必填字段为空、关键记录缺失等问题;准确性检查需要结合业务规则和可靠的数据来源,核验数据值及计算结果;一致性检查则要关注不同系统、数据表之间的字段和指标是否匹配。
FineDataLink 5.0 支持将数据质量规则融入数据采集、同步和加工流程,帮助企业识别数据缺失、数据异常等质量问题,并在数据流转过程中开展检查,减少问题进入下游分析后再反复核对的情况。
一、完整性:数据有没有缺失?
完整性关注的是数据是否齐全,主要判断应当存在的数据记录是否缺失,以及关键字段是否按照要求填写。
判断完整性,通常需要从两个层面入手。
第一,检查字段是否缺失。
针对业务必填字段,检查是否存在空值、空字符串或其他不符合填写要求的情况。需要注意,并非所有字段都必须有值,是否属于缺失,应当依据业务规则判断。
例如,订单编号、订单日期和客户编码通常属于关键字段。如果这些字段为空,就可能影响后续的数据关联、统计和追溯。因此,企业需要先明确哪些字段属于必填项,再进行针对性检查,而不是简单地要求所有字段都不能为空。
第二,检查数据记录是否完整。
即使每条记录的字段都填写完整,也不代表整体数据没有遗漏。企业还需要检查应当采集的业务记录是否全部进入目标数据表。
常见的完整性指标包括:
字段完整率 = 符合非空要求的记录数 ÷ 应填写记录数 × 100%
记录完整率 = 实际获取的符合条件记录数 ÷ 应获取记录数 × 100%
当企业需要从多个业务系统持续汇集数据时,如何及时发现漏同步、少记录的问题,是保证数据完整性的关键。借助 FineDataLink 5.0,企业可以统一管理多源数据同步任务,并结合任务运行状态和源端、目标端的数据核对,辅助排查数据缺失的原因,减少遗漏对后续分析的影响。
这里有一个关键前提:必须明确哪些字段需要填写,以及应当获取多少条记录。没有明确的业务标准和参照数据,就无法准确判断完整性。
此外,检查时还需要注意统计范围是否一致。源系统与目标表的业务日期、数据状态和过滤条件如果不同,即使记录数量存在差异,也不能直接认定为数据缺失。
完整性检查的核心,是发现应该有却没有的数据。
二、准确性:数据本身对不对?
准确性关注的是数据值是否正确反映实际业务情况。
与完整性不同,准确性不是检查数据有没有填写,而是检查填写的内容是否正确。
判断准确性,主要有三种方法。
第一,核对权威数据来源。
将数据与能够反映实际业务情况的可靠来源进行核对,确认关键字段是否正确。对于客户信息、业务单据、财务金额等数据,需要明确以哪个系统或业务记录作为核验依据。
如果同一项数据在多个系统中都有记录,就不能随意选择其中一个作为判断标准,而应根据业务职责明确权威来源,避免用一个未经验证的数据去判断另一个数据是否正确。
第二,检查计算逻辑。
针对可以通过公式验证的数据,检查计算结果是否符合既定规则。例如,订单总金额是否与商品数量、单价及相关折扣规则相符,汇总金额是否与明细数据一致。
对于经营指标,还需要检查计算公式、数据范围和统计条件是否符合定义。即使计算过程没有错误,如果输入数据本身存在问题,最终结果仍然可能不准确。
第三,验证业务规则。
根据实际业务约束,检查数据是否存在明显错误。对于关键数据,还可以结合业务人员复核或抽样核验,判断系统记录是否真实反映业务事实。
需要特别注意:符合计算规则,不代表数据一定准确。
如果商品单价本身录入错误,即使订单总金额严格按照公式计算,结果仍然可能不正确。因此,准确性检查不仅需要验证计算过程,还需要关注原始数据的真实性。
除了人工核对,数据质量还可以通过规则检查融入日常处理流程。FineDataLink 5.0 提供数据清洗转换与数据质量管理能力,企业可以根据实际业务要求配置相应处理和校验规则,及时识别不符合预期的数据。不过,对于金额是否真实、业务记录是否反映实际发生情况等问题,仍需要结合权威数据来源和业务事实进行验证。
准确性也不能简单地用一个公式覆盖所有场景。对于能够自动核验的数据,可以统计校验通过率;对于需要与外部事实核对的数据,则需要明确核验样本、判断标准和结果记录。
准确性检查的核心,是判断已有的数据值是否正确。
三、一致性:不同数据之间能不能对得上?
一致性关注的是不同系统、数据表、字段或统计口径之间,是否符合统一的业务规则。
企业的数据通常分散在多个业务系统中。同一业务对象可能被多个系统记录,同一个经营指标也可能经过不同的数据处理流程。如果缺少统一标准,就容易出现数据冲突。
判断一致性,主要关注两个方面。
第一,检查不同系统或数据表之间的数据关系。
例如,同一客户在两个业务系统中的客户编码、名称或所属组织存在差异,就需要核对这些差异是否符合业务规则。
对于存在关联关系的数据,还需要检查关联字段是否能够正确匹配,相关记录之间的数量、状态和业务关系是否合理。如果源表中的客户记录无法关联到客户主数据,或者关联后出现不符合预期的重复记录,就需要检查关联条件和数据映射规则。
第二,检查同一指标的统计口径是否统一。
一致性问题不一定表现为原始数据不同,也可能来自指标定义不同。
如果不同系统的数据无法对应,或者同一指标在不同报表中出现差异,单纯比较最终结果往往难以找到原因。企业可以通过 FineDataLink 5.0 数据血缘相关能力,辅助梳理数据表、加工任务及上下游依赖关系,让数据人员更清楚地了解数据经过了哪些处理、最终流向哪里,从而缩小问题排查范围。对于统计范围、计算公式和业务定义不一致的问题,还需要结合企业统一的数据标准进行核查与规范。
因此,在核对指标之前,需要先统一计算公式、统计范围、时间边界和业务状态等关键口径。只有在相同条件下进行比较,才能判断结果之间是否真正存在冲突。
还需要注意,一致性不等于不同系统的数据必须完全相同。
不同系统承担的业务职责不同,数据更新时点也可能不同。判断一致性时,应先明确数据来源、业务规则和同步时点,再确定哪些差异属于异常。
一致性检查的核心,是判断不同数据之间是否符合约定的关系和标准。
四、三个维度到底有什么区别?
完整性、准确性和一致性都用于判断数据质量,但它们的检查对象和判断依据不同。
三个维度之间存在联系,但不能互相替代。
一条数据可以字段齐全,却存在数值错误;一组数据可以各自准确,却因为统计范围不同而产生差异;两个系统的数据即使完全一致,也可能是因为它们同步了同一个错误值。
判断数据质量,关键不是看到异常就给它贴上标签,而是先明确检查对象、判断标准和比较范围。
五、实际工作中,应该怎么判断数据质量?
理解三个维度之后,下一步是将它们转化为具体的检查动作。
先明确检查对象和业务标准
首先确定需要检查哪些数据,以及这些数据需要满足什么要求。
没有统一的业务标准,就无法判断某个空值是否异常、某个金额是否正确,或者不同系统之间的差异是否合理。
标准还需要明确适用范围。对于不同业务类型、不同数据状态和不同统计周期,检查要求可能存在差异。提前定义这些条件,可以减少误报,避免把正常业务差异当成数据质量问题。
在梳理这些标准时,也可以借助 FineDataLink 5.0 将明确的数据要求落实到具体的质量检查规则中,让数据质量判断不再完全依赖人工经验。对于关键字段、业务数据和核心指标,先明确检查条件,再开展后续的数据处理与核验,能够为质量管理建立更清晰的执行依据。
按照三个维度分别设置检查规则
完整性检查,重点关注必填字段是否为空、应有记录是否缺失。
准确性检查,重点关注数据值是否符合权威来源、业务事实和计算规则。
一致性检查,重点关注不同系统之间的数据是否符合统一标准,以及同一指标是否采用相同的统计口径。
实际执行时,应当尽量将明确的判断条件转化为可重复运行的检查规则,减少单纯依赖人工经验造成的判断偏差。
在数据同步和加工过程中,FineDataLink 5.0 可以结合相应的数据质量检查能力,对关键数据开展规则校验,并将质量检查与数据处理流程结合起来。当发现数据异常时,数据人员可以进一步核对源端记录、同步情况和加工逻辑,判断问题究竟出在数据来源、传输过程还是处理环节。
发现异常后,进一步判断问题原因
检查出异常,只是数据质量管理的开始。
如果字段缺失,需要判断是源系统未填写,还是数据同步过程中发生遗漏;如果金额不准确,需要检查原始数据和计算逻辑;如果不同系统的数据不一致,则需要进一步核对数据来源、业务规则、更新时间和指标口径。
排查时,应当避免直接修改最终结果。例如,发现报表金额与业务系统不一致,如果没有弄清楚是源数据错误、计算逻辑问题还是统计口径差异,就直接调整报表数字,可能暂时消除了表面差异,却留下了更大的隐患。
对于跨表、跨系统的数据问题,还可以结合数据表之间的关联关系和上下游加工链路,缩小排查范围,避免只修改最终报表中的结果,却没有解决问题的根源。
当异常涉及多个数据表和加工任务时,FineDataLink 5.0 可以通过相关数据表与加工任务的上下游关系,辅助数据人员追溯数据流转链路。从源端数据、同步任务到后续加工环节逐步核查,可以更有针对性地定位问题发生的位置,判断是源数据异常、同步过程出现问题,还是加工逻辑导致结果偏差。
最终,应当记录异常原因、处理方式和复核结果,确保问题得到真正解决,而不是在下一次数据更新时再次出现。
六、写在最后
数据质量判断并不复杂,关键是不要把不同问题混为一谈。
完整性看数据是否齐全,准确性看数据本身是否正确,一致性看不同数据之间是否符合统一规则。
三者分别对应数据缺失、数据错误和数据冲突等不同问题,需要采用不同的检查方法。
企业在开展数据质量检查时,应当先明确业务标准,再将标准转化为可执行的检查规则,并根据异常类型进行针对性排查。
只有把判断标准讲清楚,才能知道数据究竟哪里出了问题,以及应该从哪个环节着手解决。