实时数据这件事,很多企业已经谈了很多年,但真正把它落到业务动作上的并不多。问题往往不在数据源本身,而在中间这一段:数据能不能在秒级被接进来、算出来、判断出来,再自动推给该处理的人和该触发的系统。
FineDataLink 5.0 解锁四大实时场景:集成、分析、预警与交换,让实时数据真正驱动业务决策
过去企业做实时,最常见的路径是自己搭一套开源流处理框架,再配上自研的采集脚本和消息队列。这条路径在技术团队足够强的公司里能跑通,但对大多数制造、零售、民生行业的企业来说,成本太高、链路太长、排查太难。设备数据要对接 PLC 和传感器,业务系统要监听数据库日志,算完之后还要触发预警、通知、审批,任何一个环节断掉,整个实时链路就名存实亡。
FineDataLink 5.0 在这个背景下把实时能力重新组织了一遍。它不再把实时当作某个单点功能,而是拆成四个可以直接落地的业务场景:实时集成、实时分析、实时预警、实时数据交换。这四个场景分别对应数据接入、流式处理、质量检测和数据服务四个环节,拼起来才是一套企业级实时处理平台该有的样子。
实时数据为什么难落地
先看一个制造业里反复出现的场景。一条高速产线,设备数据以每秒数千条的频率产生,一旦某个工艺参数偏离正常区间,晚几分钟发现,就意味着成批的次品已经下线。厂长需要的是实时看到设备利用率和产量,设备操作工需要的是异常发生时立刻知道,而不是次日看 T+1 报表再去追责。
这个需求拆开来看,其实包含了四个不同的问题。数据怎么从 PLC、SCADA、MQTT 这些设备侧接进来,这是实时集成的问题。接进来的数据怎么清洗、过滤、聚合、关联,变成产量大屏能直接消费的指标,这是实时分析的问题。算出来的指标一旦异常,怎么自动识别并通知到人,这是实时预警的问题。处理好的数据怎么同步到 ERP、MES 这些业务系统,让上下游保持一致,这是实时数据交换的问题。
大多数企业在做实时时,只解决了其中一段。有的能把数据接进来,但没有计算能力,接进来就是一堆原始流;有的能算,但算完的结果躺在数据库里,没有预警和触达机制;有的能同步,但同步的时效性和一致性又撑不住。于是实时这件事,在很多企业里就变成了一个永远在建设、永远不完整的工程。
FineDataLink 5.0 的做法,是把这四个场景放到同一个平台里,用一套可视化的开发方式串起来。下面分别展开这四个场景,看它具体解决了什么。
场景一:实时集成,把设备数据和消息队列接进来
实时集成的核心,是面向多种异构的实时数据源做采集和同步。这些数据源大致可以分成三类:物联网设备协议、数据库日志、消息队列。
在设备协议这一侧,FineDataLink 5.0 支持 MQTT 输入和 WebSocket 输入。制造业里常见的 PLC、传感器、SCADA 系统,很多都通过 MQTT 协议对外发数据,过去要对接这些设备,往往需要开发团队写专门的 Connector,成本高、周期长。FDL 把 MQTT 作为开箱即用的输入节点,配置好连接信息就能接入,省掉了这一层自研工作。
在数据库这一侧,实时集成靠的是 CDC 输入。通过监听数据库的 Binlog、Logminer 等日志变化,实现对源库增量数据的零侵入采集。这里的零侵入很关键,它意味着不需要对来源表做任何改造,也不影响业务系统的正常运行。
在消息队列这一侧,FDL 支持 Kafka、Pulsar、IBM MQ、RabbitMQ、RocketMQ 等多种输入,还支持 Paimon 这类实时湖仓格式和 Webhook 事件输入。这种数据源覆盖的广度,对制造业尤其重要,因为制造企业的数据来源往往非常杂,设备协议、数据库、消息队列会同时存在,任何一个接不进来,整条链路就断了。
以厦钨新能源为例,这家新能源材料企业的实时数据集成场景,技术链路就是通过 Kafka、MQTT 或数据库 CDC 接入数据,经过 JSON 解析、清洗过滤、字段映射转换后,写入关系型数据库或 MPP 架构数据库作为数仓 ODS 层。华彬快消、晶澳太阳能、拜耳医药、北汽蓝谷走的也是类似路径,其中华彬快消单客户运行了 206 个实时任务,是当前任务数最多的客户。
场景二:实时分析,让流进来的数据变成可用的指标
数据接进来只是起点,真正的价值在于把它算成业务能看懂的指标。实时分析场景要解决的是对持续流入的数据做实时计算、聚合、关联和指标加工,快速反映业务当前状态。
FineDataLink 5.0 在计算引擎上提供了两种选择。一种是自研计算引擎,无需额外部署,开箱即用,支持 Exactly-Once 语义;另一种是 Flink 外置引擎,适用于复杂计算场景,同样支持 Exactly-Once 语义。这种双引擎设计的好处是,简单场景不用为了用流处理而额外搭一套 Flink 集群,复杂场景又能切换到 Flink 去做更重的计算。
在开发方式上,FDL 把流式处理做成了可视化配置。JSON 解析、XML 解析、字段设置、新增计算列、数据过滤这些清洗动作,以及数据关联、数据合并、分组汇总、FlinkSQL 这些计算动作,都可以通过界面化拖拽完成,不需要手写 Flink 代码。这对那些没有专职流计算工程师的企业来说,直接降低了实时分析的门槛。
算出来的结果可以直接供 FineBI 消费,也可以输出到数据库表,支撑 FVS 3D 大屏和数字孪生场景。电商的销售实时大屏、制造业的产量实时大屏,都是这种能力的典型应用。天宇药业、天岳半导体、物产中大、无锡财通、紫燕食品、博深股份这些客户,走的都是数据库 CDC 接入后,通过 FlinkSQL、维度表、关联、过滤、计算列完成实时加工,再写入分析型数据库用于生产看板的技术链路。
这里要特别提一下信创的问题。很多企业做实时分析时用的是开源 Flink,但开源 Flink 对国产数据库的支持并不充分。FDL 在实时数据源上重点支持信创名录前列的国产数据源,包括达梦 DM8、KingbaseES(人大金仓)、OceanBase、GaussDB 等,这让信创环境下的实时分析有了更完整的落地路径。
场景三:实时预警,让异常数据自动触达该处理的人
实时集成和实时分析解决的是数据怎么进来、怎么算的问题,实时预警解决的是算完之后怎么办的问题。很多实时项目做到分析这一步就停了,结果指标确实实时了,但异常还是靠人盯着大屏看,或者等事后报表才发现。
FineDataLink 5.0 把实时数据指导业务动作作为一个独立的场景。基于实时数据识别异常、风险或机会,自动触发预警、审批、处置或后续流程。这里的核心不是发一条消息那么简单,而是把实时处理的结果和下游的业务判断、执行动作连起来。
厦钨新能源是实时数据预警场景的代表客户,它的技术链路是实时处理结果直接对接下游的业务判断和执行。三一重机也是一个典型的实时预警案例,这家工程机械企业通过 FineDataLink 打通 MES、MOM、EVI 等系统,实时取数、快速过滤,异常信息通过飞书推送进行实时预警,季度吞吐量平均值达到 12+ MB/s,峰值 40+ MB/s。
预警这件事的价值,在于把实时数据从看板里解放出来,变成能驱动动作的信号。设备异常、产量不达标、库存告急,这些情况一旦被实时识别并自动推送到负责人,就能在损失扩大之前采取动作,而不是等问题已经发生再去复盘。
场景四:实时数据交换,保障上下游系统数据一致
最后一个场景,是业务系统之间的实时数据交换。企业里 MES、ERP、CRM、审批系统、低代码平台之间,经常存在数据割裂的问题。库存不准、工单滞后、口径不一致,很多都源于系统之间数据没有实时同步。
FineDataLink 5.0 通过数据管道能力,实现业务数据变更的实时同步,保障上下游系统间的数据实时一致。它的实现方式是监听来源端数据库的日志变化,利用 Kafka 作为中间件暂存增量数据,再向目标端实时写入。这种方式不需要改造来源表,对业务系统零侵入。
在数据一致性保障上,FDL 提供了几个关键特性。自动同步源表结构变化,源库发生删除表、新增字段、删除字段、修改字段名称、修改字段类型时,自动同步到目标端;断点续传,遇到网络波动可以从断点位置恢复;脏数据管理,允许设置脏数据上限,超限自动终止并提供脏数据清单。这些特性让实时交换不只是快,而是稳定可靠。
中电光谷、合合信息、红壹佰、上海联通住建委项目是业务系统数据交换场景的代表客户,它们在数据库、低代码平台、审批系统和消息队列之间做实时交换,关注的是系统间数据时效、接口调用、流程触发和数据一致性。
四大实时场景的能力对照
把这四个场景放到一起看,能更清楚地理解 FineDataLink 5.0 实时能力的完整结构。
| 实时场景 | 解决的核心问题 | 对应能力 | 典型技术链路 | 代表客户 |
|---|---|---|---|---|
| 实时集成 | 异构实时数据源怎么接进来 | MQTT/WebSocket/CDC/Kafka 等多源接入 | Kafka/MQTT/CDC → JSON解析/清洗过滤/字段映射 → ODS层 | 华彬快消、厦钨新能源、晶澳太阳能 |
| 实时分析 | 流数据怎么算成可用指标 | 自研引擎+Flink 双引擎、可视化流式计算 | 数据库CDC → FlinkSQL/关联/过滤/计算列 → 分析型数据库 → 看板 | 天宇药业、天岳半导体、物产中大 |
| 实时预警 | 异常数据怎么自动触达处理人 | 实时处理结果触发下游业务判断/执行 | 实时处理结果 → 下游业务判断/执行 | 厦钨新能源、三一重机 |
| 实时数据交换 | 上下游系统数据怎么保持一致 | 数据管道、CDC 实时同步、断点续传 | 数据库日志 → Kafka → 目标端实时写入 | 中电光谷、合合信息、红壹佰 |
从这个表能看出,四个场景并不是四个孤立的功能,而是一条完整实时链路上的四个环节。企业可以根据自己的现状,从其中任何一个环节切入,再逐步补齐其他环节。
实时计算引擎与数据源的支撑体系
四大场景能跑起来,背后依赖的是计算引擎和数据源两套底层支撑。把它们单独拆出来看,能更准确地评估这套实时能力的边界。
在计算引擎层面,FineDataLink 5.0 的自研引擎和 Flink 外置引擎形成了互补。自研引擎面向的是那些计算逻辑相对简单、但希望快速上线的场景,它内置在平台里,不需要额外部署,配置好节点就能跑。Flink 外置引擎面向的是计算复杂、需要更强流处理能力的场景,比如复杂的多流关联、窗口聚合、状态计算。两者都支持 Exactly-Once 语义,保证数据在传输和处理过程中不会丢失、不会重复,这对财务、交易类场景尤其重要。
在数据源层面,实时数据源的支持范围决定了平台能覆盖多少业务场景。除了前面提到的 MQTT、WebSocket、CDC、Kafka、Pulsar、IBM MQ、RabbitMQ、RocketMQ、Paimon、Webhook,FDL 还重点做了国产化数据源的深度适配。达梦 DM8 的信创数据库覆盖率较高,主要服务国资央企客户;KingbaseES(人大金仓)覆盖能源、运营商、金融、交通等行业;OceanBase 聚焦互联网、消费和金融;GaussDB 核心覆盖国有大行、国央企和政府。这些信创数据源的支持,让实时能力在国产化替代的大背景下有了实际的落地空间。
不同行业的实时诉求差异
四个实时场景在不同行业里的侧重点并不一样,理解这种差异,有助于判断自己的实时项目该从哪个场景切入。
制造业的实时诉求集中在设备侧。多生产基地、多工厂、产线自动化程度高的企业,最痛的是生产数据滞后。厂长和生产负责人往往只能靠 T+1 报表看效率和设备利用率,决策慢;设备操作工和工艺优化人员无法实时感知设备异常和产量不达标,高速产线晚几分钟就会产生大量次品。这类企业做实时,通常从实时集成和实时预警切入,先解决设备数据接入和异常触达的问题,再逐步补上实时分析。
零售行业的实时诉求集中在经营侧。渠道多、门店多、订单库存变化快的企业,最痛的是无法实时掌握业务现状。运营总监面对的是多系统数据来源,一线运营和店长在大促期需要实时掌握销售和库存变化,延迟会导致补货不及时或库存积压。这类企业做实时,通常从实时分析和实时数据交换切入,先解决电商、门店、库存、会员多系统的打通和实时指标计算。
民生行业的实时诉求集中在设备点位侧。电力、园区、能源类企业,设备点位分散、数量多、类型杂,采集不及时会导致漏采和异常滞后。这类企业做实时,通常从实时集成切入,先解决大量设备数据的统一接入,再考虑预警和分析。
这种行业差异,决定了实时方案不能是一套通用模板,而是要能根据数据源类型、计算复杂度、触达需求灵活组合。FineDataLink 5.0 把四个场景拆开,也是为了让不同行业的企业能按自己的节奏推进,而不是被迫一次性上全套。
实时任务编排与运维的闭环
实时能力能不能长期跑起来,除了四个场景本身,还取决于任务编排和运维的支撑。很多实时项目上线后逐渐失效,不是因为方案不对,而是因为缺少可靠的调度、监控和异常处理机制。
在任务编排层面,FineDataLink 支持实时任务调用定时任务,实时处理结果可以触发下游定时任务执行。这个能力让实时链路和离线链路能够衔接起来,比如实时数据触发一次数据质量检测,或者实时预警触发一次数据清洗任务,形成流批协同的闭环。
在运维层面,管道任务支持查看运行状态、数据同步性能、异常检查和处理。断点续传能力让网络波动不会导致数据丢失,脏数据管理让异常数据有据可查、可以批量校准,失败重跑和异常通知让问题能被及时发现和处理。这些运维能力看起来不起眼,却是实时链路长期稳定运行的基础。
一个典型的实时链路,从数据接入到最终触达,中间经过的节点可能超过十个。任何一个节点出问题,如果没有清晰的监控和告警,运维人员很难快速定位。FDL 把实时任务的运行状态、同步性能、异常情况都放在一个界面里管理,配合血缘分析,能够顺着数据链路排查上游的表和加工任务,把排障时间从小时级压缩到分钟级。
还需要说明的是,实时链路对数据质量的要求并不比离线低,甚至更高。离线场景下,数据有问题可以事后清洗、重新跑批;实时场景下,脏数据一旦进入下游,就会直接影响预警和决策的准确性。因此在实时链路中,数据过滤、值替换、字段拆行拆列这些质量提升动作,往往需要在流处理阶段就完成,而不是等到数据落地之后再去处理。FDL 在实时数据处理环节内置了 JSON 解析、字段设置、数据过滤、值替换、字段拆行拆列等算子,让质量提升动作可以在数据流动的过程中同步完成,避免脏数据污染下游。
实时能力怎么选型
对于正在评估实时数据处理方案的企业,有几个维度值得重点看。
实时数据源的覆盖度。制造企业尤其要关注设备协议和国产数据库的支持情况。如果方案只支持数据库 CDC,不支持 MQTT、Pulsar 这类设备协议,那设备数据就接不进来;如果方案对达梦、KingbaseES、OceanBase、GaussDB 这些信创数据源支持不足,信创环境下的实时项目就很难落地。
计算引擎的部署成本。自研引擎和 Flink 外置引擎的双模式,比单纯依赖 Flink 要更灵活。简单场景不用额外部署 Flink 集群,复杂场景又能切换过去,这种设计能显著降低实时计算的门槛。
开发方式的复杂度。可视化流式处理比手写 Flink 代码更适合没有专职流计算工程师的企业。如果方案要求每个实时任务都写代码,那对大多数制造、零售、民生行业的企业来说,实时项目就很难规模化推进。
预警和触达的闭环能力。实时数据算出来之后,能不能自动触发预警、通知、审批,是判断方案是否完整的关键。如果算完就结束了,那实时数据还是停留在看板层面,没有真正驱动业务动作。
信创适配的深度。在国产化替代的大背景下,实时方案对信创数据源和国产操作系统的支持程度,会直接影响项目能否在目标环境落地。这不是加分项,而是很多央国企和大型民企的硬性要求。
为了更直观地对照,下面把不同实时方案路径放在一起比较。
| 评估维度 | 自研开源流处理框架 | 云厂商托管流计算 | FineDataLink 5.0 |
|---|---|---|---|
| 设备协议接入 | 需自研 Connector | 部分支持,需额外配置 | MQTT/WebSocket 开箱即用 |
| 信创数据源 | 开源 Flink 支持不足 | 部分支持 | 达梦/KingbaseES/OceanBase/GaussDB 深度适配 |
| 开发门槛 | 需手写代码 | 可视化但复杂计算弱 | 可视化流式处理,双引擎切换 |
| 预警触达闭环 | 需自行搭建 | 需额外对接 | 实时结果直接触发下游业务判断 |
| 部署成本 | 需自建集群 | 按量付费 | 自研引擎开箱即用,Flink 可选 |
这张表不是要说明某条路径绝对优劣,而是把不同路径在关键维度上的差异摆出来。企业可以根据自己的技术团队规模、信创要求、实时场景复杂度来做判断。
从离线到实时的落地路径
对于大多数已经有一套离线数仓的企业来说,实时能力的建设不需要推倒重来,而是可以在现有架构上渐进式叠加。这条路径大致可以分成三个阶段。
起步阶段,先解决数据接入的实时化。企业可以先从最痛的一两个业务场景切入,比如产线设备数据接入、核心业务系统的 CDC 实时同步,用实时集成能力把数据源接进来,先让数据流动起来。这个阶段的目标不是一步到位做实时分析,而是验证实时链路的可行性,积累实时数据源对接的经验。
扩展阶段,在实时接入的基础上叠加实时分析和预警。当实时数据稳定接入后,可以逐步把清洗、过滤、聚合、关联这些计算动作前移到流处理层,让关键指标能够实时产出。同时把异常识别和触达机制建立起来,让实时数据开始驱动业务动作。这个阶段是实时价值开始显现的阶段,也是很多企业投入产出比最高的阶段。
成熟阶段,形成流批协同的完整体系。实时链路和离线链路在同一个平台里协同工作,实时数据触发下游任务,离线任务补充实时链路无法覆盖的复杂计算,最终形成一套既有时效性又有完整性的数据供给能力。这个阶段的企业,实时数据已经深度嵌入经营决策和业务执行。
这条路径的关键,是每一步都能独立产生价值,而不是必须等全部建完才能看到效果。很多企业实时项目失败的原因,恰恰是一开始就追求大而全,结果建设周期太长,中途看不到回报就搁置了。从单点切入、逐步扩展,是更务实的做法。企业不妨先梳理出当前最痛的一个实时场景,用最小成本把它跑通,再基于跑通后的经验和数据,决定下一步往哪个方向扩展。
结语
实时数据的价值,不在于它比离线快多少,而在于它能不能真正改变业务的动作方式。数据实时了,但人还是次日才看到,那实时就没有意义;数据实时了,异常也能自动触达,那实时才真正变成了生产力。
FineDataLink 5.0 把实时能力拆成集成、分析、预警、交换四个场景,本质上是在回答一个问题:企业做实时,到底需要哪些环节,以及这些环节能不能在一个平台里、用一套低门槛的方式串起来。对于正在从离线走向实时、或者已经在做实时但链路不完整的企业来说,这是一个可以对照自己现状去评估的参考框架。