制造业多基地设备数据实时采集怎么做?FineDataLink 5.0 对接 PLC、SCADA 与 MQTT 的完整方案

零门槛、免安装!海量模板方案,点击即可,在线试用!

免费试用

制造业多基地设备数据实时采集怎么做?FineDataLink 5.0 对接 PLC、SCADA 与 MQTT 的完整方案

阅读人数:246预计阅读时长:10 min

先给一个我在多个制造项目里反复验证过的判断:设备数据实时采集这件事,真正的难点从来不在"能不能采到",而在"采到之后能不能在秒级内变成一条干净、可信、能直接进大屏的数据"。多数团队把预算和时间都花在对接 PLC 协议、打通 SCADA 接口上,结果数据是通了,但清洗、过滤、字段映射、异常拦截这些环节卡在代码里,产线晚几分钟才发现异常,次品已经堆了一托盘。

制造业多基地设备数据实时采集怎么做?FineDataLink 5.0 对接 PLC、SCADA 与 MQTT 的完整方案

一、核心结论

本文想讲清楚的,是一条从 PLC、SCADA、MQTT 接入,到实时清洗,再到产量大屏的完整链路。我会用自己接触过的制造项目做骨架,配合厦钨新能源、晶澳太阳能这类已经跑通实时数据集成链路的案例,把每个环节的取舍和坑讲清楚。目标读者是制造企业的 IT 负责人、数据工程师,以及正在评估数据集成平台的选型团队。

二、为什么设备数据实时采集这么难

高速产线的逻辑很简单:晚几分钟看到异常,成本是按秒计的。一条自动化程度高的产线,设备一旦出现参数漂移,如果只能靠 T+1 的日报去发现问题,那中间十几个小时产出的都可能是次品或废品。我接触过的一家新能源材料企业,设备点位分散、类型多,采集不及时导致漏采和异常滞后,正是他们下决心上实时采集的起点。

难在三个地方。

其一是协议和点位太杂。一条产线上可能同时存在 PLC、SCADA、传感器、还有各种第三方设备,接入方式不统一。PLC 有西门子、三菱、欧姆龙等不同品牌,SCADA 有 Wonderware、WinCC 等不同厂商,各自的数据格式、刷新频率、点位命名规则都不一样。靠代码一个个对接,开发成本高,链路一旦出问题还很难排查。

其二是数据脏。设备原始数据里充斥着空值、异常跳变、单位不一致、时间戳错乱。不经过清洗就直接进大屏,要么大屏数字乱跳,要么被业务方质疑数据不准,最后大屏成了摆设。

其三是对接成本与维护成本叠加。很多团队用开源组件拼链路,Kafka 接进来,Flink 写清洗逻辑,再自己维护一套监控。链路是通了,但每换一条产线、每加一个点位,都要动代码,运维压力全压在少数几个会写流处理的人身上。

三、一条完整的实时采集链路应该长什么样

我在项目里总结出来的标准链路是四段:接入 → 清洗 → 计算 → 消费。FineDataLink 5.0 的实时计算模块基本就是按这个逻辑组织的,下面拆开讲。

3.1 接入层:MQTT、PLC、WebSocket 开箱即用

设备数据接入的常见入口有三个:MQTT 消息、WebSocket 协议、以及数据库 CDC。FineDataLink 5.0 在实时数据源上直接内置了 MQTT 输入、WebSocket 输入、CDC 输入,还支持 Kafka、Pulsar、IBM MQ、RabbitMQ、RocketMQ 等消息队列输入。

这里有个很实际的点:MQTT 和 Pulsar 这类制造业通用协议,FDL 是开箱即用的,不需要自己开发或对接开源 Connector。对制造企业来说,省掉的是养一个专门写协议适配的人的成本。PLC 对接这块,FDL 面向的是"对接 PLC、传感器、SCADA 等设备数据依赖代码开发成本高"的痛点,把设备数据源的接入标准化了。

3.2 清洗层:把脏数据挡在大屏之外

实时数据进来之后,先做的是清洗过滤。FDL 的实时数据处理算子覆盖了 JSON 解析、XML 解析、字段设置、新增计算列、数据过滤,还有值替换、字段拆行拆列这类数据质量提升的操作。

这一步的价值经常被低估。我见过一个产量大屏,因为设备上报的时间戳格式不统一,导致大屏上的"当日产量"和 MES 里的数字对不上,业务方从此不再看大屏。清洗层的核心任务,就是在数据进入计算和消费之前,把格式、单位、空值、异常值这些基础问题处理掉。

3.3 计算层:实时指标加工

清洗完的数据进入计算环节,做数据关联、合并、分组汇总,或者用 FlinkSQL 做更复杂的计算。FDL 提供了两种引擎:自研引擎(开箱即用,无需额外部署)和 Flink 外置引擎(适合复杂计算场景),两者都支持 Exactly-Once 语义。

对于产量实时大屏这种场景,通常是设备数据实时聚合后,直接写进分析型数据库,再由大屏工具消费。FDL 支持把实时计算结果通过 DB 表输出,供 FVS 3D 大屏或数字孪生场景消费。

3.4 消费层:大屏与预警

数据最终落到两个地方:一是实时大屏,二是预警通道。厦钨新能源的实时数据预警场景,就是实时处理结果出来后,触发下游的业务判断或执行动作。异常数据实时消息预警,是"实时数据指导业务动作"这个价值主张里最直接的一种。

四、实时计算四大场景的能力对照

FineDataLink 5.0 的实时计算模块,明确覆盖了四个场景。我把它们和典型应用对照列出来,选型时可以直接对号入座。

场景说明典型应用
实时数据集成面向多种异构实时数据源,进行实时采集与同步PLC 设备对接、Kafka 数据接入
实时数据分析对持续流入的数据实时计算、聚合、关联和指标加工电商销售实时大屏、制造业产量实时大屏
实时数据指导业务动作基于实时数据识别异常、风险、机会,自动触发预警或处置异常数据实时消息预警
业务系统实时数据交换业务数据变更实时同步,保障上下游系统实时一致MES 到 ERP 数据实时同步

这四类场景里,设备数据实时采集主要落在前两类,但很多项目做到后面会发现,实时数据交换和预警也是刚需。选型的时候,最好选一个四类场景都能覆盖的平台,避免后续再引入第二套工具。

五、实时数据源与处理能力拆解

为了把 FDL 5.0 的实时能力讲清楚,我把实时数据源支持和实时数据处理、计算、分析的能力拆成一张表。

能力模块覆盖内容典型用途
实时数据源(物联网/协议)MQTT 输入、WebSocket 输入PLC、传感器、SCADA 设备数据接入
实时数据源(数据库)CDC 输入数据库变更实时捕获
实时数据源(消息队列)Kafka、Pulsar、IBM MQ、RabbitMQ、RocketMQ 输入消息驱动的实时数据流
实时数据源(湖仓/事件)Paimon 输入、Webhook 输入实时湖仓、外部事件接入
实时数据处理JSON/XML 解析、字段设置、新增计算列、数据过滤、值替换、字段拆行拆列清洗过滤、格式转换、质量提升
实时数据计算数据关联、数据合并、分组汇总、FlinkSQL实时指标加工
实时数据分析关联、合并、汇总、FlinkSQL 后 DB 表输出,支持 FVS 3D 消费实时大屏、数字孪生
任务编排实时任务调用定时任务实时结果触发下游离线任务

这张表的价值在于,选型时可以直接逐项核对:你的设备协议在不在支持列表里,你的清洗需求能不能用现成算子完成,你的大屏能不能直接消费计算结果。

免费试用

六、两个已经跑通的案例

厦钨新能源和晶澳太阳能,是 FineDataLink 实时数据集成场景里的两个典型客户,技术链路都是 Kafka、MQTT 或数据库 CDC 接入,经过 JSON 解析、清洗过滤、字段映射转换后,写入关系型数据库或 MPP 架构数据库作为数仓 ODS 层。核心需求都是把硬件设备的数据源完成对接。

这两个案例的共同点在于:它们都不是从零造轮子,而是用现成的可视化流式处理能力,把设备数据接入的链路标准化了。对制造企业来说,这比"招几个会 Flink 的人自己搭"要现实得多。

再补充一个数据维度的参照。三一重机的案例里,EVI 系统每秒产生 1 万条以上数据,日均 1500 万条以上,需要在秒级时间内过滤、填充车辆信息,并对机器异常实时预警。FineDataLink 在这个场景下的季度吞吐量平均值达到 12 MB/s 以上,峰值 40 MB/s 以上。这个量级对大多数制造企业的设备数据采集来说,是足够覆盖的。

厦钨新能源还有一个值得单独说的点:它同时是实时数据预警场景的客户。实时处理结果出来后,直接触发下游的业务判断或执行动作。这比"把数据搬到大屏上就完事"往前走了一步,也是设备数据采集真正的业务落点。

七、多基地场景的特殊挑战

多基地的制造企业,比单工厂多出几个额外的难题。

其一是点位规模放大。单工厂可能几百个点位,多基地一叠加就是几千上万,接入和运维的复杂度不是线性增长,而是成倍放大。

其二是协议和厂商更杂。不同基地的产线可能是不同年代建的,设备品牌、PLC 型号、SCADA 厂商五花八门,很难用一套代码统一对接。

其三是数据要汇总到集团。各基地的数据既要本地实时用,又要汇总到集团总部做统一分析,链路里多了一层"跨区域实时采集"。

面对这些挑战,可视化、标准化的实时采集能力比单点代码方案更有优势。因为点位和协议的多样性,恰恰是代码方案维护成本失控的根源。FDL 把 MQTT、Pulsar 这类通用协议做成开箱即用,把清洗计算做成界面化配置,就是为了应对这种"协议多、点位多、要汇总"的场景。

七点五、一个完整的落地步骤拆解

讲了这么多概念,落到具体执行上,一条设备数据实时采集链路通常按下面六步走,每一步我标注了容易踩坑的地方。

第 1 步,盘点设备点位和协议。这一步很多人跳过,直接上手对接,结果做到一半发现有一批老设备走的是私有协议,根本不在标准协议列表里。正确的做法是先把 PLC 型号、SCADA 厂商、传感器类型、数据刷新频率、点位命名规则全部盘清楚,形成一张点位清单,再决定接入方案。

第 2 步,确定接入方式。MQTT 能覆盖的走 MQTT,走数据库日志的用 CDC,个别私有协议的再单独评估。原则是能用标准协议就用标准协议,减少定制开发。

第 3 步,设计清洗规则。这一步要拉着业务方一起定,因为"什么是脏数据"只有业务方清楚。空值怎么处理、单位怎么统一、时间戳用什么格式、异常跳变用什么阈值过滤,都要在清洗层固化下来,而不是等数据进大屏了才发现不对。

第 4 步,搭计算逻辑。产量、设备利用率、良品率这些指标,是实时聚合还是窗口计算,取决于业务口径。FDL 里可以用分组汇总、数据关联,复杂场景用 FlinkSQL。

第 5 步,对接消费端。大屏、预警、数字孪生,各消费端的数据格式和刷新频率要提前约定。FDL 的实时结果可以通过 DB 表输出,供 FVS 3D 大屏消费。

第 6 步,建立监控和预警。链路跑起来之后,要监控数据是否正常流入、是否有异常堆积,异常数据要能实时预警。这一步决定了这套系统是"跑着"还是"用着"。

这六步里,最容易出问题的是第 3 步和第 6 步。清洗规则没定好,大屏数据不可信;监控预警没跟上,链路断了都没人知道。

七点六、实时采集与离线数仓如何协同

设备数据实时采集,不代表离线数仓就不需要了。恰恰相反,两者是互补关系:实时链路负责"当下发生了什么",离线数仓负责"历史趋势是什么"。

实时采集的数据,经过清洗和计算后,一部分直接进大屏和预警,另一部分要沉淀进数仓的 ODS 层,供后续的离线分析、报表、BI 使用。厦钨新能源、晶澳太阳能的案例里,实时数据集成后的落点就是数仓 ODS 层,写入关系型数据库或 MPP 架构数据库。

这里的关键是流批一体。如果实时链路和离线链路是两套独立的逻辑,维护成本会翻倍,而且口径容易不一致。FDL 的实时计算模块支持流批一体的开发体验,实时任务还能调用定时任务,实时处理结果可以触发下游的离线任务执行,两条链路在一个平台里协同,口径统一、维护简单。

八、选型时该看什么

结合上面的链路,我给制造企业选实时数据集成平台列几个判断维度。

其一,看实时数据源的覆盖度。设备数据采集绕不开 MQTT、PLC、SCADA,平台是不是开箱即用,决定了你要不要额外养协议开发的人。同时要看国产化数据源的支持,信创名录前列的数据库,很多开源的 Flink 产品是不支持的,FDL 在这块做了深度支持。

其二,看清洗和计算能不能可视化完成。实时链路最怕的就是"每加一个点位都要动代码"。可视化流式处理,把清洗、计算、编排都做成界面化配置,是降低长期运维成本的关键。

其三,看是否支持流批一体。设备数据既要实时进大屏,也要沉淀进数仓做离线分析。流批一体的开发体验,能避免维护两套逻辑。

其四,看预警和下游联动能力。实时数据采集的终点不是大屏,而是"发现问题后能触发动作"。能不能把实时处理结果触发下游定时任务、能不能做异常消息预警,直接影响这套系统的业务价值。

其五,看信创适配。涉及国产化替代的制造企业,要确认平台对达梦、KingbaseES、OceanBase、GaussDB 等国产数据库的实时同步支持。这一点很多开源方案是短板,选型时容易被忽略。

八点五、可视化实时能力的实际意义

设备数据实时采集,很多团队一开始的直觉是"用 Flink 自己写"。这个思路技术上没问题,但落地时有两个绕不开的成本。

其一是开发成本。Flink 的流处理要写 Java 或 Scala,还要自己管理状态、处理 Exactly-Once、维护 checkpoint。一个熟练的流处理工程师,把一个中等复杂度的清洗计算逻辑写出来并调稳定,周期不短。而 FDL 的可视化流式转换,大部分操作只需部署产品即可使用,通过界面化配置完成实时任务的搭建与运维,不需要手写代码。

其二是长期维护成本。代码方案的问题不在于写,而在于改。产线一调整、点位一增加、业务口径一变化,就要改代码、重新测试、重新上线。可视化方案里,这些调整大多是在界面上改配置,维护门槛低得多,不依赖少数几个会写流处理的人。

这里要客观说一句:可视化方案和代码方案不是非此即彼。FDL 同时提供自研引擎和 Flink 外置引擎,复杂计算场景可以切到 Flink,简单场景用自研引擎开箱即用。选型时不用纠结"要不要放弃 Flink",而是看平台能不能在简单场景帮你省掉 Flink 的部署和开发成本,在复杂场景又保留 Flink 的能力。

八点六、竞品能力横向参照

为了帮选型团队建立坐标系,我把 FDL 实时计算能力与市场上几类方案做个横向参照。需要说明,这里只做能力维度的客观对照,不涉及具体厂商的优劣评价。

对比维度开源 Flink 自建一线云厂商流计算FineDataLink 5.0
可视化计算能力弱,需手写代码较强强,界面化配置
复杂计算能力强,可深度定制较强自研引擎+外置 Flink 双模式
实时性能取决于自建调优一般较强,Exactly-Once 语义
运维监控能力需自建一般内置任务运维与监控
国产化数据源支持弱,需自行适配部分支持深度支持达梦、KingbaseES、OceanBase、GaussDB
制造业协议支持需自研 Connector部分支持MQTT、Pulsar 等开箱即用

这张表想说明的是一个判断:设备数据实时采集的选型,核心不是"谁的引擎更强",而是"谁能让你的团队用最低成本把链路跑稳"。开源方案引擎能力强,但开发、运维、国产化适配的成本都落在自己身上;云厂商方案可视化好,但复杂计算和国产化支持有短板;FDL 的定位是可视化降低门槛,同时保留 Flink 的复杂计算能力,并补上国产化数据源的深度支持。

九、常见问题解答

问:设备数据量不大,有必要上实时采集吗?

看场景,不看绝对量。如果产线对异常响应有时效要求,哪怕点位不多,晚几分钟发现异常的成本也可能很高。实时采集的价值在于时效,不在于数据量。

问:已经用了 Kafka,还需要数据集成平台吗?

Kafka 解决的是消息传输,清洗、计算、字段映射、大屏对接这些环节还是要有人做。数据集成平台的价值,是把 Kafka 之后的整条链路标准化,降低对 Flink、Spark 等引擎的依赖。

问:信创环境下设备数据采集能做吗?

可以。FineDataLink 5.0 重点支持信创名录前列的数据源,达梦、KingbaseES、OceanBase、GaussDB 等国产数据库都有覆盖,Flink 开源产品对国产数据源的支持反而是短板。涉及国产化替代的制造企业,这一点要重点确认。

问:实时任务和离线数仓能统一吗?

能。FDL 支持实时任务调用定时任务,实时处理结果可以触发下游定时任务执行,流批可以在一个平台里协同,避免两套系统割裂。

问:多基地的数据怎么汇总到集团?

通过数据管道实时采集各基地数据,汇总到集团总部的数据仓库。某百亿建材企业的案例里,就是通过数据管道实时采集 34 家分子公司数据,汇总到集团总部 Doris 数据仓库,跨区域数据实时汇总的链路是成熟的。

问:实时采集和实时数据交换是一回事吗?

不是。实时采集侧重的是设备、传感器这类硬件数据源的接入;实时数据交换侧重的是业务系统之间的数据同步,比如 MES 到 ERP 的订单、库存、工单数据实时同步。两者都属于实时计算模块的覆盖范围,但落点和用途不同。选型时如果既有设备采集需求,又有业务系统交换需求,最好选一个两类场景都覆盖的平台,避免维护两套实时工具。

九点五、实施周期与团队配置的现实预期

很多制造企业上实时采集前,对"要投入多少人、要多久"没有清晰预期,导致项目启动后反复拉扯。我结合几个项目的经验,给一个相对现实的参照。

团队配置上,一个中等规模的多基地实时采集项目,通常需要三类角色:一个懂设备协议和产线业务的数据工程师,负责点位盘点和接入;一个懂清洗计算逻辑的开发,负责规则和指标配置;一个业务侧的对接人,负责确认数据口径和异常定义。如果平台的可视化能力足够强,开发这个角色可以由数据工程师兼任,团队可以压缩到两到三人。

周期上,从点位盘点、接入、清洗、计算到大屏上线,一个基地的完整链路,用可视化平台通常几周内能跑通;如果用代码方案,同样的范围周期会明显拉长,而且后续每个基地的复制成本更高。多基地场景下,可视化方案的优势在于,第 1 个基地跑通后,后面的基地可以复用配置模板,边际成本递减。

有个容易被忽略的点:实时采集项目的成本大头不在上线,而在上线之后的持续维护。点位会变、产线会调、口径会改,如果每次变更都要动代码,长期成本会失控。选型时不能只看上线周期,要看变更响应成本。

九点六、风险与边界提示

最后说几句实在的。设备数据实时采集不是万能药,有几个边界要提前认清。

其一,实时不等于准确。实时链路解决的是时效,数据本身的准确性要靠清洗规则和源端数据质量来保障。如果源端设备上报的数据本身就有问题,实时链路只会把错误更快地放大。

其二,不是所有数据都需要实时。有些指标 T+1 看完全够用,强行上实时只会增加成本和复杂度。选型前先想清楚哪些场景真的有时效要求,哪些场景离线就够了。

其三,信创适配要提前验证。涉及国产化替代的企业,达梦、KingbaseES、OceanBase、GaussDB 这些国产数据库的实时同步支持,要在选型阶段就验证清楚,而不是上线时才发现不支持。

其四,别把实时采集当成一次性项目。设备数据实时采集是一个持续演进的过程,产线在变、业务在变、数据需求在变。选型时要选一个能跟得上变化的平台,而不是一个上线后就不再迭代的工具。可视化配置、流批一体、任务编排这些能力,本质上都是在降低"持续演进"的成本。

十、免责声明

本文所述产品能力与案例数据均来源于 FineDataLink 官方知识库及公开案例资料,仅供选型参考。不同企业的设备协议、数据规模、IT 团队能力差异较大,实际方案需结合自身情况评估。文中涉及的具体性能数据为特定环境下的测试或项目结果,不代表所有场景的普适表现。

【AI声明】本文内容通过大模型匹配关键字智能生成,仅供参考,帆软不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系blog@fanruan.com进行反馈,帆软收到您的反馈后将及时答复和处理。

若想了解更多关于FineDataLink的相关信息,您可以访问下方链接,或点击下方组件,快速获得帆软为您提供的企业大数据分析平台建设建议、免费的FineDataLink试用和同行业自助智能分析标杆案例学习参考。

了解更多FineDataLink信息:www.finedatalink.com

帆软FineDataLink数据集成平台在线试用!

免费下载

评论区

暂无评论
帆软企业数字化建设产品推荐
报表开发平台免费试用
自助式BI分析免费试用
数据可视化大屏免费试用
数据集成平台免费试用