于是乎,我们看到:不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理,阿里腾讯等互联网公司,大型国企也都在谈数据治理,很多企业都将数据治理作为数字化战略的一项必要举措,列入了企业的战略行动计划。
在众多谈论数据治理的企业或个人中,笔者发现大家对数据治理有着一个普遍的共识,那就是:“数据治理说起来容易,做起来难”!
我们仔细分析这样的调研结果是浮于表面的,围绕数据的问题在原地打转,没有将为什么要做数据治理真正想透。
因此数据治理的第一步不是分析数据问题,而是分析业务问题,找到企业的核心业务诉求,定义数据治理的目标和范围。
谈到数据治理,我们经常讲它是一个涉及到企业战略、组织架构、数据标准、管理规范、数据文化、技术工具的一个综合体。没有数据治理实践经验的,一定会认为:哇,数据治理好“高大上”呀!又是战略、又是标准、又是文化的,听起来很高深吗!
然而,只有你真正做过数据治理人才知道:数据治理不仅都是苦活、累活,还是个受累不讨好,经常背锅,领导看不见价值的活。
数据治理过程中,有时候是不被理解的。数据治理是个地基性工程,人们看到的永远是数据应用的“高楼大厦”,数据治理团队天天忙忙碌碌的,领导也不知道“这伙人”到底都在干啥?但是,只要数据出现问题,第一个被问责的就是数据治理团队。
有的企业认为数据治理就是上一套强大的数据治理平台,只要平台功能强大,就能管好数据,这恰恰是陷入了另一个误区——唯工具论,岂不知数据治理的本质是管理数据,而不是管理程序、脚本和任务。
另外,还有很多企业是出现了数据问题,并且对业务造成很大影响之后才去进行治理的——被动式治理,失去了治理数据的主动权,常常是解决了一个问题又引出了更多的问题。
比如,目前主流的软件——FineDataLink,它小到数据库对接、API对接、行列转换、参数设置,大到任务调度、运维监控、实时数据同步、数据服务API分享,应有尽有,功能很强大。最重要的是,因为这个工具,整个公司的数据架构都可以变得规范。而且它是java编写的,类流程图式的ETL开发模式,上手都很简单:数据对接、任务复用简直都是小case,大大降低了数据开发的门槛。在企业中被关注最多的任务运维,FineDataLink大运维平台,支持文件夹式开发模式,报错任务可一键直达修改,报错优化清晰易懂;通过权限控制,保障系统安全。
通过FineDataLink作为中间件,简道云数据下云本地化,原库用于提供业务负载,本地库搭配FineReport用于数据分析展示,解决了数据分析人员无法完全取到简道云数据的问题,在FineDataLink侧进行简单的配置,同步数据和附件,即可完成简道云数据的迁移。通过FineDataLink作为中间件,简道云数据下云本地化,原库用于提供业务负载,本地库搭配FineReport用于数据分析展示,解决了数据分析人员无法完全取到简道云数据的问题,在FineDataLink侧进行简单的配置,同步数据和附件,即可完成简道云数据的迁移。
整合了MES、ERP、SQS、APS、PLM等系统,建立了公司级别的数据仓库,统一数据源,统一数据分析出口。
FineDataLink和6节点的FineData相结合,自动把4个厂的MES、ERP、WMS、PLM等业务系统,通过数据库logminer、消息等进行实时采集同步;通过对ODS层的数据加工作转换进行分层建设,完成分布式数仓的搭建,10分钟内即可完成从业务库,到ODS的ELT的整个数据链条处理。