除了应对业务部门,我们IT部门内部的矛盾也是日益严重:
我们数据组觉得数据仓库里的数据口径太混乱了,而且当初是直接用的hive计算资源,取数速度实在是太慢了,不能支持大数据量,所以我们提出能不能换成性能更强的关系型数据库。
IT底层组却说公司用的数据仓库版本太老旧,很多数据只能做底层的ETL处理,所以只能简单做一层数据清洗给我们用,属于历史遗留问题,很难办。
除了IT和业务上的矛盾,还有一个最大的问题就是个人的数据分析能力:
在我当初做数据分析的时候,用的是Excel的数据透视表,但一旦面对大量的数据和复杂表格,根本就搞不定,做出来的可视化也很丑,没什么价值。后来学R语言又比较复杂,于是就想着有没有更加简单、功能强大的BI工具来代替。
于是我尝试了powerbi、FineBI这些工具,你会发现BI工具才是数据分析路上最必不可少的!
因为BI工具是完全按照数据分析的流程来设计的,先是数据处理、整理清洗,再到数据建模,最后数据可视化,展现图表,用图来讲故事,发掘问题影响决策。这些工具之间的差别也很大,经过不断尝试,我选择了FineBI一直到现在,至于原因且听我慢慢讲来。
此外,FineBI的ETL能力很让我意外,不仅是因为可以实现数据清洗,比如添加数据指标,而且操作十分简单,IT和业务都只需要简单的鼠标拖拽就能完成,数据合并、聚合、过滤、分组等等根本不需要编程基础,甚至比Excel还简单。
这个过程当然也是通过鼠标点击来实现,不需要学习sql等编程,十分适合业务人员。
比如分析销售情况,我们可以用FineBI做出上图,先整体看当前这一阶段或这一时间段的销售目标完成情况。然后根据销售趋势图进行同比、环比分析,内部趋势跟自己之前的数据比较,外部趋势跟同行业其他企业的数据比较。
分析完宏观趋势之后,进行下钻切片分析:去对比区域店铺的情况,看找哪个区域店铺销售问题,同样也会对比区域店铺的销售同期环期。依次类推会下钻到品类、再到具体的单品。最后结合资源配置情况,找到异常数据的原因,提供最终的建议结果。
通过FineDataLink作为中间件,简道云数据下云本地化,原库用于提供业务负载,本地库搭配FineReport用于数据分析展示,解决了数据分析人员无法完全取到简道云数据的问题,在FineDataLink侧进行简单的配置,同步数据和附件,即可完成简道云数据的迁移。通过FineDataLink作为中间件,简道云数据下云本地化,原库用于提供业务负载,本地库搭配FineReport用于数据分析展示,解决了数据分析人员无法完全取到简道云数据的问题,在FineDataLink侧进行简单的配置,同步数据和附件,即可完成简道云数据的迁移。
整合了MES、ERP、SQS、APS、PLM等系统,建立了公司级别的数据仓库,统一数据源,统一数据分析出口。
FineDataLink和6节点的FineData相结合,自动把4个厂的MES、ERP、WMS、PLM等业务系统,通过数据库logminer、消息等进行实时采集同步;通过对ODS层的数据加工作转换进行分层建设,完成分布式数仓的搭建,10分钟内即可完成从业务库,到ODS的ELT的整个数据链条处理。