这几年企业数据圈流行过一批概念:数据仓库、数据湖、数据中台、湖仓一体、AI中台……每隔两三年就有新词冒出来,旧词还没搞清楚,新词又来了。
这些概念不是互相推翻的关系,而是在不同阶段、针对不同问题提出来的解法。要理解它们,先要理解每个阶段企业的数据问题是什么,以及当时的解法为什么不够用。这篇文章沿着演进脉络讲一遍,不堆定义,只讲为什么。
一、从数据仓库开始:结构化分析的黄金时代
数据仓库(Data Warehouse)出现在上世纪80年代末、90年代初,解决的是一个很具体的问题:业务系统(OLTP)不适合做分析。
业务系统是为了支撑操作设计的——快速写入、快速查询单条记录、保证事务一致性。但分析需要扫大量历史数据、做聚合计算、跨多个系统关联,这类查询放在业务系统上跑,要么跑不动,要么影响业务。
数据仓库把各业务系统的数据抽取出来,统一清洗转换,按照分析友好的方式组织(星型模型、雪花模型),存到一个独立的分析库里,供报表和分析使用。这套体系在相当长的时间里是主流,支撑了大量企业的报表系统、经营分析和财务汇总。
它的核心逻辑是:先把数据变成"整洁的结构化数据",再做分析。
数据仓库的局限在于:
- 只能处理结构化数据,日志、图片、文档、音视频进不来;
- ETL 过程复杂,从数据发生到数据可用有时间滞后;
- 结构预先定义,需求变化时改起来慢;
- 存储和计算成本高,不适合存海量原始数据。
在业务数据量不大、数据类型主要是结构化数据的年代,这些局限还可以接受。但互联网时代来了,情况变了。
二、数据湖:先存起来,以后再说
互联网公司遇到的问题,和传统企业不一样。日志、点击流、用户行为、图片、视频、文本、传感器数据……数据类型复杂,体量极大,增长极快。如果按照数据仓库的方式,先定义好结构再存,来不及——数据产生的速度远快于定义和清洗的速度,而且很多数据未来有没有用都不确定,先定义再存会丢掉大量潜在有价值的原始信息。
数据湖(Data Lake)的核心思路是:先把数据原样存下来,不管是什么格式、什么结构,扔进来再说,以后需要的时候再处理。
这个思路解决了存储问题:可以用低成本的分布式存储(HDFS、S3 等)存海量数据,结构化、半结构化、非结构化都能放。
但随之而来的问题很快出现了:数据湖容易变成数据沼泽(Data Swamp)。数据都进来了,但没有规范,没有元数据,没有质量管理,没有数据目录。数据工程师进去捞数,不知道哪个字段是什么意思,不知道哪个表是最新的,不知道同一个"订单金额"在哪个库里口径是准确的。存了大量数据,但用起来费劲,实际利用率很低。
实际项目中,可以通过 FineDataLink 统一承接不同业务系统的数据接入和同步,把数据按照规则持续送入数据湖,并在同步过程中保留数据来源、字段映射、任务时间等基础链路信息。让进入数据湖的数据不是完全裸奔,至少有追溯路径。但元数据管理和数据目录本身,需要更完整的数据治理体系来配合。
三、数据中台:解决复用和标准化的问题
2018 年前后,数据中台的概念在国内爆发。最早来自阿里对自己内部数据体系的总结和推广,后来被咨询公司和各大厂商包装成了一套方法论。
数据中台的核心问题是:企业不同业务线都在建自己的数据体系,做重复的数据加工工作,但口径不统一、数据无法复用,每次分析还是要重头取数。
比如一家集团企业,零售业务线有自己的销售分析,电商业务线有自己的 GMV 报表,供应链有自己的库存分析,财务有自己的成本核算。"客户"这个概念,在三个系统里可能有三套定义,"收入"在四个报表里可能有四种口径。集团要做综合分析,就要反复协调口径、反复做数据清洗。
数据中台想解决的是:建一套公共的数据能力层——统一的数据模型、统一的指标口径、统一的数据服务接口——让各业务线共用,而不是各自重复建设。
核心的组成模块通常包括:
- 数据集成层:把各系统数据汇聚进来;
- 数据开发层:做数据清洗、建模、加工;
- 数据资产层:维护统一的指标体系、维度定义、主题域划分;
- 数据服务层:通过 API 或查询接口对外提供数据服务;
- 数据治理层:数据质量、数据血缘、权限管理。
这个思路本身没有问题,理想情况下确实可以解决复用和标准化的问题。
但在大量企业的实际落地中,数据中台变成了一个重型工程。建设周期长,需要大量数据工程师投入,需要各业务线配合梳理指标口径——而业务部门通常没有动力配合这种"公共建设",因为收益不直接落在自己头上。于是出现了一批"建完没人用"的数据中台:花了大量资源建了一套指标体系,但业务分析师还是绕开中台直接取原始数据;各业务线还是各自维护自己的报表;中台成了摆设。
所以在 FineDataLink 5.0 里建设这部分链路时,可以把数据接入、同步、加工和调度放在同一套流程里管理。例如 ERP 的订单数据、CRM 的客户数据、MES 的生产数据,可以按照不同场景配置批量、增量或实时同步,再通过字段映射、数据转换、关联加工等方式形成相对统一的数据结构,最后送到中台对应的数据层。
对于复杂任务,还可以把多个同步和加工节点按依赖关系组织起来,统一调度;任务运行过程中,再结合任务监控和数据检测去判断链路有没有异常、源端和目标端的数据是否出现明显差异。
四、湖仓一体:把两者的优点拼起来
数据湖和数据仓库各有各的问题。数据湖的优点是便宜、灵活、能存各种格式,缺点是管理混乱、查询性能差、不支持事务。数据仓库的优点是数据整洁、查询快、支持复杂分析,缺点是贵、灵活性差、不能处理非结构化数据。
湖仓一体(Lakehouse)的思路是:在数据湖的存储基础上,加一层支持 ACID 事务、高效查询和元数据管理的能力,让数据湖也能有数据仓库的分析体验。
技术上,Delta Lake、Apache Iceberg、Apache Hudi 是代表性的开源格式,它们在对象存储(S3、HDFS)上加了事务日志、快照管理、查询优化等能力。
湖仓一体不是一个新的独立概念,更像是数据湖和数据仓库的技术融合路线:统一存储,按需计算,既能存原始数据,又能做高质量的结构化分析。很多企业的实际数据架构正在往这个方向走,不再纠结"是建数据湖还是建数仓",而是在同一套存储上,根据数据的处理程度和使用场景,区分原始层、加工层和服务层。
五、AI中台:模型和数据的工程化管理
AI中台是近几年随着机器学习大规模落地出现的概念,它解决的问题和数据中台有点像,但对象换成了 AI 能力。
当企业有多个 AI 应用场景——推荐系统、风控模型、客服机器人、质检视觉识别、需求预测——每个场景都要做特征工程、模型训练、模型评估、模型部署、上线监控,而且这些环节大量重复,不同团队各自为战,效率很低。
AI中台想把这些共性的工程能力统一起来:特征平台、样本库、训练平台、模型仓库、推理服务、监控告警——做成可复用的基础设施,让各业务的算法团队不用重复造轮子。
在大厂,AI中台是必要的——几十个算法团队并行工作,没有统一的基础设施会乱掉。在中小企业,AI中台的必要性要打问号——有没有足够多的 AI 应用场景和算法团队,是判断要不要建 AI中台的前提。
AI中台里有一个关键依赖:高质量的训练数据。模型好不好,数据质量是根本。这里和数据集成平台的关系又出现了:特征工程需要从各业务系统抽取数据,做清洗、关联、格式转换,生成模型所需的训练样本或实时特征。FineDataLink 可以在这个环节承担数据采集、转换和调度的工作,把业务数据按特征工程的要求处理后送到特征平台或训练环境,不需要算法工程师自己去写数据抽取脚本。
六、现在企业的数据架构长什么样
经历了这些演进之后,现在务实的企业数据架构,通常不是选一个概念来建,而是根据自己的业务规模、数据量和团队能力,做合理的取舍。
中大型企业的常见架构大致是这样的:
- 用数据集成工具(比如 FineDataLink)连接业务系统,做数据同步和初步处理,解决"数据怎么进来"的问题;
- 存储侧采用湖仓一体或分层数仓,原始数据、加工数据、服务数据分开管理;
- 在数据资产层维护统一的指标定义和主题域划分,解决口径问题;
- 分析消费侧连接 FineBI 等工具,做经营分析、报表和仪表板;
- AI 应用场景有一定规模时,再考虑特征平台和模型管理的建设。
中小企业不需要把每个层次都做满。先把数据集成做好,能稳定地把业务系统数据同步到分析层;再把分析做好,让数据真正被用起来。这两件事做扎实了,比堆砌概念有用得多。
七、为什么概念总是不断涌现
最后说一个很多人不会说透的问题:为什么这个行业概念那么多,而且更新那么快?
一部分原因是技术确实在演进,存储成本、计算能力、机器学习普及程度都在变化,新的技术能力催生新的架构可能性。
另一部分原因是商业驱动。新概念意味着新的咨询项目、新的产品售卖机会、新的预算申请理由。"我们要建数据中台"比"我们要升级报表系统"更容易拿到资源。
还有一部分原因是问题本身在变。数据量在增长,AI 应用场景在增多,业务复杂度在上升,原来的解法确实不够用了,不得不找新的解法。
所以看这些概念,不要只看名字,要看它解决的是什么问题,在什么规模和场景下适用,代价是什么。
不是每个企业都需要数据中台,不是每个企业都需要 AI中台,但每个有一定规模的企业都需要把数据流通的基础做好——数据能稳定地从业务系统流到分析层,质量可信,链路可追,这是一切后续建设的前提。架构可以根据规模演进,但数据质量和流通效率这两件事,没有捷径。