一、数据源

1、新增通用型JDBC对接取数和SQL执行能力

从4.1.2版本起，FDL提供通用型JDBC取数和SQL执行的能力，用于定时数据开发。

目前Trino、Cache、Access、Firebird、Apache Kylin 等数据库已测试通过，若您有其他数据源需要通过JDBC的方式进行连接，请联系技术支持。通用型JDBC取数

2、定时和管道任务针对GaussDB 200提供高性能写入方案

GaussDB 200是MPP大规模并行处理模式的数据库，通常作为数仓的存储层选择，在目前已有JDBC写入情况下，新增COPY方案，以提高数据写入速度。

GuassDB 200数据开发COPY装载

GuassDB 200 数据管道COPY装载

3、定时任务针对GreenPlum并行装载读写优化

在原有普通JDBC装载和并行装载方式下，新增COPY装载方式，用来解决并行装载情况下二进制、JSON字段的某些装载局限性问题。

4、其他

在数据管道中，针对以下数据源进行了扩展：

• 新增支持使用 PDB 可插拔 Oracle 数据库作为管道任务数据来源
• 数据管道SQL Server支持DDL同步
• 数据管道支持无主键表的同步：Oracle、GreenPlum、SQLServer

二、数据开发

1、任务可指定业务日期、参数重试

当定时任务运行由于某些原因失败，或者需要针对某天的数据进行任务重跑时，用户可以指定业务日期进行任务触发执行。

1. 任务运维界面，找到对应的任务，点击“重试”按钮
2. 针对指定范围（当前节点/当前节点及其下游）/任务级，进行参数设置

重试参数指定

2、API对接取数、写数优化

在新版本中，对API对接取数、写入数据进行了进一步完善，重点体现在以下两个场景：

I. 完善 API 调用的能力，比如：

• 部分企业在内网有自签名证书用于保证企业数据安全，新版本FDL支持添加信任库，通过SSL/TLS协议进行https请求
• API数据写入，在原有PUT、POST、DELETE方法下新增PATCH方法
• header中content-Type值自定义
• 获取响应头、状态码

II. 优化循环调用场景下的问题，比如：

• 访问 API 频率控制，在执行任务/实例中控制该API的调用频率，以确保不会发生API的调用超过频率导致任务异常中止的情况
• 在单次循环取数中遇到报错，新增支持跳过此次继续执行循环

API输出配置界面

3、数据转换

在很多常见的、复杂数据转换场景下，需要通过复杂SQL或者代码实现，FDL在现有基础上进行了上下合并、分组汇总、字段拆行/字段拆列的扩展，加上原有支持的列转行、行转列、JSON解析、XML解析、字段设置、新增计算列、数据过滤、JSON生成、数据关联、数据比对，共14种数据处理可视化算子。

💠上下合并（union）算子：对两张表或者多张表的数据进行上下合并，可用到上下合并功能直接进行数据合并。

💠分组汇总（group by）算子：对业务原数据，根据分组条件进行数据的汇总、计数、最早时间、最晚时间等计算。

💠字段拆行/字段拆列：针对表字段信息需要进行拆分时，可针对特定字符（一般是“,”、“;”、“:”、“(空格)”）和自定义字符、字符数进行拆分，形成单独的列或者行。数据预览：

4、日志展示优化

当开发人员、运维人员在对任务进行操作时，需要获取详细的日志信息，明确知道各节点的参数值，在FDL新版中，支持查看更细粒度的前端日志查看，包括参数值、执行脚本、API请求，增删数据统计。

日志中参数查看

三、数据服务

1、数据发布API支持更多数据源：StarRocks\GuassDB\Maxcompute\Doris\Impala\TiDB\星环INCEPTOR

在完成数仓/大数据平台的搭建后，希望通过FDL进行数据的API发布，提供接口给到第三方进行取数。

目前在4.1~4.1.2版本新增支持StarRocks、GuassDB、Maxcompute、Doris、Impala、TiDB和星环 Inceptor 7种数据源，包括历史已支持的MySQL、SQL Server、Oracle、PostgreSQL、GreenPlum、公共数据的6种数据源在内，目前数据服务模块已支持13种。

数据服务支持的数据源

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值。