一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构

源码资源网

一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构
目标及特点

1.目前支持数据源达到14种，能够实现异构数据源的同步。

2.支持拖拉拽的图形化的操作，用户可以通过页面的组装输入和输出组件，实现页面化简易操作。

3.结合计算引擎，实现异构数据源数据统一汇聚，数据湖，数据仓库，实现数据的集成。

4.结合消息队列，实现一份数据一次读取，多次下沉多种数据库和重复利用，支持海量数据，高速率的迁移数据。

5.支持单机版和集群版部署，架构简易。

6.打印日志友好，能实时监控迁移的数据量，迁移的状态，以及报错日志详细，便于排查。

7.代码清晰，可读性强，代码之美，文档详细，资料齐全。

8.支持Docker和K8S集群容器化部署。

9.易于集成，能无缝对接开源的调度系统，以及集成系统，配置多样化。

设计理念

一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构 ...

可以将多种数据库之间的数据互通和集成，实现将多种数据的迁移，脱敏，聚合操作。

支持的数据库列表[td]

数据库名称	读插件	写插件
clickhouse	支持	支持
db2	支持	支持
dm(达梦)	支持	支持
doris	支持	支持
elasticsearch	支持	支持
hdfs	支持	支持
hive	支持	支持
kafka	支持	支持
kingbase	支持	支持
mysql	支持	支持
oracle	支持	支持
pg	支持	支持
sqlserver	支持	支持
starrocks	支持	支持

框架设计

一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构 ...

框架分为3部分：Reader, Channel, Writer

Reader 作为数据源， 可以通过实现共同的Reader接口，可以通过SQL的方式对数据进行抽取操作。

Channel 作为队列， 可选的队列有默认的LinkedBlockingQueue,也可以使用kafka, 通过使用kafka做到一次写入多次读取。

Writer 作为目标数据源，可以通过实现共同的Writer接口，可以通过SQL的方式对数据进行下沉操作。

链接：https://pan.quark.cn/s/ef04a1d725be

提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:99金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折；永久VIP4折】

安全检测，请放心下载