产品概述
本文帮助您快速了解Wavelet Data平台中,数据传输模块的具体功能。
数据传输模块主要用于多种异构数据源之间的数据交换,可实现各类业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构,可以从容应对大数据量的数据传输需求。
数据传输流程
典型数据传输任务主要分为:
1.[登记数据源]:数据传输模块中,赋予数据平台访问业务数据库的权限。
2.[创建离线同步任务]:数据传输模块中,实现多源异构数据的高速稳定移动。
3.[任务调度]:数据传输模块与离线开发模块协同,依照特定频率、自动周期,实现数据的同步更新。
支持的数据源
数据源分类 | 数据源类型 | 抽取(Reader)/导入(Writer) |
关系型数据库 | MySQL | R/W |
关系型数据库 | Oracle | R/W |
关系型数据库 | PostgreSQL | R/W |
关系型数据库 | SQLServer | R/W |
关系型数据库 | DM(达梦) | R/W |
NoSQL | Cassandra | R/W |
分析型数据库 | ClickHouse | R/W |
大数据存储 | Hive | R/W |
半结构化存储 | API | R |
半结构化存储 | File | R/W |
消息队列 | Kafka | W |