Skip to main content
Version: 2.17.1

实时任务

实时任务支持Kafka数据源,支持该数据源的导入

新建任务

数据传输页面,单击左侧菜单实时任务,跳转至实时任务页面。

arch

实时任务页面中,单击页面右上方新建任务按钮,新建任务。

arch

新建任务包括几个环节:

1.填写基本信息。

2.配置数据来源与去向。

3.配置字段映射。

填写基本信息

基本信息包括:任务名称及描述;

基本信息说明
任务名称必填,中英文开头,支持连字符(-)或下划线(_),长度不超过64个字符
描述非必填,输入同步任务描述,最长不超过120个字符

配置数据来源与去向

完成基本信息填写后,左侧配置数据来源,右侧配置数据去向

需要在数据来源配置实时同步任务节点的读取端数据源,以及需要同步的其他信息。

数据来源为Kafka:

arch

基本信息说明
数据源必填,选择数据源类型及数据源名称
Topic必填
序列化方式必填,可选JSON,String
消费起始点必填,可选最新数据、最早数据,默认选择最新数据。
普通字段必填,包含JSON字段、转换字段、类型、描述等信息。点击数据转换按钮,可在弹窗中编码、测试并确认。

完成数据来源的配置后,在页面右侧配置数据去向

此处以ClickHouse为例:

arch

基本信息说明
数据源必填,选择数据源类型及数据源名称
库表选择必填,支持搜索或直接选择数据库表。 支持快速建表, 表名称必填、建表语句必填。

当ClickHouse作为数据去向时,支持表的快速创建。

arch

配置字段映射

在完成数据来源和数据去向的配置后,需要指定数据来源端和去向端的映射关系。支持列名匹配不导入

arch

来源表字段信息说明
列名匹配系统默认匹配方式,可根据名称建立相应的映射关系。如果列名无法匹配,则该列来源字段显示为不导入,支持手动修改匹配列。
不导入目标表中的这个字段将不会导入任何数据,如果目标表字段为非空,会导致任务报错。

点击确认按钮,成功新建实时任务。

页面中支持任务的查看编辑操作,列表中点击任务名称,查看任务详情。点击编辑按钮,进入编辑页面。

任务管理

任务查询

页面中支持通过任务名称进行模糊搜索,支持通过实例状态筛选并展示任务。

arch

启动任务

实时任务成功创建后,任务状态为未启动,左键单击启动按钮,依据具体情况任务状态会更新为运行中运行失败

运行中的任务支持停止操作,并且不支持编辑操作。

成功提交任务时,页面中会弹窗询问是否前往日志查看,确定后会打开日志页面。

arch

查看日志

点击日志按钮,打开日志详情或提示“暂无日志”。