实时任务
实时任务支持Kafka数据源,支持该数据源的导入
新建任务
在数据传输页面,单击左侧菜单实时任务,跳转至实时任务页面。
在实时任务页面中,单击页面右上方新建任务按钮,新建任务。
新建任务包括几个环节:
1.填写基本信息。
2.配置数据来源与去向。
3.配置字段映射。
填写基本信息
基本信息包括:任务名称及描述;
基本信息 | 说明 |
任务名称 | 必填,中英文开头,支持连字符(-)或下划线(_),长度不超过64个字符 |
描述 | 非必填,输入同步任务描述,最长不超过120个字符 |
配置数据来源与去向
完成基本信息填写后,左侧配置数据来源,右侧配置数据去向。
需要在数据来源配置实时同步任务节点的读取端数据源,以及需要同步的其他信息。
数据来源为Kafka:
基本信息 | 说明 |
数据源 | 必填,选择数据源类型及数据源名称 |
Topic | 必填 |
序列化方式 | 必填,可选JSON,String |
消费起始点 | 必填,可选最新数据、最早数据,默认选择最新数据。 |
普通字段 | 必填,包含JSON字段、转换字段、类型、描述等信息。点击数据转换按钮,可在弹窗中编码、测试并确认。 |
完成数据来源的配置后,在页面右侧配置数据去向。
此处以ClickHouse为例:
基本信息 | 说明 |
数据源 | 必填,选择数据源类型及数据源名称 |
库表选择 | 必填,支持搜索或直接选择数据库表。 支持快速建表, 表名称必填、建表语句必填。 |
当ClickHouse作为数据去向时,支持表的快速创建。
配置字段映射
在完成数据来源和数据去向的配置后,需要指定数据来源端和去向端的映射关系。支持列名匹配、不导入。
来源表字段信息 | 说明 |
列名匹配 | 系统默认匹配方式,可根据名称建立相应的映射关系。如果列名无法匹配,则该列来源字段显示为不导入,支持手动修改匹配列。 |
不导入 | 目标表中的这个字段将不会导入任何数据,如果目标表字段为非空,会导致任务报错。 |
点击确认按钮,成功新建实时任务。
页面中支持任务的查看和编辑操作,列表中点击任务名称,查看任务详情。点击编辑按钮,进入编辑页面。
任务管理
任务查询
页面中支持通过任务名称进行模糊搜索,支持通过实例状态筛选并展示任务。
启动任务
实时任务成功创建后,任务状态为未启动,左键单击启动按钮,依据具体情况任务状态会更新为运行中、运行失败。
运行中的任务支持停止操作,并且不支持编辑操作。
成功提交任务时,页面中会弹窗询问是否前往日志查看,确定后会打开日志页面。
查看日志
点击日志按钮,打开日志详情或提示“暂无日志”。