离线任务
离线任务模块功能主要包括:新建任务、任务管理及线上任务。
新建任务
在数据传输页面,单击左侧菜单离线任务,跳转至离线任务页面。
在离线任务页面中,单击页面右上方新建任务按钮,新建任务。
新建任务包括几个环节:
1.填写基本信息。
2.配置数据来源与去向。
3.配置字段映射。
填写基本信息
基本信息包括:任务名称及描述;
基本信息 | 说明 |
任务名称 | 必填,中英文开头,支持连字符(-)或下划线(_),长度不超过128个字符 |
描述 | 非必填,输入同步任务描述,最长不超过128个字符 |
配置数据来源与去向
完成基本信息填写后,左侧配置数据来源,右侧配置数据去向。
需要在数据来源配置离线同步任务节点的读取端数据源,以及需要同步的表等信息。
此处以MySQL为例:
基本信息 | 说明 |
数据源 | 必填,选择数据源类型及数据源名称 |
库表选择 | 必填,支持搜索或直接选择数据库表 |
数据过滤 | 必填,详见下方数据过滤项说明。 |
并发读取 | 选择是否开启并发读取。读取的数据将会根据切分键,按照并发度切分成指定的份数。 支持选择字符型字段作为切分键,支持的字段类型:VARCHAR、LONGNVARCHAR、NVARCHAR、NCHAR,建议使用带索引的字符型字段。 |
流量控制 | 默认为不限速 |
数据过滤项说明
基本信息 | 说明 |
条件型 | 按列设置过滤规则,可添加一或多组条件,条件默认为AND关系。 |
流水型 | 选择字段的起始值开始读取数据,读取到最新记录位置,下次从上次的最新记录读取至当前的最新记录。 |
自定义 | 填写where过滤语句(注:不含where关键字),通常用作增量同步,支持调度时间参数。 |
完成数据来源的配置后,在页面右侧配置数据去向。
此处以ClickHouse为例:
基本信息 | 说明 |
数据源 | 必填,选择数据源类型及数据源名称 |
库表选择 | 必填,支持搜索或直接选择数据库表。 支持快速建表, 表名称必填、建表语句必填。 |
当ClickHouse作为数据去向时,支持表的快速创建。
配置字段映射
在完成数据来源和数据去向的配置后,需要指定数据来源端和去向端的映射关系。支持列名匹配、不导入以及自定义表达式。
来源表字段信息 | 说明 |
列名匹配 | 系统默认匹配方式,可根据名称建立相应的映射关系。如果列名无法匹配,则该列来源字段显示为不导入,支持手动修改匹配列。 |
不导入 | 目标表中的这个字段将不会导入任何数据,如果目标表字段为非空,会导致任务报错。 |
自定义表达式 | 通过自定义表达式的方式导入数据。 |
点击确认按钮,成功新建离线任务。
页面中支持任务的查看和编辑操作,列表中点击任务名称,查看任务详情。点击编辑按钮,进入编辑页面。
任务管理
任务查询
页面中支持通过数据源类型及数据源进行快速筛选。
页面中支持通过任务名称进行模糊搜索。
任务复制
支持任务复制操作,能够通过复制快速的新建一个已存在的任务。
1.在任务管理列表中,单击更多按钮,选择复制;
2.在弹出的对话框中,填写任务名称,单击复制,完成任务的创建。
任务删除
支持任务删除操作,已提交的任务不能删除。
任务测试与上线
离线任务创建完毕后,需要在任务管理列表中,点击运行按钮进行任务有效性测试,测试成功后,方可提交任务上线。
任务测试
1.在离线任务页面,单击任务管理,在任务列表中查看已创建的任务;
2.选择需要测试的任务,在操作栏中单击运行按钮;
3.弹窗中单击运行按钮,开始任务;
4.任务提交后,可选择是否前往日志页面查看作业日志。
查看运行结果
当前查看任务运行结果的方法有两种:
第一种,在任务提交运行时,会弹出询问是否前往日志页面查看的弹窗,点击确定按钮,即可查看任务运行结果。
第二种,在任务管理页面的任务列表中,单击日志按钮,即可查看任务状态,确认任务是否运行成功。
日志支持展示信息如下:
- 任务启动时刻
- 任务结束时刻
- 任务总计耗时
- 任务平均流量
- 记录写入速度
- 读出记录总数
- 读写失败总数
任务提交上线
1.在离线任务的任务管理页面,找到待提交的任务,单击操作栏中更多按钮,选择提交上线;
2.提交上线后的任务,可在线上任务页面的任务列表中查看。
快速创建离线开发任务
数据传输模块提供对已提交的数据任务进行批量离线开发任务创建的功能,更好的简化了数据集成任务运行链路,提高了数据任务提交上线的效率。
1.在离线任务的任务管理页面,选中待创建的任务,单击创建离线开发任务按钮;
2.在弹出的对话框中,填写任务的保存位置以及任务名称,单击创建按钮;
3.任务创建后可切换到离线开发模块查看相应的任务;
4.确认任务没有问题后,可完成任务的试运行,如果运行结果正常,单击提交上线按钮将任务提交上线。
线上任务
任务查询
页面中支持通过数据源类型及数据源进行快速筛选。
页面中支持通过任务名称进行模糊搜索。
引用详情(待更新)
在线上任务列表中,单击更多按钮,选择引用详情,可以查看任务引用情况。
任务下线
在线上任务列表中,单击下线按钮可对任务进行下线,需要注意的是任务下线前需要确认任务没有被引用,否则无法下线该任务。下线任务操作只会删除线上任务,任务管理中对应的记录将仍然保存。