快速入门
本文将从一个很小的案例来说明如何在本平台上完成一个离线开发任务的开发,来帮助普通用户快速上手。
这里,假设当前用户已经由项目负责人添加到一个项目中,并授予相关的功能权限、数据权限。
- 功能权限表示当前用户可以访问哪些页面的访问或部分功能的操作权限。
- 数据权限表示当前用户可以在读写哪些表等。
当前案例描述:
- 登记数据源指标系统sqlserver(含库表t1),EMS系统clickhouse(含库表t2);
- 通过线上调度任务,完成t1表到t2表数据的定时写入;
- 通过配置API接口,传输经过处理的数据。
涉及产品:
- 数据传输
- 离线开发
- 任务运维中心
- 数据服务
上述产品,都可在页面左上角导航入口,点击的侧边弹框中查看(因不同客户购买的产品有差异,具体以购买的为准)。
步骤演示
1)登记数据源
登记数据源,保证服务可连接至sqlserver数据库内T1表dbo;
登记数据源,保证服务可连接至clickhouse数据库内T2表ckreader;
操作路径:数据传输 - 数据源管理 - 登记数据源 数据源类型选择需要添加数据源类型,在配置中填入基本信息。
测试完毕后,列表展示数据源已添加成功;
2)建立离线任务
建立已经完成登记的表t1,t2的传输任务,保证库表间数据可以稳定传输;
通过本步骤完成数据来源、数据去向的定义;
3)在【离线开发】创建任务
在前面两步中,已经完成数据流向定义。从这一步开始,配置数据传输任务,定时进行数据传输。
在离线开发页面,左侧为任务列表,当前用户可在默认文件夹下新建任务,在弹框中创建自己的第一个任务。
下图为默认文件夹右键选择新建任务:
下图为创建一个任务名称为EMS系统-指标标准数据的任务:
4)在画布中拖入任务节点
完成任务创建后,会进入到任务的开发模式的画布中,默认仅包含一个和任务同名的虚拟节点。
在右侧节点列表中,将任务节点拖入中间画布区域,并重命名节点。
下图为在任务中增加了一个名称为EMS系统库表更新的SQL节点。
下图为在任务中增加了一个名称为数据传输的任务节点,前置离线同步任务为第二步建立的离线任务。
接着,将鼠标移动到任务节点,会出现连接点,点击后移动到虚拟节点,也会出现连接点,松开鼠标,完成节点上下游依赖关系构建。
5)测试节点
完成数据开发后,可在开发模式运行任务节点,以验证逻辑正确性。
选中需要运行的节点,再点击设置并运行,即可开始节点运行。
如下图,为点击设置并运行后的弹窗,点击运行即可。
运行结束可点击开发模式画布顶部的运行结果,查看运行结果。 如下图,为节点的运行结果页面:
6)任务提交上线
完成测试后,则可以将任务提交上线。
下图为提交上线入口。任务上线后,状态会从未上线变为未调度。
7)任务编辑调度
任务上线后,还不会定时调度,需要对任务配置调度,才能完成任务定时周期性地执行。请按照下面的指引完成配置。
首先,切换到任务的线上模式,然后点击画布左上角的编辑调度。
然后,在画布左上角,选中全部开启,让线上任务所有节点的启用。接着,点击设置并提交调度。
配置调度频次。
8)在【任务运维中心】查看任务的实例
完成上一步骤后,可前往任务运维页面查看任务的实例。
在任务运维页面点击周期实例运维菜单,搜索任务名称,点击蓝色的实例ID,进入到实例详情页,查看实例的运行情况。
下图为实例运维中搜索任务,可看到任务详情信息。
9)在【数据服务】完成API新建
完成以上数据处理步骤后,可以在数据模块建立用于传输这部分数据的API接口;
首先建立相关API集合;
建立属于该API集合的API;
建立相应的应用,进行授权API应用操作,绑定API集合至具体应用;
该应用支持处理完毕后的数据传输工作,配置API接口完毕;
总结
本节从一个极简的例子说明了如何完成自己的第一个数据开发任务,过程中涉及到了数据传输、离线开发、任务运维、数据服务等模块的使用。对于这些模块,还有大量的内容和细节没有讲到。
更多的内容请参看手册中的其它章节。