PostgreSQL
本文帮助您快速了解关系型数据库PostgreSQL的使用。
离线任务支持PostgreSQL数据源,支持该数据源的抽取(Reader)和导入(Writer),当前支持的版本为:12.x以下
使用前提
在使用之前需要完成PostgreSQL数据源的登记并测试通过。
数据源登记过程中,需要填写如下信息:
基本信息 | 说明 |
数据源名称 | 必填,新建数据的名称,要求数据长度为1-200个字符。 |
数据源连接 | 必填,根据jdbc:postgresql://SeverIP:Port/Database格式进行填写。 |
用户名 | 必填,访问数据库的用户名。 |
密码 | 必填,访问数据库的密码。 |
schema | 必填,可使用登记数据库中该schema下所有用户账号有权限的表。 |
自定义属性 | 非必填,按需添加自定义属性&值。 |
数据源配置完成后,需点击连接测试按钮进行测试,测试通过后才可使用。
PostgreSQL作为数据来源
以PostgreSQL to ClickHouse为例,在数据来源端选择PostgreSQL数据源类型及数据源名称,选择需要进行读取的库表。
数据过滤支持条件、流水型及自定义。
基本信息 | 说明 |
条件型 | 按列设置过滤规则,可添加一或多组条件,条件默认为AND关系。 |
流水型 | 选择字段的起始值开始读取数据,读取到最新记录位置,下次从上次的最新记录读取至当前的最新记录。 |
自定义 | 填写where过滤语句(注:不含where关键字),通常用作增量同步,支持调度时间参数。 |
支持并发读取,传输的并发度由切分键控制,建议选择主键或者分布均匀的整数列。
PostgreSQL作为数据去向
以ClickHouse to PostgreSQL为例,当Oracle作为数据去向时,除了需要填写数据源类型、数据源等基础信息之外,还可以填写PreSql和PostSql。
PreSql:执行数据同步任务之前率先执行的SQL语句;目前向导模式仅允许执行一条SQL语句,例如清除旧数据。
PostSql:执行数据同步任务之后执行的SQL语句;目前向导模式仅允许执行一条SQL语句,例如加上某一个时间戳。