导入数据任务
简述
任务导入功能在 CloudCanal 版本升级、系统迁移等场景中具有重要作用。本文简要介绍该功能的使用条件和操作步骤。
前置条件
- 任务来源 CloudCanal 版本 >= 2.2.x.x (推荐)。
该功能实现依赖来源集群开放 API,早期 1.0、2.0、2.1、2.2 等社区版不带开放 API,故不支持。 - 任务迁入 CloudCanal 版本 >= 4.2.1.0。
- 只支持导入增量任务。
操作步骤
- 点击 数据源管理 > 新增数据源。添加需要导入任务相关的数据源。
- 点击 同步任务 > 导入任务。
- 填写相关信息。
填写项 | 说明 |
---|---|
任务数字 ID | 在任务列表页点击对应任务 任务 ID & 描述 栏 图标获取。 导入的任务 ID 默认和原系统保持一致(防止无法分辨),但也可勾选 重新生成任务 ID 进行生成。 |
绑定集群 | 导入的任务将分配给哪些节点运行,和创建任务逻辑一致。 |
源数据源 ID | 数据任务的源端数据源,需要选择所连接的内外网地址,和创建任务逻辑一致。 |
目标数据源 ID | 数据任务的目标端数据源,需要选择所连接的内外网地址,和创建任务逻辑一致。 |
来源集群地址 | 来源 CloudCanal 地址,用于调用开放 API。 |
来源集群 AccessKey | 来源 CloudCanal 开放 API 密钥信息。 |
来源集群 SecretKey | 来源 CloudCanal 开放 API 密钥信息。 |
自定义代码 | 因无法从开放 API 中获取自定义代码包,所以如导入任务有自定义代码,请从老系统下载,导入时重新上传。Tips: 自定义代码依赖的 cloudcanal-sdk 新老版本有部分变化,如 SchemaInfo 新增一些属性导致 equals 失败从而略过处理逻辑。因此新任务运行前,请务必重新进行测试验证,防止数据处理逻辑失效。 |
- 点击 确定 进行任务导入。信息
导入后任务不会自动启动,请检查配置,并做好系统切换(位点衔接)。