跳到主要内容

通用任务

CloudCanal 支持创建全量迁移和增量同步一体化任务，包含表结构迁移、全量数据初始化、数据实时同步等多个阶段，整个过程完全自动化。增量实时同步阶段，任务通过启动位点的控制可以确保全量期间的增量也完整同步到对端。

本文将介绍如何创建全量迁移和增量同步一体化任务。

选择数据源​

  1. 点击 同步任务 > 创建任务，进入创建任务流程。
  2. 选择任务运行的 绑定集群。
    信息

    如果所选集群有多个节点，CloudCanal 将会启动正常两级容灾调度。如果只有单个节点，CloudCanal 只会执行单级容灾调度。

  3. 设置源库和目标库相关信息，选择源端和目标端实例，并分别点击 测试连接。
  4. 选择数据库或 Schema 等信息 , CloudCanal 支持多 Schema 迁移同步。

配置任务​

  1. 点击 下一步，进入功能配置页面。
  2. 选择任务类型。此处以创建全量增量一体化任务为例，选择 增量同步 并勾选 全量初始化。
  3. 选择任务规格。
    信息

    规格和计费无关。在机器资源充足的情况下，可选大规格，性能好、稳定性高。任务较多时，考虑到机器利用率，可配置具备特定数据特征的规格。

  4. 配置任务相关信息。
配置项说明
是否同步 DDL
  • 是：任务将同步 DDL。
  • 不同步：任务将不同步 DDL。
是否开启校验
  • 不开启校验：不会校验数据。
  • 开启一次性校验：仅执行一次校验任务。
  • 开启周期性校验：根据设置的周期，定期执行校验任务。
校验订正模式
  • 校验后订正：校验任务完成后会自动订正数据。
  • NONE：校验任务完成后不会自动订正数据。若需执行订正任务，可进入任务详情页，点击 功能列表 > 创建数据订正任务。
全量前清空目标数据若开启，全量初始化之前将清空目标数据。
重建目标表若开启，任务将自动在目标库重建目标表。
自动启动任务
  • 开启：默认创建任务后自动启动任务。
  • 关闭：创建任务后，需在同步任务页面手动启动任务。

选择数据表​

  1. 点击 下一步，进入表& action 过滤页面。
  2. （可选）如需修改目标映射规则，点击 目标映射规则，作出相应修改。
  3. 筛选需迁移的表。
    • 精确筛选：在筛选表的输入框内输入表名，并加上分号（半角）。支持输入多个表名，以分号（半角）分割且中间不加空格。
    • 模糊筛选：在筛选表的输入框内输入字符，将筛选出表名包含这些字符的表。
    • 分类批量筛选：在搜索框内可按条件筛选表。
      提示

      点击列表标题行最左侧的勾选框，可以选中当前页的所有表。点击列表左下方 全部选中 勾选框，可以选中所有表。
      如需创建任务时默认选中所有表，可点击 系统设置 > 系统偏好 > CloudCanal，将 jobTableDefaultSelectAll 参数值设置为 true。

  4. 设置目标表名。
    • 映射规则自动生成：根据映射规则自动生成表名。若修改映射规则，表名会随之变化。
    • 选择已存在的表名：勾选表后，可在 目标表 一列选择将已存在的表名设置为目标表名。
    • 自定义设置：勾选表后，可在 目标表 一列输入自定义表名，并点击带回车符号的选项，或直接按回车键确定。
    • 批量设置：点击 批量修改目标名称，可为表名批量添加前缀和后缀。
  5. action 过滤。
    • 单独设置：勾选表后，可单独设置每张表需同步的 action。
    • 批量设置：在列表上方可批量勾选 action，或点击左侧库列表中的 action 过滤，进行批量设置。

选择列​

  1. 点击 下一步，进入数据处理页面。
  2. （可选）如需修改目标映射规则，点击 目标映射规则，作出相应修改。
  3. 页面左侧可查看所有筛选出的表，可在列表上方的搜索框和输入框内搜索表。
  4. 选择并设置要迁移的列。
    • 单独设置：对每张表勾选要迁移的列，或点击 操作 设置过滤条件、对端更新条件、目标主键等。
    • 批量设置：点击右上角 批量操作，批量设置过滤条件、对端更新条件、目标主键等。
      以下为可配置项的说明：
配置项说明
虚拟列为目标表添加虚拟列，可设置虚拟列的名称、列值、类型和长度。
数据过滤条件设置数据过滤条件，具体操作请参考 数据过滤任务 文档。
对端更新条件设置对端表更新条件。
目标主键设置目标主键。若源表没有主键，但有唯一键，将自动把唯一键设置为目标主键。
裁剪列可批量裁剪列。
  1. （可选）支持上传自定义代码，具体操作步骤请参考 自定义代码任务 文档。

创建确认​

  1. 点击 下一步，进入创建确认页面。
  2. 确认任务信息后，点击 创建任务。
    信息

    若任务创建过程中，对端存在待创建的库、表或列，则任务会自动生成结构迁移阶段，若没有则不会生成。

创建成功​

  1. 在 同步任务 的任务列表页可查看任务进度。
  2. 点击任务列表操作栏中的 详情 进入任务详情页，查看具体任务运行信息。