跳到主要内容

数据校验订正任务

CloudCanal 支持数据校验与订正功能,精确查找源库和目标库的数据差异,修复异常及丢失的数据。CloudCanal 采用 二次差异校验数据,对校验结果进行二次校验,大幅减少因数据延迟造成的校验误差,保障数据的准确性。

本文介绍如何创建数据校验与订正任务,包括创建一次性任务、创建与管理周期性任务、创建自定义代码任务和子任务。

创建一次性任务

  1. 点击 同步任务 > 创建任务,进入创建任务流程。
  2. 选择源端和目标端数据源,点击 下一步
  3. 配置校验与订正任务。
    1. 任务类型选择 校验与订正
    2. 勾选 开启一次性校验
    3. 选择校验订正模式。
    • 校验后订正:校验任务完成后会自动订正数据。
    • NONE:校验任务完成后不会自动订正数据。若需执行订正任务,可进入任务详情页,点击 功能列表 > 创建数据订正任务
    1. 选择是否自动启动任务。默认创建任务后自动启动任务。可选择暂不启动。
    2. 配置完成后点击 下一步
  4. 选择需要校验的表。仅支持选择已存在的表。
  5. 选择需要校验的列。可以对不需要校验的列进行裁剪。
  6. 点击 创建任务,校验与订正任务创建成功。
  7. 在任务列表页可查看任务进度。

创建周期性任务

  1. 点击 同步任务 > 创建任务,进入创建任务流程。
  2. 选择源端和目标端数据源,点击 下一步
  3. 配置校验与订正任务。
    1. 任务类型选择 校验与订正
    2. 勾选 开启周期性校验
    3. 选择校验订正模式。
    • 校验后订正:校验任务完成后会自动订正数据。
    • NONE:校验任务完成后不会自动订正数据。若需执行订正任务,可进入任务详情页,点击 功能列表 > 创建数据订正任务
    1. 选择是否自动启动任务。默认创建任务后自动启动任务。可选择暂不启动。
    2. 配置完成后点击 下一步
  4. 选择需要校验的表。仅支持选择已存在的表。
  5. 选择需要校验的列。可以对不需要校验的列进行裁剪。
  6. 点击 创建任务,校验与订正任务创建成功。

管理周期性任务

  1. 管理任务执行时间。
    在任务列表页可查看任务进度和下次执行的时间,到执行时间后会自动执行任务。如需立即执行任务,点击操作栏的 立即执行, 任务将在2分钟后立即开始执行。
  2. 查看校验历史与订正历史。
    进行过至少一次校验和订正后,任务操作栏会出现 校验历史订正历史 按钮,点击即可查看。
  3. 暂停与恢复周期性任务。
    如需暂停该周期性任务,点击任务操作栏 暂停调度 按钮,将不会执行下次任务。如需恢复该周期性任务,点击 恢复调度,任务仍将按照设置的时间执行下一次任务。
  4. 修改任务执行周期。
    1. 在任务详情页点击 功能列表 > 修改任务配置
    2. 在弹出的对话框中输入定时校验 cron 表达式,并点击 确定
    3. 系统将先按照原定下次执行时间执行校验任务,完成后,新的周期设定才会生效。如需立即生效,可点击任务列表页操作栏的 立即执行,执行完成后,新的周期设定立即生效。

创建自定义代码任务

数据校验和订正任务支持自定义代码,以满足不同的业务需求。操作步骤请参考 自定义代码任务 文档。

创建子任务

CloudCanal 支持为已创建的全量迁移或增量同步任务添加数据校验和订正子任务。具体操作步骤如下:

  1. 在任务详情页点击 功能列表 > 创建数据校验任务
  2. 根据需求配置相关信息,点击 确认。子任务创建完成,将自动启动。

查看校验结果

进入任务详情页,点击 查看日志,可以看到 diff_1st.log 文件和 diff.log 文件。diff_1st.log 文件记录了数据校验预检结果。diff.log 文件记录了数据校验最终结果。