TiDB
| 功能 | 说明 |
|---|---|
结构迁移 | 如目标不存在所选表，则自动根据源端元数据，结合映射生成对端创建语句并执行创建 |
全量数据迁移 | 逻辑迁移，通过顺序扫描表数据，将数据分批写入到对端数据库 |
增量实时同步 | 支持 INSERT, UPDATE, DELETE 常见 DML 同步 |
数据校验和订正 | 全量数据校验，并可选根据校验结果订正差异数据，支持定时，文档：创建定时校验订正任务 |
修改订阅 | 新增、删除、修改订阅表，支持历史数据迁移，文档：修改订阅 |
重置位点 | 按 时间戳 回溯位点，重新消费过去一段时间未被 TiKV GC 掉的增量数据 |
表名映射 | 支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取 |
DDL 同步 |
|
元数据检索 | 从源端表查对端，查询设置过过滤条件的 |
高级功能
| 功能 | 说明 |
|---|---|
全量前清空目标数据 | 运行全量任务前清除老数据，包括重跑任务、定时全量迁移都会触发此能力 |
重建目标表 | 运行全量任务前重建目标表，包括重跑任务、定时全量迁移都会触发此能力 |
增量写入冲突策略 | IGNORE: 主键冲突则忽略（不做写入），REPLACE: 主键冲突则整行替换 |
0 值时间处理 | 支持将 0 值时间设置成不同类型的值，防止写入对端报错 |
定时全量迁移 | 文档1：创建定时全量任务 |
自定义代码 | 文档1：创建自定义代码任务 |
数据过滤条件 | 支持 WHERE 条件进行数据过滤，内容为 SQL 92 子集，文档：创建数据过滤任务 |
前置条件
| 条件 | 说明 |
|---|---|
账号权限 | 文档：TiDB 需要的权限 |
PD节点网络连通 | 请确保 CloudCanal 各节点能正常与 PD 各节点通讯
|
TiKV GC 回收频率 | 在 TiDB Server 中修改 GC 周期时间为 24小时 以上
|
TiKV 历史变更数据缓存 | 建议根据任务所需适当调整大小
|
任务参数
| 参数名称 | 说明 |
|---|---|
printDetailLog | 打印接收到的增量，常用于判断源端是否有增量数据推送 |
pdHost | 任务请求的 PD 节点地址，格式为: [PD_IP]:[PD_PORT], 多个 PD 节点用 , 隔开 |
cdcEventBufferSize | 任务接收增量数据的缓冲池大小, 在任务规格范围内设置的越大越好 |
cdcBatchMaxSize | 任务每次处理缓冲池中增量数据的最大数量，建议为 cdcEventBufferSize * 0.05 大小 |
cdcGrpcTimeout | 任务与 PD 节点 gRpc 连接通道的超时时间，单位ms |
cdcStubTimeout | gRpc 通道中的每个 stub 的超时时间，超过该时间会自动重新订阅，单位ms |
Tips: 通用参数配置请参考 通用参数及功能
任务参数
| 参数名称 | 说明 |
|---|---|
keyConflictStrategy | 增量写入遇到主键冲突策略:
|
dstWholeReplace | 将 INSERT 和 UPDATE 操作变成对端整行覆盖 |
writeStrategy | 对端写入策略，包含
|
Tips: 通用参数配置请参考 通用参数及功能