跳到主要内容

Tunnel

选择对端数据库:

数据链路

基本功能

功能说明
增量实时同步

支持 INSERT, UPDATE, DELETE 常见 DML 同步
无主键表 UPDATE、DELETE 不同步(需手动勾选)

修改订阅

新增、删除、修改订阅表,支持历史数据迁移,文档:修改订阅

表名映射

支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取

元数据检索

从源端表查对端,查询设置过过滤条件的

高级功能

功能说明
全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

增量写入冲突策略

IGNORE: 主键冲突则忽略(不做写入),REPLACE: 主键冲突则整行替换

0 值时间处理

支持将 0 值时间设置成不同类型的值,防止写入对端报错

自定义代码

文档1:创建自定义代码任务
文档2:自定义代码任务 debug
文档3:在自定义代码中打日志

数据过滤条件

支持 WHERE 条件进行数据过滤,内容为 SQL 92 子集,文档:创建数据过滤任务

使用示例

标题详情
跨互联网数据同步进阶

文档:跨互联网数据同步进阶

跨互联网数据互通(HTTP)

文档:跨互联网数据互通(HTTP)


源端数据源

前置条件

条件说明
网络准备

若 CloudCanal 为 docker 版本,解压后需要修改 docker-compose.yml 端口映射再安装/升级,并开放 ECS 安全组相关端口,以便远程连接

任务参数

参数名称说明
httpMaxContentSize

Tunnel 使用 HTTP 传输数据时最大内容大小,目前被使用在 netty 的 HttpObjectAggregator 中

eventStoreSize

内存队列大小(可能为事件数量或者内存大小,单位:byte)

protocol

Tunnel 传输数据使用的交互协议,目前支持 HTTP

uriPrefix

Tunnel 数据源 uri 前缀

contentCompressType

Tunnel 数据源的数据压缩类型,目前支持 DeInflater / GZIP

dbs

数据源结构定义

printDataInLog

是否将关键数据打印到日志以方便排查问题,此选项打开可能影响性能和数据安全

schemaFormat

Value Schema 类型

printCustomCodeDebugLog

打印自定义代码DEBUG日志(会打印处理前后数据,同步量大会增加磁盘使用和影响同步性能,请知悉),该参数动态生效,不需要重启任务

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

文档:MySQL / MariaDB 需要的权限

网络准备

迁移同步节点(sidecar)可连接 MySQL / MariaDB 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

dstWholeReplace

将 INSERT 和 UPDATE 操作变成对端整行覆盖

deCycle

双向同步过滤开关,过滤特定标记的 DML/DDL

specialSqlMode

初始化数据库链接时,可以设置特定的 sql mode

defaultGisSRID

设置 GIS 数据类型的 SRID

dstTimeZone

目标端时区,例如 +08:00, Asia/Shanghai, America/New_York等

increParallelApplyStrategy

关系型数据库对端写入数据并行策略:

  • KEY: 以主键进行分区并行写入
  • TABLE: 以表进行分区并行写入
  • KEY_UPGRADE_TABLE: 以主键进行分区并行写入,若有更新唯一键的操作升级为表进行分区写入

Tips: 通用参数配置请参考 通用参数及功能

数据链路

基本功能

高级功能

限制和注意点

使用示例

链路FAQ

源端数据源

前置条件

任务参数

目标端数据源

前置条件

任务参数