跳到主要内容

RabbitMQ

选择对端数据库:

数据链路

基本功能

功能说明
增量实时同步

支持订阅源端 Topic 的消息,并转换为 INSERTUPDATEDELETE DML

修改订阅

新增、删除、修改订阅 Topic,文档:修改订阅

重置位点

时间戳 回溯位点,重新消费过去一段时间的数据

高级功能

功能说明
消息格式

支持以下消息格式,文档:消息格式说明

  • CloudCanal内置格式
  • AlibabaCanal兼容格式
全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

增量写入冲突策略

IGNORE: 主键冲突则忽略(不做写入),REPLACE: 主键冲突则整行替换

0 值时间处理

支持将 0 值时间设置成不同类型的值,防止写入对端报错

限制和注意点

限制项说明
目标端需要提前创建表

仅支持消息自动创建 Queue

原始消息格式

仅支持 RabbitMQ 到 RabbitMQ,且两端的消息格式都需要选择 原始消息格式


源端数据源

前置条件

条件说明
网络准备

迁移同步节点(sidecar)可连接 RabbitMQ 各节点

任务参数

参数名称说明
schemaFormat

MQ 消息格式,文档:消息格式说明

consumeParallel

消费 RabbitMQ 的并行度

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

文档:MySQL / MariaDB 需要的权限

网络准备

迁移同步节点(sidecar)可连接 MySQL / MariaDB 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

dstWholeReplace

将 INSERT 和 UPDATE 操作变成对端整行覆盖

deCycle

双向同步过滤开关,过滤特定标记的 DML/DDL

specialSqlMode

初始化数据库链接时,可以设置特定的 sql mode

defaultGisSRID

设置 GIS 数据类型的 SRID

dstTimeZone

目标端时区,例如 +08:00, Asia/Shanghai, America/New_York等

increParallelApplyStrategy

关系型数据库对端写入数据并行策略:

  • KEY: 以主键进行分区并行写入
  • TABLE: 以表进行分区并行写入
  • KEY_UPGRADE_TABLE: 以主键进行分区并行写入,若有更新唯一键的操作升级为表进行分区写入

Tips: 通用参数配置请参考 通用参数及功能

数据链路

基本功能

高级功能

限制和注意点

使用示例

链路FAQ

源端数据源

前置条件

任务参数

目标端数据源

前置条件

任务参数