1. 本际云推荐 - 专业推荐VPS、服务器,IDC点评首页
  2. 云主机运维
  3. VPS运维

OMS数据迁移之反向同步大法

反向同步背景

蚂蚁OceanBase提供的迁移服务(OMS)支持同构或异构RDBMS与OceanBase间的数据交互,提供数据在线迁移和实时增量同步的数据复制能力。割接上线方案不仅能满足正向同步机制,反向同步也是不可缺少的步骤。近期集中火力对反向同步测试进行了炮火攻击,发现反向增量同步因超大白名单配置表导致同步失败。通过与阿里工程师交涉得知,反向白名单配置超过3200张表时会报错,需要更新OMS补丁。解决方案是创建多条链路进行反向同步,在出现同步异常时只需要修复故障链路即可。

OMS数据迁移之反向同步大法

反向同步过程

反向链路配置方法是通过正向链路方式先将表结构迁移,在OB端去掉OMS创建的隐藏约束,跳过一部分迁移任务,然后切换为反向链路。具体过程如下:

  1. 配置迁移表结构的迁移任务的数据源,配置需要迁移的表。
  2. 结构迁移完检查链路没有发起,可以直接删除这个临时任务。
  3. OB端删除需要反向同步的表的隐藏约束。
  4. 创建正向迁移任务,随意选择两张表创建任务,并修改白名单参数。
  5. 执行迁移任务之前修改三个参数:dest_drc_wlist、forward_white_list和source_drc_wlist。
  6. 清理报错任务,检查链路情况,执行清理任务,复检链路。
  7. 重置迁移任务,然后再创建一个迁移任务,将白名单分成两部分创建两条链路,修改参数。
  8. 按照反向链路配置方法配置,执行切换作业之后,反向同步链路就创建完成了。

反向同步问题解决方案

通过清理报错任务、检查链路情况、执行清理任务和修改白名单参数,将表数量分成两批,每批不超过3200张,即可解决反向同步的问题。

在OceanBase推行数据库商业化的过程中会存在各种各样的问题,需要大家协同发现问题、分析问题、解决问题。只有这样才能打造一款坚实的国产化产品。希望今天我们的分享能帮助到大家,后续的同仁在推行OceanBase国产化道路上也可以少走一些弯路。

原创文章,作者:小编小本本,如若转载,请注明出处:https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5903.html