跨IDC同步工具及常用场景介绍

跨IDC同步工具简介

作为一种典型管理系统架构的工具，跨IDC同步工具包含Manager和Node两部分。Manager是web管理平台，包括全量同步工具，Node则是工作节点。Manager可以推送同步配置到Node节点，Node节点可以将同步状态反馈到Manager上。基于zookeeper，跨IDC同步工具可以实现多个Node节点协同工作，而配置信息和同步日志存储在数据库DB中。同时，跨IDC同步工具还有一些组件，如Select日志抽取、Extract记录反查、Transform表名/字段转换以及load加载入库。

跨IDC同步工具及常用场景介绍

三种部署方式

Node节点可以有三种部署方式，分别是全部部署在生产机房、全部部署在灾备（目标端）机房或分别部署在两个机房中。在其中，生产机房中的Node节点负责SE阶段，而灾备（目标端）机房中的Node节点负责TL阶段。若两个机房中的Node节点需要通信，则可以使用rpc或http方式完成。用户应根据实际环境中的网络速度、机器硬件、数据库性能等条件选择最优的方式。

跨IDC同步工具常用应用场景

跨IDC同步工具支持多种同步场景，常用的源端数据库类型包括Oracle、MySQL、分布式TeleDB、PostgreSQL，目标端类型包括Oracle、MySQL、分布式TeleDB、PostgreSQL和Kafka。以下是两种常用场景：

场景1：获取MySQL数据库增量日志数据（MySQL主备复制实现）
主库将改变记录到二进制日志(binarylog)中，从库则可以拷贝主库的binarylog events到它的中继日志(relaylog)中，从而将改变反应到它自己的数据中。Canal模拟mysqlslave的交互协议，伪装为mysqlslave向mysqlmaster发送dump协议，从而可以解析二进制日志对象。
场景2：通过oracle物化视图解决oracle数据源增量数据抽取问题
采用消息队列缓冲减少源库的压力，使用统一格式封装处理与数据同步组件无缝衔接，实现Oracle源数据的并行实时传输。实现数据抽取的关键在于基于Oracle的物化视图日志并行增量订阅/解析。将增量数据放入消息队列，保证顺序性，便于签收、重传，同时减少物化视图的访问量，帮助实现并行加载。使用统一格式封装处理可以兼容数据传输模块。数据加载根据目标库类型自动选择数据库引擎，构造对应SQL语句，同时处理特殊字段类型。源于Oracle的增量数据多批次并行加载。

以上是跨IDC同步工具的简介和常用场景介绍，更多精彩干货请关注本站。

原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6092.html