ogg同步数据到kafka案例简介
作为一个oggers，我们经常需要进行数据的同步，而大部分情况下是RDBMS之间的同步，例如oracle到oracle,oracle到mysql,sqlserver到oracle等等场景。但是我们也可以将数据同步到BigData平台及Kafka等消息中间件进行同步。
背景
在本案例中，我们需要将一个系统的实时数据采集到大数据平台。根据统一的实现方案，Kafka规划原则：省分topic隔离；不同省分按实例划分对接topic；每张表对应topic的一个partition。针对本次环境源端是oracle12c数据库，目标端是Kafka2.11-1.0.2集群，因此我们需要使用 ogg12cfororacle 源端软件包以及 OGG_BigData 的软件包来实现数据同步。
实施
我们需要对源端数据库和目标端Kafka集群进行部署，使用ogg12c12.3的集成模式，按常规配置 ex_kaf、dp_kaf 的进程即可。对于目标端Kafka集群来说，ogg的目标端程序实际上是作为生产者客户端，将解析 trail 文件得到的数据推送到 Kafka 中。此外，在Kafka属性参数文件中，我们可以指定自定义生产者方法，继承 ogg 自带的生产者父类，编写自己的生产者方法，以实现表与分区的对应关系。最后，我们可以使用消费者命令检查数据内容。
总结
将数据同步至 Kafka，还是之前的套路，区别点在于如何将复制进程当做客户端，当做生产者往 Kafka 对应的 topic 上生产数据。此外，Kafka 作为高吞吐量、低延迟、高并发的消息中间件产品，ogg 的同步进程甚至不需要考虑目标端的性能问题，只要往 Kafka 上推送数据，最终的数据使用则是另一端的消费者程序来使用数据。如果 Kafka 消费者程序可以连接到不同的数据库、不同的大数据开源组件进行数据的消费，那么就可以形成一个统一的模式，即 ogg_for_XXDB -> ogg_for_BigData -> Kafka -> 任意数据库。实际生产中的配置还包括涉及到安全认证的问题，在此省略。同时，我们也可以联想到基于 ogg 的数据操作闪回功能，结合数据变化的前后镜像，可以实现更多的可能性。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5943.html
相关推荐
-
HACMP环境下db2数据库DMS表空间扩容
HACMP环境下db2数据库DMS表空间扩容 作为本际云服务器推荐网的小编小本本，今天给大家分享关于HACMP主备模式下DMS表空间裸设备扩容方式。 扩容步骤 以下是具体的步骤： …
-
MySQL数据迁移之表空间传输
MySQL数据迁移：表空间传输 我是本际云服务器推荐网的小编小本本，今天为大家介绍一下MySQL数据迁移之表空间传输。 简介 在MySQL5.6.6版本中引入了一种基于表空间快速迁…
-
docker安装部署
Docker安装部署 小编今天要和大家分享的是Docker的安装部署，作为一种新兴的虚拟化方式，Docker跟传统的虚拟化方式相比具有众多的优势。Docker的思想来自于集装箱，就…
-
Python绘制数据动态图的方法详解
利用Python绘制数据动态图表 我是本际云服务器推荐网的小编小本本，今天给大家分享一下如何利用Python绘制数据动态图表。动态图表可以让数据更加生动，便于数据分析和可视化呈现。…
-
ansible基本使用
Ansible是什么 Ansible是一个自动化运维工具，可以实现批量配置，部署，命令等功能。 Ansible常用配置 在安装完成后，可以通过yum或者pip进行安装，安装完成后默…
-
MySQL区分大小写参数配置
背景简述 在云环境中，会出现MySQL5.7以下版本修改区分大小写参数导致备份失败，和MySQL8.0修改区分大小写参数导致无法启动。 MySQL区分大小写配置 2.1 MySQL…
-
OGG普通抽取模式转换成集成模式遇到的坑
OGG普通抽取模式转换成集成模式遇到的问题 本文介绍了一个大数据平台配置OGG抽取进程的问题，由于原始配置的OGG抽取进程是普通抽取模式，无法针对压缩表进行抽取，所以需要升级OGG…
-
Ubuntu18.04安装Nginx，打造高性能Web服务器
Ubuntu18.04简介 Ubuntu是一个免费开源的操作系统，它是基于Linux内核的。Ubuntu拥有界面友好、易于使用、快速、安全等诸多优点，因此备受广大用户的追捧。Ubu…
-
pyecharts制作时长滚动图片柱状图+饼状图+玫瑰图+折线统计图
pyecharts制作时长滚动图片柱状图+饼状图+玫瑰图+折线统计图 本文将详细介绍pyecharts制作时长滚动图片柱状图+饼状图+玫瑰图+折线统计图的方法，内容把握重点，基本介…
-
Instagram怎么注册(ins为什么显示创建用户错误？)
为什么ins显示创建用户错误？ 如果你在ins注册时遇到了创建用户错误，有可能是以下几个原因造成的： 注册请求超时或者注册网络异常。在使用ins时，需要使用伽速器进行代理，如果伽速…