使用DataX批量从OB迁移表到Oracle
作为际云服务器推荐网的小编小本本，为了实现核心系统业务部分业务迁移到国产数据库OceanBase，需要将历史数据迁移到Oracle数据库。考虑到数据实时性不高，只需要完成一个月的数据迁移即可。之前使用了OMS迁移，但因为不支持单个分区的迁移只能全表迁移，导致迁移时间较长。为了解决这个问题并备份后续要迁移到国产数据库的业务，考虑使用DataX批量迁移数据。
DataX简介
DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，支持各种异构数据源之间的稳定高效的数据同步功能。DataX采用Framework+plugin架构，将数据源读取和写入抽象成为Reader/Writer插件，并通过Framework连接两者，作为数据传输通道，并处理缓冲、流控、并发、数据转换等核心技术问题。
使用DataX批量迁移数据的步骤
使用DataX进行批量迁移数据需要通过以下步骤：
1. 在Oracle创建目标表的表结构
在使用DataX同步数据之前，需要先在目标端Oracle数据库中创建相应的表结构。在这里可以使用OMS直接从OB迁移表结构到Oracle。
2. 创建配置文件（JSON格式）
创建配置文件时，需要使用JSON格式，主要由setting和一个reader和一个writer组成。批量配置JSON可以设置channel参数控制任务并发数、bytes参数控制每秒字节数、record参数限制出错记录数等。
3. 使用变量${readTb}表示表名并进行传输
DataX的基本执行语句为python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json，传输时可使用-D参数进行设置，使用变量${readTb}表示表名。
4. 并发参数Channel的实现
DataX的并发参数Channel是通过生成多个SQL语句实现的，因此Channel参数仅在能够split出多个SQL语句的场景下生效，也就是table模式+spliPk下具有实际意义。在table模式下，Channel个数决定Reader和Writer的个数上限，如果指定了spliPk字段，DataX会将MySQL表中的数据按照
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6452.html
相关推荐
-
Mybatis中#{}和${}区别
#{}和${}的区别 Mybatis中#{}和${}是用来传递查询参数的两种方式。其中#{}方式是预处理，而${}方式是字符串替换。 #{}和${}的应用场景 #{}方式对输入字符…
-
亚马逊跟卖是什么(赶跟卖是什么意思？)
什么是跟卖？ 跟卖是指不同卖家之间的同款产品共用同一个详情页面的情况。在亚马逊平台上，由于重视产品而非店铺，因此同款商品可以使用同一个产品页面，这样能够避免搜索结果出现大量重复的商…
-
docker配置阿里云镜像加速器，加速下载docker镜像
推荐使用阿里云镜像站加速下载速度 大家都知道，官方镜像站的下载速度常常十分缓慢，这会给我们平常的开发工作带来极大的困扰。所幸，小编小本本今天要介绍一个更好的解决方案，那就是使用阿里…
-
Python+Selenium实现在Geoserver批量发布Mongo矢量数据
Python + Selenium 实现 Geoserver 批量发布 Mongo 矢量数据 本篇文章旨在以半自动化的方式给大家介绍 Python + Selenium 如何实现 …
-
python能够装饰数据表格输入数据的两大专用工具
介绍Python装饰数据表格输入数据的工具 本文将详细介绍Python能够装饰数据表格输入数据的两大专用工具——tabulate和prettytable。数据表格通常需要整理、运算…
-
Oracle2PG系列之管理SQL执行计划
管理SQL执行计划 我是本际云服务器推荐网的小编小本本，今天给大家分享一下使用 Oracle2PG 迁移数据库过程中遇到的 SQL 执行计划问题的解决方案。 执行计划 在日常运维过…
-
记11.2.0.3版本远程投毒修复方案
你好，欢迎来到本际云服务器推荐网，我是小编小本本！ 概述及分析 针对一套x86系统上运行的11.2.3版本数据库，发现Oracle远程监听投毒漏洞，并参考CVE-2012-1675…
-
nvm安装|更新|切换|nodejs的命令实例详解
小本本介绍 你好，我是本际云服务器推荐网的小编小本本，今天给大家介绍一下nvm，这是一个node的版本管理工具，可以简化node版本切换、安装、查看等操作。 nvm常用命令 下面是…
-
CDH5.5.1环境部署
CDH5.5.1环境部署 作为本际云服务器推荐网的小编小本本，发现Hadoop使用的是Cloudera公司（Hadoop的分发商）的CDH5版本，操作系统为Centos6.5版本。…
-
Windwos下实现Nginx+Tomcat集群过程解析
简单的Nginx和Tomcat集成 你好，我是本际云服务器推荐网的小编小本本。今天我们来介绍一下如何简单地将Nginx和Tomcat进行集成。 下载并安装Nginx和Tomcat …