限速
DataX的限速实际上是在core.json文件的speed方法里面进行配置的，通过记录数和字节数来限制速度。在Channel初始化时，会初始化限速的记录数和字节数，并在statPush方法里面根据当前的byteSpeed和设定的byteSpeed对比，求出睡眠时间，再根据当前的recordSpeed和设定的recordSpeed对比，取休眠时间的最大值，最后使用Thread.sleep方法实现限速。
调优
传输速度缓慢可能是因为网络本身的带宽等硬件因素，也可能是DataX本身的参数导致的。针对网络本身的情况，可以通过从源端到目的端scp、pythonhttp、nethogs等观察实际网络及网卡速度的方式来排查，也可结合监控观察任务运行时间段时网络整体的繁忙情况，来判断是否应将任务避开网络高峰运行或观察任务机的负载情况，尤其是网络和磁盘IO，看其是否成为瓶颈，影响了速度。而针对DataX本身的参数，可以通过提升每个channel的速度或者提升DataXJob内Channel并发数来进行调优。当提升DataXJob内Channel并发数时，应该调整JVM堆参数，否则会出现内存不足等错误。同时，Channel个数也不是越多越好，过分大反而会影响宿主机的性能。调整JVMxmsxmx参数的方式有两种，一种是直接修改datax.py，而另一种是在启动时加上对应的参数。需要注意的是，MysqlReader进行数据抽取时，如果指定splitPk，则DataX会启动并发任务进行数据同步。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6602.html
相关推荐
-
DB2联邦查询配置
DB2联邦查询配置 作为IT那活儿的小编——小本本，今天为大家介绍一下DB2联邦查询配置。 需求 查询多个数据源中的数据。在主机1数据库中连接查询主机2数据库中数据。 环境准备 主…
-
Docker的镜像优化
容器化背景 现今越来越多的企业将docker运用到自动化运维中，不管是为了保证开发、测试、生产环境的环境一致性，还是和CI/CD工具的集成度，例如jenkins对docker或k8…
-
利用js来实现简单图片切换
利用JavaScript实现图片切换 我是本际云服务器推荐网的小编小本本，今天来和大家分享利用JavaScript实现简单图片切换的方法。 代码的主要思路如下： 代码思路 给“下一…
-
动态拓展flink集群计算节点
动态拓展flink集群计算节点 你好，我是本际云服务器推荐网的小编小本本。近期由于flink集群的CPU总核数限制，flink集群已经没有看可用的slot资源，无法继续在集群上新增…
-
进出口资质怎么办理(进口许可证怎么办理？)
进口许可证怎么办理？ 当进口商取得进口配额后，需要填写《进口货物许可证申请表》，并向当地外经贸主管部门申请办理《进口许可证》。需要申领时，必须提交一些
-
解析python二维动画、二维动画目录的复位难题
Python二维动画的目录复位 本文将详细介绍Python二维动画、二维动画目录的复位。这篇文章根据两种形式来给大家详细的讲解，对大家学习培训和工作具有很强的参照参考实际价值，相信…
-
集成安装之Linux7平台Oracle19c配置ipv6
配置Linux7平台Oracle19c 在Linux7平台Oracle19c配置ipv6之前，需要先确认系统是否开启了ipv6功能。一种确认方法是通过查看网卡属性，如果ifconf…
-
centos安装ssh服务（附：centos配置ssh服务教程）
在 CentOS 中，我们可以通过以下步骤来安装 SSH 服务： 打开终端并以 root 用户身份登录。运行以下命令安装 SSH 服务：Copy codeyum install o…
-
深圳服务器托管
您好，我是本际云服务器推荐网的小编小本本。今天我将为您介绍深圳服务器托管服务。 什么是深圳服务器托管服务？ 深圳服务器托管是指将服务器设备托管在深圳的机房内，由专业的机房运营商负责…
-
服务器分为哪几种
服务器类型分类 你好，我是本际云服务器推荐网的小编小本本。云服务器分为多种不同类型，包括共享型、通用型、计算型、内存型、大数据型、本地SSD型、高主频计算型、GPU型、FPGA型、…