事件背景
本际云服务器推荐网最近进行历史库割接，需要采集历史库中数据的基础信息，方便做后期迁移方案和业务切换规划，因此使用DOMP平台对历史库的会话信息进行定期采集，采集的基础信息入库到GreenPlum中。然而，在数据采集的过程中遇到了一些问题。
踩坑过程
正常的数据采集流程包括构思数据采集需求、编写采集脚本、创建GP入库表、变更入库脚本、重启数据入库程序。但是，在本次的配置完成后，出现了错误。错误信息提示编码错误，但是GreenPlum数据库默认编码格式为UTF8，主机的编码也是UTF8，未发现异常。进一步排查错误，发现采集的数据首先会进入到kafka中，检查kafka里对应topic生产数据，发现数据后面多了’ u00000 ‘。GreeenPlum官网解释为字符中包含了u00000，但是实际查询的数据中并没有发现这种特殊字符。开发同事建议将kafka消费生成的csv文件中存在的特殊字符’^0^’解决，通过字符截取和ascii码转换发现该值为0。最终通过修改采集脚本将空格替换为null解决了该问题。
此外，在采集oracle源数据中，出现了空字符串，而在vim里就显示成’^@’，但在oracle中去查询有问题的数据列时，并没有发现对应的列有空数据。
分析总结
回想整个事件的处理过程，排查多次无果的时候是容易令人放弃的。因此，我们从问题出现的原因去排查，再去从数据源头排查，最终找到了数据的异常原因。
当中途出现没有解决思路的时候，可以请教身边的同事，扩展自己解决问题的思路。总的来说，解决问题的时候，需要保持细心、多思考、多请教、肯钻研，那么再难的问题也会不攻自破。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5841.html
相关推荐
-
Gbase主机负载异常
问题背景 本文小编小本本收到业务侧反馈数据库负载异常，于是前去查看数据库调度情况。发现有大量会话处于排队状态，并且部分会话执行时间较长。 问题分析 2.1使用c3工具查看cexec…
-
在前端框架中封装Vue第三方组件的三个小技巧
封装第三方组件：属性 在封装第三方组件时，经常需要使用第三方组件的属性，比如禁用输入框。如果直接一个个用prop传进去，既繁琐又不利于代码可读性。可以使用$attrs属性，一步到位…
-
使用nginx实现域名重定向，提高网站流量
什么是域名重定向 简单来说，域名重定向就是将一个网站从一个URL地址重定向到另一个URL地址的过程。常见的场景包括网站迁移、网站改版、域名更换等。 为什么要使用nginx实现域名重…
-
Pytest架构之fixture详细说明（三）
Pytest架构之fixture详解 作为测试框架pytest中不可或缺的一部分，fixture在自动化测试中有着广泛的应用和参考意义。本文将介绍Pytest的fixture，内容…
-
Oracle手工建库
Oracle手工建库 您好，我是本际云服务器推荐网的小编小本本。下面为您介绍Oracle手工建库。 建库步骤 以下是Oracle手工建库步骤： 1. 根据数据库提供的默认init….
-
一文详解亚马逊账户的关联问题(亚马逊密码输错会导致关联吗？)
亚马逊账号关联申诉问题 你好，我是本际云服务器推荐网的小编小本本。在亚马逊卖家被封号后，最关心的问题是是否能够申诉回来。根据酷鸟的了解，亚马逊账号关联有三种情况：1.与违规被封号的…
-
Sysbench压测Mysql
介绍 您好，我是本际云服务器推荐网的小编小本本。今天为您介绍的是sysbench压测mysql。客户购买了一批flash卡，需要选取一台上云主机进行磁盘I/O读写测试以及mysql…
-
服务器托管和租用哪个更划算
服务器托管 服务器托管是将服务器存放在数据中心的一种方式。您将拥有服务器的所有权，但需要将其放在数据中心并为维护、管理设备付出费用。服务器托管可以提供专业的技术支持和硬件维护，并且…
-
PostgreSQL进程和内存浅析
PostgreSQL进程架构 本文主要介绍PostgreSQL中的进程结构和内存架构，适用于初学者。PostgreSQL是一个客户端/服务器类型的关系数据库管理系统，具有多进程体系…
-
kustomize-kustomize安装和使用
介绍 本文将会介绍Kustomize是什么以及如何使用它来渲染Kubernetes资源文件。Kustomize是K8S-SIG开发的一个渲染K8S资源文件的工具，主要应用于多集群环…