故障背景
本际云服务器平台在进行数据采集时，发现平台数据查询异常，经过仔细核查发现后台的kafka连接异常，并且日志文件涨至200G，导致MySQL主机存储溢出，最终导致整个平台使用异常。
解决方案
经过查询资料发现，大量org.apache.kafka.common.network.Selector异常是由socket.request.max.bytes参数值过低导致，调整到告警值的两倍后重启正常。然而，下午发现平台监控采集数据又中断了，再次检查kafka发现有新的报错信息：(java.lang.OutOfMemoryError:Javaheapspace)。这次错误涉及内存溢出，需要调整kafka启动内存，对kafka的原生start脚本进行调整，重启后发现还是报大量内存溢出。
继续调查，发现kafka的start脚本写的是默认的1G，而该脚本也设置了启动内存，导致设置内存参数一直未生效。经过注释该参数，在kafka-server-start.sh里面加入如下参数，重启后顺利解决故障：
export KAFKA_HEAP_OPTS=”-Xmx6G -Xms6G -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80″
故障总结
整个故障的原因是kafka异常导致数据采集进程异常并出现大量错误日志，以至于撑爆MySQL主机存储。故障的解决方案是进行topic数据保留时间的调整、启动内存的设置以及调整socket.request.max.bytes参数等。最后，我们将topic保留时间修改为12小时，启动内存进行调整，并进行socket.request.max.bytes参数的调整，解除了集群故障。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5949.html
相关推荐
-
PostgreSQL进程和内存浅析
PostgreSQL进程架构 本文主要介绍PostgreSQL中的进程结构和内存架构，适用于初学者。PostgreSQL是一个客户端/服务器类型的关系数据库管理系统，具有多进程体系…
-
系统配置文件inode号异常导致系统崩溃
故障现象描述 某平台数据库备库服务器系统出现大量系统配置文件报错，进而导致系统崩溃，然后宕机。 问题诊断及解决 通过在启动系统时，根据启动的信息提示，该问题的原因是系统在崩溃前，提…
-
OMS数据迁移之报错万金油解决方法
OMS数据迁移：表结构迁移报错处理 在OMS正向迁移（Oracle->OB）过程中，表结构的迁移可能会遇到报错。其中一种报错是隐藏列异常。在迁移任务报错页面中可以看到报错信息…
-
MYSQL的ibtmp1文件太大问题
MySQL临时表空间文件过大的问题 本文将介绍MySQL的临时表及相关对象，以及其中的新特性——”non-redo”undolog，以及针对该特性引入的临时…
-
Oracle的块改变跟踪引发的宕库案例
介绍 大家好，我是本际云服务器推荐网的小编小本本，今天给大家分享一起Oracle数据库宕库的案例分析及解决方法。 问题分析 某天晚上22点16分左右，收到了一个RAC数据库两节点的…
-
全球速卖通怎么注册(速卖通入驻准入条件？)
速卖通入驻准入条件 作为速卖通推荐网的小编小本本，告诉大家全球速卖通入驻条件：个体工商户和企业身份都可以入驻速卖通。一个企业/个体工商户最多开通6个速卖通店铺，开店流程每次都一样。…
-
数据库故障营业系统重启恢复操作
介绍：ZnAiops智慧运营管理平台 当数据库出现故障时，营业系统需要配合进行切换及重启恢复操作。而手动停止、启动、重启业务应用容器、进程等操作比较繁琐效率低，原来需要多人同时花费…
-
深圳跨境电商有哪些(十大跨境电商平台？)
十大跨境电商平台 在全球范围内，跨境电商平台日益增多，其中排名前十的包括： 第一名：Amazon亚马逊（美国亚马逊公司） 第二名：阿里巴巴国际站（阿里巴巴集团控股有限公司） 第三名…
-
虚拟机上安装nginx：一步步教程
介绍 在虚拟机上安装nginx是一种常见的架设Web服务器的方式。它可以将一个计算机分割成多个虚拟环境，方便开发人员进行代码测试，以及搭建个人网站或者小型企业网站。本文将介绍如何在…
-
Apache Atlas 安装部署（附：apache安装教程详解）
ApacheAtlas是一款开源的大数据元数据管理和数据治理工具，可帮助组织更好地管理和保护其数据。在本文中，我们将介绍如何安装和部署ApacheAtlas。 安装Apache 在…