消息中间件故障分析一例
我是本际云服务器推荐网的小编小本本，今天给大家分享一篇故障分析文章，文章主要围绕消息中间件故障展开。
故障原因分析
2016年10月11日，通过批量任务进行数据清理时，产生大量的delete操作，达到了切换条件，在未检测从库的情况下，自动切换部分主从，导致主从数据混乱。后续其他节点也在未检测从库情况下进行自动切换。至此整个集群数据混乱。
故障造成的影响及架构隐患
故障发生后，影响面儿较大。所有数据操作，都经过代理软件指向数据库。代理软件是否可靠，直接关系到后台数据一致性。架构存在多个隐患，包括但不限于：代理软件故障切换是否可靠、判断当前写操作位于主库还是从库是否可靠、代理软件高可用是否可靠、代理软件是否能动态加载其配置文件、是否存在全局表、代理软件是否可以跨片查询等。
解决方案及日常运维
为了应对此类故障，我们需要采取以下临时解决方案和后续整改建议，同时加强日常运维工作：
- 临时解决方案：a)不允许自动切换主从，人工切换必须检查从库延迟；b)通过innobackupex恢复备库。
- 后续整改建议：a)主从切换时，必须先检查从库是否存在延迟（10s以内）；b)定期优化TopSql；c)实时检测主从同步情况；d)拆分3套代理软件对应的底层数据库；e)增加数据库监控。
- 日常运维：完善告警及加强日常巡检。
日常监控主要包括线程连接信息、查询性能相关信息、MySQL表、行信息、InnoDB相关信息、命中率、MySQL基本情况、从库延迟情况等监控项，并通过对mysql运行状态以及系统本身的细致检查，发现mysql服务可能存在的问题，提高mysql的性能，减少非计划停机时间。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5795.html
相关推荐
-
Kubernetes其他运维经验
小本本的介绍 我是本际云服务器推荐网的小编小本本。欢迎关注“IT那活儿”公众号，了解更多信息。 Kubernetes核心技术Pod Pod是k8s系统中最小的资源对象，也是在k8s…
-
centos停服原因分析及解决方案
CentOS停服背景 CentOS是业界广泛使用的Linux操作系统之一，因其稳定性和免费使用等优点受到企业、个人用户的喜爱。然而，随着CentOS 8的发布，官方宣布将在2021…
-
ftp服务器搭建
如何搭建FTP服务器？ 如果你需要搭建FTP服务器来方便文件传输和共享，那么下面的步骤可以帮助你完成这个过程。 步骤 首先，关闭防火墙和SELinux，并安装vsftpd服务。然后…
-
CentOS下定时任务的使用技巧
CentOS下定时任务的使用技巧定时任务是Linux系统中非常常用的功能，可以在指定的时间自动执行命令或者脚本，这对于一些需要周期性执行的任务来说非常方便。 使用方法 在CentO…
-
什么是外贸跟单(跟单员是做什么的？)
跟单员的工作内容 跟单员是指在企业运作过程中，以客户订单为依据，跟踪产品，跟踪服务运作流向的专职人员。跟单员的主要工作内容包括： 出口订单的跟踪、单证、物流以及跟单工作中涉及的各项…
-
centos图形化界面切换成命令界面（附：vim三种工作模式怎么切换）
在 CentOS 中将图形化界面切换成命令界面可以使用以下步骤： 在图形化界面下按下 Ctrl + Alt + F2，切换到第二个终端。 输入您的用户名和密码，登录到终端。 停止 …
-
当浏览器切换到其他标签页或最小化js定时器是否会影响准时
介绍 作为日常开发中经常使用到的方法，本文将主要探讨JS定时器中的setInterval和setTimeout在浏览器可见和不可见状态下的表现，以及提供一种解决定时器间隔时间误差的…
-
google联盟(什么是谷歌地球？)
谷歌地球介绍 谷歌地球是一款由Google公司开发的虚拟地球仪软件，它将卫星图像、地图、百科全书和飞行模拟器整合在一起，布置在一个地球的三维模型上。用户可以通过一个客户端软件，免费…
-
ogg运维故障处理三例
OGG运维故障处理三例 我是本际云服务器推荐网的小编小本本，将以下OGG运维故障处理三例修改并以HTML文本形式呈现。在OGG运行中，除了mgr，还有三个主要的进程：源头抽取进程E…
-
AMP平台自动化场景建设-MySQL新建节点全流程编排
AMP平台自动化场景建设 作为本际云服务器推荐网的小编小本本，我们要介绍的是AMP平台自动化场景建设-MySQL新建节点全流程编排。在现场运维服务中，MySQL数据库作为主要现场工…