故障现象
12月21日上午，接到短信告警，XXX库节点1实例断连。登陆环境检查后发现，在9:01分左右XXX库节点1主机发生了重启完成。
问题分析
通过对节点1集群日志的分析，我们发现从08:35分到09:01分的时间内并没有报错信息。但在09:02分到09:04秒之间，节点1开始启动集群。数据库节点1主机9点1分重启完成，Oracle集群日志显示在8点35分到9点02分发起集群启动之间无报错信息，Oracle后台日志显示数据库实例在8点51分到9点21分启动实例无报错信息。OSW日志显示节点1在8点55分左右出现断点，CPU和内存资源正常，B队列较高，发现节点1网络心跳超时，导致主机无法响应，网络通信失败。进一步检查节点1在故障时间8点55分左右IO耗尽，导致系统崩溃。通过AWR报告显示大量物理读占据大量IO资源，这是由于一些高耗SQL产生大量的directpathread异常等待事件，导致IO资源耗尽。
解决措施
针对上述问题，我们制定了以下措施：
- 应用侧核查高耗SQL模块，进行优化，数据库侧可以协助提供技术支持。
- 开发商加强上线评审，评审通过后方可上线，避免私自未经评审上线。
- 应用修改连接机制，进行数据库高可用配置（连接数据库VIP，而不是物理IP）。
此外，我们还对连接机制、应用模块进行了修改，同时对系统进行了进一步的稳定性优化，避免类似问题的再次发生。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5798.html
相关推荐
-
Python使用pywebview开发设计桌面应用的全流程
介绍 作为桌面应用程序的开发者，你是否曾经想学习并设计桌面应用程序呢？那么本文将介绍使用Python的pywebview开发设计桌面应用程序的相关资料，希望这能够给大家带来帮助。 …
-
python图像处理数据格式及色调空间变换
图象数据格式及变换 在skimage中，照片实际上是一个numpy二维数组，由于二维数组的数据格式有许多种，可以相互变换，因此图像数据格式也可以有许多种。在skimage中，这种数…
-
DM同步主键冲突原因及排查恢复
DM同步主键冲突原因及排查恢复 我是本际云服务器推荐网的小编小本本，今天给大家介绍一下DM同步主键冲突的原因及排查恢复。 报错分析情况1：上游数据存在冲突的情况 如果上游两套 My…
-
Mysql异常停止之后的恢复操作
Mysql异常停止之后的恢复操作 你好，我是本际云服务器推荐网的小编小本本。今天，我想和大家分享一下Mysql异常停止之后的恢复操作。 操作过程 之前，测试环境主机出现了登陆不上的…
-
网络安全基础介绍
网络攻击 网络攻击一直以来都是我们身边的问题。根据CNCERT/CC（国家计算机网络应急技术处理协调中心）统计，2021年上半年我国境内共捕获恶意程序样本数量约2,307万个，涉及…
-
通过爬虫实现对大数据信息的监控分析
通过爬虫实现对大数据信息的监控分析 作为本际云服务器推荐网的小编小本本，我们在现场工作中，需要提供一个能力服务到能力中台，服务要具备对大数据信息的采集分析能力，且不能依赖与我们的产…
-
help函数处理python全部文本文档信息内容查看
前言 作为本际云服务器推荐网的小编小本本，今天给大家介绍一下如何使用python中的help函数来查看全部文本文档信息内容。 在python中，我们可以使用互动式cmd，在其中使用…
-
黑色星期五是什么意思(美国黑色周五什么意思？)
美国黑色周五是什么意思？ 你好，我是本际云服务器推荐网的小编小本本。今天我想和大家谈谈美国的“黑色星期五”。这个俗语指的是美国商场的圣诞促销活动，也是每年最后一次大规模促销活动之一…
-
演示微信小程序地区选择伪五级联动
微信小程序多列选择器实现伪五级联动 我是本际云服务器推荐网的小编小本本。在项目中，我们要求微信小程序的地区可以选择伪五级联动。这里采用的是自定义多列选择器pickermode=&#…
-
MySQL维护之–如何挽救误操作
MySQL维护之–如何挽救误操作 在我们日常的数据库维护工作中，可能会遇到这种情况：虽然专业维护人员极力去避免意外情况对数据库系统稳定性、安全性的影响，但是很多情况下依…