故障背景
本文将讲述一次k8s集群中怪异的时间修改导致的系列问题。某日，k8s上运行的一些业务反应服务出现异常，访问ceph集群也出现缓慢或者mount的fs无法读取等问题，最终问题经过简单的排查，发现业务客户端时间与当前时间相差8个小时。
分析过程
为了定位问题，我们进行以下步骤：
- 检查ceph存储情况，发现有少许客户端响应超时的问题；
- 登录mds服务器，查询具体被阻塞的客户端；
- 锁定业务W，并根据客户端IP锁定容器；
- 通知同事检查对应的IP主机上的业务容器是否正常；
- 发现容器对ceph的目录访问出现卡顿，ls等命令无法正常显示；
- 进一步检查日志，发现时间偏差告警；
- 检查服务器时间，date显示时间与当前时间相差8小时；
- 检查服务器messages日志，发现时间被更改而NTP同步暂未完成。
业务恢复和问题复盘
原因确认是时间异常，对IP-9服务器的时间进行同步并恢复，但是业务自愈性较差，对容器内的业务进程进行了重启恢复，业务恢复正常。虽然最终锁定了“真凶”是业务A，但容器更改的时间影响宿主机的原因不合理，深入分析后发现是因为业务A镜像加入集群未进行镜像安全相关的扫描和审核，导致使用的自有容器镜像默认具有很高的权限，容器中更改时间影响到了宿主机。该结论得到了经过审核的镜像中的验证。使用date命令时，需要留意命令结果中显示CST还是UTC或者其他时区，修正时间前必须先修正时区。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6238.html
相关推荐
-
混合云-自建机房（乌兰察布、青浦）
核心卖点 本际云服务器提供客单定制服务，支持电力、冷力、资源单位电量、安防等定制化服务。我们拥有专业的服务团队，现场代维、系统代维、网络代维、云计算实力输出，为客户提供全方位的解决…
-
JavaScript中让x==1&&x==2&&x==3等式成立演示
解决让x等于1、2、3的等式问题 你知道如何让x等于1且让x等于2且让x等于3的等式成立吗？现在我们来一起分解思路。 宽松相等和严格相等 我们先来说说宽松相等 == 和严格相等 =…
-
介绍vue项目中jsconfig.json概念及使用步骤
在Vue项目中使用jsconfig.json 大家好，我是本际云服务器推荐网的小编小本本。在Vue项目中，使用jsconfig.json可以改善JavaScript体验。该文件与T…
-
服务器分为哪几种
服务器类型分类 你好，我是本际云服务器推荐网的小编小本本。云服务器分为多种不同类型，包括共享型、通用型、计算型、内存型、大数据型、本地SSD型、高主频计算型、GPU型、FPGA型、…
-
Nginx支持哪些编程语言？
介绍 Nginx是一个快速且可靠的Web服务器程序，它有一个重要的优点——它的模块化结构使得它可以轻松地支持不同类型的应用程序和编程语言。在本文中，我们将探讨Nginx对哪些编程语…
-
跨IDC同步工具常见问题解析
跨IDC同步工具常见问题解析 作为本际云服务器推荐网小编小本本，今天要和大家分享一下跨IDC同步工具常见问题及解决方案。 数据一致性问题 在跨IDC同步过程中，数据一致性是一个重要…
-
CentOS时区设置问题解决（附：一篇简易教程）
简介 CentOS是一种常用的Linux操作系统，但其默认时区可能与用户所在地区不一致。为了保证系统时间准确，并避免时间上的混淆，需要对其时区进行设置。本文将介绍如何在CentOS…
-
Kakaku(怎么查询同种商品在日本的价格？)
日本商品价格查询网介绍 你想知道同种商品在日本的价格吗？官方网站kakaku.com能让你轻松查询到。 kakaku.com成立于1997年，是一个购买商品前必看的网站，能够提供相…
-
Python为为什么要储存显式self
Python中为什么要储存显式self 在Python中，引入实例自变量或方式时显式地储存self非常重要。这是因为忘记键入“self.”会造成十分模糊不清的错误报告。如果省去参数…
-
宝塔windows面板怎么弄自己网站（含：宝塔面板windows建站教程）
宝塔windows面板怎么弄自己网站？ 如果你想在自己的Windows服务器上搭建网站，可以考虑使用宝塔面板。宝塔面板是一款集成了Web服务、数据库、FTP、DNS等多种功能的服务…