摘要:小林转正半年了。工位换了、机器从 1 台变成 12 台,然后一个周五下午 5 点,告警真的来了。这篇复盘他的第一次生产故障:一条
InstanceDown告警、ping不通、ssh超时,最后在 KVM 控制台里看到UNEXPECTED INCONSISTENCY——文件系统不一致,要手动fsck。比命令更重要的是两个东西:为什么虚拟机可以乱搞、真实服务器不行,以及老周留给全书的三句话。承接上篇:小林转正了,老周说「你可以出师了」。但出师不是终点,是起点。

一、半年后的工位
半年后,小林的工位换了。
从靠墙的小桌子,搬到了靠窗的位置。桌上多了一台显示器,一个机械键盘,和一个保温杯——老周同款。
他每天的工作,不再是「搭博客、配监控、分析日志」这三件事。他开始接手公司的真实服务器,一共 12 台,跑着 Web、数据库、缓存、消息队列。
「小林,你现在是正式运维了。」老周说,「但我要提醒你一句。」
「什么?」
「虚拟机和真实服务器,是两回事。」
小林不信:「不都是 Linux 吗?」
「都是 Linux。」老周说,「但虚拟机里,你搞坏了,快照恢复。真实服务器上,你搞坏了,业务就挂了。」
「虚拟机的错误,是『学费』。真实服务器的错误,是『事故』。」
小林把这句话记在了笔记本第一页。

二、第一次真实故障
七月的一个周五,下午 5 点,快下班了。
小林的邮箱弹出一封新邮件:
[FIRING:1] InstanceDown (critical)
实例 10.0.0.23 离线
说明: 实验室那套是 Postfix 发到你自己的邮箱(第 19 篇);生产环境的告警通常走 Alertmanager 的 webhook receiver,推到企业微信 / 钉钉的监控群——就是第 18 篇里说的「换个 receiver 就能发群」。渠道会变,
[FIRING:1] ... (severity)这个格式不变。
小林看了一眼,心跳加速。
「10.0.0.23 是那台数据库服务器。」他自言自语,「不是我的博客,是真实业务。」
他打开 Grafana,确认 CPU、内存、磁盘全断了。up 变成 0。
「数据库挂了。」
他深吸一口气,想起老周说的「全链路排错清单」。

第一步:网络通不通?
ping 10.0.0.23
输出:
Request timeout for icmp_seq 0
Request timeout for icmp_seq
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/stgduser/article/details/167279379




