山岚的运维笔记头像
Mac 当主机,Linux 当服务器(尾声)半年后——虚拟机的错误是「学费」,真实服务器的错误是「事故」封面图

Mac 当主机,Linux 当服务器(尾声)半年后——虚拟机的错误是「学费」,真实服务器的错误是「事故」

摘要:小林转正半年了。工位换了、机器从 1 台变成 12 台,然后一个周五下午 5 点,告警真的来了。这篇复盘他的第一次生产故障:一条 InstanceDown 告警、ping 不通、ssh 超时,最后在 KVM 控制台里看到 UNEXPECTED INCONSISTENCY——文件系统不一致,要手动 fsck。比命令更重要的是两个东西:为什么虚拟机可以乱搞、真实服务器不行,以及老周留给全书的三句话。

承接上篇:小林转正了,老周说「你可以出师了」。但出师不是终点,是起点。

Mac 学 Linux 尾声:半年后,敬畏然后动手


一、半年后的工位

半年后,小林的工位换了。

从靠墙的小桌子,搬到了靠窗的位置。桌上多了一台显示器,一个机械键盘,和一个保温杯——老周同款。

他每天的工作,不再是「搭博客、配监控、分析日志」这三件事。他开始接手公司的真实服务器,一共 12 台,跑着 Web、数据库、缓存、消息队列。

「小林,你现在是正式运维了。」老周说,「但我要提醒你一句。」

「什么?」

「虚拟机和真实服务器,是两回事。」

小林不信:「不都是 Linux 吗?」

「都是 Linux。」老周说,「但虚拟机里,你搞坏了,快照恢复。真实服务器上,你搞坏了,业务就挂了。」

「虚拟机的错误,是『学费』。真实服务器的错误,是『事故』。」

小林把这句话记在了笔记本第一页。

虚拟机 vs 真实服务器


二、第一次真实故障

七月的一个周五,下午 5 点,快下班了。

小林的邮箱弹出一封新邮件:

[FIRING:1] InstanceDown (critical)
实例 10.0.0.23 离线

说明: 实验室那套是 Postfix 发到你自己的邮箱(第 19 篇);生产环境的告警通常走 Alertmanager 的 webhook receiver,推到企业微信 / 钉钉的监控群——就是第 18 篇里说的「换个 receiver 就能发群」。渠道会变,[FIRING:1] ... (severity) 这个格式不变。

小林看了一眼,心跳加速。

「10.0.0.23 是那台数据库服务器。」他自言自语,「不是我的博客,是真实业务。」

他打开 Grafana,确认 CPU、内存、磁盘全断了。up 变成 0。

「数据库挂了。」

他深吸一口气,想起老周说的「全链路排错清单」。

数据库离线:四步定位到 fsck

第一步:网络通不通?

ping 10.0.0.23

输出:

Request timeout for icmp_seq 0
Request timeout for icmp_seq

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/stgduser/article/details/167279379

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--