文章目录
本文对应《跟老韩学 AI 算力运维》第 1 章 1.1 节。文中所有终端输出均标注了来源：【本机实测】为作者实验机（GTX 1060 5GB / 驱动 560.94 / CUDA 12.6）的真实运行结果；【现场还原】来自真实故障现场的命令与字段结构，敏感数值已做脱敏处理。具体数值请以你自己的环境为准。
凌晨 2 点 47 分，手机响了。
一个 8 卡节点的训练任务挂了，算法同学在群里 @ 你：「昨天还跑得好好的，今天一早就起不来了。」
你连上去敲 nvidia-smi，本该 8 行，只剩 7 行。
这就是算力运维的日常。它跟你干了八年的机房运维，表面上一样——巡检、告警、报修、写工单。可出了事你才会发现：机房的灯是绿的，交换机的灯是绿的，门禁记录干干净净，任务就是跑不起来。
下面三个现场，把「IDC 运维」和「算力运维」的分界线给你画清楚。
一、先给结论：三个现场，三种难度
| 现场 | 报不报警 | 业务表现 | 难点在哪 | 主战场 |
|---|---|---|---|---|
| 掉卡 | 报（数量变化） | 任务直接失败 | 线索多但散，需要串成证据链 | 内核日志 + 带外日志 |
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/weixin_36518466/article/details/166828294
