很多河南、郑州企业做服务器托管换机柜、跨机房迁移之后，遇到一个棘手问题：迁移之前业务稳定，迁移上架完成，服务器系统、网站、程序都正常启动，但是访问延迟明显抬高，时不时随机超时、接口抖动。
这类故障属于典型的迁移后隐性问题。时好时坏、没有规律，重启服务器临时好转，过段时间又复现。很多运维第一反应是机房带宽不够，实际上，大部分和带宽无关，是上架布线、交换机配置、路由、系统参数、硬件适配等环节变更带来的连锁问题。
一、先分清：是网络链路问题，还是业务应用问题
排查第一步，不要直接抓包调内核，先做对照测试，缩小范围：
- 多运营商测试：电信、联通、移动分别访问，判断是全部用户延迟高，还是单运营商异常；
- 双向 MTR 检测：从客户端往服务器、服务器往客户端双向跑 MTR。互联网路由来回路径不一样，单向测试很容易误判；
- 内网对比：在机房同网段其他机器访问这台服务器，如果内网访问也延迟高，问题锁定在机柜内网、交换机、服务器网卡侧；内网正常、只有公网异常，就是 BGP 出口、运营商路由的问题。
简单判定口诀：内网慢 → 机房接入侧；内网正常、公网慢 → 出口路由、跨网对等链路。
二、迁移上架后高发的机房硬件与接入侧问题（最容易忽略）
1、网线、光模块、端口协商异常
迁移过程需要拔插网线、光纤，很多隐性故障来自这里：水晶头接触不良、光纤端面脏污、模块兼容性差，交换机端口自动协商失败，强制协商成百兆、半双工。 现象：ping 有抖动，随机丢包，流量低的时候看不出异常，有业务流量就开始超时。 排查：查看网卡ethtool，确认速率是千兆 / 万兆、双工模式正常，观察网卡 error、CRC 错误包持续上涨。
2、机柜交换机 VLAN、ACL、端口策略变更
换到新机柜，接入的交换机端口、VLAN、QoS 限速、ACL 黑名单和之前不一样。部分机房交换机端口默认开启风暴抑制、流量限速，迁移之后端口策略继承错误，小包被丢弃，引发接口随机超时。
3、同机柜广播风暴、相邻设备干扰
新机柜内其他服务器 ARP 广播、异常流量，或者交换机端口隔离没有开启，异常报文涌入网卡，抢占 CPU，拉高软中断，造成业务延迟抖动。
4、链路路由变更，BGP 选路绕行
BGP 机房服务器迁移，IP 不变，但是接入交换机变化，BGP 路由的下一跳、选路结果可能发生变化。同一个目标 IP，迁移前走直连优质对等链路，迁移后绕行骨干节点，RTT 直接增加几十 ms，跨网访问体感明显变慢。
三、服务器系统与网卡配置类问题
1、网卡 RSS、多队列、中断亲和丢失
迁移重装、重启之后，很多手动调优的网卡中断绑定、RPS/RFS 配置没有写入开机自启，重启全部失效。所有网络报文挤在同一个 CPU 核心，软中断 si 打满单核，带宽空闲，业务响应延迟、偶发超时，这个故障我们之前文章专门讲过。
2、MTU 不匹配，PMTU 黑洞
迁移之后机房链路 MTU 值和之前不一致。防火墙拦截 ICMP 不可达报文，大包无法分片探测，大请求随机丢包、超时，小包访问看着正常。
3、防火墙、安全组策略差异
新机柜接入的清洗集群、机房硬件防火墙策略不同，新增了连接跟踪、会话超时阈值，部分长连接被提前断开，出现随机接口超时。
4、缓存、连接状态没有预热
数据库、Redis、程序本地缓存冷启动，大量请求落到磁盘，不是网络慢，是应用层压力上涨，很多运维会误判成网络延迟问题。迁移之后大量新建 TCP 连接，连接跟踪表 conntrack 快速打满，新连接握手失败、超时。
四、业务层面容易混淆的诱因
- 迁移后时间同步异常（NTP 时间漂移），分布式业务、订单、鉴权服务出现随机报错、请求超时；
- 程序依赖的内网 IP、网关、DNS 地址变更，配置遗漏，偶尔解析失败；
- 迁移上架后，服务器供电、风道变化，局部热点，CPU 降频，处理能力下降，表现为响应变慢。
五、标准化排查步骤（托管运维可以直接套用）
- 查看网卡统计：CRC 错误、丢包、overrun，如果持续增长，优先排查网线、模块、交换机端口；
- 双向 MTR，定位丢包和延迟突增的跳点，区分是内网交换机、机房出口还是运营商骨干；
- 查看
top、/proc/softirqs，确认软中断是否单核不均衡； - 核对 MTU，ping 大包测试是否丢包，排查 PMTU 黑洞；
- 核对防火墙、安全组、会话超时、连接跟踪上限；
- 对比迁移前后 BGP 路由，确认访问不同运营商的出口路径；
- 排除硬件温度、CPU 降频、磁盘 IO 瓶颈；
- 复现超时场景抓包，看是 TCP 重传、握手失败，还是应用内部响应慢。
六、机房托管迁移避坑与服务说明
服务器换机柜、迁移割接，看着只是拔插网线，实际上接入交换机、端口策略、路由、链路环境全部发生变化，是故障高发节点。很多低价机房迁移只负责上架插线，不做上架后的链路验证、网卡参数复检、路由对比，业务上线之后才陆续暴露隐性问题。
我们郑州易方科贸 BGP 机房，服务器托管迁移、换机柜上架时，运维会做一套完整的上架核验：端口协商校验、网卡错误包检查、双向 MTR 链路测试、BGP 路由比对、网卡 RSS 参数复核，上架完成之后配合客户做多运营商业务验证，提前把这类偶发超时、延迟抖动的隐患拦截在上架环节，而不是等业务出问题再紧急排查。 如果您的托管服务器迁移之后，出现延迟变高、随机超时、接口抖动，自己排查找不到根因，可以联系我们，协助双向链路抓包、路由分析、网卡参数调优，定位链路瓶颈。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/zhengqweasd/article/details/168141688
