摘要
“给 Deployment 加了 preStop sleep 就算优雅下线了吗?”——我把这个问题做成了本机可运行的对照实验:一个进程里用 asyncio.start_server 起 4 个"Pod"(各自监听 127.0.0.1 的临时端口),24 个 worker 用 keep-alive 连接池发 2400 个真实 HTTP/1.1 请求,滚动发布时把"控制面摘 endpoint"和"Pod 跑 preStop"并行推进。建连、收发、计时全是真 socket 与 time.perf_counter(),没有 mock。10 种策略各跑 3 个 seed,结果是:只加 preStop 仍丢 1.125%–1.458%,因为SIGTERM 后在途请求被直接取消(force_killed 12–21 条);只排空、不加 preStop 丢 3.208%–3.458%,且几乎全是新建连超时;preStop 500ms + 排空 + 客户端清池是 0.000%–0.000%;可只要客户端 endpoint 视图的刷新周期从 100ms 变成 2000ms,同一套配置立刻退化成 2.917%–5.542%;grace 压到 120ms 会强杀 1–2 条长尾在途。另外一个必须交代的环境事实:本机连一个"没在监听"的 loopback 端口拿不到 RST,所以 refused 这类在所有轮次恒为 0,"打到已摘除后端"的代价只能以 timeout 计量。
1. 实验怎么搭,以及它不能证明什么
时间线是这样的,begin_terminate 与 terminate 在脚本里就是并行推进的:
注入的参数全部写死在脚本里,不是任何云厂商或论文的实测值:STARTUP_MS=300(新 Pod 就绪耗时)、PROP_MS=500(控制面摘除 endpoint 的传播延迟)、REFRESH_MS=100(客户端拉取列表的周期)、GRACE_MS=2000、N_OLD=4、N_WORKERS=24、REQ_TOTAL=2400、CONN_TIMEOUT_MS=250、READ_TIMEOUT_MS=1500,服务时长是 uniform(10,40)ms 打底 + 15% 概率的 uniform(250,700)ms 长尾。
它不能证明的:没有 kube-proxy/IPVS/conntrack,没有真实 LB 的健康检查,PROP_MS 是我设定的单一延迟而不是某个发行版的实测分布;跨机房网络分区、readinessGates、连接排空的信号协议也都没建模。所以绝对值不可迁移,能迁移的是"哪一类失败由哪个开关决定"这个结构。
2. 先探测:打到"已摘除后端"在本机长什么样
按直觉,客户端连一个已经消失的后端应该拿到 ConnectionRefusedError。可 transcript 里 NONE 的每一行都是 refused=0,而且超时条数比 EOF 还多,说明有一批失败根本没把请求发出去。我写了 _probe_refused3.py 单独判定这件事,三种端口状态各试一次:
never listened port=6857 timeout 1010.7ms
listening now port=6859 connected 15.3ms
listener closed+linger0 port=6859 timeout 1000.2ms
listener plain closed port=6862 timeout 1002.7ms
在这台 Windows 机器上,127.0.0.1 的"没有在监听"的端口不回 RST——从未监听、刚关掉的 listener、不设 linger 关掉的 listener,三种都是超时;连原生阻塞 socket 也一样。后果有两个,而且都必须写进结论:
- 本实验里
refused与reset恒为 0,不是"没发生",而是这个观测通道在本机不存在; - "打到已摘除后端"的代价只能以
timeout计量,所以我把它单独拆成CONN_TIMEOUT_MS=250/READ_TIMEOUT_MS=1500,并在输出里记t_conn/t_read。所有轮次t_read都是 0——超时全部发生在建连阶段,没有一次是响应读超时,这与"排空能救在途"的机制完全吻合。
真实 Linux 集群里这段大概率是 SYN 无回包或 RST,数值不同,但"要么快速失败、要么等超时"这个二选一的结构是一样的。
3. 十种策略 × 3 个 seed:失败率区间
每个策略跑 seed 1/2/3,下表给的是 3 轮的最小值–最大值,requests 每轮都是 2400。
| 策略 | preStop | 排空 | 客户端清池 | 刷新周期 | grace | fail_rate 区间 | 主要失败类 | force_killed |
|---|---|---|---|---|---|---|---|---|
| NO_UPDATE(对照,不发版) | 0 | 否 | 否 | 100 | 2000 | 0.000% | 无 | 0 |
| NONE | 0 | 否 | 否 | 100 | 2000 | 4.750%–4.833% | timeout 72–79 + eof 37–42 | 11–14 |
| PRESTOP_ONLY | 500 | 否 | 否 | 100 | 2000 | 1.125%–1.458% | eof 21–34 | 12–21 |
| DRAIN_ONLY | 0 | 是 | 否 | 100 | 2000 | 3.208%–3.458% | timeout 72–83 | 0 |
| SHORT | 300 | 是 | 否 | 100 | 2000 | 0.708%–1.000% | timeout 17–24 | 0 |
| SERVER_FULL | 500 | 是 | 否 | 100 | 2000 | 0.000%–0.125% | timeout 0–3 | 0 |
| FULL | 500 | 是 | 是 | 100 | 2000 | 0.000% | 无 | 0 |
| LONG | 900 | 是 | 是 | 100 | 2000 | 0.000% | 无 | 0 |
| SLOW_VIEW | 900 | 是 | 是 | 2000 | 2000 | 2.917%–5.542% | timeout 70–133 | 0 |
| TIGHT_GRACE | 900 | 是 | 是 | 100 | 120 | 0.042%–0.083% | eof 1–2 | 1–2 |
三行原始输出,方便核对口径(timeout= 后面括号里是 t_conn / t_read):
POLICY=NONE seed=1 requests=2400 ok=2286 fail=114 fail_rate=4.750% refused=0 reset=0 eof=42 timeout=72(t_conn=72 t_read=0) note=kill_at_once
POLICY=PRESTOP_ONLY seed=1 requests=2400 ok=2365 fail=35 fail_rate=1.458% refused=0 reset=0 eof=34 timeout=1(t_conn=1 t_read=0) note=only_add_sleep
POLICY=DRAIN_ONLY seed=1 requests=2400 ok=2318 fail=82 fail_rate=3.417% refused=0 reset=0 eof=10 timeout=72(t_conn=72 t_read=0) note=graceful_only
4. 只加 preStop:救得了新建连,救不了在途
NONE 到 PRESTOP_ONLY,建连超时从 72–79 掉到 1–6——preStop 的作用确实发生了:Pod 多活一会儿,等 endpoint 从 ready 里消失之后再关监听,新请求不再打到死后端。但失败率没归零,还剩 1.125%–1.458%,主体换成了 eof(21–34)与 force_killed(12–21)。原因在这段代码里:
async def terminate(self, pol):
"""preStop sleep -> SIGTERM(关监听) -> 排空或强杀 -> 退出(关掉所有连接)。"""
if pol["prestop"]:
await asyncio.sleep(pol["prestop"] / 1000.0)
self.srv.close() # 此后新建连不再 accept
await self.srv.wait_closed()
if pol["drain"]:
self.stop_accept = True
deadline = time.perf_counter() + pol["grace"] / 1000.0
while self.inflight > 0 and time.perf_counter() < deadline:
await asyncio.sleep(0.02)
killed_now = self.inflight # 到这一刻还没做完的在途
for w in list(self.writers): # 空闲 keep-alive 一起关掉
try:
w.close()
except Exception:
pass
for t in list(self.tasks):
t.cancel()
self.cp.remove_live(self.addr)
return killed_now
drain=False 时,srv.close() 之后直接跳到 t.cancel():正在 await asyncio.sleep(self.service_time()) 的在途请求被取消,响应永远写不回去,客户端那一侧就记成 eof。preStop 只管"不再接新活",不管"手里的活做完"——这两件事在 K8s 里分别由 preStop 和 terminationGracePeriodSeconds + 应用自身的排空逻辑负责,缺一不可。
反过来,DRAIN_ONLY(只排空、preStop=0)丢了 3.208%–3.458%,force_killed=0 说明在途确实救回来了,而失败的主体(72–83 条)是建连超时:SIGTERM 一到就关监听,而 endpoint 还要 500ms 才从 ready 里消失,这期间客户端仍然会选到这个已经不开门的后端(seed 1 另有 10 条 eof)。排空救在途,救不了新建连;preStop 救新建连,救不了在途。 两者叠加才降到 0.125% 以下(SERVER_FULL)。
SHORT 是这条曲线的中间点:preStop=300 < PROP_MS=500,还剩约 200ms 的窗口关监听时 endpoint 仍在列表里,失败率 0.708%–1.000%,17–24 条全部是建连超时。同轮的新建连总数是 90–94 条,也就是说这段窗口大约吃掉了四分之一的新建连——preStop 短于传播延迟,就还剩一个确定性的漏口。
5. preStop 要盖住的不是传播延迟,而是"传播延迟 + 客户端视图"
SERVER_FULL(preStop=500,恰好等于 PROP_MS)在 seed 1/2 是 0.000%,seed 3 是 0.125 个百分点(3 条建连超时)——刚好卡在边界上就会有残留。加上客户端主动清池(FULL,即 endpoint 列表变化后把已经不在视图里的后端连接关掉)后三轮全 0,说明这个维度在本机几乎不影响失败率,它影响的是"复用率"(见第 7 节)。
真正会翻车的是客户端视图。SLOW_VIEW 与 LONG 的服务端配置一模一样(preStop=900、排空、清池、grace=2000),只把客户端拉取 endpoint 的周期从 100ms 改成 2000ms:
POLICY=SLOW_VIEW seed=1 requests=2400 ok=2290 fail=110 fail_rate=4.583% refused=0 reset=0 eof=0 timeout=110(t_conn=110 t_read=0) note=client_caches_stale_endpoints
POLICY=SLOW_VIEW seed=2 requests=2400 ok=2267 fail=133 fail_rate=5.542% refused=0 reset=0 eof=0 timeout=133(t_conn=133 t_read=0) note=client_caches_stale_endpoints
POLICY=SLOW_VIEW seed=3 requests=2400 ok=2330 fail=70 fail_rate=2.917% refused=0 reset=0 eof=0 timeout=70(t_conn=70 t_read=0) note=client_caches_stale_endpoints
2.917%–5.542%,甚至比什么都不做的 PRESTOP_ONLY 差一个量级,而且 70–133 条全部是 t_conn。这就是"服务端优雅、客户端不优雅"的形状:摘除时刻对客户端的可见时间 = 传播延迟 + 客户端刷新周期 + 客户端已有的连接持有时间。preStop 只要盖住前一项就会失效。所以线上写 preStop: sleep 5 时,真正要对比的是"控制面传播延迟 + 调用方的服务发现刷新周期",而不是一个凭空的固定值。这里 refresh 的实现就是这一句:
async def refresh(self):
"""客户端看到的新 endpoint 列表(比控制面又晚一个刷新周期)。"""
self.view = list(self.cp.ready)
if self.prune:
for addr in list(self.pool):
if addr not in self.view:
for rd, wr in self.pool.pop(addr):
try:
wr.close()
except Exception:
pass
控制面侧的次序也要说清楚,否则会误判成"preStop 越长越安全":
def begin_terminate(self, addr, loop):
loop.call_later(PROP_MS / 1000.0, self._drop, addr)
def remove_live(self, addr):
# 只更新"还活着的 Pod"计数;ready 由 PROP_MS 定时器独占。
# 真实集群里 endpoint 消失的时刻由 EndpointSlice 同步驱动,Pod 自己先退出
# 并不会把摘除时刻提前,所以这里不能顺手 ready.remove(addr)。
self.live.discard(addr)
6. grace 太短:只丢一两条,但不是零
TIGHT_GRACE 把 terminationGracePeriodSeconds 从 2000 压到 120,其余同 LONG,结果 0.042%–0.083%:
WALL_S=11.44 pods_peak=5 force_killed=1 reuse_rate=95.833% new_conns=99 PARAM startup_ms=300 prop_ms=500 refresh_ms=100 prestop_ms=900 grace_ms=120 conn_timeout_ms=250 read_timeout_ms=1500 workers=24 req_total=2400
force_killed=1–2 与 eof=1–2 对得上:注入的长尾服务时长上限是 700ms,grace 只给 120ms,那么在途里凡是长尾的那几条就必然被截断。每轮只死 1–2 条,比例上看不出来,但它们是定向死在慢请求上的——线上对应的就是导出、报表、批量写入这类"平时无感、发布必挂"的请求。grace 应该按 P99 服务时长定,不是按"感觉够用了"定,也不是越长越好:本实验每轮墙钟 11.44–16.01 秒,而 grace_ms=2000 的含义是每个 Pod 最多可以为了排空多占 2 秒,生产里这个数直接乘在发布总时长与节点驱逐耗时上。
7. 别用 p99 判断发版是否优雅
10 种策略的成功请求延迟几乎完全重叠:p50 在 21.11–23.95ms,p95 在 529.62–553.83ms,p99 在 658.14–666.96ms,p999 在 683.54–703.96ms,max 691.79–719.41ms。连失败率 4.833% 的 NONE 和 0.000% 的 FULL 都在同一个带里——因为长尾是注入的服务时长决定的,发版策略改变的是"请求死不死",不是"请求慢不慢"。指望用 p99 监控发现发布抖动,会什么都看不见。
能间接看出来的只有连接复用:reuse_rate 从对照 NO_UPDATE 的 97.833%–97.917% 掉到 NONE 的 91.375%–91.667%、SLOW_VIEW 的 90.875%–93.458%,new_conns 相应从对照的 50–52 涨到 NONE 的 85–91。策略之间排下来是 FULL 96.083%–96.292%、LONG 96.208%–96.417%、SERVER_FULL 96.125%–96.375%,差别就在"死掉的后端连接有没有被主动关掉"。所以监控发版要看失败分类计数与新建连数,不要看延迟分位。
8. 避坑指南
preStop sleep不等于优雅下线。本实验里它把 4.750%–4.833% 压到 1.125%–1.458%,剩下的是在途被取消。必须同时具备"等在途做完"的逻辑。- 只做排空、不加 preStop 更糟的方向不同。
DRAIN_ONLY的 72–83 条失败全是新建连打到已摘除后端,force_killed=0会给你"已经优雅了"的错觉——指标要分开看,别只看总失败率。 - preStop 长度按"传播延迟 + 客户端刷新周期"算,不按固定 5 秒抄。第 5 节里服务端配置完全不变,只把客户端视图刷新从 100ms 改成 2000ms,失败率就从 0.000% 变成 2.917%–5.542%。
- 别用
refused=0证明"没有打到死后端"。本机拿不到 RST,这一类恒为 0(第 2 节的探测输出为证)。判断"打到已摘除后端"要看建连超时计数,并且要先在你自己的机器上确认失败通道是哪一种。 - grace 按 P99 服务时长定,但别把它当保险。120ms 也能只死 1–2 条,但死的是定向的慢请求;2000ms 则把发布时长和驱逐耗时一起拉长。
- 客户端 keep-alive 池是隐藏的第三个参与者。清池(
prune)在失败率上几乎没用(FULL0.000% vsSERVER_FULL0.000%–0.125%),但它决定复用率与新建连数;真正致命的是视图刷新周期,两件事不要混为一谈。 - 发版抖动不要用延迟分位去发现。第 7 节里所有策略的 p99 都在 658.14–666.96ms 这个带里,重叠到无法区分。
- 对照组必须先跑。
NO_UPDATE三轮全 0.000%,才能把失败归因给发布动作而不是背景负载;没有这一行,上面所有百分比都没有基准。
9. 结论
- 优雅摘除是三件事的乘积:控制面把 endpoint 摘掉(
PROP_MS)、Pod 停止接新活(preStop)、Pod 把手里的活做完(drain+grace),再加上调用方视图的新鲜度(refresh)。缺任何一项都有对应形状的失败:缺 preStop 是建连超时(72–83 条),缺排空是在途被杀(force_killed12–21),客户端视图过期是 70–133 条建连超时,grace 太短是定向杀掉长尾 1–2 条。 - 本机最好的配置(
FULL/LONG)三轮 0.000%,最差的"看起来已经优雅"的配置(SLOW_VIEW)2.917%–5.542%——同一个服务端改动,换个客户端就是两个结论,这就是为什么发布方案必须写清调用方。 - 所有数字来自
demos/rolling_update_drain_lab.py本机输出,10 种策略每种都跑了 seed 1/2/3,逐轮原文留档在demos/rolling_update_drain_lab.transcript.txt,其中第 2 节的探测段来自demos/_probe_refused3.py。Pod、控制面、延迟都是本进程内的合成模型,没有连接任何真实集群,参数不是任何云厂商实测值。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/CCbleach/article/details/170744971



