在分布式架构的演进版图中，“异地多活（Multi-Site High Availability）”被公认为架构稳定性的终极殿堂。我们在华东、华北、华南等多个相隔千里的地域部署独立闭环的单元化机房（Unit），日常情况下各个单元独立承接当地用户的读写请求，底层数据通过跨地域高速专线实现多向异步复制。
然而，架构的“多活能力”绝不是一张 PPT 上的设计图，而必须通过实战演练来反复检验。在真实的机房断电、光纤挖断等极端灾难面前，最惊心动魄的操作就是**“突发切流（Traffic Evacuation）”——即在 5 分钟内，将故障单元正在承接的数十万 QPS 核心交易流量，平稳切走并无损分摊至其他健康地域**。
如果在切流过程中缺乏严密的工程编排，盲目粗暴地修改 DNS 或路由表，将会瞬间引发三场灾难：
- 跨地域脏写（Split-Brain Dirty Writes）：旧单元尚未完全停止写服务，新单元已经放行写操作，导致同一笔订单或账户余额在两地同时被修改，造成无法挽回的账目紊乱；
- 目标单元冷启动雪崩：数十万 QPS 流量在一秒内倾泻至目标单元，导致目标机房数据库连接池暴满、CPU 瞬间击穿；
- 路由规则长尾生效不一致：部分客户端本地 DNS 缓存未过期，部分客户端走新网关，导致全链路拓扑碎片化。
为了达成“5 分钟无损切流”的严苛容灾指标，我们设计了一套标准化的五阶段异地流量清洗调度协议。
一、五阶段切流生命周期（The Five-Stage Evacuation Protocol）
切流操作绝不是一个单一的开关切换，而是一个精密如火箭发射般的自动化闭环流水线。
[阶段 0: 决策启动]
│
▼
[阶段 1: 目标机房容量与水线预检 (Capacity Pre-check)] ──(容量不足?)──> 立即阻断，重新规划
│ (通过)
▼
[阶段 2: 故障单元写流量清洗与禁写栅栏 (Write Drainage & Fence)]
│ (旧单元对所有写操作返回快速重试提示，排空在途事务)
▼
[阶段 3: 数据追平与延迟断言 (Replication Catch-up)]
│ (确认跨地域专线数据复制位点完全对齐)
▼
[阶段 4: 全局路由表阶梯切流 (Stepwise Routing Injection)]
│ (1% -> 10% -> 50% -> 100% 平滑平移)
▼
[阶段 5: 目标机房放开写禁令，切流完成]
1. 阶段一：目标机房容量预检
在向备用单元注入流量前，控制面必须自动拉取目标单元的硬件水位。如果目标机房当前 CPU 使用率已超 65%，或者数据库活跃连接数逼近上限，调度器必须自动启动非核心业务降级，腾出算力空间，否则坚决禁止切流。
2. 阶段二：故障机房禁写栅栏（Fence）
这是杜绝脏写的最关键一步。通过网关切面和分布式配置中心，向被切出单元瞬时下发**“写保护栅栏（Write Fence）”**。在栅栏生效期间：
- 所有针对该单元的修改类请求（如创建订单、扣款）立即在网关层被拦截，并返回“系统繁忙，请稍候重试”；
- 正在执行的在途数据库事务允许运行完成（通常给予 3 秒的 Drain 宽限期）。
3. 阶段三：数据追平断言
监控底层跨地域数据同步组件（如 Canal、OTter 或自研复制总线），确认被切出单元在禁写生效前的全部变更日志已 100% 投递并应用至目标单元，确保位点延迟归零。
二、切流编排控制器核心逻辑实现（Go）
以下为控制面自动化切流引擎的核心实现，内置了步进放量、健康指标断言与一键秒级反向回滚机制：
package multiunit
import (
"context"
"errors"
"fmt"
"time"
)
// UnitStatus 单元运行状态
type UnitStatus string
const (
StatusActive UnitStatus = "ACTIVE"
StatusDraining UnitStatus = "DRAINING"
StatusFenced UnitStatus = "FENCED"
StatusOffline UnitStatus = "OFFLINE"
)
// EvacuationPlan 切流编排计划
type EvacuationPlan struct {
SourceUnit string
TargetUnit string
MaxWaitLag time.Duration
DryRun bool
}
// UnitManager 单元拓扑与切流调度管理器
type UnitManager struct {
// 基础设施客户端接口抽象
infra InfraClient
}
type InfraClient interface {
CheckCapacity(unit string) (cpuUsage float64, connUsage float64, err error)
SetWriteFence(unit string, enabled bool) error
GetReplicationLag(src, dst string) (time.Duration, error)
UpdateRoutingWeight(unit string, weightPercent int) error
}
// ExecuteEvacuation 执行标准五阶段无损切流
func (m *UnitManager) ExecuteEvacuation(ctx context.Context, plan EvacuationPlan) error {
fmt.Printf("[STEP 1] Starting Capacity Pre-check on Target Unit: %s...\n", plan.TargetUnit)
cpu, conn, err := m.infra.CheckCapacity(plan.TargetUnit)
if err != nil {
return fmt.Errorf("pre-check failed: %w", err)
}
if cpu > 0.70 || conn > 0.75 {
return fmt.Errorf("target unit %s capacity risky: CPU=%.2f, Conn=%.2f", plan.TargetUnit, cpu, conn)
}
fmt.Println("[STEP 1] Target unit capacity healthy.")
fmt.Printf("[STEP 2] Setting Write Fence on Source Unit: %s...\n", plan.SourceUnit)
if err := m.infra.SetWriteFence(plan.SourceUnit, true); err != nil {
return fmt.Errorf("failed to set write fence: %w", err)
}
// 等待 3 秒排空在途写事务
time.Sleep(3 * time.Second)
fmt.Println("[STEP 2] In-flight transactions drained. Source unit fenced.")
fmt.Printf("[STEP 3] Asserting replication catch-up between %s and %s...\n", plan.SourceUnit, plan.TargetUnit)
startCheck := time.Now()
for {
lag, err := m.infra.GetReplicationLag(plan.SourceUnit, plan.TargetUnit)
if err != nil {
return fmt.Errorf("replication check error: %w", err)
}
if lag <= 10*time.Millisecond {
fmt.Printf("[STEP 3] Replication lag is zero (lag: %v). Caught up successfully!\n", lag)
break
}
if time.Since(startCheck) > plan.MaxWaitLag {
// 超时回滚
_ = m.infra.SetWriteFence(plan.SourceUnit, false)
return errors.New("replication catch-up timeout, aborted to prevent split-brain")
}
time.Sleep(500 * time.Millisecond)
}
fmt.Println("[STEP 4] Executing stepwise routing shift to Target Unit...")
shiftSteps := []int{10, 50, 100}
for _, weight := range shiftSteps {
fmt.Printf("... Shifting %d%% traffic to %s\n", weight, plan.TargetUnit)
if err := m.infra.UpdateRoutingWeight(plan.TargetUnit, weight); err != nil {
fmt.Println("[CRITICAL] Routing update failed! Triggering instant emergency rollback...")
m.emergencyRollback(plan)
return err
}
time.Sleep(2 * time.Second) // 观察 2 秒指标
}
fmt.Printf("[STEP 5] Clearing Write Fence on Target Unit %s. Evacuation Completed!\n", plan.TargetUnit)
_ = m.infra.SetWriteFence(plan.TargetUnit, false)
return nil
}
func (m *UnitManager) emergencyRollback(plan EvacuationPlan) {
// 一键秒级反向回滚
_ = m.infra.UpdateRoutingWeight(plan.SourceUnit, 100)
_ = m.infra.UpdateRoutingWeight(plan.TargetUnit, 0)
_ = m.infra.SetWriteFence(plan.SourceUnit, false)
fmt.Println("[ROLLBACK] Traffic reverted to source unit safely.")
}
三、生产演练关键避坑点
在多次真刀真枪的跨地域切流演练中，我们踩平了几个隐蔽的深坑：
1. 缓存击穿与预热防线
当数十万 QPS 突然切换到新单元时，如果新单元的 Redis 热点缓存尚未完全就绪，大量请求会直接穿透到底层分库分表数据库，引发瞬间打死。
- 解法：在日常状态下，备用单元必须建立跨地域缓存影子同步；在切流启动的阶段一，控制面自动触发核心商品与店铺数据的预热加载。
2. 局部网络分区的脑裂防范
如果在切流过程中，源机房与控制面之间的网络专线中断，导致控制面下发的禁写指令无法送达源机房网关，源机房仍在继续接单，而控制面误以为禁写成功并放开了新机房。
- 解法：源机房网关采用“主动租约（Lease Protocol）”机制。源机房网关必须每 1 秒向全局协调中心续约租约，一旦超过 2 秒失去心跳联系，源机房网关本地触发物理级自动闭锁（Auto-fencing），主动拒绝所有外部流量，坚决杜绝脑裂。
四、演练成果与架构师箴言
在最新的年度全链路灾备大考中，我们在没有任何提前通知的情况下，对承载 12 万 QPS 的核心华东单元执行了突发断电切流演练。
演练全过程历时 3 分 42 秒：
- 全过程核心交易链路资损率为 0；
- 数据库未产生任何一笔主键冲突或脏写数据；
- 目标华南单元平稳承接全部洪峰，P99 延迟波动仅微增 12ms。
容灾不是买保险，而是练肌肉。 只有把复杂的跨地域切流做成标准化、自动化、敢于在生产环境随时按下按钮的日常动作，异地多活架构才能真正成为守护企业生命线的坚实壁垒。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/dicky_zhang3/article/details/168454353
