楠风测开头像

持续集成流水线与回归选择:触发条件、门禁与失败留存

《AI 重塑测试 · 90 天实测日记》第 46 篇 · 结论以本机实跑记录为准

CI 流水线最隐蔽的两种假绿:一是筛选条件写错,什么都没跑,报告却是干净的;二是新增用例没被执行,覆盖率在悄悄下降,而流水线照样是绿的。

这两种都不会报错,也不会通知你。它们只是安静地让「绿色」这个信号贬值。等你发现的时候,线上已经出问题两周了。

本文给一套可以直接落地的做法:质量门禁表怎么写、回归范围怎么按改动文件算出来、失败重试的边界在哪、结果留存怎么组织。附可运行代码。

配套实验台 examples/lab/day46/(01_pipeline.py、conftest.py、pytest.ini),本机实跑 9 passed in 0.15s。共享模块 examples/lab/工程化.py。

官方文档:pytest 退出码见 pytest exit codes,工作流产物机制见 GitHub Actions store and share data,流水线配置语法见 GitHub Actions 官方文档。

一、先把「什么情况不许合并」写成表

质量门禁的第一性问题是:门禁规则必须写在代码里,不能靠人记。靠人记的规则,在赶着发版那天一定会被跳过。

我这张门禁表长这样:

# 质量门禁:什么情况不许合并
质量门禁 = {
    "冒烟全绿": True,
    "新增用例必须执行": True,
    "失败可重试但必须标记": True,
    "不稳定用例比例不超过": 0.05,
    "接口契约未变": True,
}

五个键,五种阻断。逐个说清楚为什么是这五个。

门禁项判据拦的是什么
冒烟全绿冒烟集合内任何一条失败主链路已经断了
新增用例必须执行本次新增用例的执行数必须等于新增数覆盖率悄悄下降
失败可重试但必须标记允许重试,但重试过的用例必须打不稳定标记重试洗掉真缺陷
不稳定用例比例不超过不稳定数 / 总数 ≤ 0.05绿灯靠赌
接口契约未变接口签名或字段变更需人工确认契约破坏型改动被自动放行

「接口契约未变」这一条不是纯自动判定。我把它写进表里,是让“需要人工确认”这件事在流水线里有个明确的位置,而不是靠某个开发在群里喊一声。

二、门禁判定函数:四种阻断

判定函数是整个方案的核心。下面这段是实验台里实跑的版本:

def 门禁检查(结果):
    """检查一次流水线运行能不能放行。

    结果里要有:冒烟结果、新增用例执行情况、失败数、不稳定数。
    """
    阻断 = []
    if not 结果.get("冒烟全绿"):
        阻断.append("冒烟没全绿")
    if 结果.get("新增用例未执行"):
        阻断.append("有新增用例没被执行——覆盖率在悄悄下降")
    失败 = 结果.get("失败数", 0)
    不稳定 = 结果.get("不稳定数", 0)
    总数 = max(结果.get("总数", 0), 1)
    比例 = 不稳定 / 总数
    if 比例 > 质量门禁["不稳定用例比例不超过"]:
        阻断.append(f"不稳定用例占比 {比例:.1%},超过上限 5%")
    if 失败 and not 结果.get("允许重试"):
        阻断.append(f"{失败} 条失败且不允许重试")
    return {
        "放行": not 阻断,
        "阻断项": 阻断,
        "不稳定占比": round(比例, 4),
    }

四个场景的实跑输出:

冒烟没全绿 + 3 条失败且不允许重试 → 放行 False,阻断项 ["冒烟没全绿", "3 条失败且不允许重试"]
新增用例未执行 → 放行 False,阻断项 ["有新增用例没被执行——覆盖率在悄悄下降"]
不稳定数 8 / 总数 100 → 放行 False,不稳定占比 0.08,阻断项 ["不稳定用例占比 8.0%,超过上限 5%"]
不稳定数 3 / 总数 100 → 放行 True,阻断项 [],不稳定占比 0.03

另外单独一个场景:冒烟全绿、失败数 2、不许重试、不稳定数 0。

2 条失败且不允许重试

这条对应实验台里的 test_失败且不许重试就拦住,放行 False。

为什么用 max(总数, 1)

总数 为 0 时直接除会抛 ZeroDivisionError。取 max(总数, 1) 让「没收集到用例」这种情况返回一个极低的占比(0.0),然后由别的门禁项去拦它。除法要防零,但不要用零除的结果去替别的规则做决定。

「新增用例未执行」这一项的判据

这一条的实现细节值得展开,因为它是防“悄悄退化”的核心。

判定逻辑是:本次新增的用例数,必须等于本次实际执行的新增用例数。差值不为 0 就是没执行完。

def 检查新增用例执行(新增用例列表, 已执行用例列表):
    """新增用例必须真的被执行了。

    返回 (是否通过, 差集)。差集就是被筛选条件挡在外面的用例。
    """
    新增集合 = set(新增用例列表)
    已执行集合 = set(已执行用例列表)
    没执行的 = sorted(新增集合 - 已执行集合)
    return len(没执行的) == 0, 没执行的

这个函数的输出必须进报告,而且要列出具体哪几条没跑。只报一个布尔值,下次有人排查你还是得重新翻。

不稳定占比为什么卡 0.05

阈值 0.05 是权衡出来的,不是拍的:

  • 卡 0.01 太严。网络抖一下就断流水线,最后没人愿意用
  • 卡 0.05 时,100 条用例里容忍 5 条不稳定
  • 卡 0.10 太松。到 10% 就意味着你的绿灯有十分之一是赌出来的,这个信号已经不值钱了

不稳定数的定义要严格:首次失败、重试后通过的用例算不稳定。首次就通过的绝不算。

三、回归范围:按改动文件算出来

这是省时间的关键,也是最容易做错的地方。

我维护的映射表是七条前缀:

全部 = ["接口冒烟", "接口全量", "Web 冒烟", "Web 全量", "视觉基线"]
映射 = {
    "client/": ["接口冒烟", "接口全量"],
    "tests/api/": ["接口冒烟", "接口全量"],
    "tests/web/": ["Web 冒烟", "Web 全量"],
    "web/": ["Web 冒烟", "Web 全量"],
    "visual/": ["视觉基线"],
    "config/": ["接口冒烟", "Web 冒烟"],
    "docs/": [],
}

完整的选择函数:

def 选回归范围(改动文件):
    """按改动文件选回归范围。

    返回三样:选中要跑的、全量集合、以及这次省掉了哪些。
    """
    全部 = ["接口冒烟", "接口全量", "Web 冒烟", "Web 全量", "视觉基线"]
    映射 = {
        "client/": ["接口冒烟", "接口全量"],
        "tests/api/": ["接口冒烟", "接口全量"],
        "tests/web/": ["Web 冒烟", "Web 全量"],
        "web/": ["Web 冒烟", "Web 全量"],
        "visual/": ["视觉基线"],
        "config/": ["接口冒烟", "Web 冒烟"],
        "docs/": [],
    }
    选出 = set()
    for f in 改动文件:
        for 前缀, 项 in 映射.items():
            if f.startswith(前缀) or 前缀 in f:
                选出.update(项)
    return {"选中": sorted(选出), "全量": 全部, "省掉": sorted(set(全部) - 选出)}

注意末尾返回的「省掉」。这一项不是可有可无的副产品,它是这次运行的结论。

四种改动的实跑结果

改 client/订单客户端.py
  选中: ["接口全量", "接口冒烟"]
  省掉: ["Web 全量", "Web 冒烟", "视觉基线"]

改 config/设置.py
  选中: ["Web 冒烟", "接口冒烟"]
  省掉: ["Web 全量", "接口全量", "视觉基线"]

改 visual/基线.py
  选中: ["视觉基线"]
  省掉: ["Web 全量", "Web 冒烟", "接口全量", "接口冒烟"]

改 docs/使用说明.md
  选中: []
  省掉: ["Web 全量", "Web 冒烟", "视觉全量", "接口全量", "接口冒烟"]

三条要单独说的:

改 client/ 省掉 3 项。 动了发 HTTP 请求的代码,接口线全套都要跑,但页面和视觉跟它没关系。

改 config/ 省掉 3 项,但省掉的是“全量”。 两个冒烟都跑(接口冒烟 + Web 冒烟),两个全量都不跑。理由是配置影响面大,先用冒烟确认没崩,崩了就没必要继续跑全量。这是「分阶段验证」——冒烟是探针,不是体检。

改 docs/ 省掉全部 5 项,一条都不跑。 这是选择性回归的上限。改说明文档不动运行时,跑任何用例都是纯浪费。

两条不能省的兜底规则

第一,识别不出来就回退到全量,并且记下回退原因。

def 选范围带兜底(改动文件):
    范围 = 选回归范围(改动文件)
    if not 范围["选中"]:
        # 没命中任何映射:要么是 docs,要么是规则没覆盖到
        # docs 可以安全跳过,其余情况保守回退全量
        非文档 = [f for f in 改动文件 if "docs/" not in f]
        if 非文档:
            范围 = {
                "选中": sorted(范围["全量"]),
                "全量": 范围["全量"],
                "省掉": [],
                "回退原因": f"未命中映射规则,保守回退全量:{非文档}",
            }
    return 范围

漏测的代价远大于多跑几分钟。但回退本身必须写进报告,否则事后你分不清是“规则没覆盖到”还是「当时就这么选的」。

第二,公共底座改动直接全量。改 conftest.py、改公共 fixture 之类的影响面是全部,路径前缀匹配看不出来。路径规则只能当第一层提示,最终依据是“谁依赖谁”。

四、失败重试:默认关着,打开要留痕

重试是这套方案里最容易被滥用的开关。

def 决定是否重试(尝试历史, 失败类型):
    """失败类型:'ASSERTION' | 'TIMEOUT' | 'ENV_FLAKE' | 'PRODUCT'

    默认全部不重试。只有明确归类为环境抖动的才开。
    """
    if 失败类型 in ("ASSERTION", "PRODUCT"):
        return {"重试": False, "理由": "产品或断言问题,重试无意义"}
    if 失败类型 == "TIMEOUT":
        return {"重试": False, "理由": "超时可能只是慢,重试会掩盖它"}
    if 失败类型 != "ENV_FLAKE":
        return {"重试": False, "理由": "未知失败类型,保守不重试"}
    if len(尝试历史) >= 3:
        return {"重试": False, "理由": "已达上限 3 次"}
    return {"重试": True, "理由": "归类为环境抖动,在上限内重试"}

三条硬规则:

  1. 默认不重试。 只有明确归类为 ENV_FLAKE 的才开,其余一律不重试
  2. 超时也不重试。重试会把「慢」洗成“绿”,而慢本身就是问题
  3. 每次尝试独立编号、独立留证据,不覆盖上一次
def 建尝试记录(运行ID, 尝试号, 状态, 失败类型=None, 证据=None):
    """每次尝试都是独立记录,不覆盖上一次。"""
    return {
        "运行ID": 运行ID,
        "尝试号": 尝试号,
        "状态": 状态,
        "失败类型": 失败类型,
        "证据": 证据 or {},
        "是否不稳定": 失败类型 is not None and 状态 == "PASS",
    }

最后那行 是否不稳定 是关键:重试后才通过的用例必须自动标记为不稳定,它要计入 不稳定数,进而参与那个 0.05 的比例判定。否则重试就变成了一个绕过门禁的后门。

五、流水线配置参考

把上面的判定串起来。放在 .github/workflows/ci.yml:

name: ci
on:
  push:
    branches: [main]
  pull_request:
  workflow_dispatch:

permissions:
  contents: read

jobs:
  # 第 0 步:先算回归范围,写进文件给后续 job 用
  plan:
    runs-on: ubuntu-latest
    timeout-minutes: 5
    outputs:
      suites: ${{ steps.pick.outputs.suites }}
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: '3.11'
      - id: pick
        run: |
          git diff --name-only origin/main...HEAD > changed.txt
          python -c "import json;from 工程化 import 选回归范围;print(json.dumps(选回归范围(open('changed.txt').read().split()),ensure_ascii=False))" > plan.json
          echo "suites=$(python -c "import json;print(','.join(json.load(open('plan.json'))['选中']))")" >> $GITHUB_OUTPUT
          cat plan.json

  # 第 1 步:门禁执行入口
  gate:
    needs: plan
    runs-on: ubuntu-latest
    timeout-minutes: 20
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: '3.11'
      - name: Install deps
        run: python -m pip install -r requirements.txt
      - name: Run selected suites
        run: python -m pytest -q ${{ steps.pick.outputs.suites }}
      - name: Save report
        if: always()
        run: python -m pytest -q --junitxml=report.xml
      - name: Upload artifact
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: ci-report
          path: report.xml
          retention-days: 14

两个关键点:

if: always() 出现在保存报告那一步。测试红了之后报告照样要存。测试失败和报告保存是两件事,不能因为前面失败就把证据丢掉。

plan job 独立成一个 job。范围计算只跑一次,结果写成 plan.json 给后续所有 job 读。这样多个 job 不会各算一遍算出不同结果——范围计算必须是单点。

六、数据隔离、执行顺序与结果留存

数据隔离不是可选项。上一个用例支付过、取消过,不重置的话下一个用例看到的状态就不对。

一个跨线链路的典型形态:

接口任务:创建订单 → 拿到订单ID
           ↓(通过运行ID绑定的资源清单传递)
网页任务:打开同一订单 → 核对金额与状态

两个任务如果不共享数据,就各自准备数据后并行跑。不必为了「看起来有序」把所有检查串行——那是在用时间换错觉。

运行标识要贯穿全链路:

def 建运行身份(提交标识, 工作流运行ID, 尝试号=1):
    return {
        "运行ID": f"{提交标识[:8]}-{工作流运行ID}-a{尝试号}",
        "提交标识": 提交标识,
        "工作流运行ID": 工作流运行ID,
        "尝试号": 尝试号,
        "运行前缀": f"t{工作流运行ID}",
    }

并发任务如果都改同一笔共享订单,失败可能来自互相干扰,而不是产品回归。每个并发任务用自己运行前缀的数据。

留存方面,产物和缓存是两个方向相反的机制:

产物 artifact缓存 cache
用途保留这次运行的报告和证据复用依赖下载,加速下次
生命周期有保留期限,可设访问权限按键匹配,可能被替换
能不能当证据能不能

报告只塞进缓存里,事后基本等于没留。键一变就不可见,被别的运行覆盖也正常。

建议的产物内容:

report.xml          pytest JUnit 报告
plan.json           本轮选了哪些套件 + 省掉了哪些 + 选它的理由
changed.txt         变更文件清单
gate-result.json    门禁判定结果(阻断项、不稳定占比)
screenshots/        失败用例的截图

上传前必须筛敏感信息,请求体里常有令牌、手机号。要么脱敏,要么明确记录“已剔除”。

七、发布前后的验证与恢复

流水线绿了不等于可以发布。发布前至少要有这三件事:

  1. 关键业务验证:支付、取消、金额对账这几条链路,在同一构建身份下再确认一次
  2. 恢复步骤:出问题时怎么回滚、数据怎么补。回滚命令要提前写好,不是出事时现想
  3. 未覆盖风险声明:这次没测到的东西,明明白白写出来

第三条最容易被跳过。本机这套就有现成的例子:改文档那次一条用例都没跑,视觉基线只在 visual/ 改动时才跑,接口契约那条靠人工确认。这些都得写进报告,不写就是不完整。

八、本节要点

  1. 门禁规则写进代码,不靠人记。本文的门禁表是五条:冒烟全绿、新增用例必须执行、失败可重试但必须标记、不稳定用例比例不超过 0.05、接口契约未变。
  2. 四种必须阻断的情况:冒烟没全绿、新增用例未执行(覆盖率悄悄下降)、不稳定占比超 5%、有失败且不许重试。
  3. 100 条用例里 8 条不稳定(0.08)就拦,3 条(0.03)放行。
  4. 回归范围按改动文件算出来,映射表七条前缀。改 client/ 跑接口全套省掉 3 项,改 config/ 跑两个冒烟省掉 3 项,改 visual/ 跑视觉基线省掉 4 项,改 docs/ 一条都不跑省掉 5 项。
  5. 返回值里的「省掉」列表是这次运行的结论,必须进报告。
  6. 识别不出影响面就回退全量,并记下回退原因。
  7. 重试默认关闭,TIMEOUT 也不重试;重试后通过的用例自动标记为不稳定,计入 0.05 那个比例。
  8. 产物归产物、缓存归缓存,报告塞缓存等于没留。

小结

一套能用的 CI 不是“跑得多”,是「每一分钟都花在能证明什么的地方」。冒烟全绿只是底线;真正值钱的是那几条让“覆盖率悄悄下降”和「绿灯靠赌」无处藏身的规则。

回归选择的收益也不在“跑得快”,在「省掉的东西有名字」。你说得出这次省掉了哪三项,就等于说得出这次没覆盖什么。

下一篇:测试报告与失败证据管理:区分产品缺陷、测试缺陷与环境失败。今天讲的是“跑什么、什么时候算过了”。下一篇解决「失败了,你拿到的那份报告能不能支撑定位」——把失败和版本、步骤、尝试、原始证据绑在一起。

本文出自《AI 重塑测试 · 90 天实测日记》系列(第 46 篇),作者「楠风测开」。系列按天记录测试平台的实测过程、本机环境与未验证项,结论以实跑记录为准。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/weixin_62798930/article/details/170779751

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--