《AI 重塑测试 · 90 天实测日记》第 46 篇 · 结论以本机实跑记录为准
CI 流水线最隐蔽的两种假绿:一是筛选条件写错,什么都没跑,报告却是干净的;二是新增用例没被执行,覆盖率在悄悄下降,而流水线照样是绿的。
这两种都不会报错,也不会通知你。它们只是安静地让「绿色」这个信号贬值。等你发现的时候,线上已经出问题两周了。
本文给一套可以直接落地的做法:质量门禁表怎么写、回归范围怎么按改动文件算出来、失败重试的边界在哪、结果留存怎么组织。附可运行代码。
配套实验台 examples/lab/day46/(01_pipeline.py、conftest.py、pytest.ini),本机实跑 9 passed in 0.15s。共享模块 examples/lab/工程化.py。
官方文档:pytest 退出码见 pytest exit codes,工作流产物机制见 GitHub Actions store and share data,流水线配置语法见 GitHub Actions 官方文档。
一、先把「什么情况不许合并」写成表
质量门禁的第一性问题是:门禁规则必须写在代码里,不能靠人记。靠人记的规则,在赶着发版那天一定会被跳过。
我这张门禁表长这样:
# 质量门禁:什么情况不许合并
质量门禁 = {
"冒烟全绿": True,
"新增用例必须执行": True,
"失败可重试但必须标记": True,
"不稳定用例比例不超过": 0.05,
"接口契约未变": True,
}
五个键,五种阻断。逐个说清楚为什么是这五个。
| 门禁项 | 判据 | 拦的是什么 |
|---|---|---|
| 冒烟全绿 | 冒烟集合内任何一条失败 | 主链路已经断了 |
| 新增用例必须执行 | 本次新增用例的执行数必须等于新增数 | 覆盖率悄悄下降 |
| 失败可重试但必须标记 | 允许重试,但重试过的用例必须打不稳定标记 | 重试洗掉真缺陷 |
| 不稳定用例比例不超过 | 不稳定数 / 总数 ≤ 0.05 | 绿灯靠赌 |
| 接口契约未变 | 接口签名或字段变更需人工确认 | 契约破坏型改动被自动放行 |
「接口契约未变」这一条不是纯自动判定。我把它写进表里,是让“需要人工确认”这件事在流水线里有个明确的位置,而不是靠某个开发在群里喊一声。
二、门禁判定函数:四种阻断
判定函数是整个方案的核心。下面这段是实验台里实跑的版本:
def 门禁检查(结果):
"""检查一次流水线运行能不能放行。
结果里要有:冒烟结果、新增用例执行情况、失败数、不稳定数。
"""
阻断 = []
if not 结果.get("冒烟全绿"):
阻断.append("冒烟没全绿")
if 结果.get("新增用例未执行"):
阻断.append("有新增用例没被执行——覆盖率在悄悄下降")
失败 = 结果.get("失败数", 0)
不稳定 = 结果.get("不稳定数", 0)
总数 = max(结果.get("总数", 0), 1)
比例 = 不稳定 / 总数
if 比例 > 质量门禁["不稳定用例比例不超过"]:
阻断.append(f"不稳定用例占比 {比例:.1%},超过上限 5%")
if 失败 and not 结果.get("允许重试"):
阻断.append(f"{失败} 条失败且不允许重试")
return {
"放行": not 阻断,
"阻断项": 阻断,
"不稳定占比": round(比例, 4),
}
四个场景的实跑输出:
冒烟没全绿 + 3 条失败且不允许重试 → 放行 False,阻断项 ["冒烟没全绿", "3 条失败且不允许重试"]
新增用例未执行 → 放行 False,阻断项 ["有新增用例没被执行——覆盖率在悄悄下降"]
不稳定数 8 / 总数 100 → 放行 False,不稳定占比 0.08,阻断项 ["不稳定用例占比 8.0%,超过上限 5%"]
不稳定数 3 / 总数 100 → 放行 True,阻断项 [],不稳定占比 0.03
另外单独一个场景:冒烟全绿、失败数 2、不许重试、不稳定数 0。
2 条失败且不允许重试
这条对应实验台里的 test_失败且不许重试就拦住,放行 False。
为什么用 max(总数, 1)
总数 为 0 时直接除会抛 ZeroDivisionError。取 max(总数, 1) 让「没收集到用例」这种情况返回一个极低的占比(0.0),然后由别的门禁项去拦它。除法要防零,但不要用零除的结果去替别的规则做决定。
「新增用例未执行」这一项的判据
这一条的实现细节值得展开,因为它是防“悄悄退化”的核心。
判定逻辑是:本次新增的用例数,必须等于本次实际执行的新增用例数。差值不为 0 就是没执行完。
def 检查新增用例执行(新增用例列表, 已执行用例列表):
"""新增用例必须真的被执行了。
返回 (是否通过, 差集)。差集就是被筛选条件挡在外面的用例。
"""
新增集合 = set(新增用例列表)
已执行集合 = set(已执行用例列表)
没执行的 = sorted(新增集合 - 已执行集合)
return len(没执行的) == 0, 没执行的
这个函数的输出必须进报告,而且要列出具体哪几条没跑。只报一个布尔值,下次有人排查你还是得重新翻。
不稳定占比为什么卡 0.05
阈值 0.05 是权衡出来的,不是拍的:
- 卡 0.01 太严。网络抖一下就断流水线,最后没人愿意用
- 卡 0.05 时,100 条用例里容忍 5 条不稳定
- 卡 0.10 太松。到 10% 就意味着你的绿灯有十分之一是赌出来的,这个信号已经不值钱了
不稳定数的定义要严格:首次失败、重试后通过的用例算不稳定。首次就通过的绝不算。
三、回归范围:按改动文件算出来
这是省时间的关键,也是最容易做错的地方。
我维护的映射表是七条前缀:
全部 = ["接口冒烟", "接口全量", "Web 冒烟", "Web 全量", "视觉基线"]
映射 = {
"client/": ["接口冒烟", "接口全量"],
"tests/api/": ["接口冒烟", "接口全量"],
"tests/web/": ["Web 冒烟", "Web 全量"],
"web/": ["Web 冒烟", "Web 全量"],
"visual/": ["视觉基线"],
"config/": ["接口冒烟", "Web 冒烟"],
"docs/": [],
}
完整的选择函数:
def 选回归范围(改动文件):
"""按改动文件选回归范围。
返回三样:选中要跑的、全量集合、以及这次省掉了哪些。
"""
全部 = ["接口冒烟", "接口全量", "Web 冒烟", "Web 全量", "视觉基线"]
映射 = {
"client/": ["接口冒烟", "接口全量"],
"tests/api/": ["接口冒烟", "接口全量"],
"tests/web/": ["Web 冒烟", "Web 全量"],
"web/": ["Web 冒烟", "Web 全量"],
"visual/": ["视觉基线"],
"config/": ["接口冒烟", "Web 冒烟"],
"docs/": [],
}
选出 = set()
for f in 改动文件:
for 前缀, 项 in 映射.items():
if f.startswith(前缀) or 前缀 in f:
选出.update(项)
return {"选中": sorted(选出), "全量": 全部, "省掉": sorted(set(全部) - 选出)}
注意末尾返回的「省掉」。这一项不是可有可无的副产品,它是这次运行的结论。
四种改动的实跑结果
改 client/订单客户端.py
选中: ["接口全量", "接口冒烟"]
省掉: ["Web 全量", "Web 冒烟", "视觉基线"]
改 config/设置.py
选中: ["Web 冒烟", "接口冒烟"]
省掉: ["Web 全量", "接口全量", "视觉基线"]
改 visual/基线.py
选中: ["视觉基线"]
省掉: ["Web 全量", "Web 冒烟", "接口全量", "接口冒烟"]
改 docs/使用说明.md
选中: []
省掉: ["Web 全量", "Web 冒烟", "视觉全量", "接口全量", "接口冒烟"]
三条要单独说的:
改 client/ 省掉 3 项。 动了发 HTTP 请求的代码,接口线全套都要跑,但页面和视觉跟它没关系。
改 config/ 省掉 3 项,但省掉的是“全量”。 两个冒烟都跑(接口冒烟 + Web 冒烟),两个全量都不跑。理由是配置影响面大,先用冒烟确认没崩,崩了就没必要继续跑全量。这是「分阶段验证」——冒烟是探针,不是体检。
改 docs/ 省掉全部 5 项,一条都不跑。 这是选择性回归的上限。改说明文档不动运行时,跑任何用例都是纯浪费。
两条不能省的兜底规则
第一,识别不出来就回退到全量,并且记下回退原因。
def 选范围带兜底(改动文件):
范围 = 选回归范围(改动文件)
if not 范围["选中"]:
# 没命中任何映射:要么是 docs,要么是规则没覆盖到
# docs 可以安全跳过,其余情况保守回退全量
非文档 = [f for f in 改动文件 if "docs/" not in f]
if 非文档:
范围 = {
"选中": sorted(范围["全量"]),
"全量": 范围["全量"],
"省掉": [],
"回退原因": f"未命中映射规则,保守回退全量:{非文档}",
}
return 范围
漏测的代价远大于多跑几分钟。但回退本身必须写进报告,否则事后你分不清是“规则没覆盖到”还是「当时就这么选的」。
第二,公共底座改动直接全量。改 conftest.py、改公共 fixture 之类的影响面是全部,路径前缀匹配看不出来。路径规则只能当第一层提示,最终依据是“谁依赖谁”。
四、失败重试:默认关着,打开要留痕
重试是这套方案里最容易被滥用的开关。
def 决定是否重试(尝试历史, 失败类型):
"""失败类型:'ASSERTION' | 'TIMEOUT' | 'ENV_FLAKE' | 'PRODUCT'
默认全部不重试。只有明确归类为环境抖动的才开。
"""
if 失败类型 in ("ASSERTION", "PRODUCT"):
return {"重试": False, "理由": "产品或断言问题,重试无意义"}
if 失败类型 == "TIMEOUT":
return {"重试": False, "理由": "超时可能只是慢,重试会掩盖它"}
if 失败类型 != "ENV_FLAKE":
return {"重试": False, "理由": "未知失败类型,保守不重试"}
if len(尝试历史) >= 3:
return {"重试": False, "理由": "已达上限 3 次"}
return {"重试": True, "理由": "归类为环境抖动,在上限内重试"}
三条硬规则:
- 默认不重试。 只有明确归类为
ENV_FLAKE的才开,其余一律不重试 - 超时也不重试。重试会把「慢」洗成“绿”,而慢本身就是问题
- 每次尝试独立编号、独立留证据,不覆盖上一次
def 建尝试记录(运行ID, 尝试号, 状态, 失败类型=None, 证据=None):
"""每次尝试都是独立记录,不覆盖上一次。"""
return {
"运行ID": 运行ID,
"尝试号": 尝试号,
"状态": 状态,
"失败类型": 失败类型,
"证据": 证据 or {},
"是否不稳定": 失败类型 is not None and 状态 == "PASS",
}
最后那行 是否不稳定 是关键:重试后才通过的用例必须自动标记为不稳定,它要计入 不稳定数,进而参与那个 0.05 的比例判定。否则重试就变成了一个绕过门禁的后门。
五、流水线配置参考
把上面的判定串起来。放在 .github/workflows/ci.yml:
name: ci
on:
push:
branches: [main]
pull_request:
workflow_dispatch:
permissions:
contents: read
jobs:
# 第 0 步:先算回归范围,写进文件给后续 job 用
plan:
runs-on: ubuntu-latest
timeout-minutes: 5
outputs:
suites: ${{ steps.pick.outputs.suites }}
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.11'
- id: pick
run: |
git diff --name-only origin/main...HEAD > changed.txt
python -c "import json;from 工程化 import 选回归范围;print(json.dumps(选回归范围(open('changed.txt').read().split()),ensure_ascii=False))" > plan.json
echo "suites=$(python -c "import json;print(','.join(json.load(open('plan.json'))['选中']))")" >> $GITHUB_OUTPUT
cat plan.json
# 第 1 步:门禁执行入口
gate:
needs: plan
runs-on: ubuntu-latest
timeout-minutes: 20
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.11'
- name: Install deps
run: python -m pip install -r requirements.txt
- name: Run selected suites
run: python -m pytest -q ${{ steps.pick.outputs.suites }}
- name: Save report
if: always()
run: python -m pytest -q --junitxml=report.xml
- name: Upload artifact
if: always()
uses: actions/upload-artifact@v4
with:
name: ci-report
path: report.xml
retention-days: 14
两个关键点:
if: always() 出现在保存报告那一步。测试红了之后报告照样要存。测试失败和报告保存是两件事,不能因为前面失败就把证据丢掉。
plan job 独立成一个 job。范围计算只跑一次,结果写成 plan.json 给后续所有 job 读。这样多个 job 不会各算一遍算出不同结果——范围计算必须是单点。
六、数据隔离、执行顺序与结果留存
数据隔离不是可选项。上一个用例支付过、取消过,不重置的话下一个用例看到的状态就不对。
一个跨线链路的典型形态:
接口任务:创建订单 → 拿到订单ID
↓(通过运行ID绑定的资源清单传递)
网页任务:打开同一订单 → 核对金额与状态
两个任务如果不共享数据,就各自准备数据后并行跑。不必为了「看起来有序」把所有检查串行——那是在用时间换错觉。
运行标识要贯穿全链路:
def 建运行身份(提交标识, 工作流运行ID, 尝试号=1):
return {
"运行ID": f"{提交标识[:8]}-{工作流运行ID}-a{尝试号}",
"提交标识": 提交标识,
"工作流运行ID": 工作流运行ID,
"尝试号": 尝试号,
"运行前缀": f"t{工作流运行ID}",
}
并发任务如果都改同一笔共享订单,失败可能来自互相干扰,而不是产品回归。每个并发任务用自己运行前缀的数据。
留存方面,产物和缓存是两个方向相反的机制:
| 产物 artifact | 缓存 cache | |
|---|---|---|
| 用途 | 保留这次运行的报告和证据 | 复用依赖下载,加速下次 |
| 生命周期 | 有保留期限,可设访问权限 | 按键匹配,可能被替换 |
| 能不能当证据 | 能 | 不能 |
报告只塞进缓存里,事后基本等于没留。键一变就不可见,被别的运行覆盖也正常。
建议的产物内容:
report.xml pytest JUnit 报告
plan.json 本轮选了哪些套件 + 省掉了哪些 + 选它的理由
changed.txt 变更文件清单
gate-result.json 门禁判定结果(阻断项、不稳定占比)
screenshots/ 失败用例的截图
上传前必须筛敏感信息,请求体里常有令牌、手机号。要么脱敏,要么明确记录“已剔除”。
七、发布前后的验证与恢复
流水线绿了不等于可以发布。发布前至少要有这三件事:
- 关键业务验证:支付、取消、金额对账这几条链路,在同一构建身份下再确认一次
- 恢复步骤:出问题时怎么回滚、数据怎么补。回滚命令要提前写好,不是出事时现想
- 未覆盖风险声明:这次没测到的东西,明明白白写出来
第三条最容易被跳过。本机这套就有现成的例子:改文档那次一条用例都没跑,视觉基线只在 visual/ 改动时才跑,接口契约那条靠人工确认。这些都得写进报告,不写就是不完整。
八、本节要点
- 门禁规则写进代码,不靠人记。本文的门禁表是五条:冒烟全绿、新增用例必须执行、失败可重试但必须标记、不稳定用例比例不超过 0.05、接口契约未变。
- 四种必须阻断的情况:冒烟没全绿、新增用例未执行(覆盖率悄悄下降)、不稳定占比超 5%、有失败且不许重试。
- 100 条用例里 8 条不稳定(0.08)就拦,3 条(0.03)放行。
- 回归范围按改动文件算出来,映射表七条前缀。改
client/跑接口全套省掉 3 项,改config/跑两个冒烟省掉 3 项,改visual/跑视觉基线省掉 4 项,改docs/一条都不跑省掉 5 项。 - 返回值里的「省掉」列表是这次运行的结论,必须进报告。
- 识别不出影响面就回退全量,并记下回退原因。
- 重试默认关闭,
TIMEOUT也不重试;重试后通过的用例自动标记为不稳定,计入 0.05 那个比例。 - 产物归产物、缓存归缓存,报告塞缓存等于没留。
小结
一套能用的 CI 不是“跑得多”,是「每一分钟都花在能证明什么的地方」。冒烟全绿只是底线;真正值钱的是那几条让“覆盖率悄悄下降”和「绿灯靠赌」无处藏身的规则。
回归选择的收益也不在“跑得快”,在「省掉的东西有名字」。你说得出这次省掉了哪三项,就等于说得出这次没覆盖什么。
下一篇:测试报告与失败证据管理:区分产品缺陷、测试缺陷与环境失败。今天讲的是“跑什么、什么时候算过了”。下一篇解决「失败了,你拿到的那份报告能不能支撑定位」——把失败和版本、步骤、尝试、原始证据绑在一起。
本文出自《AI 重塑测试 · 90 天实测日记》系列(第 46 篇),作者「楠风测开」。系列按天记录测试平台的实测过程、本机环境与未验证项,结论以实跑记录为准。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/weixin_62798930/article/details/170779751



