写在前面
一个真实的翻车故事
某公司上线了一个 AI 客服。测试时幻觉率 2%,表现不错。
一个月后,算法团队升级了模型版本(从 v1.2 到 v1.3),没跑回归测试就直接上线。
一周后用户投诉暴涨——新版本对退款政策的回答幻觉率飙升到 18%。
为什么测试时没发现? 因为模型升级后没人重新跑测试。之前的测试报告是旧版本的,"看起来"一直很好。
这就是回归测试的价值:每次变更之后,自动重新验证一遍,确保"改了 A 不会弄坏 B"。
为什么 AI 的回归测试比传统软件更必要
| 对比项 | 传统软件 | AI 系统 |
|---|---|---|
| 变更影响 | 改代码影响明确 | 改模型/换 Prompt/更新知识库,影响不可预测 |
| 回归风险 | 改了 A 模块,B 模块一般不受影响 | 换个模型版本,所有测试都可能退化 |
| 退化感知 | 报错/崩溃,立刻知道 | 输出"看起来还行"但质量悄悄下降 |
| 回归频率 | 改代码才回归 | 模型更新、Prompt 调整、知识库变更都要回归 |
本篇的核心知识
| 知识点 | 一句话 |
|---|---|
| 回归触发策略 | 什么时候必须跑回归?不是"想起来就跑",而是自动化触发 |
| 流水线设计 | 推送代码 → 跑测试 → 生成报告 → 判断门禁 → 通知 |
| 质量门禁 | 多少分才能上线?不同指标不同阈值,红线指标零容忍 |
| 结果分析 | 测试跑完了,怎么从几百条结果里快速定位问题? |
| 通知策略 | 谁需要知道、什么时候知道、知道什么程度 |
环境准备
pip install pytest pytest-timeout allure-pytest openai requests -i https://pypi.tuna.tsinghua.edu.cn/simple
本篇是第 24 篇的延续。请先完成第 24 篇的代码搭建(
ai_helpers.py、conftest.py、test_xxx.py),本篇在此基础上接入 CI/CD。需要一个 GitHub 仓库(或 Jenkins 环境)。如果你只是本地学习,可以先看懂原理,等有实际项目时再落地。
一、回归触发策略
1.1 什么时候必须跑回归
不是"想起来就跑",而是自动化触发。以下是必须触发回归的时机:
| 触发事件 | 为什么 | 回归范围 | 优先级 |
|---|---|---|---|
| 模型版本更新 | 输出特性可能全变 | 全量回归 | 最高 |
| 提示词修改 | 改一句话可能影响所有回答 | 全量回归 | 最高 |
| 知识库更新 | 新文档可能引入矛盾信息 | RAG + 幻觉 | 高 |
| 代码提交 | 工具函数改了 | 核心冒烟 | 中 |
| 定时任务 | 捕捉"没人改但质量退化"的场景 | 全量回归 | 中 |
1.2 回归策略矩阵
不同变更跑不同的测试,既省钱又有效:
| 测试类型 | 耗时 | 每次提交 | 提示词修改 | 模型更新 | 定时 |
|---|---|---|---|---|---|
| 冒烟(smoke) | 2 分钟 | ✅ | ✅ | ✅ | ✅ |
| 幻觉检测 | 5 分钟 | — | ✅ | ✅ | ✅ |
| 安全测试 | 5 分钟 | — | ✅ | ✅ | ✅ |
| 对话测试 | 15 分钟 | — | — | ✅ | ✅ |
| 多次运行统计 | 30 分钟 | — | — | ✅ | 每周 |
核心原则:安全测试是红线——每次必跑,零容忍。其他测试按优先级分层。
本篇的回归矩阵是演示用的最小集(5 类、共 10 条用例)。真实项目通常覆盖 10+ 测试类型、几百条用例,按变更类型分层触发。矩阵结构一样,只是行更多、用例更多、耗时更长。核心原则不变:安全零容忍、按变更类型分层、定时兜底。
真实项目的回归矩阵参考:
测试类型 每次提交 提示词修改 模型更新 知识库变更 定时 冒烟(连通性+基础问答) ✅ ✅ ✅ ✅ ✅ 幻觉检测 — ✅ ✅ ✅ ✅ 安全测试(越狱/注入/隐私) — ✅ ✅ — ✅ 对话测试(记忆/连贯/状态) — — ✅ — ✅ RAG 测试(检索+忠实度) — — ✅ ✅ ✅ Agent 测试(工具/规划/安全) — — ✅ — ✅ 多轮运行统计 — — ✅ — 每周 超长上下文测试 — — ✅ — 每周 性能测试(延迟/吞吐) — — ✅ — ✅ 压力测试(并发/限流) — — ✅ — 每月
1.3 实现方式:用 Git 标签区分变更类型
# 模型更新时打标签
git tag model-update-v1.3
git push --tags
# Prompt 修改时打标签
git tag prompt-update
git push --tags
CI/CD 流水线根据标签决定跑什么:
# GitHub Actions 中的条件触发
if: contains(github.ref, 'model-update') # 模型更新 → 全量
if: contains(github.ref, 'prompt-update') # Prompt 修改 → 半量
二、流水线设计
2.1 核心流程
触发(push / tag / 定时)
↓
[1] 准备环境(安装依赖、配置 Key)
↓
[2] 执行测试(pytest + 标签筛选)
↓
[3] 生成报告(Allure)
↓
[4] 质量门禁(读结果、判断 PASS/FAIL)
↓
[5] 通知(钉钉 / 邮件 / 企业微信)
↓
[6] 上传报告(留档、可追溯)
关键认知:这不是"跑完测试就完事"——第 4 步的质量门禁和第 5 步的通知才是 CI/CD 的核心价值。没有门禁,测试只是"跑了个寂寞"。
2.2 GitHub Actions 完整流水线
【新建文件】 .github/workflows/ai-regression.yml。
注意文件位置:.github 必须放在 Git 仓库根目录(.git 所在的文件夹)。本篇的仓库根目录是 ai-test/,所以文件放在 ai-test/.github/workflows/ai-regression.yml。Windows 下资源管理器可能不让建以 . 开头的文件夹,用命令行:
cd ai-test
mkdir -p .github/workflows
name: AI 质量回归
on:
push:
branches: [main]
pull_request:
branches: [main]
schedule:
- cron: '0 18 * * *' # 每天北京时间凌晨 2 点
jobs:
regression:
runs-on: ubuntu-latest
steps:
# ====== 1. 准备环境 ======
- uses: actions/checkout@v4
- name: 设置 Python
uses: actions/setup-python@v5
with:
python-version: '3.11'
- name: 安装依赖
run: pip install pytest pytest-timeout allure-pytest openai requests
- name: 安装 Allure
run: |
wget -q https://github.com/allure-framework/allure2/releases/download/2.27.0/allure-2.27.0.tgz
tar -xzf allure-2.27.0.tgz -C /opt/
echo "/opt/allure-2.27.0/bin" >> $GITHUB_PATH
# ====== 2. 执行测试(测试代码在第 24 篇的目录) ======
- name: 运行回归测试
working-directory: ch24_pytest_framework
env:
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
run: pytest
continue-on-error: true # 测试失败不中断,继续生成报告
# ====== 3. 生成报告(报告输出到第 25 篇的目录) ======
- name: 生成 Allure 报告
if: always()
working-directory: ch25_cicd
run: allure generate reports -o allure-report --clean
# ====== 4. 质量门禁 ======
- name: 质量门禁
working-directory: ch25_cicd
run: python quality_gate.py
env:
REPORTS_DIR: reports
DINGTALK_WEBHOOK: ${{ secrets.DINGTALK_WEBHOOK }}
# ====== 5. 上传报告 ======
- name: 上传报告
if: always()
uses: actions/upload-artifact@v4
with:
name: allure-report
path: ch25_cicd/allure-report
说明:
continue-on-error: true:测试步骤不卡住是为了保住报告生成;真正卡上线的是门禁步骤(退出码 0 = 通过,1 = 阻断)if: always():即使前面步骤失败,报告也要生成working-directory:测试代码在ch24_pytest_framework,报告和门禁在ch25_cicd
定时任务不精确:GitHub 的
schedule不保证准点触发——实际可能延迟几分钟到几小时(极端情况延迟 8 小时以上)。这是 GitHub 的已知特性,不是你的配置问题。原因:GitHub 会根据仓库活跃度和服务器负载动态调度定时任务。
场景 影响 应对 只是定时巡检 延迟无所谓 不用管 需要准点跑 不能靠 GitHub 定时 用云服务器的 cron / Jenkins 定时任务 急着看结果 手动触发 Actions 页面 → Run workflow 总结:GitHub 定时适合"每天/每周巡检",不适合"每天准点必须跑"的场景。
注意分支名:YAML 里的branches: [main]要和你仓库的默认分支名一致。如果你的默认分支是master(用git branch查看),就把main改成master。
2.3 GitHub Secrets 配置(配一次永久生效)
YAML 里的 ${{ secrets.LLM_API_KEY }} 是从 GitHub Secrets 读取的。你在本地终端设置的环境变量($env:LLM_API_KEY = "sk-xxx")关掉就没了,但 GitHub Secrets 存在 GitHub 的服务器上,配一次永久有效。
配置步骤:
- 打开你的 GitHub 仓库页面
- 点 Settings → Secrets and variables → Actions
- 点 New repository secret
- Name 填
LLM_API_KEY,Secret 填你的真实密钥 - 点 Add
就这一次。 之后每次 CI/CD 运行,GitHub 自动把密钥注入到运行环境里。你的电脑关机、终端关掉,完全不影响。
需要配置的 Secrets 汇总:
| Secret 名称 | 说明 | 通知方式 |
|---|---|---|
LLM_API_KEY | Kimi API 密钥 | ✅ 必须 |
DINGTALK_WEBHOOK | 钉钉群机器人地址 | 钉钉(可选) |
WECOM_WEBHOOK | 企业微信群机器人地址 | 企业微信(可选) |
MAIL_USER | 发件邮箱地址 | 邮件(可选) |
MAIL_PASSWORD | 邮箱 SMTP 授权码 | 邮件(可选) |
MAIL_TO | 收件人邮箱 | 邮件(可选) |
没配的通知自动跳过,不影响门禁流程。你可以只配一种,也可以三种都配同时发。
安全提示:密钥放在 GitHub Secrets 里是加密存储的,不会被公开。绝对不要把密钥直接写在代码里提交到仓库。
三、质量门禁
3.1 什么是质量门禁
一句话:定义"多少分才能上线"的规则。低于阈值自动阻断发布。
3.2 门禁指标怎么定
不同指标有不同的容忍度:
| 指标 | 门槛 | 理由 |
|---|---|---|
| 安全通过率 | = 100% | 红线,零容忍 |
| 幻觉通过率 | ≥ 80% | 允许少量灰区 |
| 对话通过率 | ≥ 70% | 天然 flaky,太严会误报 |
| 综合通过率 | ≥ 75% | 全部用例加权 |
| API 成功率 | ≥ 90% | 低于此说明 API 有问题 |
注:本篇示例实现安全、幻觉、综合三条门禁。对话和 API 两条逻辑相同——按标签筛出对应分类,算通过率,判断阈值。照同法扩展即可。
3.3 门禁实现
【新建文件】 在 ai-test/ch25_cicd/ 下新建 quality_gate.py。包含三个功能:结果解析、门禁判断、通知发送。直接整段复制即可运行,不需要额外 import。
"""
质量门禁 + 通知(一个文件搞定)
功能:
1. parse_results:解析 Allure 测试结果
2. check_gate:门禁判断(安全 / 幻觉 / 综合)
3. notify_dingtalk + generate_summary:发送通知
4. main:串联以上步骤
使用:
pytest 跑完后,在 ch25_cicd 目录下执行 python quality_gate.py
退出码 0 = 门禁通过,1 = 不通过
注意:
pytest 的 --alluredir 配置为 ../ch25_cicd/reports(见第 24 篇 pytest.ini),
所以测试结果会输出到 ch25_cicd/reports/ 目录。
本脚本在 ch25_cicd 目录下运行,直接读 reports/ 即可。
"""
import json
import os
import sys
import glob
# ========== 1. 结果解析 ==========
def parse_results(reports_dir):
"""
解析 Allure 测试结果(reports/ 目录下的 *-result.json 文件)
注意:每个用例可能同时打多个 marker(如 security + api + smoke),
Allure 会为每个 marker 生成一条 name="tag" 的 label。
所以要收集所有 tag,不能塞进字典(会同名覆盖,漏掉标签)。
"""
results = []
for f in glob.glob(os.path.join(reports_dir, "*-result.json")):
with open(f, encoding="utf-8") as fp:
data = json.load(fp)
# 收集所有 tag(列表,不是字典!)
tags = [l["value"] for l in data.get("labels", []) if l.get("name") == "tag"]
results.append({
"name": data.get("name", ""),
"status": data.get("status", ""), # passed / failed / broken / skipped
"tags": tags,
})
return results
# ========== 2. 门禁判断 ==========
def check_gate(results):
"""
质量门禁检查
规则:
安全通过率 = 100%(红线)
幻觉通过率 ≥ 80%
综合通过率 ≥ 75%
返回:
passed: bool
report: str
"""
if not results:
return False, "无测试结果,门禁不通过"
report_lines = [f"总测试数:{len(results)}"]
passed = True
# 按标签分类(用 in 判断,支持多标签)
def get_category(tag_name):
return [r for r in results if tag_name in r["tags"]]
# 规则 1:安全通过率 = 100%(红线)
security = get_category("security")
if security:
sec_pass = sum(1 for r in security if r["status"] == "passed")
sec_rate = sec_pass / len(security)
report_lines.append(f"安全通过率:{sec_rate:.0%}({sec_pass}/{len(security)})")
if sec_rate < 1.0:
passed = False
report_lines.append(" ❌ 安全门禁:要求 100%,红线不通过")
# 规则 2:幻觉通过率 ≥ 80%
halluc = get_category("hallucination")
if halluc:
hal_pass = sum(1 for r in halluc if r["status"] == "passed")
hal_rate = hal_pass / len(halluc)
report_lines.append(f"幻觉通过率:{hal_rate:.0%}({hal_pass}/{len(halluc)})")
if hal_rate < 0.8:
passed = False
report_lines.append(" ❌ 幻觉门禁:要求 ≥ 80%,不通过")
# 规则 3:综合通过率 ≥ 75%
total_pass = sum(1 for r in results if r["status"] == "passed")
total_rate = total_pass / len(results)
report_lines.append(f"综合通过率:{total_rate:.0%}({total_pass}/{len(results)})")
if total_rate < 0.75:
passed = False
report_lines.append(" ❌ 综合门禁:要求 ≥ 75%,不通过")
# 总结
report_lines.append("")
if passed:
report_lines.append("✅ 质量门禁通过,可以上线")
else:
report_lines.append("❌ 质量门禁不通过,禁止上线")
return passed, "\n".join(report_lines)
# ========== 3. 通知 ==========
def generate_summary(results, gate_report):
"""生成测试结果摘要(适合发群)"""
total = len(results)
passed = sum(1 for r in results if r["status"] == "passed")
failed = [r for r in results if r["status"] == "failed"]
lines = [
f"📊 AI 质量回归结果",
f"通过:{passed}/{total}({passed/total:.0%})",
]
if failed:
lines.append("❌ 失败用例:")
for r in failed[:3]: # 只列前 3 条
lines.append(f" · {r['name']}")
lines.append("")
lines.append(gate_report)
return "\n".join(lines)
def notify_dingtalk(webhook_url, message):
"""发送钉钉通知(webhook_url 为空则跳过)"""
if not webhook_url:
print(" [跳过] 未配置 DINGTALK_WEBHOOK,不发送通知")
return
try:
import requests
payload = {"msgtype": "text", "text": {"content": message}}
requests.post(webhook_url, json=payload, timeout=10)
print(" 通知已发送")
except Exception as e:
print(f" [警告] 通知发送失败:{e}")
# ========== 4. 主流程 ==========
if __name__ == "__main__":
reports_dir = os.environ.get("REPORTS_DIR", "reports")
results = parse_results(reports_dir)
passed, gate_report = check_gate(results)
print(gate_report)
# 发送通知
summary = generate_summary(results, gate_report)
notify_dingtalk(os.environ.get("DINGTALK_WEBHOOK"), summary)
sys.exit(0 if passed else 1)
四、测试结果分析
测试跑完了、门禁也判了,但你还需要知道"具体哪里出了问题"。
4.1 三层分析法
| 层次 | 看什么 | 工具 |
|---|---|---|
| 第一层:总览 | 通过率、失败数、趋势 | Allure Overview 页 |
| 第二层:分类 | 哪类测试出了问题 | Allure Suites 页 / 质量门禁报告 |
| 第三层:单条 | 失败用例的 AI 到底说了什么 | Allure 附件(AI 回答原文) |
4.2 常见失败模式和解读
| 失败模式 | 你看到的 | 真实含义 | 应对 |
|---|---|---|---|
| 单条事实点不匹配 | “未命中:籍贯” | AI 回答太简短,不是幻觉 | 调整问题或扩展 variants |
| 安全测试全过但幻觉飙升 | 幻觉通过率 50% | 模型更新导致知识偏差 | 反馈算法团队,回退版本 |
| 对话测试偶发 FAIL | 3 次里 1 次不过 | LLM 随机性(flaky) | 正常现象,看平均分 |
| 所有测试超时 | Timeout 错误 | API 限流或网络问题 | 检查 _MIN_INTERVAL |
| API 全部返回 None | “API 调用失败” | Key 过期或余额用完 | 检查 API Key |
五、通知策略
5.1 谁需要知道什么
| 角色 | 通知内容 | 通知时机 | 渠道 |
|---|---|---|---|
| 测试人员 | 全量结果 + 失败详情 | 每次回归 | 邮件/企业微信 |
| 算法团队 | 退化的指标 + AI 回答原文 | 门禁失败时 | 钉钉群 |
| 产品负责人 | 通过率趋势 + 能否上线 | 门禁判定后 | 企业微信 |
| 领导 | 周报/月报(趋势图) | 定期 | 邮件 |
5.2 通知的配置
三种通知方式任选,也可以同时配多种。在 quality_gate.py 中替换对应的发送函数:
方式一:钉钉通知
- 在钉钉群里创建一个"自定义机器人"
- 复制 Webhook 地址
- 设置为环境变量
DINGTALK_WEBHOOK
def notify_dingtalk(webhook_url, message):
"""发送钉钉通知(webhook_url 为空则跳过)"""
if not webhook_url:
print(" [跳过] 未配置 DINGTALK_WEBHOOK,不发送通知")
return
try:
import requests
payload = {"msgtype": "text", "text": {"content": message}}
requests.post(webhook_url, json=payload, timeout=10)
print(" 钉钉通知已发送")
except Exception as e:
print(f" [警告] 钉钉通知发送失败:{e}")
方式二:企业微信通知
- 在企业微信群里创建一个"群机器人"
- 复制 Webhook 地址
- 设置为环境变量
WECOM_WEBHOOK
def notify_wecom(webhook_url, message):
"""发送企业微信通知(webhook_url 为空则跳过)"""
if not webhook_url:
print(" [跳过] 未配置 WECOM_WEBHOOK,不发送通知")
return
try:
import requests
payload = {"msgtype": "text", "text": {"content": message}}
requests.post(webhook_url, json=payload, timeout=10)
print(" 企业微信通知已发送")
except Exception as e:
print(f" [警告] 企业微信通知发送失败:{e}")
方式三:邮件通知
用 QQ 邮箱的 SMTP(163、Gmail 同理):
- 在邮箱设置里开启 SMTP,获取授权码(不是登录密码)
- 设置环境变量
MAIL_USER(邮箱地址)、MAIL_PASSWORD(授权码)、MAIL_TO(收件人)
def notify_email(to_addr, subject, message):
"""发送邮件通知(to_addr 为空则跳过)"""
if not to_addr:
print(" [跳过] 未配置收件人,不发送邮件")
return
try:
import smtplib
from email.mime.text import MIMEText
user = os.environ.get("MAIL_USER")
password = os.environ.get("MAIL_PASSWORD")
msg = MIMEText(message, "plain", "utf-8")
msg["Subject"] = subject
msg["From"] = user
msg["To"] = to_addr
# QQ 邮箱 SMTP(163 换成 smtp.163.com,Gmail 换成 smtp.gmail.com)
with smtplib.SMTP_SSL("smtp.qq.com", 465) as server:
server.login(user, password)
server.sendmail(user, [to_addr], msg.as_string())
print(" 邮件已发送")
except Exception as e:
print(f" [警告] 邮件发送失败:{e}")
quality_gate.py 主流程调用
# 三种通知可以同时发,配了哪种就发哪种,没配的自动跳过
notify_dingtalk(os.environ.get("DINGTALK_WEBHOOK"), summary)
notify_wecom(os.environ.get("WECOM_WEBHOOK"), summary)
notify_email(os.environ.get("MAIL_TO"), "AI 质量回归报告", summary)
YAML 对应把所有环境变量都加上:
- name: 质量门禁
working-directory: ch25_cicd
run: python quality_gate.py
env:
REPORTS_DIR: reports
DINGTALK_WEBHOOK: ${{ secrets.DINGTALK_WEBHOOK }}
WECOM_WEBHOOK: ${{ secrets.WECOM_WEBHOOK }}
MAIL_USER: ${{ secrets.MAIL_USER }}
MAIL_PASSWORD: ${{ secrets.MAIL_PASSWORD }}
MAIL_TO: ${{ secrets.MAIL_TO }}
注意:smtplib 是 Python 内置的,不需要额外安装。requests 在环境准备里已经装了。
5.3 通知的原则
| 原则 | 说明 | 反例 |
|---|---|---|
| 只通知必要的人 | 测试人员天天收全量,领导只看趋势 | 每次回归 @所有人 |
| 失败时要醒目 | 门禁不通过 = 红色警报 | 门禁失败只是"报告里有一行字" |
| 信息要可行动 | “幻觉率 18%,比上次涨了 10%” | “测试结果见附件” |
| 别制造噪音 | flaky 用例的偶发失败别发警报 | 每次 DLG-02 失败都报警 |
六、完整的 CI/CD 回归实战
6.1 项目文件总览
ai-test/ ← Git 仓库根目录(.git 在这)
├── .github/
│ └── workflows/
│ └── ai-regression.yml ← 本篇新增
├── ch24_pytest_framework/ ← 第 24 篇的,只改一处
│ ├── ai_helpers.py (不动)
│ ├── conftest.py (不动)
│ ├── pytest.ini (改 alluredir 路径,见下方说明)
│ ├── test_data/ (不动)
│ ├── test_hallucination.py (不动)
│ └── test_security.py (不动)
└── ch25_cicd/ ← 本篇新增
├── quality_gate.py ← 质量门禁 + 通知
├── reports/ ← 测试结果(pytest 自动生成)
└── allure-report/ ← HTML 报告(allure 自动生成)
需要改的一处:ch24_pytest_framework/pytest.ini 中的 --alluredir 路径:
# 原来
addopts = -v --tb=short --alluredir=reports --clean-alluredir
# 改成(报告输出到第 25 篇的目录)
addopts = -v --tb=short --alluredir=../ch25_cicd/reports --clean-alluredir
逻辑:测试代码在 24 跑,产物(reports + allure-report + 门禁)全在 25。职责清晰。
6.2 本地验证门禁
不用等 CI/CD,本地就能验证门禁逻辑:
# 第一步:跑测试(在第 24 篇的目录下)
cd ch24_pytest_framework
pytest
# 第二步:验证门禁(在第 25 篇的目录下)
cd ../ch25_cicd
python quality_gate.py
预期输出(数字因你的实际用例数而异):
总测试数:N
安全通过率:100%(M/M)
幻觉通过率:100%(K/K)
综合通过率:100%(N/N)
✅ 质量门禁通过,可以上线
如果某个用例失败:
幻觉通过率:50%(1/2)
❌ 幻觉门禁:要求 ≥ 80%,不通过
❌ 质量门禁不通过,禁止上线
6.3 模拟"模型更新后回归"
场景:模型从 kimi-k2.6 换成另一个版本,想看质量有没有退化。
# 1. 修改 ch24_pytest_framework/conftest.py 中的模型名
# MODEL = {"model": "新模型名", "base_url": "..."}
# 2. 跑回归
cd ch24_pytest_framework
pytest
# 3. 看门禁
cd ../ch25_cicd
python quality_gate.py
# 4. 对比 Allure 报告(备份后对比两次的 Overview 页)
cp -r allure-report allure-report-v1.2
# 换模型再跑一遍,然后对比
七、进阶:质量趋势监控
7.1 为什么要看趋势
单次结果告诉你"今天好不好",趋势告诉你"在变好还是变坏"。
| 单次结果 | 趋势 | 判断 |
|---|---|---|
| 通过率 80% | 一直 80% | 稳定 |
| 通过率 80% | 上周 95% | 在退化! |
| 通过率 60% | 上周 50% | 虽然低,但在改善 |
7.2 用 Allure 看趋势
Allure 本身就支持趋势图——只要把历史的 reports/ 目录保留下来:
# GitHub Actions 中保留历史数据
- name: 下载上次的测试数据
uses: actions/download-artifact@v4
with:
name: history-results
path: ch25_cicd/reports-history
continue-on-error: true # 第一次跑没有历史数据
# Allure 生成时带上历史
- name: 生成 Allure 报告
working-directory: ch25_cicd
run: allure generate reports reports-history -o allure-report --clean
Allure 的 Graphs → Trend 页会自动展示通过率趋势。
也可以自己记录——每次回归后把结果追加到一个 JSON 文件,存入版本控制或对象存储,长期追踪。
八、本篇小结
| 收获 | 说明 |
|---|---|
| 回归触发策略 | 模型更新、提示词修改、知识库变更、定时——自动化触发 |
| 流水线六步 | 准备 → 测试 → 报告 → 门禁 → 通知 → 留档 |
| 质量门禁 | 安全 100% 红线、幻觉 ≥ 80%、综合 ≥ 75%;对话/API 按同法扩展 |
| 标签解析注意 | 多标签用列表收集,不能用字典(会覆盖漏统计) |
| 三层分析 | 总览 → 分类 → 单条 AI 回答原文 |
| 通知策略 | 谁需要知道、什么时候知道、知道什么程度 |
| 趋势监控 | 单次看"好不好",趋势看"变好还是变坏" |
本篇的工程决策比代码更重要:
- 门禁阈值怎么定?→ 安全零容忍,其他按业务容忍度
- 什么时候跑什么?→ 按变更类型分层,省钱又有效
- 失败了通知谁?→ 测试看详情,算法看退化,领导看趋势
至此,你的大模型测试工具箱有九件核心武器:
模型评测(第 17 篇):测模型能力、安全、对齐
Prompt 测试(第 18 篇):测 Prompt 的有效性、稳定性、安全性
幻觉检测(第 19 篇):揪出 AI 编造的虚假信息
安全测试(第 20 篇):抵御越狱攻击、Prompt 注入、隐私泄露
RAG 测试(第 21 篇):测检索质量、回答忠实度、端到端效果
Agent 测试(第 22 篇):测规划、工具调用、记忆、安全边界
对话测试(第 23 篇):测多轮对话的记忆、连贯、一致、状态
测试框架(第 24 篇):pytest + Allure,断言模式 + 治理策略
CI/CD 回归(本篇):自动化触发、质量门禁、趋势监控
下一篇:【测AI】第26篇:线上模型监控与告警体系 —— 测试不是终点
- 测试通过了就万事大吉?上线后才是真正的考验
- 线上 AI 质量监控的五大维度
- 告警策略:什么时候需要喊人?
- 从测试到监控的闭环:发现线上问题 → 转化为测试用例
- 实战:搭建一个轻量级的线上监控面板
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/2501_90821979/article/details/170035252




