大模型幻觉治理与可信生成实战
幻觉不是"模型偶尔说错",它有稳定规律:优先编"听起来合理"的细节、在缺少上下文时倾向于补全、对数字/时间/人名特别容易错、被追问时倾向于加固原有错误(而不是纠正)。治理幻觉不能靠"提示词里写不要编造",而要建立一条链路:约束生成范围 → 引用归因 → 事实校验 → 置信度与拒答 → 线上反馈闭环。本文覆盖幻觉的六种形态、分层治理、校验器设计、拒答策略、以及如何量化"幻觉率"。
一、幻觉的六种形态(对策完全不同)
1. 无中生有:完全编造不存在的事实("该 API 支持 batch_size 参数")
2. 细节填充:主体对,细节错("退款 3 个工作日"实际是 5 个)
3. 归因错误:内容对,来源错(把文档 A 的结论说成 B 的)
4. 时间错位:用旧版本信息回答新问题("最新版是 2.3" 实际已 3.1)
5. 过度概括:把个例说成通例("所有订单都支持")
6. 指令性幻觉:编造"已为你执行"(实际没调工具)
为什么必须分类:
- 1/2/3 类 → 靠"检索 + 引用 + 校验"
- 4 类 → 靠"时效元数据 + 版本约束"
- 5 类 → 靠"范围词约束 + 数量断言校验"
- 6 类 → 靠"以工具执行记录为唯一事实源"
混在一起治理,会做出一堆无效的 prompt 补丁。
1.1 幻觉的诱因(实测排序)
1. 上下文缺失仍要求回答(最常见)
2. 问题里含错误前提("为什么 X 功能在 3.0 被移除" —— 它从没被移除)
3. 要求精确数字/日期/版本(训练数据里没有或已过时)
4. 长上下文里的"边缘信息"(注意力衰减,模型把别处的信息嫁接过来)
5. 温度过高 / top_p 过大(随机性放大)
6. 多轮追问压力("你确定吗" 会让模型改答案,有时改错)
二、分层治理架构
L0 输入层:识别错误前提、缺信息、超范围问题
L1 生成层:约束范围(只能基于给定资料回答)、结构化输出
L2 校验层:引用归因 + 事实校验器(数字/实体/时间)
L3 输出层:置信度门槛 + 拒答 + 不确定性表达
L4 线上层:反馈闭环、幻觉样本回流、指标监控
2.1 L0:先识别"这问题本身有问题"
PRECHECK_PROMPT = """判断用户问题属于哪一类,只输出 JSON:
{"type":"answerable|missing_info|false_premise|out_of_scope|sensitive",
"reason":"一句话"}
判定标准:
- answerable:资料足以回答
- missing_info:缺少关键信息(如未给订单号)
- false_premise:问题包含不成立的前提
- out_of_scope:超出你的知识/权限范围
- sensitive:涉及权限、他人隐私、高危操作
问题:{q}
可用资料摘要:{ctx_digest}
"""
false_premise 是最容易被忽略的高价值检查:
"为什么你们不支持退款"(其实支持)→ 直接答"支持退款"会显得答非所问
正确做法:先纠正前提,再回答。
FALSE_PREMISE_REPLY = """你提到"不支持退款",但根据资料,我们支持 7 天无理由退款。
如果你遇到的是其他情况,请说明具体订单,我帮你查。"""
2.2 L1:约束生成范围
❌ "请回答用户问题"
✅ "只使用下面【资料】中的信息回答。资料中没有的内容,明确说'资料中未提及'。
不要使用你的先验知识补充细节。"
GROUNDED_PROMPT = """只使用【资料】回答。规则:
1. 每个结论后标注来源编号,如 [1]
2. 资料未覆盖的部分,写"资料中未提及",不要推测
3. 数字、日期、版本号必须与资料逐字一致,不要换算或概括
4. 如果资料之间冲突,指出冲突并说明你采用哪一条及原因
【资料】
{numbered_docs}
问题:{q}
"""
实测效果(知识问答场景):
无约束:幻觉率约 18%-25%
加"只用资料 + 标来源":降到 8%-12%
再加"数字逐字一致":降到 5%-8%
剩下的主要靠校验器与拒答。
2.3 L2:引用归因(最有效的单一手段)
def verify_citations(answer, docs):
"""检查每个 [n] 引用是否真的支撑它前面的那句话"""
problems = []
for sent, cited_ids in split_with_citations(answer):
for cid in cited_ids:
doc = docs.get(cid)
if not doc:
problems.append({"sent": sent, "issue": "citation not found", "cid": cid})
continue
if not supports(doc["text"], sent):
problems.append({"sent": sent, "issue": "not supported", "cid": cid})
return problems
def supports(doc_text, sentence, threshold=0.6):
# 轻量实现:关键实体重合 + 语义相似度
ents_s = extract_entities(sentence)
ents_d = extract_entities(doc_text)
if ents_s and len(ents_s & ents_d) / len(ents_s) < threshold:
return False
return sim(doc_text, sentence) > 0.5
为什么不直接让模型自检:
模型自检"我有没有编造"的准确率很低(倾向于说"没有")
→ 用独立的校验器(规则 + 小模型),并让它"找问题"而非"判断对不对"
2.4 L2:事实校验器
class FactChecker:
def check(self, answer, ctx):
issues = []
issues += self.check_numbers(answer, ctx) # 数字一致性
issues += self.check_dates(answer, ctx) # 日期/版本
issues += self.check_entities(answer, ctx) # 实体是否存在
issues += self.check_scope_words(answer, ctx) # 绝对化措辞
return issues
def check_numbers(self, ans, ctx):
bad = []
for n in re.findall(r"\d+(?:\.\d+)?", ans):
if n not in ctx["text"] and not self.in_derived(n, ctx):
bad.append(n)
return [{"type": "number", "value": n} for n in bad]
def check_scope_words(self, ans, ctx):
words = ["所有", "全部", "任何", "一定", "绝对", "永不", "百分之百"]
hits = [w for w in words if w in ans]
return [{"type": "absolute", "word": w} for w in hits]
"数字不在上下文里"是极强的幻觉信号:
知识问答里,答案中的数字 90% 应该能在资料中找到
(除非是计算得来的,需要额外判断"是否可推导")
2.5 L3:置信度与拒答
CONF_PROMPT = """基于以下资料回答问题,并给出:
{"answer":"...", "confidence":0.0-1.0,
"unsupported":["资料未覆盖的关键点"], "sources":[1,2]}
如果资料不足以回答,answer 写"资料中未提及",confidence 必须 <= 0.4。
"""
def finalize(resp, threshold=0.65):
if resp["confidence"] < threshold or resp["unsupported"]:
return REFUSAL_TEMPLATE.format(
known=resp["answer"][:100],
gap=";".join(resp["unsupported"][:3])
)
return resp["answer"]
REFUSAL_TEMPLATE = """根据现有资料,我只能确认:{known}
以下部分资料中没有相关信息:{gap}
建议:{suggestion}
"""
拒答的正确姿势:不是"我不知道",而是"我知道什么 + 缺什么 + 建议怎么办"
后者用户接受度高得多(实测满意度差距明显)。
三、特殊场景的专项治理
3.1 指令性幻觉(“已为你执行”)
# 唯一事实源:工具执行记录
def render_answer(model_answer, tool_log):
claims = extract_action_claims(model_answer) # "已退款"/"已发送"
for c in claims:
if not find_in_log(tool_log, c["action"], c["params"]):
return rewrite_without_claims(model_answer) + \
"\n(注:相关操作未实际执行,请确认后我再处理。)"
return model_answer
这是最伤信任的一类:用户以为办成了,其实没办
必须做"执行记录 vs 模型叙述"的一致性校验,不能只靠 prompt。
3.2 时效性幻觉
def inject_time_meta(docs):
for d in docs:
d["meta_text"] = f"(该资料版本:{d['version']},更新于 {d['updated_at']})"
规则:
1. 资料带版本与更新时间,注入时一并给模型
2. 问"最新"的问题,只注入最近 N 天的资料,否则明确说明"资料截至 X"
3. 版本号必须原样引用,不允许模型自行升级(如把 2.3 说成 3.0)
3.3 多轮追问下的"改答案"
现象:用户问"你确定吗",模型立刻改口(哪怕原答案是对的)
原因:模型被训练成"顺从用户",把质疑当纠错信号
对策:
1. 追问时要求"重新核对资料",而不是重新生成
2. prompt 明确:"如果原答案有资料支撑,请坚持并给出依据"
3. 记录"答案变更"事件,超过 2 次变更则转人工
CHALLENGE_PROMPT = """用户质疑了你的答案。请:
1. 重新检索并核对资料(不是凭印象重答)
2. 若原答案有资料支撑 → 坚持,并引用具体来源
3. 若确实有误 → 指出错在哪、更正为什么
输出:{"stance":"keep|correct", "reason":"...", "sources":[...]}
"""
四、量化幻觉率
4.1 三种测法
1. 人工标注:抽 100-200 条,逐条判"是否有不支持的说法"
优点:最准 缺点:贵、慢
2. 规则检测:数字/实体/引用一致性自动检查
优点:便宜、可跑 CI 缺点:只能覆盖可枚举的幻觉
3. LLM 判定:用独立模型判"答案是否被资料支撑"(faithfulness)
优点:覆盖语义层 缺点:需要校准
def hallucination_rate(cases, pipeline):
unsupported_sents = 0
total_sents = 0
for c in cases:
ans, ctx = pipeline(c["q"])
for s in split_sentences(ans):
total_sents += 1
if not is_supported(s, ctx):
unsupported_sents += 1
return unsupported_sents / total_sents
口径说明(必须写清):
- 按"句"算还是按"条"算,结果差很多
- 是否包含"资料未提及但事实正确"的句子(严格口径算幻觉)
建议:对外报"按句的不支撑率",对内追踪"按条的严重幻觉数"
4.2 分层指标
1. 事实不支撑率(< 8% 为目标)
2. 数字错误率(< 2%)
3. 引用错误率(引用了不存在的来源,应为 0)
4. 虚假执行声称率(应为 0)
5. 拒答率(过高说明资料覆盖不足,过低说明在硬答)
拒答率是个平衡指标:
- 拒答率从 5% 提到 15%,幻觉率通常降一半,但用户体验下降
- 找到"业务可接受的拒答率上限",再在该约束下最小化幻觉
五、反馈闭环
5.1 线上捕捉
FEEDBACK_SIGNALS = [
"用户点踩",
"用户重复提问(说明上次没答对)",
"用户纠正('不是这样'、'你搞错了')",
"用户转人工",
"同一问题多次答案不一致(模型自己都不稳定)",
]
def collect_hallucination_cases(window_days=7):
cases = []
for s in sessions(window_days):
if any(sig in s["signals"] for sig in FEEDBACK_SIGNALS):
cases.append({
"q": s["question"], "answer": s["answer"],
"ctx": s["retrieved_docs"], "signal": s["signals"],
})
return cases
关键:必须保存"当次检索到的资料"(ctx)
否则事后无法判断"是模型编的,还是资料本身错的"
→ 这是 trace 里最容易漏存的字段。
5.2 归因与修复
归因四问:
1. 资料里有正确信息吗?
有 → 模型没用好(生成问题)→ 改 prompt / 加校验
没有 → 检索问题 → 修召回
2. 资料本身是错的吗?
是 → 知识库治理问题(比模型问题严重得多)
3. 问题本身有错误前提吗?
是 → 补 L0 检查
4. 是"资料正确但模型过度概括"吗?
是 → 加范围词约束 + 数量校验
修复优先级:知识库错误 > 检索缺失 > 过度概括 > 细节幻觉
因为前者会稳定复现,后者是概率性的。
5.3 沉淀成回归集
# 每个确认的幻觉案例 → 一条回归用例
{
"q": "你们支持几天无理由退款",
"must_contain": ["7 天"],
"must_not_contain": ["30 天", "不支持"],
"ctx_required": ["refund_policy_v3"],
}
建议:幻觉回归集按周增长,每次改 prompt / 换模型都跑
它是"幻觉治理"唯一可靠的验收手段。
六、常见坑速查
| 现象 | 原因 | 解决 |
|---|---|---|
| prompt 写了"不要编造"仍编 | 缺上下文时模型必然补全 | 加"资料未提及"话术 + 校验器 |
| 数字总错 | 模型会做"合理换算" | 要求逐字一致 + 数字校验 |
| 引用标了但不支撑 | 模型随手标 [1] | 引用-句子对齐校验 |
| 问"确定吗"就改口 | 顺从性 | 改为"重新核对资料" |
| 说明明已办理其实没办 | 指令性幻觉 | 以工具日志为唯一事实源 |
| 旧版本当最新答 | 资料无时效元数据 | 注入版本/时间,超期不用 |
| 拒答太多用户不满 | 阈值过高/覆盖不足 | 调阈值 + 补知识库 |
| 幻觉率测不准 | 口径混乱 | 固定"按句不支撑率"口径 |
| 修了下周又犯 | 无回归集 | 幻觉案例沉淀为用例 |
| 越改越差 | 只加 prompt 补丁 | 回到分层:先查检索与资料 |
高频问题:
1) "模型说资料里没有,但资料里明明有"
→ 检索没召回(不是生成问题),查 recall
2) "同一问题两次答案不同,一次对一次错"
→ 温度过高或上下文不稳定,降 temperature + 固定检索结果
3) "加了引用要求后答案变短、信息量下降"
→ 正常权衡;可用"要点 + 引用"结构,而非整段引用
4) "校验器误杀正确答案"
→ 数字校验要允许"可推导"(如总和、差值)
本章小结
幻觉治理的主线:先分类(六种形态对策不同)→ 分层(L0 识别错误前提/缺信息,L1 只用资料+逐字数字,L2 引用归因+数字/实体/时间/绝对化校验器,L3 置信度门槛+结构化拒答"我知道什么+缺什么+建议",L4 反馈闭环)→ 专项(指令性幻觉以工具日志为唯一事实源、时效性注入版本元数据、追问时"重新核对"而非重答)→ 量化(按句不支撑率为主口径,配数字/引用/虚假执行三类专项指标,拒答率做平衡)→ 闭环(点踩/重复提问/纠正/转人工四类信号 → 四问归因 → 沉淀回归集)。核心心法:幻觉不是"模型不老实",而是"你在信息不足时仍要求它给一个完整答案"——治理的第一性手段是"约束它能说什么 + 校验它说了什么 + 允许它说不知道",而"在 prompt 里加一句不要编造"是这条链路里效果最弱的一环。
第三篇讲 Agent 在研发流程中的落地。
(全文完)
(注:部分内容由豆包 AI 生成)
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/agoutongxie/article/details/171018747



