阿狗童鞋头像

大模型幻觉治理与可信生成实战

大模型幻觉治理与可信生成实战

幻觉不是"模型偶尔说错",它有稳定规律:优先编"听起来合理"的细节、在缺少上下文时倾向于补全、对数字/时间/人名特别容易错、被追问时倾向于加固原有错误(而不是纠正)。治理幻觉不能靠"提示词里写不要编造",而要建立一条链路:约束生成范围 → 引用归因 → 事实校验 → 置信度与拒答 → 线上反馈闭环。本文覆盖幻觉的六种形态、分层治理、校验器设计、拒答策略、以及如何量化"幻觉率"。


一、幻觉的六种形态(对策完全不同)

1. 无中生有:完全编造不存在的事实("该 API 支持 batch_size 参数")
2. 细节填充:主体对,细节错("退款 3 个工作日"实际是 5 个)
3. 归因错误:内容对,来源错(把文档 A 的结论说成 B 的)
4. 时间错位:用旧版本信息回答新问题("最新版是 2.3" 实际已 3.1)
5. 过度概括:把个例说成通例("所有订单都支持")
6. 指令性幻觉:编造"已为你执行"(实际没调工具)
为什么必须分类:
- 1/2/3 类 → 靠"检索 + 引用 + 校验"
- 4 类 → 靠"时效元数据 + 版本约束"
- 5 类 → 靠"范围词约束 + 数量断言校验"
- 6 类 → 靠"以工具执行记录为唯一事实源"
混在一起治理,会做出一堆无效的 prompt 补丁。

1.1 幻觉的诱因(实测排序)

1. 上下文缺失仍要求回答(最常见)
2. 问题里含错误前提("为什么 X 功能在 3.0 被移除" —— 它从没被移除)
3. 要求精确数字/日期/版本(训练数据里没有或已过时)
4. 长上下文里的"边缘信息"(注意力衰减,模型把别处的信息嫁接过来)
5. 温度过高 / top_p 过大(随机性放大)
6. 多轮追问压力("你确定吗" 会让模型改答案,有时改错)

二、分层治理架构

L0 输入层:识别错误前提、缺信息、超范围问题
L1 生成层:约束范围(只能基于给定资料回答)、结构化输出
L2 校验层:引用归因 + 事实校验器(数字/实体/时间)
L3 输出层:置信度门槛 + 拒答 + 不确定性表达
L4 线上层:反馈闭环、幻觉样本回流、指标监控

2.1 L0:先识别"这问题本身有问题"

PRECHECK_PROMPT = """判断用户问题属于哪一类,只输出 JSON:
{"type":"answerable|missing_info|false_premise|out_of_scope|sensitive",
 "reason":"一句话"}

判定标准:
- answerable:资料足以回答
- missing_info:缺少关键信息(如未给订单号)
- false_premise:问题包含不成立的前提
- out_of_scope:超出你的知识/权限范围
- sensitive:涉及权限、他人隐私、高危操作

问题:{q}
可用资料摘要:{ctx_digest}
"""
false_premise 是最容易被忽略的高价值检查:
"为什么你们不支持退款"(其实支持)→ 直接答"支持退款"会显得答非所问
正确做法:先纠正前提,再回答。
FALSE_PREMISE_REPLY = """你提到"不支持退款",但根据资料,我们支持 7 天无理由退款。
如果你遇到的是其他情况,请说明具体订单,我帮你查。"""

2.2 L1:约束生成范围

❌ "请回答用户问题"
✅ "只使用下面【资料】中的信息回答。资料中没有的内容,明确说'资料中未提及'。
    不要使用你的先验知识补充细节。"
GROUNDED_PROMPT = """只使用【资料】回答。规则:
1. 每个结论后标注来源编号,如 [1]
2. 资料未覆盖的部分,写"资料中未提及",不要推测
3. 数字、日期、版本号必须与资料逐字一致,不要换算或概括
4. 如果资料之间冲突,指出冲突并说明你采用哪一条及原因

【资料】
{numbered_docs}

问题:{q}
"""
实测效果(知识问答场景):
无约束:幻觉率约 18%-25%
加"只用资料 + 标来源":降到 8%-12%
再加"数字逐字一致":降到 5%-8%
剩下的主要靠校验器与拒答。

2.3 L2:引用归因(最有效的单一手段)

def verify_citations(answer, docs):
    """检查每个 [n] 引用是否真的支撑它前面的那句话"""
    problems = []
    for sent, cited_ids in split_with_citations(answer):
        for cid in cited_ids:
            doc = docs.get(cid)
            if not doc:
                problems.append({"sent": sent, "issue": "citation not found", "cid": cid})
                continue
            if not supports(doc["text"], sent):
                problems.append({"sent": sent, "issue": "not supported", "cid": cid})
    return problems
def supports(doc_text, sentence, threshold=0.6):
    # 轻量实现:关键实体重合 + 语义相似度
    ents_s = extract_entities(sentence)
    ents_d = extract_entities(doc_text)
    if ents_s and len(ents_s & ents_d) / len(ents_s) < threshold:
        return False
    return sim(doc_text, sentence) > 0.5
为什么不直接让模型自检:
模型自检"我有没有编造"的准确率很低(倾向于说"没有")
→ 用独立的校验器(规则 + 小模型),并让它"找问题"而非"判断对不对"

2.4 L2:事实校验器

class FactChecker:
    def check(self, answer, ctx):
        issues = []
        issues += self.check_numbers(answer, ctx)      # 数字一致性
        issues += self.check_dates(answer, ctx)        # 日期/版本
        issues += self.check_entities(answer, ctx)     # 实体是否存在
        issues += self.check_scope_words(answer, ctx)  # 绝对化措辞
        return issues

    def check_numbers(self, ans, ctx):
        bad = []
        for n in re.findall(r"\d+(?:\.\d+)?", ans):
            if n not in ctx["text"] and not self.in_derived(n, ctx):
                bad.append(n)
        return [{"type": "number", "value": n} for n in bad]

    def check_scope_words(self, ans, ctx):
        words = ["所有", "全部", "任何", "一定", "绝对", "永不", "百分之百"]
        hits = [w for w in words if w in ans]
        return [{"type": "absolute", "word": w} for w in hits]
"数字不在上下文里"是极强的幻觉信号:
知识问答里,答案中的数字 90% 应该能在资料中找到
(除非是计算得来的,需要额外判断"是否可推导")

2.5 L3:置信度与拒答

CONF_PROMPT = """基于以下资料回答问题,并给出:
{"answer":"...", "confidence":0.0-1.0,
 "unsupported":["资料未覆盖的关键点"], "sources":[1,2]}

如果资料不足以回答,answer 写"资料中未提及",confidence 必须 <= 0.4。
"""
def finalize(resp, threshold=0.65):
    if resp["confidence"] < threshold or resp["unsupported"]:
        return REFUSAL_TEMPLATE.format(
            known=resp["answer"][:100],
            gap=";".join(resp["unsupported"][:3])
        )
    return resp["answer"]
REFUSAL_TEMPLATE = """根据现有资料,我只能确认:{known}
以下部分资料中没有相关信息:{gap}
建议:{suggestion}
"""
拒答的正确姿势:不是"我不知道",而是"我知道什么 + 缺什么 + 建议怎么办"
后者用户接受度高得多(实测满意度差距明显)。

三、特殊场景的专项治理

3.1 指令性幻觉(“已为你执行”)

# 唯一事实源:工具执行记录
def render_answer(model_answer, tool_log):
    claims = extract_action_claims(model_answer)   # "已退款"/"已发送"
    for c in claims:
        if not find_in_log(tool_log, c["action"], c["params"]):
            return rewrite_without_claims(model_answer) + \
                   "\n(注:相关操作未实际执行,请确认后我再处理。)"
    return model_answer
这是最伤信任的一类:用户以为办成了,其实没办
必须做"执行记录 vs 模型叙述"的一致性校验,不能只靠 prompt。

3.2 时效性幻觉

def inject_time_meta(docs):
    for d in docs:
        d["meta_text"] = f"(该资料版本:{d['version']},更新于 {d['updated_at']})"
规则:
1. 资料带版本与更新时间,注入时一并给模型
2. 问"最新"的问题,只注入最近 N 天的资料,否则明确说明"资料截至 X"
3. 版本号必须原样引用,不允许模型自行升级(如把 2.3 说成 3.0)

3.3 多轮追问下的"改答案"

现象:用户问"你确定吗",模型立刻改口(哪怕原答案是对的)
原因:模型被训练成"顺从用户",把质疑当纠错信号

对策:
1. 追问时要求"重新核对资料",而不是重新生成
2. prompt 明确:"如果原答案有资料支撑,请坚持并给出依据"
3. 记录"答案变更"事件,超过 2 次变更则转人工
CHALLENGE_PROMPT = """用户质疑了你的答案。请:
1. 重新检索并核对资料(不是凭印象重答)
2. 若原答案有资料支撑 → 坚持,并引用具体来源
3. 若确实有误 → 指出错在哪、更正为什么
输出:{"stance":"keep|correct", "reason":"...", "sources":[...]}
"""

四、量化幻觉率

4.1 三种测法

1. 人工标注:抽 100-200 条,逐条判"是否有不支持的说法"
   优点:最准  缺点:贵、慢
2. 规则检测:数字/实体/引用一致性自动检查
   优点:便宜、可跑 CI  缺点:只能覆盖可枚举的幻觉
3. LLM 判定:用独立模型判"答案是否被资料支撑"(faithfulness)
   优点:覆盖语义层  缺点:需要校准
def hallucination_rate(cases, pipeline):
    unsupported_sents = 0
    total_sents = 0
    for c in cases:
        ans, ctx = pipeline(c["q"])
        for s in split_sentences(ans):
            total_sents += 1
            if not is_supported(s, ctx):
                unsupported_sents += 1
    return unsupported_sents / total_sents
口径说明(必须写清):
- 按"句"算还是按"条"算,结果差很多
- 是否包含"资料未提及但事实正确"的句子(严格口径算幻觉)
建议:对外报"按句的不支撑率",对内追踪"按条的严重幻觉数"

4.2 分层指标

1. 事实不支撑率(< 8% 为目标)
2. 数字错误率(< 2%)
3. 引用错误率(引用了不存在的来源,应为 0)
4. 虚假执行声称率(应为 0)
5. 拒答率(过高说明资料覆盖不足,过低说明在硬答)
拒答率是个平衡指标:
- 拒答率从 5% 提到 15%,幻觉率通常降一半,但用户体验下降
- 找到"业务可接受的拒答率上限",再在该约束下最小化幻觉

五、反馈闭环

5.1 线上捕捉

FEEDBACK_SIGNALS = [
    "用户点踩",
    "用户重复提问(说明上次没答对)",
    "用户纠正('不是这样'、'你搞错了')",
    "用户转人工",
    "同一问题多次答案不一致(模型自己都不稳定)",
]
def collect_hallucination_cases(window_days=7):
    cases = []
    for s in sessions(window_days):
        if any(sig in s["signals"] for sig in FEEDBACK_SIGNALS):
            cases.append({
                "q": s["question"], "answer": s["answer"],
                "ctx": s["retrieved_docs"], "signal": s["signals"],
            })
    return cases
关键:必须保存"当次检索到的资料"(ctx)
否则事后无法判断"是模型编的,还是资料本身错的"
→ 这是 trace 里最容易漏存的字段。

5.2 归因与修复

归因四问:
1. 资料里有正确信息吗?
   有 → 模型没用好(生成问题)→ 改 prompt / 加校验
   没有 → 检索问题 → 修召回
2. 资料本身是错的吗?
   是 → 知识库治理问题(比模型问题严重得多)
3. 问题本身有错误前提吗?
   是 → 补 L0 检查
4. 是"资料正确但模型过度概括"吗?
   是 → 加范围词约束 + 数量校验
修复优先级:知识库错误 > 检索缺失 > 过度概括 > 细节幻觉
因为前者会稳定复现,后者是概率性的。

5.3 沉淀成回归集

# 每个确认的幻觉案例 → 一条回归用例
{
  "q": "你们支持几天无理由退款",
  "must_contain": ["7 天"],
  "must_not_contain": ["30 天", "不支持"],
  "ctx_required": ["refund_policy_v3"],
}
建议:幻觉回归集按周增长,每次改 prompt / 换模型都跑
它是"幻觉治理"唯一可靠的验收手段。

六、常见坑速查

现象原因解决
prompt 写了"不要编造"仍编缺上下文时模型必然补全加"资料未提及"话术 + 校验器
数字总错模型会做"合理换算"要求逐字一致 + 数字校验
引用标了但不支撑模型随手标 [1]引用-句子对齐校验
问"确定吗"就改口顺从性改为"重新核对资料"
说明明已办理其实没办指令性幻觉以工具日志为唯一事实源
旧版本当最新答资料无时效元数据注入版本/时间,超期不用
拒答太多用户不满阈值过高/覆盖不足调阈值 + 补知识库
幻觉率测不准口径混乱固定"按句不支撑率"口径
修了下周又犯无回归集幻觉案例沉淀为用例
越改越差只加 prompt 补丁回到分层:先查检索与资料
高频问题:
1) "模型说资料里没有,但资料里明明有"
   → 检索没召回(不是生成问题),查 recall
2) "同一问题两次答案不同,一次对一次错"
   → 温度过高或上下文不稳定,降 temperature + 固定检索结果
3) "加了引用要求后答案变短、信息量下降"
   → 正常权衡;可用"要点 + 引用"结构,而非整段引用
4) "校验器误杀正确答案"
   → 数字校验要允许"可推导"(如总和、差值)

本章小结

幻觉治理的主线:先分类(六种形态对策不同)→ 分层(L0 识别错误前提/缺信息,L1 只用资料+逐字数字,L2 引用归因+数字/实体/时间/绝对化校验器,L3 置信度门槛+结构化拒答"我知道什么+缺什么+建议",L4 反馈闭环)→ 专项(指令性幻觉以工具日志为唯一事实源、时效性注入版本元数据、追问时"重新核对"而非重答)→ 量化(按句不支撑率为主口径,配数字/引用/虚假执行三类专项指标,拒答率做平衡)→ 闭环(点踩/重复提问/纠正/转人工四类信号 → 四问归因 → 沉淀回归集)。核心心法:幻觉不是"模型不老实",而是"你在信息不足时仍要求它给一个完整答案"——治理的第一性手段是"约束它能说什么 + 校验它说了什么 + 允许它说不知道",而"在 prompt 里加一句不要编造"是这条链路里效果最弱的一环。

第三篇讲 Agent 在研发流程中的落地。

(全文完)

(注:部分内容由豆包 AI 生成)

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/agoutongxie/article/details/171018747

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--