27届大模型面试准备（五十八）：大模型微调与领域适配工程实战——从 SFT 数据管线到效果回归

27届大模型面试准备（五十八）：大模型微调与领域适配工程实战——从 SFT 数据管线到效果回归

引言：与上一篇、系列的关系

上一篇（五十七）我们建了多模态评测工程，用来量化「模型好不好」；本篇往前再走一步，回答「怎么把通用大模型变成你的领域模型」——也就是微调与领域适配工程。它和（五十六）的训推一体化、（十六）的后训练理论、（十八）的 LoRA/PEFT 方法都有关联，但本篇只聚焦工程落地：数据怎么造、训练怎么配、遗忘怎么防、效果怎么回归。

为什么这是面试硬通货？因为华为这类多模态 LLM 岗位，不可能让你从零预训练，绝大部分工作是「在基座上做领域微调 + 对齐 + 效果守护」。能讲清楚一条可复现、可回归、可防退化的微调流水线，比背一堆公式更打动人。

              领域适配微调工程流水线
+------------------------------------------------------+
|  领域语料 / 业务日志 / 专家标注                       |
+------------------------------------------------------+
                       | 清洗 + 去重 + 质量过滤
+------------------------------------------------------+
|  指令构造层                                         |
|  种子指令 -> 自指令扩写 -> 多模态配对 -> 难例挖掘    |
+------------------------------------------------------+
                       |  (SFT / LoRA / 全参)
+------------------------------------------------------+
|  训练层                                             |
|  配置管理 + 退火 + 课程 + 梯度裁剪 + 容错快照        |
+------------------------------------------------------+
                       |
+------------------------------------------------------+
|  回归层（接五十七评测工程）                          |
|  通用能力不掉 + 领域能力涨 + 幻觉不升                 |
+------------------------------------------------------+

第一节 微调前先问三个问题

工程上动手前必须想清楚，否则容易白训：

1. 要不要微调？ 能用 RAG / prompt 解决的别微调——微调有数据成本、回归成本、遗忘风险。你的 4MRAG 就是「用检索替代参数记忆」的典型，很多知识类问题根本不必进权重。
2. 全参还是 LoRA/QLoRA？ 数据量小、怕遗忘、要快迭代 → LoRA/QLoRA；数据量大、领域差异极大、算力充足 → 全参 SFT。两者不是非此即彼，常组合（先 LoRA 探水，再全参冲刺）。
3. 怎么定义成功？ 必须同时看「领域涨」和「通用不掉」，单看领域涨会掩盖灾难性遗忘。

# 微调决策的最小判断
def should_finetune(task):
    if task.kind in ("fact_retrieval", "private_kb"):
        return "用 RAG，不微调"      # 如 4MRAG 路线
    if task.data_scale < 5_000:
        return "LoRA / QLoRA"
    if task.domain_shift == "huge":
        return "全参 SFT（带通用回放）"
    return "LoRA 先探，再决定"

第二节 SFT 数据管线：质量远大于数量

面试最爱追问「数据怎么造」。工业界共识是：1 万条干净指令 >> 10 万条脏数据。一条标准管线：

多模态配对尤其要小心：图和问句必须语义对齐，否则模型学会「忽略图、靠文本蒙」。建议在配对后加一道 LLM 校验，筛掉图文弱相关的样本。

# 自指令扩写（极简骨架）
def self_instruct(seed_tasks, llm, n=2000):
    out = list(seed_tasks)
    while len(out) < n:
        prompt = f"基于以下任务，生成一个新的指令-输入-输出三元组：\n{random.sample(out,3)}"
        new = llm.generate(prompt)
        if is_valid(new) and not is_duplicate(new, out):
            out.append(new)
    return out

第三节 训练配置工程：让实验可复现

配置管理是工程基本功。所有超参必须落盘（yaml + git commit + seed），否则「上次那版效果好但忘了怎么来的」是常态。

关键配置项与经验值（以 7B 级 LoRA 为例，仅作量级参考）：

• learning_rate：LoRA 常 1e-4 ~ 2e-4；全参 SFT 常 1e-5 ~ 3e-5。
• warmup + cosine decay，warmup_ratio 0.03。
• batch 通过 grad_accum 凑到有效 64~128。
• 序列长度按领域分布定，多模态常 4k~8k（图 token 占大头）。
• 梯度裁剪 1.0，bf16 训练（配合（五十六）的精度对齐）。

# finetune_config.yaml
model: base-7b
method: qlora
lora_r: 64
lora_alpha: 128
lr: 2.0e-4
warmup_ratio: 0.03
lr_scheduler: cosine
epochs: 3
max_seq_len: 8192
grad_clip: 1.0
seed: 42
save_steps: 500
resume_from_checkpoint: auto   # 配合容错快照

防灾难性遗忘的工程手段：在领域数据里按比例混入通用 SFT 数据（如 9:1），或做 EWC / 模型回放；训练后用（五十七）的评测工程跑通用集，任一维度退化超阈值就回滚。

第四节 退火与课程：让模型收得住

冲刺阶段常用「退火（annealing）」：最后一轮用更干净、更高质量的小数据集 + 更低学习率再走一遍，显著提升指令遵循与格式对齐。课程学习则是先易后难，避免一上来被难例带崩。

# 训练计划：先全量粗训，再高质量退火
stages = [
    {"data": "domain_mixed_9to1", "lr": 2e-4, "epochs": 3},
    {"data": "high_quality_small", "lr": 5e-5, "epochs": 1},  # 退火
]
for s in stages:
    trainer.run(data=s["data"], lr=s["lr"], epochs=s["epochs"])

第五节 效果回归：把（五十七）直接接上来

微调完必须回归，且回归口径要和上线口径一致。回归报告长这样：

模型版本: domain-v3
+---------------+--------+--------+--------+
| 维度          | BASE   | HEAD   | 判定   |
+---------------+--------+--------+--------+
| 通用推理      | 81.2   | 80.9   | OK(-0.3)|
| 领域问答      | 62.5   | 78.4   | UP(+15.9)|
| 幻觉率        | 4.1%   | 4.6%   | 关注    |
| OCR           | 83.0   | 82.7   | OK      |
+---------------+--------+--------+--------+
结论: 领域大幅涨、通用基本不掉、幻觉微升需盯

判定规则（建议固化成门禁）：领域涨 ≥ 目标、通用退化 ≤ 2 个点、幻觉不升，才允许进入下一阶段。这直接复用了（五十七）的能力 taxonomy 与 diff 能力，两个工程天然咬合。

第六节 与 4MRAG / 多模态 LLM 岗位的结合话术

面试时你可以这么串：我的领域适配观是「参数记忆 vs 检索记忆分工」——静态、易变、私有的知识放 RAG（如 4MRAG），动态、能力型、通用的知识放微调。两者不是替代，是协同：微调提升模型理解和推理底力，RAG 提供可更新、可溯源的事实锚点。这正好对应华为多模态 LLM 岗位「既要懂训，又要懂用」的要求。

第七节 一个真实领域适配案例（面试可直接讲）

讲一个我在多模态文档问答场景踩过、也最值得复盘的例子。目标是让模型读懂带表格的财报截图并回答数字问题。

第一步我直接全参 SFT，喂了 3 万条爬虫抓的「图+问答」。结果领域分数从 58 飙到 79，但通用 MMBench 从 81 掉到 73——典型的灾难性遗忘，客服反馈「模型连普通物体识别都开始胡说」。复盘发现爬虫数据噪声极高，且完全没有通用数据回放。

第二步改方案：换 LoRA（r=64），数据里按 9:1 混入通用 SFT，并加一道数据清洗把重复样本从 3 万砍到 1.1 万。训练后领域 76、通用 80.5，遗忘基本消失。这里的关键教训是：领域涨不一定是胜利，通用不掉才是底线。

第三步做退火：用 2000 条专家精标的高质量财报 pair 以 lr=5e-5 再走一轮，领域冲到 81、格式对齐明显变好。最后接（五十七）的评测门禁，确认幻觉率没升，才放行。整个闭环体现了「数据质量 + 防遗忘 + 回归守护」三位一体——这套话术在面试官面前比单纯说「我用 LoRA 训了模型」有说服力得多。

面试速答（本篇可直接背的 3 句）

1. 微调前先判断要不要微调——能 RAG/prompt 解决的别进权重，避免数据、回归、遗忘三套成本。
2. SFT 数据质量远大于数量，管线核心是清洗+构造+多模态对齐+难例挖掘，1 万干净 > 10 万脏。
3. 效果回归必须同时看领域涨和通用不掉，用维度雷达 + 门禁守护，防灾难性遗忘。

高频追问清单

• LoRA 和全参怎么选？答：小数据/怕遗忘/快迭代选 LoRA，大数据/大领域差异选全参，常组合使用。
• 怎么防灾难性遗忘？答：通用数据回放、EWC、训练后通用集回归门禁，退化超阈值回滚。
• 多模态微调图文不对齐怎么办？答：配对后加 LLM 对齐校验，筛掉弱相关样本，训练监控图文答对比。
• 退火为什么要单独做？答：低 lr + 高质量小集收尾，显著提升格式与指令遵循，避免被噪声拖尾。
• 你的微调怎么和 RAG 配合？答：能力型进权重、事实型进检索，RAG 提供可溯源锚点、微调提供推理底力。

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/thesky123456/article/details/164084905