大模型应用解决方案学习笔记---大模型入门概念

大语言模型的概念我们在第一篇已经介绍过了，现在开始介绍大模型学习领域的一些术语。

基本术语

token（词元）

Token是AI识别所有人类文字的最小基础单位，它就相当于人类语言中的单字、词根或词缀，是构成AI语言理解系统的基石。AI无法理解“阅读”汉字或者英文单词，必须通过分词技术，将所有文本切割、编码为标准化的Token序列，才能进行后续的计算、理解与生成。

三大核心术语

1.参数量（parameter count）

通常说大模型的大指的是参数量大，参数量，就是模型里面可以学习、可以调整的权重（Weight）+ 偏置（Bias）的总数，是神经网络里存储 “学到的知识” 的那些数字。

通俗比喻

你可以把模型想象成一个超级复杂的数学公式：

w1和w2就是权重

b 就是偏置 这些 w、b全部合起来，就是参数。 训练大模型，本质就是拿海量数据，不断调整这一堆数字，让模型预测越来越准。 参数量越大，这个公式的可调变量越多，理论上能记住、拟合更复杂的语言、知识、逻辑。

举个例子：GPT-3 大约 1750 亿参数；GPT-4 万亿级别（官方没有公布精确数字）

两点关键

1. 参数不是训练数据，不是训练集的文本！ 很多人会混淆： ✅ 参数 = 模型学到的知识（固化在权重里的数字） ❌ 训练数据 = 喂给模型学习的原始文本、图片 模型训练完，原始数据可以丢掉，参数就是学习成果。
2. 参数量大 ≠ 一定更强 参数量只是其中一个指标，还要看：训练数据质量、架构（Transformer）、训练方式、对齐（RLHF）。同样参数，做不好也会很笨。

打个比喻：

把大模型想象成一个学生：

• 训练数据 = 海量课本、习题、课外读物（给学生看的资料）
• 参数（权重 + 偏置） = 学生大脑里形成的记忆、经验、思维习惯
• 参数量 = 这个学生大脑里能容纳的思维模板、记忆容量的大小

👉 训练过程：学生疯狂看书做题，不断调整自己脑子里的经验（更新参数）。 👉 训练结束：书本（原始数据）可以拿走了，留下来的就是他脑子里的经验（参数）。

👉 参数量越大，相当于大脑的 “记忆和思维模板” 越多，理论上越有能力学会复杂知识、理解复杂问题； 但不是模板越多就一定聪明，如果书质量差、学习方法不对，模板再多也学不好。

2.AI幻觉（hallucination）

定义：大模型在没有事实依据、不知道答案的时候，自信地编造出看起来合理、通顺，但本身是错误、虚构的内容（人名、数据、文献、事件、公式等）。

重点：它不是故意撒谎，模型本身没有“知道/不知道”的意识，只是根据文本概率生成通顺文字。

✅ 通俗比喻 就像一个记性不好的学生，老师提问，他不会，但又不敢说不会，凭着感觉编了一套听起来很顺的答案，说得一本正经，可内容全是错的。

两种幻觉

1. 内在幻觉：问题本身有正确答案，模型生成了错误版本（比如把论文作者、年份写错）
2. 外在幻觉：编造根本不存在的东西：不存在的文章、链接、案例、产品、公式

为什么会产生幻觉？

1. 大模型本质是预测下一个字，不是检索知识库；优先保证语句通顺、符合模式，不保证真实
2. 训练数据里信息冲突、过时、缺失
3. 上下文太长，模型遗忘前面信息
4. 提示词诱导、问题本身模糊

怎么缓解幻觉（考点）

• 接入检索增强 RAG（让模型先查资料再回答）
• 提示词约束：不知道就说不知道，禁止编造来源
• 输出后事实校验、引用原文出处
• 使用经过事实对齐、微调后的模型

一句话背诵

AI幻觉是大模型自信输出虚假信息的现象，根源是模型基于概率生成文本，而非理解事实；RAG是常用缓解方案。

3.预训练模型（Pretrained Model）:

定义：先用海量通用数据，提前训练好、保存下来的模型权重。它已经学到语言、常识、基础规律，我们拿到手不用从零开始训练。

✅ 通俗比喻 好比老师先让学生读万卷书（海量文本），先学会认字、语法、常识、逻辑，这个打好底子的学生就是预训练模型。 之后你可以再针对性补习（微调），让他专门做某一类任务。

核心关键点

1. 预训练阶段：目标是学习通用规律 用互联网海量文本，做 “预测下一个 token”，不针对某一个具体任务（不是专门写代码、不是专门翻译）。
2. 它是一个底座（Base Model） 比如 LLaMA、Qwen、GPT 底座版本，都是预训练模型。
3. 和微调的区别（高频考点）

• 预训练：学通用知识，数据巨大，成本极高，一般只有大厂做
• 微调：在预训练好的底座上，用少量专属数据继续训练，适配特定任务（客服、翻译、代码）

一句话区分

预训练模型 = 打好通用底子的基础大模型；微调是在这个底子上定向改造。

补充：和基座、SFT 的关系

• 预训练之后得到：基座模型（Base）
• 基座再做有监督微调 SFT，才变成我们日常直接对话的对话模型（Chat 版）

极简背诵句:预训练模型是在海量通用数据上提前训练完成的基础模型，学到通用语言与常识，作为后续微调的底座。

将参数量、AI幻觉和预训练模型进行综合场景串联

我们拿大模型的完整生产链路串起来： 厂商先用海量互联网文本，做预训练，训练出基座模型。训练过程中不断更新模型里的参数；参数量越大，模型理论上能记住、学习到的模式和知识容量上限越高，但参数量大不代表它绝对不会出错。

预训练的目标只是学习文本规律、预测下一个 token，模型并不真正理解事实。所以哪怕是参数量很大的预训练基座，在遇到知识盲区、信息模糊的问题时，依然有可能产生AI 幻觉—— 自信地编造不存在的信息。

举个完整例子： 一个千亿参数量的预训练基座模型，预训练时读过大量技术文章，但没有读过某一篇小众论文。当你问它这篇论文的实验结论时，它不会直白说 “我不知道”，而是按照语言概率，生成一段逻辑通顺、看起来很专业，实际是虚构的内容，这就是幻觉。

关键考点小结（一句话串） 预训练是打基础的过程，参数是模型学到知识的载体；参数量提升可以增强模型能力，但无法从根本上杜绝 AI 幻觉。

拓展延伸

想要减轻幻觉，通常不会单纯靠继续堆参数量。常见方案是：在预训练基座之上做 SFT 微调、或者接入 RAG 检索增强，让模型回答前先检索真实资料，约束它不要编造。

极简版本

预训练在海量数据里训练模型，不断优化参数；参数量代表模型的学习容量。但模型只是学习文字分布，不具备真正认知，哪怕参数量很大，也会出现 AI 幻觉，凭空编造虚假内容。

大模型完整的生命周期：三大核心阶段

1.预训练阶段

一句话：用海量无标注的文本数据，让模型自学语言、常识、逻辑，学习 “预测下一个词”，得到基座模型。

✅ 通俗比喻 就像把孩子扔进图书馆，海量书随便读，没人一题一题教他答案（无标注），他自己慢慢学会认字、语法、因果、各种常识，学会什么样的话接起来是合理的。这个阶段不专门教他做聊天、做题、写代码。

核心目标

训练任务：自监督学习，预测下一个 Token 给一段文字，遮住最后一个词，让模型猜这个词是什么；不断迭代，调整所有参数。

预训练阶段学到什么

1. 语言基础：语法、句式、中英文表达
2. 通用常识、世界知识
3. 基础逻辑、推理模式、各类文本格式（代码、诗歌、论文）

⚠️重点：它只是学到文本出现的统计规律，不是真正理解知识，这也是幻觉的根源。

这个阶段的特点

• 数据：海量、大多是无标注原始文本
• 成本极高：需要大量 GPU、很长时间
• 输出产物：基座模型（Base 预训练模型）
• 不能直接拿来好好聊天：基座只会续写文本，不会跟着指令回答问题

2.微调对齐阶段

前置回顾：预训练出来是基座 Base 模型，只会续写文字，听不懂指令、不会乖乖回答、容易乱输出。 微调对齐，就是在基座基础上，继续训练，让模型听懂指令、符合人类喜好、安全有用。

1. SFT 有监督微调（Supervised Fine-Tuning）

✅ 通俗比喻： 孩子已经博览群书（预训练基座），现在老师给一批【问题 + 标准答案】的样例，手把手教：别人问你问题，不要自顾自续写，要针对问题给出回答。

• 数据：高质量标注好的指令 - 回答对（指令数据集）
• 目标：学会遵循指令，知道什么时候该回答、什么时候拒绝，输出格式正常
• 局限：只是学样例，不知道 “哪个回答更好”，同一个问题，它可能给出一个正确但啰嗦 / 生硬的答案
• 产出：SFT 模型

2. RLHF 人类反馈强化学习（主流对齐方案）

✅ 通俗比喻： 同样一道题，模型写出好几个答案，交给人打分排序；模型慢慢学到：什么样的回答，人类更喜欢（简洁、准确、有礼貌、安全）。

三步：

1. 收集人类打分：同一个 prompt，生成多个回答，人工排序优劣
2. 训练奖励模型 RM：学会自动判断哪个回答更好
3. 用 PPO 强化学习，让模型向着高分回答的方向更新参数

另外还有一种RLAIF：不用人打分，改用更强的大模型来打分，降低成本，现在很多公司在用。

核心考点区分

• 预训练：学世界知识、语言规律，无标注海量数据，自监督学习，任务是预测下一个 token
• SFT（微调）：学听懂指令，少量高质量标注数据
• RLHF（对齐）：学贴合人类偏好，分辨好坏回答，优化回答风格、安全性

名词解释：

RM：Reward Model，奖励模型 作用：学会打分。输入同一个问题的多条回答，输出一个分数，代表这个回答好不好、符不符合偏好。RLHF第二步就是训练 RM，用人工排序的数据训练它，代替人自动打分。

PPO：Proximal Policy Optimization，近端策略优化 作用：强化学习优化算法。拿着 RM 给出的奖励分，更新 SFT 模型；加约束，不让模型更新得太猛、一下子学歪、忘掉原来学到的知识。RLHF第三步用的优化器。

RLHF：Reinforcement Learning from Human Feedback，基于人类反馈的强化学习 流程：SFT → 人工标注偏好数据训练 RM → PPO 优化模型 特点：靠人打分，对齐人类喜好，成本高。

RLAIF：Reinforcement Learning from AI Feedback，基于 AI 反馈的强化学习 流程和 RLHF 几乎一样，区别：打分的不是人，是另一个更强的大模型，自动生成偏好排序数据去训练 RM 特点：降低标注成本，容易大规模做，现在很多新模型在用。

一句话串联

RLHF 是用人给回答排序，训练 RM 奖励模型，再用 PPO 算法优化模型；RLAIF 是 RLHF 的替代方案，把人工打分换成 AI 打分。

极简背诵

• RM：奖励模型，负责打分
• PPO：近端策略优化，用来更新模型参数
• RLHF：人类反馈强化学习（人打分）
• RLAIF：AI 反馈强化学习（大模型打分）

但是目前RLHF有一个全新的替代技术DPO。

3.DPO直接偏好优化

DPO全称：Direct Preference Optimization，直接偏好优化 ✅ 定位：RLHF 的轻量化替代对齐方案，2023 年提出，现在开源大模型非常常用。

核心一句话

同样用【同一个问题，好回答 vs 差回答】的偏好配对数据，跳过单独训练 RM 奖励模型、跳过 PPO 强化学习环节，直接用一个损失函数优化 SFT 模型，让优选回答概率更高、劣选回答概率更低

✅ 通俗比喻 RLHF：先训练一个打分员（RM），再让学生（模型）照着打分员的分数调整自己（PPO） DPO：手里直接有 “回答 A 比回答 B 好” 的对比记录，不需要单独造打分员，直接教模型：以后尽量输出 A 这类、少输出 B 这类，流程简单很多

DPO 流程

基座预训练 → SFT → DPO 对齐 训练时只需要两个模型：

1. 正在优化的策略模型（要更新参数）
2. 冻结不动的参考模型（就是 SFT 模型，防止模型学跑偏、忘掉原有知识）

和 RLHF 对比

• RLHF：偏好数据 → 训 RM 奖励模型 → PPO 强化学习优化；流程长、显存占用大、训练不稳定、算力贵，对齐精细度上限高
• DPO：偏好配对数据直接优化；没有 RM、没有 PPO，训练像普通微调一样稳定、省显存、好落地，大部分场景效果接近 RLHF

注意：DPO 依然不能根除幻觉，只是对齐偏好；想要控幻觉，还是依赖偏好数据里加入事实校验样本，或者搭配 RAG

整条对齐链路更新版

预训练基座 → SFT（学会听指令）→ 二选一：

• 路线 A（传统）：RLHF → 训练 RM → PPO 优化
• 路线 B（现在开源主流）：DPO，直接偏好对齐

背诵短句

DPO 直接偏好优化，是 RLHF 的简化对齐方案，不需要单独训练奖励模型、不用 PPO，利用偏好配对数据直接优化模型，训练更简单稳定。

3.推理使用阶段

前面三个阶段都属于训练阶段：不断修改、更新模型参数； 推理阶段 = 模型训练全部做完，权重参数固定不变，对外提供服务、回答用户问题的阶段。

✅ 通俗比喻 前面预训练、微调、RLHF 都是在上课刷题、改造学生（修改脑子里面的记忆参数）； 推理阶段就是学生已经学成毕业了，不再学新知识，你来提问，他当场给出答案。

核心要点

1.参数冻结，不更新 推理的时候，模型权重固定，不会自动学习你说的内容。你跟它聊天，它只是向前计算，生成回复，不会悄悄改自己的参数。

区分：训练是改参数；推理是用现成参数算结果。

2.核心任务：根据输入 Prompt，自回归生成 Token 你发问题（输入 token 序列）→ 模型逐层计算 → 预测下一个 token → 拼回句子输出； 生成一句一句是反复循环预测下一个词。

3.推理阶段常见优化（高频考点） 

训练耗算力在 GPU 上大规模迭代；推理讲究低延迟、省显存、快响应，常用优化：

• KV Cache（最常考！缓存历史上下文，避免重复计算，加速生成）
• 量化（INT4/INT8，降低精度，减少显存占用，牺牲一点点精度换速度）
• 批处理、连续批、张量并行、流水线并行
• 蒸馏：用大模型教小模型，让小模型推理更快

4.和幻觉的关联

幻觉不是推理阶段才产生的，但是幻觉发生在推理过程： 推理时模型只是按概率生成通顺文本，它没有数据库，不知道事实对错，所以会自信编造内容。

想要缓解推理时幻觉：推理侧接入 RAG，提问前先检索真实资料拼进 prompt，再交给模型生成。

容易混淆对比

• 训练（train）：改参数，耗时久，算力开销巨大，离线做；
• 推理（inference）：参数不动，实时计算，面向用户线上服务，追求速度。

总结

我们以企业定制 AI 助手这个落地场景，把整套流程串起来：

1. 预训练阶段 由大模型厂商来完成，用海量全网公开文本数据做大规模预训练，训练出通用基座模型。这个阶段模型学会语言、常识、基础的文本生成能力，但是它只是通用底座，听不懂咱们企业内部的业务指令，也不了解公司的制度、业务流程。
2. 微调阶段（Fine-tuning） 拿到这个通用基座之后，企业注入自己的行业、内部专属业务数据做二次优化。先做 SFT 有监督微调，教会模型听懂业务相关指令；再使用 DPO 直接偏好优化做对齐，让模型输出的回答风格、内容规范贴合企业的要求，变成适配自家业务的定制模型。
3. 推理阶段（Inference） 微调对齐全部完成、模型权重固定之后，把模型部署上线，进入推理阶段。企业员工日常提问，模型实时接收请求、生成回答，这就是 AI 助手真正落地使用的环节，直接帮员工提效。

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/xiaobaivera/article/details/170142003