一句话说清：不把整个大模型重练一遍，只训练它身上极小的一撮新参数，就能让它学会一件新本事。
1. 它到底在说什么
PEFT 是 Parameter-Efficient Fine-Tuning（参数高效微调）的缩写。它的核心想法一句话就能说清：当你想让一个已经训练好的大模型（比如只会说通用话的聊天模型）改掉某个习惯、学会某个专业领域时，不一定要把它从头到尾再训练一遍，只要给它加一小撮可调的“零件”专门练这一小块就行。
用一个类比来理解：大模型像一栋已经装修好的精装房，全量微调等于把整栋楼拆了重建，只为改一个房间的用途；PEFT 则是只在这个房间里加一组可移动的定制家具——墙不动、梁不动，家具练好了这间房就归你用，哪天不想要了搬走即可，整栋楼其他住户毫发无伤。
2. 为什么现在这个词很热
PEFT 不是一夜冒出来的概念，而是一条逐渐收敛的技术主线。
最早的系统化尝试是 2019 年 Houlsby 等人（Google Brain）的论文《Parameter-Efficient Transfer Learning for NLP》（arXiv:1902.00751），他们提出在 Transformer 各层之间插入很小的“适配器（Adapter）”模块，只训练这些模块就接近全量微调的效果——这是加式方法的起点。<
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/agito_cheung/article/details/166455780
