极少数据就能微调大模型，一文详解LoRA等方法的运作原理

今天小编分享的科学经验：极少数据就能微调大模型，一文详解LoRA等方法的运作原理，欢迎阅读。

最近和大模型一起爆火的，还有大模型的微调方法。

这类方法只用很少的数据，就能让大模型在原本表现没那么好的下游任务中 " 脱颖而出 "，成为这个任务的专家。

而其中最火的大模型微调方法，又要属LoRA。

但包括 LoRA 在内，这类方法的核心原理究竟是什么？它和大模型之间的关系又是什么？我们具体来看。

一、前言

先从最近大火的LoRA （《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGEMODELS》）说起。

该文章在 ICLR2022 中提出，说的是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

LoRA 是怎么去微调适配下游任务的？

流程很简单，LoRA 利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。

而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达 fine-tune 整个模型的效果，又不会在推断的时候增加推断的耗时。

LoRA 的示意图如下：

图中蓝色部分为预训练好的模型参数，LoRA 在预训练好的模型结构旁边加入了 A 和 B 两个结构，这两个结构的参数分别初始化为高斯分布和 0，那么在训练刚开始时附加的参数就是 0。

A 的输入维度和 B 的输出维度分别与原始模型的输入输出维度相同，而 A 的输出维度和 B 的输入维度是一个远小于原始模型输入输出维度的值，这也就是 low-rank 的体现（有点类似 Resnet 的结构），这样做就可以极大地减少待训练的参数了。

在训练时只更新 A、B 的参数，预训练好的模型参数是固定不变的。在推断时可以利用重参数（reparametrization）思想，将 AB 与 W 合并，这样就不会在推断时引入额外的计算了。

而且对于不同的下游任务，只需要在预训练模型基础上重新训练 AB 就可以了，这样也能加快大模型的训练节奏。

由于本文不具体介绍 LoRA，所以详细信息可以查看 LoRA 原文。我们只需要知道 LoRA 文章后续的实验已经论证该方法的有效性。

那么进一步思考，为什么 LoRA 的这种思路能 work 得不错呢？

答案就是接下来要讲的本征维度 （Intrinsic dimension）了。

这点 LoRA 原文也提到过，该文章灵感来源于下面两篇文章：

1、MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES，发表在 ICLR2018，为了方便接下来该论文称为【论文 1】

2、INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGEMODEL FINE-TUNING，发表在 ACL2021，为了方便接下来该论文称为【论文 2】

二、本征维度是什么？

本征维度的概念在【论文 1】中提出。

训练一个神经网络往往包含如下几步：

1、对于一个给定的数据集，先设计网络的结构和选择对应的 loss

2、对网络中的参数进行随机的初始化

3、训练网络使得 loss 越来越低

而训练阶段可以认为是在一个固定的目标图（objective landscape）上，寻找出有效的路径。

这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后，待优化的问题就已经定义好了，所以目标图也就是确定的了。

如下图所示：

那么对于一个参数量为 D 的模型

，我们训练该模型，也就意味着在 D 维空间上寻找有效的解。文章认为 D 可能是冗余的，可能实际上只需要优化其中的 d 个参数就可以找到一个有效的解。

用公式表示如下：

其中

表示 D 维的优化参数，

表示随机初始化的一个参数并且在训练时是不进行更新的，P 是一个随机初始化的 D × d 大小的矩阵且训练时也不进行更新，

表示待优化的 d 维参数。

也就是说可以在训练网络时只更新 d 维参数，就可以达到该网络应有的效果。那么这个 d 就是所谓的该模型的本征维度。

这里讲完可能还有点晕，我们看一下如下这张图：

上图中，蓝色部分为初始化好的网络参数

，绿色为

，红色为

。网络训练的时候只训练红色部分，其它参数都是固定的。d 就是本征维度。

上面讲的只更新 d 维参数，让网络达到应有的效果，那么什么应有的效果呢？文章定义，在只更新 d 维参数的情况下，网络效果达到训练原始模型时效果的 90% 时，那么就认为达到了 " 应有的效果 "，并且 d 就为本征维度。

例如在做 mnist 这个数字分类任务时，如果原始模型精度能到 0.9，那么在只更新 d 维参数的时候，精度能够达到 90% × 0.9=0.81，就认为这时候的 d 为本征维度记为

。

三、使用本征维度思考大模型微调的有效性

【论文 2】将之前提出的本征维度用来思考大模型微调的有效性，为什么现在用几百或者几千张图片就可以对大模型进行有效的微调？

根据【论文 1】阐述，对于某一类问题，在一定精度上（比如达到 90% 的精度）有本征特征的存在。对于大模型而言，进行本征维度的测试就能知道在解决某一类下游问题时，需要调整多少参数就能近似的解决当前的问题。

如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题，那么也就能回答上述问题，即对大模型做少量的微调（调整少量的参数），就能解决当前的问题。

下面无特殊说明的话，" 文章 " 指的都是【论文 2】

3.1 对于大模型而言，是否存在本征维度？

同【论文 1】一样，【论文 2】也利用公式

来进行模型的训练，即训练时只调整 d 维参数

。但与【论文 1】的实验有点不同的是，【论文 1】中

是随机初始化的，而【论文 2】中

是预训练好的参数。

【论文 2】首先选择 BERT-BaseBERT-LargeRoBERTa-BaseRoBERTa-Large 四个模型，并选择 GLUE benchmark 中的 MRPC 和 QQP 两个数据集（两个数据集都是用来测试句子对是否相同意义的任务）。

上下两个子图分别表示 MRPC 和 QQP 两个任务，每个子图有四条实线表示四个模型的准确率，四条虚线表示达到 fine-tune 整个模型 90% 的准确率的值，横坐标表示训练 d 维的大小。从图中可以看出两个任务，四个不同的模型，只需要训练较小的 d 维参数就可以达到 90% 的精度。本征维度这个概念在大模型中是成立的。

所以在训练某个下游任务时，只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验，发现了一些有意思的结论。

3.2 预训练的好坏与本征维度的关系

文章提出这样一个假设，预训练模型能够隐式地降低模型在 NLP 各个任务的本征维度。

基于这个猜想，文章做了下面实验，在预训练 RoBERTa-base 模型的时候，每隔 10K 保存下对应的预训练模型，然后测试保存下来的预训练模型在 MRPC、QQP、Yelp Polarity、SST-2、MNLI、ANLI 六个数据集本征维度。

结果如下：