今天小编分享的科学经验：让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%，欢迎阅读。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
不过，这个极限究竟有多大？
清华大学和哈工大的一项联合研究给出的答案是：
90%。
他们提出了大模型 1bit 极限压缩框架OneBit，首次实现大模型权重压缩超越 90% 并保留大部分（83%）能力。
可以说，玩儿的就是 " 既要也要 "～
一起来看看。
大模型 1bit 量化方法来了
从剪枝、量化，到知识蒸馏、权重低秩分解，大模型已经可以实现压缩四分之一权重而几乎无损。
权重量化通常是指把大模型的参数转化为低位宽的表示，可以通过对充分训练后的模型进行转换（PTQ）或在训练中引入量化步骤（QAT）来实现。
然而，现有量化方法在低于 3bit 时面临严重的性能损失，这主要是由于：
现有的参数低位宽表示方法在 1bit 时存在严重的精度损失。基于 Round-To-Nearest 方法的参数以 1bit 表示时，其转换的缩放系数 s 和零点 z 会失去实际意义。
现有的 1bit 模型结构没有充分考虑到浮点精度的重要性。浮点参数的缺失可能影响模型计算过程的稳定性，严重降低其本身的学习能力。
为了克服 1bit 超低位宽量化的阻碍，作者提出一种全新的 1bit 模型框架：OneBit，它包括全新的 1bit 线性层结构、基于 SVID 的参数初始化方法和基于量化感知知识蒸馏的深度迁移学习。
这种新的 1bit 模型量化方法能够以极大的压缩幅度、超低的空间占用和有限的计算成本，保留原模型绝大部分的能力。这对于实现大模型在 PC 端甚至智能手机上的部署意义非凡。
整体框架
OneBit 框架总体上可以包括：全新设计的 1bit 模型结构、基于原模型初始化量化模型参数的方法以及基于知识蒸馏的深度能力迁移。
这种全新设计的 1bit 模型结构能够有效克服以往量化工作在 1bit 量化时严重的精度损失问题，并且在训练、迁移过程中表现出出色的稳定性。
量化模型的初始化方法能为知识蒸馏設定更好的起点，加速收敛的同时获得更加的能力迁移效果。
1、1bit 模型结构
1bit 要求每个权重值只能用 1bit 表示，所以最多只有两种可能的状态。
作者选用 ± 1 作为这两种状态，好处就是，它代表了数字系统中的两种符号、功能更加完备，同时可以通过 Sign ( · ) 函数方便地获得。
作者的 1bit 模型结构是通过把 FP16 模型的所有线性层（嵌入层和 lm_head 除外）替换为 1bit 线性层实现的。
这里的 1bit 线性层除通过 Sign ( · ) 函数获得的 1bit 权重之外，还包括另外两个关键组件— FP16 精度的值向量。
△FP16 线性层与 OneBit 线性层的对比
这种设计不仅保持了原始权重矩阵的高秩，而且通过值向量提供了必要的浮点精度，对保证稳定且高质量的学习过程很有意义。
从上图可以看出，只有值向量 g 和 h 保持 FP16 格式，而权重矩阵则全部由 ± 1 组成。
作者通过一个例子可以一观 OneBit 的压缩能力。
假设压缩一个 40964096 的 FP16 线性层，OneBit 需要一个 40964096 的 1bit 矩阵和两个 4096*1 的 FP16 值向量。
这里面总的位数为 16,908,288，总的参数个数为 16,785,408，平均每个参数占用仅仅约 1.0073 bit。
这样的压缩幅度是空前的，可以说是真正的 1bit LLM。
2、参数初始化和迁移学习
为了利用充分训练好的原模型更好地初始化量化后的模型，作者提出一种新的参数矩阵分解方法，称为 " 值 - 符号独立的矩阵分解（SVID）"。
这一矩阵分解方法把符号和绝对值分开，并把绝对值进行秩 -1 近似，其逼近原矩阵参数的方式可以表示成：
秩 -1 近似可以通过常用矩阵分解方法实现，例如奇异值分解（SVD）和非负矩阵分解（NMF）。
作者在数学上给出，这种 SVID 方法可以通过交换运算次序来和 1bit 模型框架相匹配，进而实现参数初始化。
此外，符号矩阵在分解过程中对近似原矩阵的贡献也被证明，详情见论文。
作者认为，解决大模型超低位宽量化的有效途径可能是量化感知训练 QAT。
因此，在 SVID 给出量化模型的参数起点后，作者把原模型作为教师模型并通过知识蒸馏从中学习。
具体而言，学生模型主要接受教师模型的 logits 和 hidden state 的指导。
训练时，值向量和参数矩阵的值会被更新，而在部署时，则可以直接使用量化后的 1bit 参数矩阵进行计算。
模型越大，效果越好
作者选择的基线是 FP16 Transformer、GPTQ、LLM-QAT 和 OmniQuant。
后三个都属于量化领網域中经典的强基线，特别是 OmniQuant 是自作者之前最强的 2bit 量化方法。
由于目前还没有 1bit 权重量化的研究，作者只对 OneBit 框架使用 1bit 权重量化，而对其他方法采取 2bit 量化設定。
对于蒸馏数据，作者仿照 LLM-QAT 利用教师模型自采样的方式产生数据。
作者从 1.3B 到 13B 不同大小、OPT 和 LLaMA-1/2 不同系列的模型来证明 OneBit 的有效性。在评价指标上，使用验证集的困惑度和常识推理的 Zero-shot 准确度。详情见论文。
上表展示了 OneBit 相比于其他方法在 1bit 量化时的优势。值得注意的是，模型越大时，OneBit 效果往往越好。
随着模型规模增大，OneBit 量化模型降低的困惑度比 FP16 模型降低的困惑度要多。
以下是几种不同小模型的常识推理、世界知识和空间占用情况：
作者还比较了几种不同类型小模型的大小和实际能力。
作者发现，尽管 OneBit-7B 平均位宽最小、占用的空间最小、训练的步数也相对少，但它在常识推理能力上不逊于其他模型。
同时作者也发现，OneBit-7B 模型在社会科学领網域出现较严重的知识遗忘。
△FP16 线性层与 OneBit 线性层的对比一个 OneBit-7B 指令微调后的文本生成例子
上图还展示了一个 OneBit-7B 指令微调后的文本生成例子。可见，OneBit-7B 有效地受到了 SFT 阶段的能力增益，可以比较流畅地生成文本，尽管总参数只有 1.3GB（与 FP16 的 0.6B 模型相当）。总的来说，OneBit-7B 展示出了其实际应用价值。
分析与讨论
作者展示了 OneBit 对不同规模 LLaMA 模型的压缩比，可以看出，OneBit 对模型的压缩比均超过惊人的 90%。
特别是，随着模型增大，OneBit 的压缩比越高。
这显示出作者方法在更大模型上的优势：以更高的压缩比获得更大的边际收益（困惑度）。此外，作者的方法在大小和性能之间做到了很好的权衡。
1bit 量化模型在计算上具有优势，意义十分重大。参数的纯二进制表示，不但可以节省大量的空间，还能降低矩阵乘法对硬體的要求。
高精度模型中矩阵乘法的元素相乘可以被变成高效的位运算，只需位赋值和加法就可以完成矩阵乘积，非常有应用前景。
此外，作者的方法在训练过程中保持了出色的稳定学习能力。
事实上，二值网络训练的不稳定问题、对超参数的敏感性和收敛困难一直受到研究人员关注。
作者分析了高精度值向量在促进模型稳定收敛过程中的重要意义。
有前人工作提出过 1bit 模型架构并用于从头训练模型（如 BitNet [ 1 ] ），但它对超参数敏感并且难以从充分训练的高精度模型中迁移学习。作者也尝试了 BitNet 在知识蒸馏中的表现，发现其训练还不够稳定。
总结
作者提出了一种用于 1bit 权重量化的模型结构和相应的参数初始化方法。
在各种大小和系列的模型上进行的广泛实验表明，OneBit 在代表性的强基线上具有明显的优势，并实现了模型大小与性能之间的良好折中。
此外，作者进一步分析了这种极低比特量化模型的能力和前景，并为未来的研究提供了指导。
论文地址：
https://arxiv.org/pdf/2402.11295.pdf
