今天小编分享的科学经验：微软开源爆火1.58bit大模型推理框架！千亿参数模型量化后单CPU可跑，速度每秒5-7个token，欢迎阅读。
微软开源1bit 大模型推理框架！
现在 1000 亿参数大模型量化后单 CPU 可跑，速度可达每秒 5-7 个 token。
比如在苹果 M2新品上运行 BitNet b1.58 3B 模型，be like：
就是今年爆火论文The Era of 1-bit LLMs的官方代码实现，开源不到一周 GitHub 已揽获7.9k Star。
传统大模型参数以 16 位浮点数（如 FP16 或 BF16）形式的存储，而 BitNet b1.58 将其统统变成了三进制，也就是 {-1, 0, 1}。
这里的 "1.58 bit" 指每个参数可以用 1.58 位的信息来表示。
转换之后，矩阵中的计算就只会涉及到加法，因此会让大模型在保持一定精度的同时，显著减少所需的存储空间和计算资源，也显著提升了在本地设备上运行 LLM 的可能性。
这个项目开源后，在 X 上也受到了一波高度关注。
千亿参数模型量化后单 CPU 可跑
bitnet.cpp是 1bit LLM（例如 BitNet b1.58）的官方推理框架。
该框架配备了一系列优化内核，支持在 CPU 上进行快速且无损的 1.58bit 模型推理，未来将扩展支持 NPU 和 GPU。
bitnet.cpp 的首版主要支持 CPU 推理。
具体性能改进方面，在 ARM CPU 上，该框架可实现1.37 至 5.07 倍的加速，而且更大的模型将有更显著的性能提升。
同时，它能将能耗降低 55.4% 至 70.0%，进一步增强效率。
在 x86 CPU 上，加速效果介于 2.37 至 6.17 倍之间，能耗减少 71.9% 至 82.2%。
网友们也发现了华点，在 x86 上的性能增益量比 ARM 更大。
此外，bitnet.cpp 能使千亿参数模型量化后单 CPU 可跑，速度可达每秒 5-7 个 token，接近人类阅读速度。
微软还展示了使用 bitnet.cpp 推理框架支持的不同 1 bit LLM。
6 页论文，引入 1 bit LLM
1 bit LLM 的实现方法，微软在一年前就有相关研究，称为 BitNet（一种 Transformer），用BitLinear替换了 nn.Linear。
今年二月，BitNet 原班人马在上一篇论文的基础之上做了优化，提出 BitNet b1.58，在原始 BitNet 的基础上增加了一个额外的0 值。
然后这篇内容只有 6 页的论文引发热议：
BitNet b1.58 模型的权重被量化为三元值 {-1, 0, 1}，相当于在二进制系统中使用了 1.58 bit 来表示每个权重。
采用了 absmean 量化函数来约束权重，将权重矩阵通过其平均绝对值进行缩放，然后四舍五入到最接近的整数值（-1、0 或 1）。
激活量化中，激活值被缩放到 [ − Qb, Qb ] 的范围，以此来消除零点量化。
在架构设计上，BitNet b1.58 借鉴了 Llama，使用了 RMSNorm、SwiGLU、旋转位置编码等组件，并移除了所有偏置项。这种设计使其能够轻松集成到主流的开源框架中。
实验中，与 Llama 相比，BitNet b1.58在矩阵乘法方面节省了 71.4 倍的计算能耗。
这种方法发布后，也有不少人在这项研究的基础之上进行探索。
其中一个问题是，BitNet b1.58 将每个参数仅用三元值表示，但是所有这些都需要从头开始训练模型，并不是谁都有预算来进行 LLM 预训练。
而 Huggingface Transformers 最近整合了 BitNet b1.58，运用了一些技巧，使得现有模型可以直接微调到 1.58bit。
感兴趣的童鞋可以自行查阅。
不过也有网友指出了这种方法的局限：
总之，1 bit LLM 具有巨大的潜力。
但也正如网友所言，1 bit LLM 关键还得是能在实践中证明自己。
参考链接：
[ 1 ] https://github.com/microsoft/BitNet
[ 2 ] https://x.com/rohanpaul_ai/status/1847814379657462201
[ 3 ] https://x.com/rohanpaul_ai/status/1848172443258728860?s=46&t=iTysI4vQLQqCNJjSmBODPw
[ 4 ] https://huggingface.co/blog/zh/1_58_llm_extreme_quantization
