今天小編分享的科學經驗：微軟6頁論文爆火：三進制LLM，真香！，歡迎閱讀。
現在，大語言模型（LLM）迎來了"1-bit 時代 "。
這就是由微軟和中國中科院大學在最新一項研究中所提出的結論——
所有的 LLM，都将是 1.58 bit 的。
具體而言，這項研究提出的方法叫做BitNet b1.58，可以說是從大語言模型 " 根兒 " 上的參數下手。
将傳統以 16 位浮點數（如 FP16 或 BF16）形式的存儲，統統變成了三進制，也就是 {-1, 0, 1}。
值得注意的是，這裡的 "1.58 bit" 并不是指每個參數占用 1.58 字節的存儲空間，而是指每個參數可以用 1.58 位的信息來表示。
在如此轉換之後，矩陣中的計算就只會涉及到整數的加法，因此會讓大模型在保持一定精度的同時，顯著減少所需的存儲空間和計算資源。
例如 BitNet b1.58 在 3B 模型大小時與 Llama 做比較，速度提高了 2.71 倍的同時，GPU 内存使用幾乎僅是原先的四分之一。
而且當模型的規模越大時（例如 70B），速度上的提升和内存上的節省就會更加顯著！
這種颠覆傳統的思路着實是讓網友們眼前一亮，論文在 X 上也是受到了高度的關注：
網友們驚嘆 " 改變遊戲規則 " 的同時，還玩起了谷歌 attention 論文的老梗：
1 bit is all YOU need.
那麼 BitNet b1.58 具體又是如何實現的？我們繼續往下看。
把參數都變成三進制
這項研究實則是原班人馬在此前發表的一篇論文基礎之上做的優化，即在原始 BitNet 的基礎上增加了一個額外的 0 值。
整體來看，BitNet b1.58 依舊是基于 BitNet 架構（一種 Transformer），用 BitLinear 替換了 nn.Linear。
至于細節上的優化，首先就是我們剛才提到的 " 加個 0"，即權重量化（weight quantization）。
BitNet b1.58 模型的權重被量化為三元值 {-1, 0, 1}，這相當于在二進制系統中使用了 1.58 bit 來表示每個權重。這種量化方法減少了模型的内存占用，并簡化了計算過程。
其次，在量化函數設計方面，為了将權重限制在 -1、0 或 +1 之間，研究者們采用了一種稱為 absmean 的量化函數。
這個函數先會根據權重矩陣的平均絕對值進行縮放，然後将每個值四舍五入到最接近的整數（-1, 0, +1）。
接下來就到了激活量化（activation quantization）這一步。
激活值的量化與 BitNet 中的實現相同，但在非線性函數之前不将激活值縮放到 [ 0, Qb ] 的範圍内。相反，激活值被縮放到 [ − Qb, Qb ] 的範圍，以此來消除零點量化。
值得一提的是，研究團隊為了 BitNet b1.58 與開源社區兼容，采用了 LLaMA 模型的組件，如 RMSNorm、SwiGLU 等，使得它可以輕松集成到主流開源軟體中。
最後，在實驗的性能比較上，團隊将 BitNet b1.58 與 FP16 LLaMA LLM 在不同大小的模型上進行了比較。
結果顯示，BitNet b1.58 在 3B 模型大小時開始與全精度 LLaMA LLM 在困惑度上匹配，同時在延遲、内存使用和吞吐量方面有顯著提升。
而且當模型規模越大時，這種性能上提升就會越發顯著。
網友：能在消費級 GPU 跑 120B 大模型了
正如上文所言，這篇研究獨特的方法在網上引發了不小的熱議。
DeepLearning.scala 作者楊博表示：
BitNet b1.58 相比原版 BitNet，最大的特點就是允許 0 參數。我覺得稍微修改一下量化函數，也許可以控制 0 參數的比例。當 0 參數的比例很大時，可以用稀疏格式存儲權重，使得平均每個參數的顯存占用甚至低于 1 比特。這就相當于權重級别的 MoE 了。我覺得比一般的 MoE 更優雅。
與此同時，他也提出了關于 BitNet 的缺點：
BitNet 最大的缺點在于雖然能減少推理時的顯存開銷，但優化器狀态和梯度仍然要用浮點數，訓練仍然很費顯存。我覺得如果能把 BitNet 和訓練時節省顯存的技術結合起來，那麼相比傳統半精度網絡，同等算力和顯存下支持更多參數，優勢就很大了。
目前能節省優化器狀态的顯存開銷的辦法是 offloading。能節省梯度的顯存占用的辦法可能是 ReLoRA。但是 ReLoRA 的論文實驗只用了十億參數的模型，并沒有證據表明能不能推廣到百億、千億參數的模型。
△圖源：知乎，經授權引用
不過也有網友分析認為：
若論文成立，那麼我們就能在 24GB 消費級 GPU 上跑 120B 的大模型了。
那麼你覺得這種新方法如何呢？
參考鏈接：
[ 1 ] https://arxiv.org/abs/2402.17764
[ 2 ] https://twitter.com/_akhaliq/status/1762729757454618720
[ 3 ] https://www.zhihu.com/question/646359036/answer/3413044355
