大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

微軟1bit LLM新研究:原生4bit激活值量化,可充分利用新一代GPU對4bit計算的原生支持

2025-04-30 简体 HK SG TW

今天小編分享的科學經驗:微軟1bit LLM新研究:原生4bit激活值量化,可充分利用新一代GPU對4bit計算的原生支持,歡迎閱讀。

微軟又有 "1 bit LLM" 新成果了——

發布BitNet v2框架,為 1 bit LLM 實現了原生 4 bit 激活值量化,由此可充分利用新一代 GPU(如 GB200)對 4 bit 計算的原生支持能力。

同時減少内存帶寬 & 提升計算效率。

之前,,把 LLM 的權重量化到 1.58-bit,顯著降低延遲、内存占用等推理成本。

然鵝 BitNet b1.58激活值還是 8-bit,這就導致沒辦法充分利用新一代硬體的 4 bit 計算能力,計算環節出現效率瓶頸。

還有個問題也很關鍵:

研究發現注意力層和前饋網絡層的輸入激活值分布還比較接近高斯分布,量化起來相對容易。

但中間狀态的激活值有很多異常值,這就給低 bit 量化帶來了很大阻礙。

此前的 BitNet a4.8 相關研究,嘗試過用 4 bit 量化輸入,8 bit 稀疏化處理中間狀态。

這種方法雖然性能損失不大,可稀疏化在批量推理場景裡不太适合用來提高吞吐量,因為硬體更适合密集計算。

這次,團隊最新推出了 BitNet v2,通過引入H-BitLinear 模塊,該模塊在激活量化前應用 Hadamard 變換。

研究中能有效将注意力層和前饋網絡中尖銳的激活分布重塑為更接近高斯分布的形式,顯著減少異常通道,使 4 bit 激活量化成為可能。

下面來看看究竟是怎麼做的。

引入 H-BitLinear 模塊

對于權重量化,根據團隊此前研究,使用 per-tensor absmean 函數将權重量化為三元值 {-1, 0, 1}:

對于低 bit 激活,團隊引入了 H-BitLinear。

H-BitLinear 被用于注意力層的權重矩陣 Wo 和前饋網絡(FFN)層的 Wdown 中,這兩處正是激活值異常值最為集中的位置。

該模塊在激活值量化前應用 Hadamard 變換,滿足以下條件:

通過 Hadamard 變換,中間狀态分布更接近高斯分布,顯著減少了異常值數量,使其更适合 INT4 量化。

對于 8 bit 和 4 bit 激活,分别采用 per-token absmax 和 absmean 函數,激活量化可以表示為:

最終,H-BitLinear 的矩陣乘法運算可形式化表示為:

其中 LN 表示層歸一化(layer normalization)操作。

另外,訓練策略方面,研究人員用了 STE 來近似梯度,還采用混合精度訓練更新參數。在反向傳播的時候,會繞過量化裡那些不可微函數,并且利用 Hadamard 變換矩陣的正交性,對梯度也進行變換。

團隊還表示,4 bit 激活的 BitNet v2 可以從 8 bit 激活的版本接着訓練,用少量數據微調就行,性能損失基本可以忽略不計,優化器的狀态還能接着用。

4bit 激活版本相比 8bit 激活性能幾乎不降

實驗階段,研究者将 BitNet v2 與 BitNet b1.58、BitNet a4.8 在不同模型規模(400M、1.3B、3B 和 7B)上進行了對比,所有模型都使用 1.58bit 權重訓練。

主要實驗結果顯示,引入 Hadamard 變換的 BitNet v2(8 bit 激活)相比 BitNet b1.58 在各規模模型上都有所提升,在 7B 規模上,平均準确率提高了 0.61%。

當降至 4 bit 激活時,BitNet v2 的困惑度與 BitNet a4.8 相當,下遊任務表現甚至更優。

研究者還對 BitNet v2 進行了低 bit 注意力狀态的詳細實驗,采用後 RoPE 量化處理 QKV 狀态。采用 3 bit KV 緩存的 BitNet v2 在 3B、7B 模型上達到了與全精度 KV 緩存版本相當的準确率:

與後訓練量化方法 SpinQuant、QuaRot 相比較,BitNet v2 表現更優:

消融實驗則進一步驗證了 Hadamard 變換對低 bit 激活的關鍵作用,沒有旋轉變換則模型會發散。

更多研究細節,感興趣的童鞋可以查看原論文。

論文鏈接:https://arxiv.org/pdf/2504.18415

一鍵三連「點贊」「轉發」「小心心」

歡迎在評論區留下你的想法!

—  完  —

點亮星标

科技前沿進展每日見

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們