中科大華為發布生成式推薦大模型，昇騰NPU可部署，背後認知一同公開

今天小編分享的科學經驗：中科大華為發布生成式推薦大模型，昇騰NPU可部署，背後認知一同公開，歡迎閱讀。

推薦大模型也可生成式，并且首次在國產昇騰 NPU 上成功部署！

在信息爆炸時代，推薦系統已成為生活中不可或缺的一部分。Meta 率先提出了生成式推薦範式 HSTU，将推薦參數擴展至萬億級别，取得顯著成果。

探索過程中還有哪些經驗與發現？最新公開分享來了。

報告亮點包括：

總結推薦範式發展歷程，指出具備擴展定律的生成式推薦範式是未來趨勢；

復現并研究不同架構的生成式推薦模型及其擴展定律；通過消融實驗和參數分析，解析 HSTU 的擴展定律來源，并賦予 SASRec 以可擴展性；

驗證 HSTU 在復雜場景和排序任務中的表現及擴展性；

團隊展望并總結未來研究方向。

具備擴展定律的生成式推薦範式正在成為未來趨勢

如圖 1 所示，推薦系統的發展趨勢是逐漸減少對手工設計特征工程和模型結構的依賴。在深度學習興起之前，受限于計算資源，人們傾向于使用手工設計的特征和簡單模型（圖 1A）。

随着深度學習的發展，研究者專注于復雜模型的設計，以更好地拟合用戶偏好，并提升對 GPU 并行計算的利用率（圖 1B）。

然而，随着深度學習能力的瓶頸，特征工程再次受到關注（圖 1C）。

如今，大語言模型擴展定律的成功啟發了推薦領網域的研究者。擴展定律描述了模型性能與關鍵指标（如參數規模、數據集規模和訓練資源）之間的幂律關系。通過增加模型深度和寬度，并結合大量數據，可以提升推薦效果（圖 1D），這種方法被稱為推薦大模型。

近期，HSTU 等生成式推薦框架在此方向取得了顯著成果，驗證了推薦領網域的擴展定律，引發了生成式推薦大模型研究的熱潮。團隊認為，生成式推薦大模型正在成為颠覆當前推薦系統的下一個新範式。

在此背景下，探索哪些模型真正具備可擴展性，理解其成功應用擴展定律的原因，以及如何利用這些規律提升推薦效果，已成為當前推薦系統領網域的熱門課題。

基于不同架構的生成式推薦大模型擴展性分析

為了評估生成式推薦大模型在不同架構下的擴展性，團隊對比了 HSTU、Llama、GPT 和 SASRec 四種基于 Transformer 的架構。

在三個公開數據集上，通過不同注意力模塊數量下的性能表現進行分析（見表 1）。結果顯示，當模型參數較小時，各架構表現相似，且最優架構因數據集而異。

然而，随着參數擴展，HSTU 和 Llama 的性能顯著提升，而 GPT 和 SASRec 的擴展性不足。盡管 GPT 在其他領網域表現良好，但在推薦任務上未達預期。團隊認為，這是因為 GPT 和 SASRec 的架構缺乏專為推薦任務設計的關鍵組件，無法有效利用擴展定律。

生成式推薦模型的可擴展性來源分析

為了探究 HSTU 等生成式推薦模型的可擴展性來源，團隊進行了消融實驗，分别去除了 HSTU 中的關鍵組件：相對注意力偏移（RAB）、SiLU 激活函數，以及特征交叉機制。

實驗結果（見表 2）顯示，單一模塊的缺失并未顯著影響模型的擴展性，但 RAB 的移除導致性能明顯下降，表明其關鍵作用。

為了進一步分析賦予模型擴展定律的因素，團隊比較了 SASRec 與擴展性良好的 HSTU 和 Llama 的區别，發現主要差異在于 RAB 和注意力模塊内的殘差連接方式。

為驗證這些差異是否為擴展性的關鍵，團隊為 SASRec 引入了 HSTU 的 RAB，并調整其注意力模塊的實現方式。

實驗結果（見表 3）顯示，單獨添加 RAB 或修改殘差連接并未顯著改善 SASRec 的擴展性。然而，當同時修改兩個組件後，SASRec 展現出良好的擴展性。這表明，殘差連接模式與 RAB 的結合，為傳統推薦模型賦予了擴展性，為未來推薦系統的擴展性探索提供了重要啟示。

生成式推薦模型在復雜場景和排序任務中的表現復雜場景中的表現

HSTU 在多網域、多行為和輔助信息等復雜場景中表現出色。以多網域為例，HSTU 在 AMZ-MD 的四個網域中始終優于基線模型 SASRec 和 C2DSR（見表 4）。

與單網域獨立訓練的 HSTU-single 相比，多網域聯合訓練的 HSTU 表現更佳，證明了多網域聯合建模的優勢。表 5 顯示，HSTU 在多網域行為數據上的擴展性顯著，尤其在規模較小的場景如 Digital Music 和 Video Games 上。這表明 HSTU 在解決冷啟動問題上具有潛力。

在排序任務中的表現

排序是推薦系統中重要的一環，團隊深入探讨了生成式推薦模型在排序任務中的有效性和擴展性。正如表 6 所示，生成式推薦大模型在性能上顯著優于 DIN 等傳統推薦模型。盡管在小規模模型下，Llama 的表現優于 HSTU，但 HSTU 在擴展性方面更具優勢，而 Llama 在擴展性上顯得不足。

團隊還研究了負采樣率和評分網絡架構對排序任務的影響，并進行了全面分析。此外，還探讨了縮減 embedding 維度對性能的影響。縮小 embedding 維度（表 7）提升了小數據集 ML-1M 和 AMZ-Books 的性能，但在大數據集 ML-20M 上則有所下降。這表明，推薦大模型的擴展定律不僅受垂直擴展（注意力模塊數量）影響，也受水平規模（embedding 維度）影響。