今天小編分享的科學經驗：移動通信領網域有了新SOTA：華為出品，精準預測用戶行為，歡迎閱讀。
專門解決電信行業用戶行為建模的難題。
華為 GTS 部門 AI 算法團隊提出GTS-LUM，實現移動通信用戶精準行為洞析與多跳預測，實驗中效果大幅優于 Meta 的 HSTU 和字節的 HLLM。
GTS-LUM，全稱 Global Technical Service-Large User Model，主要有以下幾個創新點：
基于海量用戶行為序列數據自監督、多模異構 Encoder-Adapter-LLM Decoder 架構、Q-former 語義空間和業務空間知識對齊、創新多尺度時序處理機制、多用戶運營場景後訓練、精準捕捉用戶業務級淺層語義。
實驗中，在所有評估指标上均顯著優于基線模型，拿下領網域新 SOTA。
以下是更多細節。
GTS-LUM 方法解析
随着電信市場滲透率趨近飽和，存量用戶價值挖掘與用戶留存成為運營商核心戰略。
電信用戶在網行為產生的海量數據（日均 PB 級）成為一種新型數據模态。
以往，運營商借助傳統機器學習的方法學習用戶行為，但受制于模型體量，預測精度上的瓶頸日益突出。而不同于成熟的互聯網推薦場景下的用戶行為建模，電信場景的特殊性體現在：
用戶的長周期決策機制
電信服務作為社會基礎設施具備強連續型需求，導致用戶決策呈現長周期特征。
用戶關鍵決策行為（如套餐變更、攜号轉網）更多受長期服務體驗驅動（如網絡穩定性、資費合理性等），與互聯網場景的短期興趣驅動機制形成本質差異。
該決策特征使得傳統序列建模方法中基于近期行為的采樣策略面臨挑戰，直接應用可能導致關鍵歷史信息丢失，損失預測精度。
多模異構數據特點
與互聯網場景中常見的以歷史用戶 - 商品互動序列為基礎，預測用戶下一段時間内的商品互動為目标不同，電信用戶的數據輸入與預測目标有明顯的異質特性，體現在：
行為打點多樣性：包含用戶 - 用戶 / 產品 / 位置 / 渠道 / 網元互動等信息；
時間粒度層次性：包含秒級（如實時信令）、日級（如業務辦理）、月級（如賬單）等多個尺度；
目标異質性：包含用戶流失預警、套餐更新預測、營銷響應建模等多運營任務。
這種復雜性使得現有技術面臨幾個瓶頸：
1、跨時間尺度建模不足：當前序列建模方法缺少有效的時間處理機制，以捕捉用戶跨日、周、月等多時間尺度下用戶的長期行為演化模式；
2、多模異構數據表征局限：當前互聯網推薦技術常借助商品的文本描述，難以充分利用電信領網域異構數據模态豐富的特點強化用戶表征能力，直接應用存在異構空間對齊問題；
3、目标分離嚴重：電信領網域現有方案通常對流失預警、套餐更新預測等運營任務獨立建模，效率低下，缺乏統一模型架構提取和目标更加有效關聯的用戶表征。
由此，華為 GTS 部門 AI 算法團隊提出了 GTS-LUM。
GTS-LUM 技術架構如下圖所示：
多尺度時序處理機制
GTS-LUM 基于多層級時間劃分融合語義策略，通過構建 " 時段 - 周期 " 語義描述優化用戶行為序列建模。
具體而言，基礎層級将每日劃分為若幹典型時間區間（如早高峰、午間時段等）；并在周期層級疊加工作日 / 周末的周級維度特征，形成對用戶行為發生事件的復合語義描述。然後将用戶行為按照指定時間切片範圍進行處理匯聚。
針對同一時間切片的用戶行為，組織序列時，在起始端嵌入對應的時段 - 周期語義描述，并在序列末端添加特殊分隔符 [ SEP ] 作為行為片段的邊界标識。
該設計通過粗粒度業務時間特征與細粒度行為位置關系的協同建模，形成具有時間感知能力的用戶行為序列。
多模異構框架
GTS-LUM 構建了多模态協同的用戶行為嵌入框架，精準捕捉用戶業務級淺層語義。
在語義特征維度，通過任一時間切片内對用戶和產品 / 位置 / 渠道的互動行為進行處理匯聚得到 " 一句話 " 描述，然後基于預訓練語言模型獲得文本向量嵌入，并在語義空間執行譜聚類，從而提取可解釋的行為語義編碼。
在業務特征維度，采用 Node2Vec 算法對用戶 - 用戶互動等圖數據以及 TableGPT2 框架對終端設備、地理位置等屬性維表進行處理，生成多模态業務嵌入向量。
本方法的核心創新在于引入了基于 Q-Former 适配器的跨模态對齊機制：
通過交叉注意力層自動篩選與當前語義最相關的多模态業務特征，并借助共享的自注意力層構建業務特征空間和語義空間的潛在映射關系，最後通過對比學習任務實現跨模态知識對齊。
值得注意的是，論文中創新性地為 Q-Former 引入了額外訓練任務，包括序列片段 - 文本匹配、序列片段 - 文本對比學習和序列片段 - 文本生成，使其兼具多模态對齊器與用戶長期興趣壓縮器的雙重功能。
目标感知建模
GTS-LUM 進一步優化了用戶表征學習過程，通過目标感知建模突出了與任務場景最相關的歷史行為。
不同于傳統推薦模型的目标後置範式，GTS-LUM 将預測标籤前置于行為序列起始位置，利用 LLM 的因果注意力機制實現雙階段優化：
在注意力計算階段，目标标籤作為先驗條件動态調整歷史行為的注意力權重分布；在表征生成階段，基于 Decoder 的自回歸架構實現漸進式特征優化，通過多步解碼過程迭代調整用戶表征向量。
工業級驗證效果
在某省級運營商真實場景中，選取 20w 左右用戶數據量在 Ascend 910B2 NPU 上進行訓練和推理，實驗結果顯示 GTS-LUM 表現亮眼。
GTS-LUM 與業界方案對比如下：
GTS-LUM 在所有評估指标上均顯著優于基線模型。
結果表明，盡管典型推薦模型在實驗室數據中表現良好，但在具有領網域特定復雜性的工業級數據集上會出現顯著的性能下降。
具體而言，GTS-LUM 相比 Meta@HSTU 方案平均提升 107.86%，相比 ByteDance@HLLM 方案提升 31.38%，這些改進凸顯了融合多模态輸入的重要性，以及将開放世界知識與特定業務知識對齊的必要性。
更多實驗結果，請參閱論文。
GitHub 鏈接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
