今天小編分享的科學經驗：大模型做時序預測也很強！華人團隊激活LLM新能力，超越一眾傳統模型實現SOTA，歡迎閲讀。
大語言模型潛力被激發——
無需訓練大語言模型就能實現高精度時序預測，超越一切傳統時序模型。
來自蒙納士大學、螞蟻、IBM 研究院提出了一種通用框架，結果成功激活大語言模型跨模态處理時序數據的能力。
時序預測有益于城市、能源、交通、遙感等典型復雜系統的決策制定。
自此，大模型有望徹底改變時序 / 時空數據挖掘方式。
簡單來説，研究團隊提出了一個通用框架，将大語言模型輕松用于一般時間序列預測，而無需做任何訓練。
主要提出兩大關鍵技術：時序輸入重編程；提示做前綴。
Time-LLM 首先使用文本原型（Text Prototypes）對輸入的時序數據進行重編程，通過使用自然語言表征來表示時序數據的語義信息，進而對齊兩種不同的數據模态，使大語言模型無需任何修改即可理解另一個數據模态背後的信息。
為了進一步增強 LLM 對輸入時序數據和對應任務的理解，作者提出了提示做前綴（Prompt-as-Prefix，PaP）的範式，通過在時序數據表征前添加額外的上下文提示與任務指令，充分激活 LLM 在時序任務上的處理能力。
主要貢獻包括：
1、提出了通過重編程大型語言模型用于時序分析的全新概念，無需對主幹語言模型做任何修改。
2、提出一個通用語言模型重編程框架 Time-LLM，它包括将輸入時序數據重新編程為更自然的文本原型表示，并通過聲明性提示（例如領網域專家知識和任務説明）來增強輸入上下文，以指導 LLM 進行有效的跨網域推理。
3、在主流預測任務中的表現始終超過現有最好的模型性能，尤其在少樣本和零樣本場景中。此外，Time-LLM 在保持出色的模型重編程效率的同時，能夠實現更高的性能。大大釋放 LLM 在時間序列和其他順序數據方面尚未開發的潛力。
具體來看這一框架，首先，輸入時序數據先通過 RevIN 歸一化操作，然後被切抽成不同 patch 并映射到隐空間。
時序數據和文本數據在表達方式上存在顯著差異，兩種屬于不同的模态。
時間序列既不能直接編輯，也不能無損地用自然語言描述。因此，我們需要将時序輸入特征對齊到自然語言文本網域上。
而對齊不同模态的一個常見方式是 cross-attention，但是 LLM 固有的詞匯表很大，因此無法有效直接将時序特征對齊到所有詞上，而且也并不是所有詞都和時間序列有對齊的語義關系。
為了解決這個問題，這項工作對詞匯表進行了線形組合來獲取文本原型，其中文本原型的數量遠小于原始詞匯量，組合起來可以用于表示時序數據的變化特征。
而為了充分激活 LLM 在指定時序任務上的能力，這項工作提出了提示做前綴的範式。
通俗點説，就是把時間序列數據集的一些先驗信息，以自然語言的方式，作為前綴 prompt，和對齊後的時序特征拼接喂給 LLM，是不是能夠提升預測效果？
在實踐中，作者确定了構建有效提示的三個關鍵組件：
（1）數據集上下文；（2）任務指令，讓 LLM 适配不同的下遊任務；（3）統計描述，例如趨勢、時延等，讓 LLM 更好地理解時序數據的特性。
團隊在長程預測上經典的 8 大公開數據集上進行了全面的測試。
結果 Time-LLM 在基準比較中顯著超過此前領網域最優效果，比如對比直接使用 GPT-2 的 GPT4TS，Time-LLM 有明顯提升，表明了該方法的有效性。
此外，在 zero-shot 場景中也表現了很強的預測能力。
本項目獲得螞蟻集團智能引擎事業部旗下 AI 創新研發部門 NextEvo 支持。
感興趣的小夥伴可戳下方鏈接了解論文詳情 ~
論文鏈接
https://arxiv.org/abs/2310.01728
