今天小編分享的科學經驗：無需Transformer，簡單濾波器即可提高時間序列預測精度，歡迎閱讀。
無需 Transformer，簡單濾波器即可提高時間序列預測精度。
由國家信息中心、牛津大學、北京理工大學、同濟大學、中國科學技術大學等機構的團隊提出了一個FilterNet。
目前已被 NeurlPS 2024 接收。
準确預測時間序列，對于能源、氣象、醫療等領網域中來說都非常重要。
目前很受歡迎的一類預測模式是基于 Transformer 網絡進行建構的。
但是，Transformer 并不是萬能的，尤其是對于時間序列預測這樣的問題來說，它的結構顯得有點過于復雜。
以 iTransformer 模型為例，它存在很多問題，比如對高頻信号的響應較弱從而導致全頻段信息利用受限、計算效率低下等，這些問題會大大影響模型的預測精度。
那麼，FilterNet 有哪些創新之處？
研究動機：現有模型架構存在頻段信息利用瓶頸
時間序列信号往往由不同頻段信号組成，為了探究現有模型能否對頻網域信号進行準确捕捉，團隊設計一個簡單的模拟驗證實驗。
首先，他們利用低頻、中頻和高頻分量合成的信号作為實驗數據（見圖 1 ( a ) ）來測試時序模型的預測性能。從圖 1 ( b ) 可以看出，當前時序預測的先進模型 iTransformer 表現不佳。
這表明，即使是由三種不同頻率成分組成的簡單信号，當前先進的基于 Transformer 的模型仍無法充分學到相對應的頻譜信息。
相比之下，在傳統的信号處理（signal processing）領網域，簡單的頻率濾波器具備許多優秀特性，例如頻率選擇性、信号調制和多速率處理。這些特性有望顯著提升模型在時間序列預測中提取關鍵信息頻率模式的能力。
因此，受信号處理中濾波過程的啟發，研究團隊提出了一種非常簡單并且高效的學習框架— -FilterNet，用于時間序列預測任務。
研究方法：濾波器網絡（FilterNet）
FilterNet 的設計極其簡單，整體框架如下圖所示：
FilterNet 的核心模塊是頻率濾波模塊（Frequency Filter Block），包含團隊設計的 2 種可學習濾波器：
1.Plain Shaping Filter：使用最簡潔的、可學習的頻率濾波器，實現信号濾波與時間關系的建模。
2.Contextual Shaping Filter：針對利用濾波後的頻率與原始輸入信号的兼容性，進行依賴關系的學習。
具體來說，FilterNet 的各個組件有：
1. 實例歸一化（Instance Normalization）
時間序列數據通常是在較長時間跨度内收集的，這些非平穩序列不可避免地使預測模型面臨随時間變化的分布偏移。像很多時序預測模型一樣，團隊采用了可逆 Instance Normalization，如下所示：
2. 頻率濾波模塊（Frequency Filter Block）
時間序列預測器可以視為針對關鍵信号的捕捉，從某種程度上，也可以看作在頻網域上進行了一次濾波過程。
基于此，研究人員直接設計了一個濾波器模塊來建模相應的關系，具體為：
文中包含兩類濾波器，分别為 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) 。PaiFilter 直接通過初始化一個權重參數來模拟對應的濾波器，具體為：
相對應的，TexFilter 則通過一個可學習的神經網絡來生成相應的濾波器，完成對應的濾波學習，具體為：
3. 前饋神經網絡（Feed-forward Network）
頻率濾波模塊建模了時間序列數據中的一些主要時間依賴關系，随後他們利用前饋神經網絡（Feed-Forward Network）建立這些時間依賴關系和未來 τ 個時刻數據的關系，最後進行預測，并對預測值進行反歸一化操作。
FilterNet 在各種場景下都表現優越
1. 預測結果
實驗在八個時間序列預測基準數據集上進行了廣泛的測試，結果表明，與最新的預測算法相比，FilterNet 模型在不同預測場景中均表現出卓越的性能。
其中，PaiFilter 在小數據集上（變量數較小，如 ETT、Exchange 數據集）表現更好，而 TexFilter 則在大數據集上（變量數較多，關系更為復雜，如 Traffic、Weather 數據集）表現出強有力的競争力。
2. 頻率濾波器的可視化
圖 7 是學習到的濾波器的頻率響應特性的可視化圖表，表明 FilterNet 具備全頻段的信号處理能力。
此外，如圖 8 所示，在 ETTm1 數據集上針對不同預測長度進行的可視化實驗進一步證明了 FilterNet 的強大處理能力。
3. 預測結果的可視化
與其他最新模型相比，FilterNet 在預測未來序列變化方面展現了出色的準确性，充分證明了其卓越的性能。
4. 效率分析
團隊還在兩個不同的數據集上對 FilterNet 進行了相應的效率分析實驗，實驗結果表明，無論數據集大小，FilterNet 都表現出比 Transformer 方法更高的效率。
雖然在每個 epoch 訓練時間上，FilterNet 比 DLinear 略差，但是 FilterNet 效果比 DLinear 要好。
為時間序列預測提供新思路
這篇論文是首次嘗試将頻率濾波器直接應用于時間序列預測的工作，從信号處理的角度切入是一個非常有趣的新思路。
研究團隊提出了一種簡單而高效的架構—— FilterNet，該架構基于他們設計的兩類頻率濾波器來實現預測目标。在八個基準數據集上的全面實驗證明了 FilterNet 在效果和效率方面的優越性。
此外，團隊成員還對 FilterNet 及其内部濾波器進行了細致深入的模型分析，展示了其諸多優秀特性。
他們表示，希望這項工作能夠推動更多研究，将信号處理技術或濾波過程與深度學習相結合，提高時間序列建模與精确預測的效果。
Paper Link：https://arxiv.org/abs/2411.01623
Code Repository：https://github.com/aikunyi/FilterNet
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
