今天小編分享的科學經驗：LeCun「超酷」新成果：用自監督姿勢打開偏微分方程，歡迎閲讀。
偏微分方程（PDE，Partial Differential Equation），這個在流體動力學、天體物理學等領網域的常客，現在有了新求解 " 姿勢 "。
深度學習三巨頭之一的Yann LeCun，在他自稱 " 很酷 " 的最新研究中提出——
自監督學習方法用在偏微分方程求解這事上，結果更快更好。
并且 LeCun 認為，這項工作有望在最終開發偏微分方程的通用基礎模型時能起到作用。
對此，網友們在發出" 非常有前景 "的聲音同時，也表示這項工作的開源推動了 AI 相關工作的發展。
用自監督的方式打開偏微分方程
正如我們剛才提到的，這項研究的主角，即偏微分方程，在眾多科學領網域中可以説是無處不在。
因為它對于準确預測流體動力學、天體物理學等系統的演變起到了至關重要的作用。
就連北大數學系 " 韋神 " 韋東奕的研究方向之一，就是流體力學中的數學問題，其中就包括偏微分方程中的 Navier-Stokes 方程。
在求解的偏微分方程的道路上，傳統的路數是采用數值方法來求解；但它的缺點也逐漸顯現出來，那便是計算量大，特别是在有高精度要求的情況下。
後來，随着 AI（尤其是深度學習）的發展，為求解偏微分方程開辟了一條又快又好的新路徑。
而這也成為了學術界越發關注的領網域之一，例如華盛頓大學在 2017 年提出的 PDE-FIND、谷歌 AI 在 2018 年提出的數據驅動求解偏微分方程的方法，以及布朗大學在 2019 年提出的 PINN 等等。
雖然進步是有目共睹，但 Yann LeCun 團隊在此基礎上提出了一個 " 靈魂一問 "：
這些方法有個 " 通病 "：給定方程的神經網絡是在同一方程的模拟上訓練的，由高精度但相對較慢的數值求解器生成。
如果我們希望從異構數據中學習（例如信息缺失的數據），或從對不同物理系統的實際觀測而非純粹模拟中收集的數據，該怎麼辦？
為了解決這個問題，Yann LeCun 團隊從最近成功的自監督學習（SSL）中汲取靈感，将它作為一種工具，以此從大型、無标記的文本和影像數據集中學習豐富表征。
這就相當于從 " 未标注 " 關鍵信息的大型偏微分方程數據集中學習表征，然後将這些表征用于解決數據量有限的下遊任務。
若是以伯格斯方程（Burgers ’ Equation）的運動黏度（kinematic viscosity）作為上述 " 未标注 " 關鍵信息，将運動黏度回歸作為下遊任務，則如下圖所示：
（注：運動黏度即流體的動力粘度與同温度下該流體密度 ρ 之比。）
△在傳統的影像數據（上排）和本文提出的 PDE（下排）環境下，自監督學習 pipeline 概覽
從上圖中的 pipeline 中可以看出，在給定大量未标記數據的情況下，自監督學習使用增強功能來訓練網絡 f ( θ ) ，以便從輸入影像中生成有用的表征。
給定較小的标注數據集後，這些表征可用作監督學習 pipelin 的輸入，執行預測類标籤（影像）或回歸運動粘度 ν（伯格斯方程）等任務。
這個過程中的重點是，通過自監督學習到的表征函數，在應用于下遊任務時不會發生改變。
具體而言，LeCun 團隊提出了一種學習來自不同偏微分方程數據源表征的通用框架。
他們采用聯合嵌入自監督學習範式，其中輸入數據通過保留基本信息的增強轉換為兩個獨立的 " 視圖 "。
然後，增強的視圖通過可學習的編碼器傳遞到下遊任務的表示中；自監督學習損失函數由相似性損失和正則化損失組成，以确保不變表示并避免平凡解。
團隊還使用方差不變性協方差正則化（VICReg）作為他們的自監督損失函數。
從實驗結果上來看，自監督學習方法在解決偏微分方程方面，可以説是優于監督學習方法。
與監督基線相比，經過自監督學習訓練的網絡将歸一化均方誤差（NMSE）減少了近三倍。
此外，當給予更大的無标籤數據集時，自監督學習方法始終表現更好。
總體而言，實驗結果證明了自監督表表征學習在偏微分方程中的有效性。
研究團隊
這項研究的團隊來自 Meta AI、法國古斯塔夫 · 埃菲爾大學和 MIT。
其中，第一作者除了 LeCun 之外，還包括 Meta AI（法國）的 Gr é goire Mialon。
△左：Yann LeCun；右：Gr é goire Mialon
但這并非 LeCun 第一次用深度學習方法優化偏微分方程求解問題。
早在 2021 年 3 月，他便在推特上發布并開源了關于用深度學習符号求解積分和微分方程的研究。
若是對比傳統研究方法，LeCun 在與之相關工作的特點可以總結如下：
深度學習方法：特别是神經網絡，來解決與微分方程相關的問題。傳統方法通常依賴于解析或數值方法來求解微分方程。
數據驅動學習：強調使用數據驅動學習。他的方法不是僅僅依靠數學公式和假設，而是從大型數據集中學習，以捕獲數據中的模式和關系。
表征學習：通過從數據中學習通用表示，他的方法旨在捕獲方程的底層結構和動力學。與依賴于顯式數學公式的傳統方法相比，這可以帶來更高效和有效的解決方案。
自監督學習：這種方法可以幫助學習有意義的表示并發現數據中隐藏的模式，這有利于求解微分方程。
對稱性的整合：通過将對稱性納入模型，他的方法旨在提高學習表示的泛化和魯棒性。
若想更深入了解 LeCun 團隊的這項工作，可戳下方鏈接。
論文地址：
https://huggingface.co/papers/2307.05432
參考鏈接：
[ 1 ] https://twitter.com/ylecun/status/1679489959387090948
[ 2 ] https://twitter.com/ylecun/status/1376630942014578694?lang=en
