今天小編分享的科學經驗：讓Sora和ChatGPT更可靠！只需這個知識價值定量評估新框架，歡迎閱讀。
為了讓 AI 更像科學家，他們将人類知識注入大模型…
正如教孩子解難題，你可以讓他們自己反復試錯找到正确方法，也可以教他們一些基礎規則和技巧提高解題效率。
類似地，将規則和技巧等人類知識融入到 ChatGPT、Sora 等基于數據驅動的 AI 模型訓練中，有可能提高模型的效率和推理能力。
△該圖由 AI 模型 StableDiffusionXL 生成
但關鍵問題是如何平衡數據和知識對模型的影響。
為了解決這一問題，美國國家工程院院士張東曉、寧波東方理工大學（暫名）助理教授陳雲天領銜，提出了一個新框架——
它首次對知識的價值進行定量評估，從而增強深度學習模型的預測能力。
實驗證明，該框架可在物理、化學、工程學等不同領網域有廣泛的實際應用，比如使用該方法優化機器學習模型來解決多變量方程、預測薄層色譜實驗的結果優化未來的實驗化學條件等。
目前，該研究已刊于 Cell Press 交叉學科領網域期刊 Nexus。
此外值得一提的是，雖然 Sora 發布後被認為可以理解 " 事物在現實世界中的存在方式 "，但本文研究人員認為它不能準确模拟許多基本互動的物理特性：
如果沒有對世界的基本理解，模型本質上就是動畫，而不是一個模拟。
新框架長啥樣？
在數據科學中，知識可被視為是數據在時間和空間維度中復雜關系的體現。深度學習領網域，先驗知識對于彌補數據驅動模型的缺陷至關重要。
然而，要想将物理機理等知識融入大模型仍然存在挑戰——
如何評估先驗知識的價值？數據和知識之間的關系是什麼？如何使先驗知識更好地發揮作用？
為解決這幾點問題，本文研究框架的核心提出了兩個新的概念：
規則重要性（Rule Importance, RI）
完全重要性（Full Importance, FI）
其中，規則重要性（RI）用于量化每條規則對模型預測精度的邊際貢獻，研究特定規則或組合如何影響模型的預測準确性。
本文提到的 " 規則 " 指的是在知情機器學習（informed machine learning）框架中，用于指導模型學習和預測的先驗知識。
計算過程如下圖：
對于模型中納入的第 i 條規則，定義它的邊際貢獻為：
為了進行比較，完全重要性（FI）表示在所有其他規則存在的情況下，某條規則的重要性，計算公式可以表示為：
值得一提的是，研究人員還建立了一種基于擾動的高效計算 RI 的方法，避免了每次都從頭訓練模型。
（更多細節，感興趣的家人們可以查看原論文）
數據和規則的基本原理
接下來，研究人員通過一系列系統實驗，揭示了數據和規則之間的一些内在原理和關系。
具體來說，他們選擇了四個典型的物理過程作為實驗案例，涉及的規則包括控制偏微分方程（PDEs）、邊界條件（BCs）和初始條件（ICs）。
研究人員發現，在分布内（in-distribution）預測場景中，随着訓練數據量增加，RI 會逐漸降低。尤其是局部規則（local rules）如初始條件，RI 下降得更快。
這表明在數據量較大時，模型可以通過學習數據本身來提高預測精度，而不需要依賴于規則來限制可能的分布範圍。
分布外（out-of-distribution）預測場景中，不同類型規則的 RI 會随數據量變化呈現出不同趨勢。全局規則（global rules）如 PDE，RI 會随數據量的增加而升高，而局部規則如初始條件的 RI 會随着數據量的增加而降低。
全局規則在指導模型全局分布方面發揮更關鍵的作用，而局部規則與觀測數據緊密相關，過多的數據可能導致過拟合。
研究人員總結，規則之間存在着依賴（Dependence）、協同（Synergism）和替代（Substitution）等復雜互動作用。
依賴性體現為規則内部之間的依賴（inner dependence）和規則與依賴變量之間的外部依賴（outer dependence）。内部依賴指的是規則之間相互依賴以發揮作用，而外部依賴則是指規則對模型預測的依賴程度。
協同作用體現為：在某些情況下，多條規則共同作用產生的效應大于它們各自效應的總和。
替代作用體現為：在某些情況下，一個規則的功能可以被數據或其他規則替代。
值得一提的是，研究人員表示該框架在實際應用中具有實際效用，不僅能夠提高知情機器學習（informed machine learning）的性能，還能夠通過改善模型的規則選擇來提高模型的安全性和可靠性。
作者簡介
論文通訊作者
張東曉，美國工程院院士，美國地質學會會士，國際石油工程師協會 SPE 最高榮譽會員。
現任寧波東方理工大學（暫名）常務副校長兼教務長，主要從事智慧能源與碳中和領網域研究。
陳雲天，東方理工助理教授，博導。清華大學能源與動力工程系學士，北京大學力學（能源與資源工程）博士，鵬城實驗室博士後。
研究方向為科學機器學習，主要專注于：物理驅動與數據驅動的融合、AI 輔助的科學知識發現。
論文一作
徐浩，北京大學工學院博士研究生。
擅長運用人工智能技術輔助科學探索，相關研究曾發表在 Nature Communications、Chem 和 Advanced Science 等期刊。
參考鏈接：
[ 1 ] https://www.eurekalert.org/news-releases/1036117
[ 2 ] https://www.cell.com/nexus/fulltext/S2950-1601 ( 24 ) 00001-9
