大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

全新神經網絡架構KAN一夜爆火!200參數頂30萬,MIT華人一作,輕松復現Nature封面AI數學研究

2024-05-04 简体 HK SG TW

今天小編分享的科學經驗:全新神經網絡架構KAN一夜爆火!200參數頂30萬,MIT華人一作,輕松復現Nature封面AI數學研究,歡迎閱讀。

一種全新的神經網絡架構 KAN,誕生了!

與傳統的 MLP 架構截然不同,且能用更少的參數在數學、物理問題上取得更高精度。

比如,200 個參數的 KANs,就能復現 DeepMind 用 30 萬參數的 MLPs 發現數學定理研究。

不僅準确性更高,并且還發現了新的公式。要知道後者可是登上 Nature 封面的研究啊 ~

在函數拟合、偏微分方程求解,甚至處理凝聚态物理方面的任務都比 MLP 效果要好。

而在大模型問題的解決上,KAN 天然就能規避掉災難性遺忘問題,并且注入人類的習慣偏差或領網域知識非常容易。

來自 MIT、加州理工學院、東北大學等團隊的研究一出,瞬間引爆一整個科技圈:Yes We KAN!

甚至直接引出關于能否替代掉 Transformer 的 MLP 層的探讨,有人已經準備開始嘗試……

有網友表示:這看起來像是機器學習的下一步。

讓機器學習每個特定神經元的最佳激活,而不是由我們人類決定使用什麼激活函數。

還有人表示:可能正處于某些歷史發展的中間。

GitHub 上也已經開源,也就短短兩三天時間就收獲 1.1kStar。

對 MLP" 進行一個簡單的更改 "

跟 MLP 最大、也是最為直觀的不同就是,MLP 激活函數是在神經元上,而 KAN 把可學習的激活函數放在權重上。

在作者看來,這是一個 " 簡單的更改 "。

從數學定理方面來看,MLP 的靈感來自于通用近似定理,即對于任意一個連續函數,都可以用一個足夠深的神經網絡來近似。

而 KAN 則是來自于 Kolmogorov-Arnold 表示定理 ( KART ) ,每個多元連續函數都可以表示為單變量連續函數的兩層嵌套疊加。

KAN 的名字也由此而來。

正是受到這一定理的啟發,研究人員用神經網絡将 Kolmogorov-Arnold 表示參數化。

為了紀念兩位偉大的已故數學家 Andrey Kolmogorov 和 Vladimir Arnold,我們稱其為科爾莫格羅夫 - 阿諾德網絡(KANs)。

而從算法層面上看,MLPs 在神經元上具有(通常是固定的)激活函數,而 KANs 在權重上具有(可學習的)激活函數。這些一維激活函數被參數化為樣條曲線。

在實際應用過程中,KAN 可以直觀地可視化,提供 MLP 無法提供的可解釋性和互動性。

不過,KAN 的缺點就是訓練速度較慢。

對于訓練速度慢的問題,MIT 博士生一作 Ziming Liu 解釋道,主要有兩個方面的原因。

一個是技術原因,可學習的激活函數評估成本比固定激活函數成本更高。

另一個則是主觀原因,因為體内物理學家屬性抑制程式員的個性,因此沒有去嘗試優化效率。

對于是否能适配 Transformer,他表示:暫時不知道如何做到這一點。

以及對 GPU 友好嗎?他表示:還沒有,正在努力中。

天然能解決大模型災難性遺忘

再來看看 KAN 的具體實現效果。

神經縮放規律:KAN 的縮放速度比 MLP 快得多。除了數學上以 Kolmogorov-Arnold 表示定理為基礎,KAN 縮放指數也可以通過經驗來實現。

在函數拟合方面,KAN 比 MLP 更準确。

而在偏微分方程求解,比如求解泊松方程,KAN 比 MLP 更準确。

研究人員還有個意外發現,就是 KAN 不會像 MLP 那樣容易災難性遺忘,它天然就可以規避這個缺陷。

好好好,大模型的遺忘問題從源頭就能解決。

在可解釋方面,KAN 能通過符号公式揭示合成數據集的組成結構和變量依賴性。

人類用戶可以與 KANs 互動,使其更具可解釋性。在 KAN 中注入人類的歸納偏差或領網域知識非常容易。

研究人員利用 KANs 還重新復現了 DeepMind 當年登上 Nature 的結果,并且還找到了 Knot 理論中新的公式,并以無監督的方式發現了新的結不變式關系。

△DeepMind 登 Nature 研究成果

Deepmind 的 MLP 大約 300000 個參數,而 KAN 大約只有 200 個參數。KAN 可以立即進行解釋,而 MLP 則需要進行特征歸因的後期分析。并且準确性也更高。

對于計算要求,團隊表示論文中的所有例子都可以在單個 CPU 上 10 分鍾内重現。

雖然 KAN 所能處理的問題規模比許多機器學習任務要小,但對于科學相關任務來說就剛剛好。

比如研究凝固态物理中的一種相變:安德森局網域化。

好了,那麼 KAN 是否會取代 Transformer 中的 MLP 層呢?

有網友表示,這取決于兩個因素。

一點是學習算法,如 SGD、AdamW、Sophia 等—能否找到适合 KANs 參數的局部最小值?

另一點則是能否在 GPU 上高效地實現 KANs 層,最好能比 MLPs 跟快。

最後,論文中還貼心的給出了 " 何時該選用 KAN?" 的決策樹。

那麼,你會開始嘗試用 KAN 嗎?還是讓子彈再飛一會兒 ~

項目鏈接:

https://kindxiaoming.github.io/pykan/

論文鏈接:

https://arxiv.org/abs/2404.19756

參考鏈接:

[ 1 ] https://twitter.com/ZimingLiu11/status/1785483967719981538

[ 2 ] https://twitter.com/AnthropicAI/status/1785701418546180326

—  完  —

點這裡關注我,記得标星哦~

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見 ~  

>
熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們