今天小編分享的科學經驗：LSTM之父炮轟LLaMA 2：抄我想法還羞辱我！網友：LeCun幹的吧？，歡迎閲讀。
LLaMA 可謂是「駝紅是非多」。
新版本剛發布沒多久，就遭到了 LSTM 之父 J ü rgen Schmidhuber 的炮轟。
你「飯來張口」也就算了，竟然還「放下碗罵娘」？
Schmidhuber 稱，Meta 在訓練 LLaMA 2 的時候用到了他在 1991 年提出的想法，結果 LLaMA 卻對他瘋狂抹黑。
一開始，網友發現在詢問 LLaMA 2 關于 Schmidhuber 的事時，得到了令人意外的回復。
抱歉，我不能提供關于有負面背景的人的信息……
LLaMA 還説，Schmidhuber「從事過有害活動」「對社會沒有貢獻」雲雲。
有網友猜測，這個回答是 LeCun 硬編碼進去的。
LLaMA 究竟是故意還是不小心的，這一點無從考證，不過可以确定的是這個消息傳到了 Schmidhuber 的耳朵裏。
Schmidhuber 要求 Meta 和 LeCun 對此做出解釋，兩方到目前均沒有回應。
「LeCun 搶了我很多想法」
Schmidhuber 提到的 1991 年的成果，是一種 Transformer 的線性（未歸一化）變體。
Schmidhuber 説，這也是最早的 Transformer 變體。相關論文在 1992 年發表，1993 年登上了 ICANN。
另外，根據 Schmidhuber 的説法，LeCun 在「搶成果」方面已經是「慣犯」了。
不僅是 LLaMA，LeCun 還有很多成果都用到了他的想法，卻聲稱自己是首創。
Schmidhuber 稱，早在 2017 年，Meta（當時還叫 Facebook）就使用了他發明的 LSTM。
不過當時 Facebook 的通告當中通篇未提及 Schmidhuber 的名字。
甚至還説 LSTM 是自己發明的。
又如在 2022 年，LeCun 總結了 10 年來 AI 領網域最重要的五大突破。
Schmidhuber 表示，這些成果大部分都是來自他的實驗室：
自監督學習實際上就是把 1991 年的 RNN 進行堆疊
ResNet 就是 2015 年的 Highway Net
3 和 4 就是 1991 年的 fast weight
5 實際上就是 1991 年的線性 Transformer 變體
當時的 LeCun 毫不客氣地回怼，還對 Schmidhuber 挖苦了一番：
在萊特兄弟之前也有人發明過飛機，但是只飛了不到 50 米，所以沒有人記住他（Ader）的名字。
Schmidhuber 做出來的模型就和 Ader 的飛機一樣，就算是最早的，也沒有什麼作用。
Schmidhuber 接下來又拿出了 LeCun 的一篇關于機器自主智能的論文。
Schmidhuber 説，這篇論文中涉及了 1990-2015 年間的成果，但并未标注引用。
為了充分展示這篇論文中「搶」走的成果，Schmidhuber 還專門做了一個網頁，詳細列舉了有關内容。
具體内容這裏就不一一介紹了，我們來看 LeCun 是怎麼回應的。
LeCun 先是嗆了一句，「咱就不能説點有建設性的意見嗎？」，之後又説：
我在論文裏都説了，很多概念已經存在了很長時間，你為什麼非揪着不放？
再説了，可訓練的世界模型本就是系統識别的核心思想。
而且論早的話，80 年代就有人用神經網絡學習人類世界了，不比你 1991 更早？
就這樣，這場戰火一直燒到今年。
2 月，Schmidhuber 發推稱，LeCun 既沒有承認錯誤，也沒有通過正确的方式（OpenReview）對他的論文進行辯護，而是針對 Schmidhuber 發表了極具誤導性的觀點。
直到這次 LLaMA 2 被曝出發表攻擊 Schmidhuber 的言論，兩人之間的争鬥似乎仍未平息。
One More Thing
「羊駝事件」發生之後，有網友調侃性地創造了「Schmidhubered」這個新單詞。
「schmidhubered」的表現包括下面這幾點：
發明了很好的東西，結果不但沒人關心，反而被嘲笑
幾年之後（這個方面）又流行起來了，但是卻被别人説是首創
開始解釋自己才是最早的發明者
結果沒人在意，甚至所有人都覺得你是在
名字被做成動詞
如果 Schmidhuber 的説法都屬實，那麼這個詞的解釋的确形象地描述了他的遭遇。
LeCun 這次又會做出什麼樣的回應？還是讓子彈再飛一會兒……
參考鏈接：
[ 1 ] https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html
[ 2 ] https://twitter.com/SchmidhuberAI/status/1683870175299239937
