今天小编分享的科学经验：LSTM之父炮轰LLaMA 2：抄我想法还羞辱我！网友：LeCun干的吧？，欢迎阅读。
LLaMA 可谓是「驼红是非多」。
新版本刚发布没多久，就遭到了 LSTM 之父 J ü rgen Schmidhuber 的炮轰。
你「饭来张口」也就算了，竟然还「放下碗骂娘」？
Schmidhuber 称，Meta 在训练 LLaMA 2 的时候用到了他在 1991 年提出的想法，结果 LLaMA 却对他疯狂抹黑。
一开始，网友发现在询问 LLaMA 2 关于 Schmidhuber 的事时，得到了令人意外的回复。
抱歉，我不能提供关于有负面背景的人的信息……
LLaMA 还说，Schmidhuber「从事过有害活动」「对社会没有贡献」云云。
有网友猜测，这个回答是 LeCun 硬编码进去的。
LLaMA 究竟是故意还是不小心的，这一点无从考证，不过可以确定的是这个消息传到了 Schmidhuber 的耳朵里。
Schmidhuber 要求 Meta 和 LeCun 对此做出解释，两方到目前均没有回应。
「LeCun 抢了我很多想法」
Schmidhuber 提到的 1991 年的成果，是一种 Transformer 的线性（未归一化）变体。
Schmidhuber 说，这也是最早的 Transformer 变体。相关论文在 1992 年发表，1993 年登上了 ICANN。
另外，根据 Schmidhuber 的说法，LeCun 在「抢成果」方面已经是「惯犯」了。
不仅是 LLaMA，LeCun 还有很多成果都用到了他的想法，却声称自己是首创。
Schmidhuber 称，早在 2017 年，Meta（当时还叫 Facebook）就使用了他发明的 LSTM。
不过当时 Facebook 的通告当中通篇未提及 Schmidhuber 的名字。
甚至还说 LSTM 是自己发明的。
又如在 2022 年，LeCun 总结了 10 年来 AI 领網域最重要的五大突破。
Schmidhuber 表示，这些成果大部分都是来自他的实验室：
自监督学习实际上就是把 1991 年的 RNN 进行堆叠
ResNet 就是 2015 年的 Highway Net
3 和 4 就是 1991 年的 fast weight
5 实际上就是 1991 年的线性 Transformer 变体
当时的 LeCun 毫不客气地回怼，还对 Schmidhuber 挖苦了一番：
在莱特兄弟之前也有人发明过飞机，但是只飞了不到 50 米，所以没有人记住他（Ader）的名字。
Schmidhuber 做出来的模型就和 Ader 的飞机一样，就算是最早的，也没有什么作用。
Schmidhuber 接下来又拿出了 LeCun 的一篇关于机器自主智能的论文。
Schmidhuber 说，这篇论文中涉及了 1990-2015 年间的成果，但并未标注引用。
为了充分展示这篇论文中「抢」走的成果，Schmidhuber 还专门做了一个网页，详细列举了有关内容。
具体内容这里就不一一介绍了，我们来看 LeCun 是怎么回应的。
LeCun 先是呛了一句，「咱就不能说点有建设性的意见吗？」，之后又说：
我在论文里都说了，很多概念已经存在了很长时间，你为什么非揪着不放？
再说了，可训练的世界模型本就是系统识别的核心思想。
而且论早的话，80 年代就有人用神经网络学习人类世界了，不比你 1991 更早？
就这样，这场战火一直烧到今年。
2 月，Schmidhuber 发推称，LeCun 既没有承认错误，也没有通过正确的方式（OpenReview）对他的论文进行辩护，而是针对 Schmidhuber 发表了极具误导性的观点。
直到这次 LLaMA 2 被曝出发表攻击 Schmidhuber 的言论，两人之间的争斗似乎仍未平息。
One More Thing
「羊驼事件」发生之后，有网友调侃性地创造了「Schmidhubered」这个新单词。
「schmidhubered」的表现包括下面这几点：
发明了很好的东西，结果不但没人关心，反而被嘲笑
几年之后（这个方面）又流行起来了，但是却被别人说是首创
开始解释自己才是最早的发明者
结果没人在意，甚至所有人都觉得你是在
名字被做成动词
如果 Schmidhuber 的说法都属实，那么这个词的解释的确形象地描述了他的遭遇。
LeCun 这次又会做出什么样的回应？还是让子弹再飞一会儿……
参考链接：
[ 1 ] https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html
[ 2 ] https://twitter.com/SchmidhuberAI/status/1683870175299239937
