今天小编分享的科学经验：首个AI程式员造假被抓，Devin再次“震撼”硅谷！扒皮视频文字详解附上，欢迎阅读。
首个 AI 程式员，演示视频大幅度造假？？？
不久之前震撼硅谷的 Devin，再度震撼硅谷——但这次是被打假。
事情是这样的：油管程式员博主 Internet of Bugs（以下简称光头哥）对 Devin 的视频进行了逐帧分析，逐一举证说明了 Devin 并不如演示中那般神奇。
甚至有 " 自己现写 bug 然后当场修复 " 的骚操作。
其它 " 罪证 "，包括但不限于：
号称能解决任何 Upwork 任务，但演示中解决的问题并不是 prompt 要解决的那一个，做无用功；
看起来在修复 bug，实际上修复的 bug 人类程式员根本就不会犯；
没有意识到简单两步就能解决问题，花里胡哨一顿操作，其实是自己把任务搞复杂了；
修改代码的水平一言难尽。
此外，光头哥花了半个多小时，把 Devin 演示视频中的 upwork 任务完成了一遍——而 Devin 完成任务可能用时 6 个多小时。
啊这这这，真是好、大、一、口、瓜！
要知道，其背后公司 Cognition AI 手握 10 块 IOI 金牌的活招牌，还在推出 Devin 当月宣布成功融资 2100 万美金。
推特和 YC 上已经吵翻天了，让这件事的讨论度高居不下。
我请问呢？真的很讨厌演示造假，让 demo 看起来轻松达到意料之外的技术进步。
还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了。
emmmm ……我还是把期待值全部留给 OpenAI、Anthropic、DeepMind、FAIR 这些公司和机构吧。
完整详情，一起接着往下看。
35 年从业者逐帧验证
此次出来声张正义的光头哥，从事軟體行业已经 35 年。他首先声明自己的立场：我并不反对高科技，但我确实反对过度炒作。
他自己也经常使用 GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。
事实上，在 Devin 刚推出时候，他就反对过 " 世界上第一个 AI 軟體工程师 " 这一说法。
此次则主要针对的是一些更为具体的说法。
比如之前 Devin 号称能够靠处理 upwork 任务来赚钱的。但在真正的演示中 Devin 并没有做到这一点。
不信？没关系，光头哥带着逐帧的证据来了。
总结如下：
Devin 所处理的任务并非随机，而是精心挑选；
与客户实际需求有很大的出入；
实际操作过程，数次自己创造 bug 然后再修复；
很多毫无意义的操作，相当于几十年前在 C 语言中才用的方法；
？？？
首先，来到了演示视频的 2.936 秒处，在螢幕左上角有显示他们搜索过这个内容。因此，这不是所谓 " 随机 " 选择的任务。
再来看客户给到的具体需求。真正需求为 " 我想要利用这个库来进行推理。你需要提供详细的操作指南。我不想讨论完成这项工作预计需要的时间。"
但给到 Devin 的需求却是：我希望利用这个模型在这个库中进行推理。请自己弄明白。
最后视频末尾出现的 Devin 生成报告中，也没有提及客户实际需要的内容。
那么，这份工作的最终交付成果应该包括什么呢？
但 Devin 实际做了什么？
Devin 第一次真正的尝试，是它修改了一个名为 requirements.txt 檔案 , 其中规定了代码所依赖的库版本。视频中提到它正在更新代码，但实际上更像是修改配置檔案。
然后根据需求，需要 Devin 能建立自己的推理能力，并仅需使用样例数据即可。但实际项目要比这个复杂得多。
结果很快，Devin 就遇到了第一个命令行错误——打开影像失败、檔案未找到、无此檔案或目录等。但在光头哥实际复现时并没有出现，结果研究发现，代码仓库压根就不存在这个檔案。
这相当于Devin 自己创建了个 bug，然后再修复 bug。在接下来的操作中，Devin 经历了很多次这样的 " 自建自修 "。
不能说十分有用，只能说完全没有必要。
接下来，再来看看代码库中这样一个 readme 檔案。正如视频所展示的那样，readme 檔案清晰地说明了该檔案的功能和用法。在页面右侧 , 甚至还有一个小按钮，点击它就可以复制整条命令，然后粘贴到命令行視窗中，按下回车即可运行。
但 Devin 完全没能理解，而又是自创了个项目。而写的那段从缓冲区读取数据的代码十分糟糕。
于是光头哥发出了灵魂拷问：
这不就是几十年前在 C 语言等中才用的方法吗？？？
这种做法显然已经过时，正常人用 Python 谁还会再写这个代码。这种代码很难调试，它逻辑复杂，难以理解，很容易出现细微的错误。
此外，代码库中还存在一个真正的错误，但 Devin 既没有发现也没有修复。
然后光头哥用谷歌搜索，按照 GitHub 上一条相关评论修改了代码，只花了 1 分 07 秒，问题就解决了。
最终光头哥总共花了 35 分 55 秒复现了 Devin 的工作，而 Devin 实际花了多长时间呢？
如果细看视频 Demo，就会发现 Devin 处理工作前后有6 个小时 20 分钟的间隔。
视频的前部分显示的是 3 月 9 日下午 3：25 的时间戳，但后半部分却显示的是当天晚上 9：41。
而逐帧细看就有会发现一些奇怪且毫无意义的操作。
比如 head -N 5 results.json | tail -N 5 这个命令，它表示取这个 JSON 檔案的前五行，然后再取这些行的最后五行。
正确的做法应该是 "head-5 results.json"。那个 -N 是多余的。只要说 -5 就可以，不需要那些多余的东西。
最后光头哥锐评，AI 现在生成的内容有很多都十分愚蠢，反倒会让事情变得更为复杂。
当看到它的任务列表时，会觉得：哇，Devin 做了很多事情。但实际上可能并非如此。
网友：至少掌握了看起来很忙的技巧
对于此次 Devin 造假翻车，不少网友对现阶段 AI 产品炒作嗤之以鼻。
我真的很讨厌现在演示造假变得如此正常化
甚至还列出了三大炒作典范：Devin、rabbit、Humane。
也有网友调侃：Devin 至少掌握了看起来很忙的技巧。
嗯？打工人有被内涵到。
不过也有一些支持的网友，比如这位沃顿商学院的教授 Ethan Mollick。
他声称自己有早期访问权，在体验中发现真的很有趣。
他认为现在将 Agent 视作 " 炒作 " 为时尚早，未来几个月 Agent 的能力将十分强大。
号称 " 世界首个完全自主的 AI 軟體工程师 "
有意思的是，演示造假事件爆出来的时间，距离 Cognition AI 推出 Devin 仅过去了一个月。
咱们一起来回顾一下。
一个月前的 3 月 13 日，Cognition AI 在推特上介绍了自家推出的 Devin，并称其为 " 世界上首个 AI 軟體工程师 "。
只需一句指令，它可端到端地处理整个开发项目。
主创介绍，Devin 在长程推理和规划上面下了很大功夫，可以规划和执行需要数千个决策才能完成的复杂軟體工程任务。
具体来说有 6 大功能：
端到端构建和部署程式，可以解决的不只是代码问题，还包括与之相关的整个工作流；
自主查找并修复 bug；
训练和微调自己的 AI 模型；
修复开源库；
为成熟的生产库做贡献；
超强学习能力，实时补足知识和能力短板。
Devin 完整技术报告中显示，在 SWE-bench 基准测试中，无需人类辅助，Devin 可解决13.86%的问题
——这个数据看起来不高，但其实已经超过了此前所有 AI 大模型的成绩。
目前数一数二的 GPT-4，在同个测试中的成绩只有 1.74%，且必须配备一个人类，提示它要处理哪些檔案。
当时的 Devin 团队一副没在怕的样子。
虽然没开放公测，但陆陆续续给出了一些内测名额。
在互联网上搜索一番，发现上手体验过的人给的买家秀反馈是这样的：
热衷 AI 的沃顿商学院教授Ethan Molick试过后，认为其新颖的实时互動方式是最值得关注的。
他要求 Devin 开发一个解释 " 创业公司融资中的股权稀释 " 的网站，随后透露，AI 还无法在没有任何帮助的情况下，自主且无差错地完成这项工作。。
但也有人直接表示，体验过后确实是有被震撼到。
巧的是，截图中的这个首批内测体验者 Bubna 哥，是 AI 基础设施创业公司 Modal Labs 的 CTO。
后来他和 Devin 还联手搞了个新闻。Devin 用自家老板的账号，潜入 Modal Labs 的工作群，和 Bubna 哥一番交流过后，根据回复调整了代码方案，解决了一个技术问题。
△图中的发言人背后其实是 Devin
当然，除了看上去哄哄的技术，Devin 还镀了一层光环，那就是背后公司 Cognition，虽然是个小初创，但在招人信息中明晃晃写着：
我们团队手里握着 10 块 IOI 金牌呢～
技术演示和团队背景都吸睛 Max，直接给 Devin 的传播力度添砖加瓦。
也正是因为对 Devin 的关注，代码生成领網域在过去一段时间里进展是突飞猛进。
暂时无法在飞书文档外展示此内容
比如，GitHub 三万 Star 项目 MetaGPT 就上新了 " 开源版 Devin"，名为数据解释器（Data Interpreter）：
阿里 Qwen 成员 Binyan Hui 等人开启了OpenDevin项目，一个月过去已经在 GitHub 揽星 21.5k；
普林斯顿那边动作更快，用 GPT-4 打造了开源SWE-agent，开箱即用，可修复 GitHub 存储库中真实 bug。
在 25% 的 SWE-bench 测试集上，它实现了与 Devin 演示视频中相似的准确度—— 解决了 12.29% 的问题。
还有各个大厂也开始入驻自己的 AI 程式员……
One More Thing
结果现在发生这件事儿，怎么说呢……
往好了想，真是救大命了，所有的程式员们都要松口气了，还好还好，AI 暂时还无法端到端端走我的饭碗。
往坏了想，真是要了命了，这么一个备受关注的明星项目居然是个只能活在视频里的 demo。
难道世界真的是个巨大的草台班子？？？
参考链接：
[ 1 ] https://twitter.com/oran_ge/status/1778968102610546762?s=46&t=S65Q3TssMnzcxLETGqaDFQ
[ 2 ] https://twitter.com/0interestrates/status/1779268441226256500
[ 3 ] https://news.ycombinator.com/item?id=40008109
[ 4 ] https://www.youtube.com/watch?v=tNmgmwEtoWE
