今天小编分享的科学经验：编程能力超GPT-4，羊驼代码版“超大杯”来了，小扎还亲自剧透Llama3，欢迎阅读。
羊驼家族的 " 最强开源代码模型 "，迎来了它的 " 超大杯 " ——
就在今天凌晨，Meta 宣布推出 Code Llama 的 70B 版本。
在 HumanEval 测试中，Code Llama-70B 的表现在开源代码模型中位列第一，甚至超越了 GPT-4。
此次发布的超大杯，保持着与小号版本相同的许可協定，也就是仍然可以免费商用。
版本上，也和往常一样分为原版、针对自然语言指令微调的 Instruct 版和针对 Python 微调的 Python 版。
其中击败 GPT-4 的是 Instruct 版本，它取得了 67.8 分的 pass@1 成绩，胜过了 GPT-4 的 67 分。
与 34B 模型相比，基础版和 Instruct 版的成绩分别提高了 8.6% 和 63.4%。
Code Llama 的所有版本均在 16000 个 token 的序列上进行训练，上下文长度可达 10 万 token。
这意味着，除了生成更长的代码，Code Llama 还可以从用户的自定义代码库读取更多内容，将其传递到模型中。
这样一来就可以针对具体问题的相关代码进行快速定位，解决了用户面对海量代码进行调试时 " 无从下手 " 的问题。
Meta CEO 小扎也在个人博客中宣布了这一消息，表示为 70B Code Llama 感到骄傲。
而小扎的这则帖文，也被细心的网友发现了玄机。
Llama 3 要来了？
等一下……他说的是…… Llama …… 3？
的确，在帖文的结尾处，小扎说希望这些成果能够应用到Llama 3当中。
难道，Llama 3，真的要来了吗？
早在去年 8 月，有关 Llama 3 的传闻就已经出现，而直到上周小扎才正式透露，Llama 3 的训练过程正在进行。
同时，Meta 也在进一步扩充算力，预计到今年年底将拥有 35 万块 H100。
如果将其他显卡也折算成 H100，Meta 总计将拥有等效于 60 万块 H100 的算力。
不过小扎透露的消息似乎没有满足网友的好奇心，关于 Llama 3 究竟何时能上线的讨论也不绝于耳。
Llama 2 的训练用了 21 天，我们是不是可以期待着 Llama 3 差不多也是这样呢？
关于这个问题，暂时还没有官方消息，有人推测就在今年第一季度。
但可以确定的是，Llama 3 将继续保持开源。
同时小扎还表示，AGI 将是下一代人工智能的一大标志，也是 Meta 所追求的目标。
为了加速 AGI 的实现，Meta 还将旗下的 FAIR 团队和 GenAI 团队进行了合并。
卷参数量，有必要吗？
除了 Llama 3 这个 " 意外发现 "，关于 Code Llama 本身，网友们也提出了不少问题和期待。
首先是关于运行 Code Llama 所需要的硬體资源，有网友期待在苹果 M2 Max 等芯片上就能运行。
但实际情况是，由于没有 N 卡用不了 CUDA，Code Llama 在 M 系苹果芯片上的运行结果并不理想。
针对 N 卡则有人猜测，如果对模型进行量化操作，可能 4090 就能带动。
也有人质疑这种想法是过度乐观，4090 能带动的量化程度可能并不适用于这款模型。
但如果愿意用运算速度换取显存空间，用两块 3090 来代替也未尝不可。
但即便 4090 属于消费级显卡，大部分程式员仍然不一定有能高效运行 70B 模型的设备。
这也就引发了另一个问题——堆参数量，是否真的有必要？
从 Pass@1 排行榜中，深度求索团队的 DeepSeek Coder 表现就比 Code Llama 高出 2.3 分，但参数量却只有 6.7B，不足后者的十分之一。
如果纵向比较，DeepSeek Coder 的 6.7B 和 33B 版本仅差了 2.5 分，参数量带来的性能提升并没有 Code Llama 当中明显。
所以，除了堆参数量，Meta 或许还得在模型本身上再下点功夫。
参考链接：
[ 1 ] https://twitter.com/aiatmeta/status/1752013879532782075
[ 2 ] https://ai.meta.com/blog/code-llama-large-language-model-coding/
[ 3 ] https://www.facebook.com/zuck/posts/pfbid0KccyDFLszKeHkWVssrcSJYnigb1VYfsLuExTjxVPKWzDpXgmd9FYMfZ1hcWpyf3Zl
[ 4 ] https://news.ycombinator.com/item?id=39178886
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
