今天小編分享的科學經驗：編程能力超GPT-4，羊駝代碼版“超大杯”來了，小扎還親自劇透Llama3，歡迎閱讀。
羊駝家族的 " 最強開源代碼模型 "，迎來了它的 " 超大杯 " ——
就在今天凌晨，Meta 宣布推出 Code Llama 的 70B 版本。
在 HumanEval 測試中，Code Llama-70B 的表現在開源代碼模型中位列第一，甚至超越了 GPT-4。
此次發布的超大杯，保持着與小号版本相同的許可協定，也就是仍然可以免費商用。
版本上，也和往常一樣分為原版、針對自然語言指令微調的 Instruct 版和針對 Python 微調的 Python 版。
其中擊敗 GPT-4 的是 Instruct 版本，它取得了 67.8 分的 pass@1 成績，勝過了 GPT-4 的 67 分。
與 34B 模型相比，基礎版和 Instruct 版的成績分别提高了 8.6% 和 63.4%。
Code Llama 的所有版本均在 16000 個 token 的序列上進行訓練，上下文長度可達 10 萬 token。
這意味着，除了生成更長的代碼，Code Llama 還可以從用戶的自定義代碼庫讀取更多内容，将其傳遞到模型中。
這樣一來就可以針對具體問題的相關代碼進行快速定位，解決了用戶面對海量代碼進行調試時 " 無從下手 " 的問題。
Meta CEO 小扎也在個人博客中宣布了這一消息，表示為 70B Code Llama 感到驕傲。
而小扎的這則帖文，也被細心的網友發現了玄機。
Llama 3 要來了？
等一下……他說的是…… Llama …… 3？
的确，在帖文的結尾處，小扎說希望這些成果能夠應用到Llama 3當中。
難道，Llama 3，真的要來了嗎？
早在去年 8 月，有關 Llama 3 的傳聞就已經出現，而直到上周小扎才正式透露，Llama 3 的訓練過程正在進行。
同時，Meta 也在進一步擴充算力，預計到今年年底将擁有 35 萬塊 H100。
如果将其他顯卡也折算成 H100，Meta 總計将擁有等效于 60 萬塊 H100 的算力。
不過小扎透露的消息似乎沒有滿足網友的好奇心，關于 Llama 3 究竟何時能上線的讨論也不絕于耳。
Llama 2 的訓練用了 21 天，我們是不是可以期待着 Llama 3 差不多也是這樣呢？
關于這個問題，暫時還沒有官方消息，有人推測就在今年第一季度。
但可以确定的是，Llama 3 将繼續保持開源。
同時小扎還表示，AGI 将是下一代人工智能的一大标志，也是 Meta 所追求的目标。
為了加速 AGI 的實現，Meta 還将旗下的 FAIR 團隊和 GenAI 團隊進行了合并。
卷參數量，有必要嗎？
除了 Llama 3 這個 " 意外發現 "，關于 Code Llama 本身，網友們也提出了不少問題和期待。
首先是關于運行 Code Llama 所需要的硬體資源，有網友期待在蘋果 M2 Max 等芯片上就能運行。
但實際情況是，由于沒有 N 卡用不了 CUDA，Code Llama 在 M 系蘋果芯片上的運行結果并不理想。
針對 N 卡則有人猜測，如果對模型進行量化操作，可能 4090 就能帶動。
也有人質疑這種想法是過度樂觀，4090 能帶動的量化程度可能并不适用于這款模型。
但如果願意用運算速度換取顯存空間，用兩塊 3090 來代替也未嘗不可。
但即便 4090 屬于消費級顯卡，大部分程式員仍然不一定有能高效運行 70B 模型的設備。
這也就引發了另一個問題——堆參數量，是否真的有必要？
從 Pass@1 排行榜中，深度求索團隊的 DeepSeek Coder 表現就比 Code Llama 高出 2.3 分，但參數量卻只有 6.7B，不足後者的十分之一。
如果縱向比較，DeepSeek Coder 的 6.7B 和 33B 版本僅差了 2.5 分，參數量帶來的性能提升并沒有 Code Llama 當中明顯。
所以，除了堆參數量，Meta 或許還得在模型本身上再下點功夫。
參考鏈接：
[ 1 ] https://twitter.com/aiatmeta/status/1752013879532782075
[ 2 ] https://ai.meta.com/blog/code-llama-large-language-model-coding/
[ 3 ] https://www.facebook.com/zuck/posts/pfbid0KccyDFLszKeHkWVssrcSJYnigb1VYfsLuExTjxVPKWzDpXgmd9FYMfZ1hcWpyf3Zl
[ 4 ] https://news.ycombinator.com/item?id=39178886
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
