今天小編分享的科學經驗：Deepseek新模型意外曝光！編程跑分一舉超越Claude 3.5 Sonnet，歡迎閲讀。
還沒等到官宣，Deepseek-v3竟意外曝光了？！
據 Reddit 網友爆料，v3 已在 API 和網頁上發布，一些榜單跑分也新鮮出爐。
在 Aider 多語言編程測試排行榜中，Deepseek-v3 一舉超越Claude 3.5 Sonnet，排在第 1 位的 o1 之後。
（相比 Deepseek-v2.5，完成率從 17.8% 大幅上漲至 48.4%。）
且在 LiveBench 測評中，它是當前最強開源 LLM，并在非推理模型中僅次于 gemini-exp-1206，排在第二。
目前 Hugging Face 上已經有了 Deepseek-v3（Base）的開源權重，只不過還沒上傳模型介紹卡片。
綜合網上多方爆料來看，Deepseek-v3 相比前代 v2、v2.5 有了極大提升——
與 v2、v2.5 配置對比
首先，Deepseek-v3 基本配置如下：
采用685B 參數的 MoE 架構；
包含 256 個專家，使用 sigmoid 函數作為路由方式，每次選取前 8 個專家 ( Top-k=8 ) ；
支持 64K 上下文，默認支持 4K，最長支持 8K 上下文；
約 60 個 tokens/s；
BTW，在 Aider 測評中擊敗 Claude 3.5 Sonnet 的還是Instruct 版本（該版本目前未發布）。
為了進一步了解 Deepseek-v3 的更新程度，機器學習愛好者 Vaibhav ( VB ) Srivastav（以下簡稱瓦哥）還深入研究了配置檔案，并總結出v3 與 v2、v2.5 的關鍵區别。
與v2（今年 5 月 6 日官宣開源）比較的結果，經 AI 整理成表格如下：
可以看出，v3 幾乎是 v2 的放大版，在每一項參數上均有較大提升。
而且瓦哥重點指出了模型結構的三個關鍵變化：
第一，在 MOE 結構中，v3 使用了 sigmoid 作為門控函數，取代了 v2 中的 softmax 函數。這允許模型在更大的專家集合上進行選擇，而不像 softmax 函數傾向于将輸入分配給少數幾個專家。
第二，v3 引入了一個新的 Top-k 選擇方法 noaux_tc，它不需要輔助損失。
簡單理解，MoE 模型通常需要一個輔助損失來幫助訓練，主要用于更好地學習如何選擇 Top-k 個最相關的專家來處理每個輸入樣本。
而新方法能在不依賴輔助損失的情況下，直接通過主要任務的損失函數來有效地選擇 Top-k 個專家。這有助于簡化訓練過程并提高訓練效率。
對了，為便于理解，瓦哥用 DeepSeek 逐步解釋了這一方法。
這是一種基于群體的專家選擇算法，通過将專家劃分為不同的小組，并在每個小組内部選擇最優秀的 k 名專家。
第三，v3 增加了一個新參數 e_score_correction_bias，用于調整專家評分，從而在專家選擇或模型訓練過程中獲得更好的性能。
此外，v3 與v2.5（本月 10 日官宣開源）的比較也出爐了，後者主要支持聯網搜索功能，相比 v2 全面提升了各項能力。
同樣經 AI 整理成表格如下：
具體而言，v3 在配置上超越了 v2.5，包括更多的專家數量、更大的中間層尺寸，以及每個 token 的專家數量。
看完上述結果，瓦哥連連表示，明年有機會一定要見見中國的開源團隊。 ( doge）
網友實測 Deepseek-v3
關于 v3 的實際表現，另一獨立開發者 Simon Willison（Web 開發框架 Django 的創始人之一）也在第一時間上手測試了。
比如先來個自報家門。
我是 DeepSeek-V3，基于 OpenAI 的 GPT-4 架構……
再考考影像生成能力，生成一張鹈鹕騎自行車的 SVG 圖。
最終圖形 be like:
對了，在另一網友的測試中，Deepseek-v3 也回答自己來自 OpenAI？？
該網友推測，這可能是因為在訓練時使用了 OpenAI 模型的回復。
不過不管怎樣，還未正式官宣的 Deepseek-v3 已在 LiveBench 坐上最強開源 LLM 寶座，在一些網友心中，這比只搞期貨的 OpenAI 遙遙領先。 ( 手動狗頭）
抱抱臉：
https://huggingface.co/deepseek-ai/DeepSeek-V3-Base
參考鏈接：
[ 1 ] https://x.com/reach_vb/status/1871956999971414277
[ 2 ] https://simonwillison.net/2024/Dec/25/deepseek-v3/
[ 3 ] https://x.com/reach_vb/status/1872000205954089011
[ 4 ] https://www.reddit.com/r/LocalLLaMA/comments/1hm2xvb/deepseek_v3_is_already_up_on_api_and_web/
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
