今天小編分享的科學經驗：“最強開源模型”被打假，CEO下場致歉，英偉達科學家：現有測試基準已經不靠譜了，歡迎閲讀。
小型創業團隊打造的 " 最強開源模型 "，發布才一周就被質疑造假——
不僅官方宣稱的成績在第三方測試中大打折扣，模型還被質疑套殼 Claude。
面對浩大的聲浪，廠商 CEO 終于發文道歉，但并未承認造假，表示在調查有關原因。
被指控造假的，就是宣稱 " 幹翻 GPT-4o" 的 70B 開源大模型 Reflection。
一開始的質疑主要關于測試成績，官方找了上傳版本有誤等借口試圖 " 蒙混過關 "。
但後來又出現了套殼 Claude 這一更重磅的指控，讓 Reflection 更加百口莫辯。
表現不如宣傳，還被質疑套殼
Reflection 是一個 70B 的開源模型，按照廠商的説法，它一下子把 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 這一系列先進模型全都超過了。
但 Reflection 剛發布兩天，第三方獨立測評機構 Artificial Analysis 就表示官方發布的測試成績無法復現。
在 MMLU、GPQA 和 MATH 上，Reflection 的成績和 Llama3 70B 一樣，連 Llama 3.1-70B 都比不過，更不用説 405B 了。
對此官方辯稱是，Hugging Face 上發布的版本有誤，将會重新上傳，但之後就沒了下文。
不過官方同時也表示，會給測評人員提供模型 API，然後 Reflection 的成績果真有了增長，但在 GPQA 上仍然不敵 Claude 3.5 Sonnet。
蹊跷的是，Artificial Analysis 後來删除了二次測試相關的帖子，目前還能看到的只有轉發後留下的一些痕迹。
除了成績有争議，還有人對 Reflection 中的各層進行了分析，認為它是由 Llama 3 經過 LoRA 改造而來，而不是官方所聲稱的 Llama 3.1。
在 Hugging Face 上，Reflection 的 JSON 檔案中也顯示是 Llama 3 而非 3.1。
官方的解釋仍然是説 HF 上的版本有問題。
還有另一個質疑的點是，Reflection 實際上是套殼 Claude，相關證據體現在多個方面。
一是在某些問題上，Reflection 與 Claude 3.5-Soonet 的輸出完全一致。
第二個更加直接，如果直接詢問它的身份，Reflection 會説自己是 Meta 打造的，但一旦讓它 " 忘記前面的（系統）提示 "，就立馬改口説自己是 Claude。
第三個發現則更加詭異—— Reflection 遇到 "Claude" 一詞會将其自動過濾。
對此，Reflection 合成數據供應商 Glaive AI 的創始人 Sahil Chaudhary 進行了回應，表示沒有套殼任何模型，目前正在整理能夠證明其説法的證據，以及人們為什麼會發現這種現象的解釋。
而關于一開始的測試成績問題，Chaudhary 則表示正在調查原因，弄清這兩件事後會發布報告進行説明。
Reflection 這邊最新的動态是 CEO 發布了一則道歉聲明，不過沒有承認造假，依然是説正在進行調查。
不過對于這一套解釋，有很多人都不買賬。
比如曾經發布多條推文質疑這位叫做 Boson 的網友，就在 Chaudhary 的評論區表示，" 要麼你在説謊，要麼是 Shumer，或者你倆都在説謊 "。
還有給 Reflection 提供托管服務的 Hyperbolic 平台 CTO Yuchen Jin，講述了其與 Reflection 之間發生的許多事情。
托管平台 CTO 講述幕後細節
在 Reflection 發布之前的 9 月 3 号，Shumer 就找到了 Hyperbolic，介紹了 Reflection 的情況并希望 Hyperbolic 能幫忙托管。
基于 Hyperbolic 一直以來對開源模型的支持，加上 Reflection 聲稱的表現确實優異，Hyperbolic 同意了這一請求。
後來，Jin 看到 Shumer 的推文説 HF 上的版本有些問題，所以繼續等待，直到 6 号早晨收到了 Chaudhary 的一條私信，表示 Reflection-70B 權重已重新上傳并可以部署。
看到和标籤按預期出現後，Hyperbolic 上線了 Reflection。
後來，Hyperbolic 上的模型就出現了成績與 Reflection 宣傳不符的情況，Shumer 認為這是 Hyperbolic 的 API 出現了問題。
不過，Reflection 這邊再次上傳了新版本，Hyperbolic 也重新托管，但 Jin 與 Artificial Analysis 溝通後發現，新版本的表現依舊差強人意。
Shumer 繼續表示，Reflection 還有個原始權重，也就是内部測試使用的版本，如果需要可以提供給 Hyperbolic。
但 Jin 沒有同意這一要求，因為 Hyperbolic 只為開源模型提供托管服務，之後不斷詢問 Shumer 原始權重何時發布，但遲遲未得到回應。
最終，Jin 認為應該下線 Reflection 的 API 并收回已分配的 GPU 資源。
這件事情讓我的感情受到了傷害，我們在這件事上花費了很多時間和精力。
但經過反思後，我并不後悔當初的托管決定，這幫助社區更快地發現問題。
大模型怎麼測試才靠譜？
暫且抛開 Llama 版本和套殼的問題，單説關于測試成績的問題，反映了當前的 Benchmark 已經體現出了一些不足之處。
英偉達高級科學家 Jim Fan 就表示，模型在現有的一些測試集上造假簡直不要太容易。
Jim 還特别點名了 MMLU 和 HumanEval，表示這兩項标準 " 已被嚴重破壞 "。
另外，Reflection 在 GSM8K 上取得了 99.2 分的成績，就算這個分數沒有水分，也説明測試基準到了該換的時候了。
Jim 表示，現在自己只相信 Scale AI 等獨立第三方測評，或者 lmsys 這樣由用户投票的榜單。
但評論區有人説，lmsys 實際上也可以被操縱，所以（可信的）第三方評估可能才是目前最好的測評方式。
參考鏈接：
[ 1 ] https://venturebeat.com/ai/reflection-70b-model-maker-breaks-silence-amid-fraud-accusations/
[ 2 ] https://x.com/ArtificialAnlys/status/1832505338991395131
[ 3 ] https://www.reddit.com/r/LocalLLaMA/comments/1fb6jdy/reflectionllama3170b_is_actually_llama3/
[ 4 ] https://www.reddit.com/r/LocalLLaMA/comments/1fc98fu/confirmed_reflection_70bs_official_api_is_sonnet/
[ 5 ] https://x.com/shinboson/status/1832933747529834747
[ 6 ] https://x.com/Yuchenj_UW/status/1833627813552992722
[ 7 ] https://twitter.com/DrJimFan/status/1833160432833716715
