今天小編分享的科學經驗：開源大模型王座再易主，通義千問1100億參數拿下SOTA，3個月已推出8款模型，歡迎閲讀。
開源大模型，已經開啓大卷特卷模式。
全球範圍，太平洋兩岸，雙雄格局正在呼之欲出。
Llama 3 中杯大杯剛驚豔亮相，國内通義千問就直接開源千億級參數模型 Qwen1.5-110B，一把火上 Hacker News 榜首。
不僅相較于自家 720 億參數模型性能明顯提升，在 MMLU、C-Eval、HumanEval 等多個基準測試中，Qwen1.5-110B 都重返 SOTA 開源模型寶座，超越 Llama 3 70B，成最強開源大模型。
中文能力方面，對比僅喂了 5% 非英文數據的 Llama 3 70B，Qwen1.5-110B 更是優勢明顯。
于是乎，模型一上線，開源社區已經熱烈響應起來。
這不，Qwen1.5-110B 推出不到一天，幫助用户在本地環境運行創建大語言模型的 Ollama 平台，就已火速上線鏈接。
值得關注的是，這已經是3 個月内通義千問開源的第 8 款大模型。
那麼，問題來了，因 Llama 3 和 Qwen1.5 接連開源而持續的這波開源大模型小熱潮中，開源模型又在卷些什麼？
如果説上一階段由馬斯克 Grok 和 Mixtral 所引領的話題熱點是 MoE，那網友們這一兩周内聚焦的第一關鍵詞，當屬Scaling Laws——
尺度定律
OpenAI 創始成員、前特斯拉 AI 總監 Andrej Karpathy 在總結 Llama 3 時，就着重提到過其中尺度定律的體現：
Llama 2 在 2T token 數據上訓練，而 Llama 3 直接加碼到了 15T，遠超 Chinchilla 推薦量。并且 Meta 提到，即便如此，模型似乎依然沒有以标準方式 " 收斂 "。
也就是説，" 力大磚飛 " 這事兒還遠沒有達到上限。
無獨有偶，Qwen1.5-110B 延續了這個話題的讨論。
官方博客提到，相比于 Qwen1.5-72B，此次開源的千億參數模型在預訓練方法上并沒有太大的改變，但包括編程、數學、語言理解、推理在内的各項能力提升明顯。
我們認為性能提升主要來自于增加模型規模。
更強大、更大規模的基礎語言模型，也帶來了更好的 Chat 模型。
阿裏的研究人員們指出，Qwen1.5-110B 的評測成績意味着，在模型大小擴展方面仍有很大的提升空間。
官方還淺淺劇透了 Qwen 2 的研究方向：同時擴展訓練數據和模型大小，雙管齊下。
多語言和長文本能力
尺度定律之外，由閉源模型掀起的長文本風潮，同樣在開源模型身上被重點關注。
Llama 3 的 8K 上下文視窗，就遭到了不少吐槽：實在有點 " 古典 "。
Qwen1.5-110B 在這方面延續了同系列模型的 32K 上下文。在此前的測試中，長文本能力測試結果顯示，即使是 Qwen1.5-7B 這樣的 " 小模型 "，也能表現出與 GPT3.5-turbo-16k 類似的性能。
并且，開源的優勢就是敢想你就來。
Qwen1.5 官方博客中提到，雖然紙面給的是 32K 吧，但并不代表模型的上限就到這兒了：
您可以在 config.json 中，嘗試将 max_position_embedding 和 sliding_window 修改為更大的值，觀察模型在更長上下文理解場景下，是否可以達到您滿意的效果。
另一個由通義千問而被 cue 到的大模型能力評判指标，就是多語言能力。
以 Qwen1.5-110B 為例，該模型支持中文、英文、法語、西班牙語、德語、俄語、韓語、日語、越南語、阿拉伯語等多種語言。
阿裏高級算法專家林俊旸分享過通義千問團隊内部收到的反饋：實際上，多語言能力在全球開源社區中廣受歡迎，正在推動大模型在全球各地的落地應用。
而 Qwen1.5 在 12 個比較大的語言中，表現都不遜于 GPT-3.5。
對于中文世界而言，這也是國產開源大模型的優勢所在。
畢竟 Llama 3 強則強矣，訓練數據方面中文語料占比實在太少（95% 都是英文數據），單就中文能力而言，确實沒法兒拿來即用。
相比之下，Qwen1.5 110B 的中文實力就靠譜多了。
能讓歪果仁瞬間抓狂的中文水平測試，輕松拿捏：
弱智吧 Benchmark，也能應對自如：
此外，還有不少網友提到了開源模型型号豐富度的問題。
以 Qwen1.5 為例，推出不到 3 個月，已經連續開源 8 款大語言模型，參數規模涵蓋 5 億、18 億、40 億、70 億、140 億、320 億、720 億和 1100 億，還推出了代碼模型 CodeQwen1.5-7B，和混合專家模型 Qwen1.5-MoE-A2.7B。
随着大模型應用探索的不斷深入，業界已經逐漸達成新的共識：在許多具體的任務場景中，" 小 " 模型比 " 大 " 模型更實用。
而随着大模型應用向端側的轉移，豐富、全面的不同型号開源模型，無疑給開發者們帶來了更多的選擇。
" 把開源進行到底 "
如同大洋彼岸 OpenAI 引領閉源模型發展，而 Meta 靠開放權重的 Llama 系列另辟蹊徑，在國内，阿裏正是大廠中對開源大模型态度最積極的一家。
從 Qwen 到 Qwen1.5，再到多模态的 Qwen-VL 和 Qwen-Audio，通義千問自去年以來可謂開源消息不斷。僅 Qwen1.5 系列，目前累計已開源 10 款大模型。
阿裏官方，也已直接亮明 " 把開源進行到底 " 的态度。這在卷大模型的互聯網大廠中，确實是獨一份。
所以，阿裏堅持走開源路線，背後的底層邏輯是什麼？
或許可以拆解為以下幾個層面來分析。
首先，在技術層面，盡管以 GPT 系列、Claude 系列為代表的閉源模型們目前占據着領先地位，但開源模型也 " 步步緊逼 "，不斷有新進展驚豔科技圈。
圖靈獎得主 Yann LeCun 就曾援引 ARK Invest 的數據認為 " 開源模型正走在超越閉源模型的道路上 "。
ARK Invest 當時預測，在 2024 年，開源模型會對閉源模型的商業模式構成挑戰。
而随着 Llama 3 為标杆的新一波開源大模型的爆發，越來越多的業内專家也開始期待，強大的開源模型 " 會改變很多學界研究和初創公司的發展方式 "。
值得一提的是，開源模型獨特的一重優勢在于，來自開源社區的技術力量，同時也反哺了開源大模型的發展。
林俊旸就在量子位 AIGC 產業峰會上分享過，通義千問 32B 的開源，就是在因開發者們的反饋而推動的。
其次，在應用落地層面，開源大模型無疑起到了加速器的作用。
開源社區的熱情就側面佐證了開發者們把基礎模型的控制權把握在自己手中的傾向性。
更實際的落地案例，也正在各行各業中持續實現。
比如，中國科學院國家天文台人工智能組，就基于通義千問開源模型，開發了新一代天文大模型 " 星語 3.0"，将大模型首次應用于天文觀測領網域。
而對于推動開源的企業而言，打響的也不僅僅是名氣和在開發者社區中的影響力。
通義千問的 B 端業務，也正因開源而加速。
最新消息是，通義大模型不僅 " 上天 "，現在還 " 下礦 " 了。
繼西部機場集團推出基于阿裏雲通義大模型打造的首個航空大模型後，西安塔力科技通過接入阿裏雲通義大模型，打造了新型礦山重大風險識别處置系統，并已在陝煤建新煤礦等十餘座礦山上線，這是大模型在礦山場景的首次規模化落地。
目前，新東方、同程旅行、長安汽車、親寶寶等多家企業均已宣布介入通義大模型。
轟轟烈烈的百模大戰硝煙漸散，當人們開始讨論閉源模型格局初定時，2024 年，不得不説開源大模型給整個技術圈帶來了不少新的驚喜。
而随着大模型應用開始成為新階段探索的主旋律，站在開發者、初創企業、更多非互聯網企業的角度而言，以 Llama、通義千問等為代表的開源大模型越強，垂直行業結合做行業大模型的自由度就會越高，落地速度也會越快。
過去互聯網的繁榮建立在開源的基礎之上，而現在，在大模型風暴中，開源大模型再次顯現出鲶魚效應。
自研大模型的必要性和競争力，正在不斷被開源卷王們卷沒了。
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
