今天小編分享的互聯網經驗：國内大模型在局部能力上已超ChatGPT？，歡迎閲讀。
圖片來源 @視覺中國
文 | 數科星球原創，作者丨苑晶，編輯丨大兔
從 GPT3.5 徹底出圈後，大模型的影響力開始蜚聲國際。一段時間内，國内科技公司可謂被 ChatGPT 按在地上打，毫無還手之力。
彼時，很多企業還不知大模型為何物，GPT3.5 就已夠生成諸如營銷文案、小説、詩歌等高質量的中文文本。一時間，買課小販、租号中間商和套殼開發者大行其道。
現如今，在國内廠商嚴肅對待 OpenAI 後，情況發生了變化。
在公開資料中，就有 360、復旦大學、科大訊飛等企業表達了在中文能力上超越 ChatGPT 的消息。現在，時間進入 2023 年 8 月份，号稱超越國外競品的公司變得越來越多。
01 中文模型進擊：ChatGPT" 不香 " 了
客觀地説，在 GPT-3 推出後，OpenAI 曾經在中文文本輸出中占得先機。其一經推出，便可覆蓋諸如營銷文案、小説和詩歌等領網域的文生文需求。幾個月前，這種先手優勢養活了國内一眾賣課達人、租号團隊以及套殼聊天機器人產品。
不過，很快，這些功能便被國内眾多廠商超越，變成了大模型的 " 标配 " 功能。
根據第三方監測機構 SimilarWeb 的數據顯示，ChatGPT 從 4 月開始就呈現出了明顯放緩的趨勢。以至于在 2023 年的第二季度，人們的朋友圈内幾乎沒有了 OpenAI 的蹤影。在科技圈，這被歸結為競争對手大批量湧入、垂直模型興起和新技術迭代所導致。
8 月初，中文大模型的 " 千模大戰 " 已進入白熱化階段。以數科星球團隊所掌握的信息來看，越來越多的企業開始關注下沉市場、并致力于推進具體行業和大模型產品的結合。
這種趨勢的結果是，可能會有更多的企業和機構選擇使用本土產品，同時也對國外模型的市場份額造成一定影響。在數科星球團隊體驗二十餘款中文大模型後，所得到的觀感和上述言論趨同：即中文大模型正在變得越來越好用，并變得越來越聰明。
更為關鍵的是，政策層面對國内產品的扶植力度正在加強，而出于安全和自主可控等因素，ChatGPT 的 " 沒落 "（至少在國内）似乎已成板上釘釘。
但國内廠商的野心還遠不止 " 内卷 " 國内市場——一些公司已然将目光瞄準了海外。
科大訊飛董事長劉慶峰此前表示，其星火大模型中文已超越 ChatGPT，在英文中也已接近，雖還有細微差别，但目前在進一步優化中。
02 中文大模型變聰明的背後
為了探求國内中文大模型的發展情況，在過去的幾個月中，數科星球團隊與幾十家公司進行了百餘次溝通。結果是，科技圈的大佬和創業新星們對待 OpenAI 的态度嚴肅且認真。
除了在產品上進行了洗心革面式的改進，還對模型的評價體系進行了優化。
為了彌補中文大模型在評測領網域的缺失，日前由清華大學、上海交通大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集于不久前推出，該評測名為 C-Eval，受到了行業内的廣泛關注。
在一些專業人士看來，此評測的初衷是用 " 锱铢必較 " 的方式找出中文大模型的比較優勢。和以往由第三方咨詢公司所主導的、帶有傾向性甚至定制化的行業評比所不同的是，無論在過程和結果上，C-Eval 更加透明和公開。
據了解，全套測驗包含 13948 道多項選擇題，涵蓋 52 個不同學科和四個難度級别。其中前四名包括為清華智譜的 ChatGLM2、OpenAI 的 GPT-4、商湯的 SenseChat，APUS 的 AiLMe-100Bv1。
對比由微軟亞洲研究院（Microsoft Research Asia）開發的基準測試 AGIEval，C-Eval 覆蓋的領網域更廣。APUS 技術專家張旭稱："AGIEval 只覆蓋了中國高考題、公務員考試題等幾個類别，而 C-Eval 覆蓋了注冊電氣工程師、注冊計量師……等領網域 "，覆蓋範圍的拓寬意味着，除高考、公務員考試等場景外，在其他特定職業領網域也可以測定大模型的能力。
從另一個角度説，C-Eval 是一個對大模型從人文到社科到理工多個大類的綜合知識能力進行測評的競賽。通常，高階難度測試是考驗大模型性能的關鍵動作，面對復雜且有挑戰性的任務，大多大模型性能會大幅下降。在 C-Eval 公布的評比結果中，APUS 的 AiLMe-100Bv1 除了在平均分上進入四強，還在難題處理方面超越 GPT-4*，排名第一。
據悉，C-Eval Hard（難題）類别是首個提供中文復雜推理能力的測試，" 即便是 GPT-4 來做這個題也會很吃力，" 張旭提及，" 這是‘閉卷考試’，而以往如 AGIEval 和 MMLU 是‘開卷考試’，也就是説，AGIEval 和 MMLU 是各公司自己測試、自己打分、自己公布成績，而 C-Eval Hard 的評比顯然更加客觀、可信。"
的确，C-Eval 測評難度比其他測評更高且更嚴格。在打分流程上，C-Eval 更像是學校中為學生準備的大考模式，各個公司參加統一考試并由系統自動打分、C-Eval 團隊人工審核成績并公布，所以，就結果上看，其測評所公布的成績真實性更高。
03 國内大模型的未來
放眼行業，大模型對于國内人工智能產業的意義非凡。
在 NLP 行業出現範式變革後，Transformer 為主導的新一代通用大模型產品大行其道，讓人們看到了 AGI 的曙光。甚至可以説，中國版的 ChatGPT3.5/4.0 的問世是我國正式邁向人工智能時代的重要标志。
在過去，一、二級資本市場對國内大模型產業意見頗多。讨論最多的是，國内公司沒有在前沿技術投入太多，反而将精力側重于 " 蹭 " 數字人、AIGC 等概念之上。
客觀地説，上述評價不無道理，其中不乏因大環境不好，企業對前沿投入審慎和相關技術積累薄弱等問題所導致。
但近期，随着數科星球（ID：digital-planet）對大模型行業認識的深入，以上問題正在得到改變：首先，以智源研究院、百度文心一言、商湯和 APUS 等企業的持續投入，我國已有多家企業具備大模型制作和運營能力（此前大多為小模型）；其次，随着上半年密集的模型發布大會逐漸落幕，新模型開始迭代積累，并向着 ChatGPT 能力靠攏。
在我們所知的大模型產業上下遊企業中，針對數據處理、清洗、标注、模型訓練、推理加速等方面的技術也正在加速追趕之中；最後，政策層面已注意到發展大模型和 ChatGPT 的必要性，開始着手調集更多資源應對，相關生态和創新土壤也正在完備的過程中。
可以肯定的是，本次人工智能革命的核心就是通用大模型。目前，我國眾多企業正在加速追趕。
現在，超越 ChatGPT 已成為國内 AI 從業者們心中的圖騰。想必若假以時日，這個目标将有機會實現。而到那時，一個屬于人工智能時代的大幕才徹底拉開。
更多精彩内容，關注钛媒體微信号（ID：taimeiti），或者下載钛媒體 App
