今天小編分享的教育經驗:百川智能推出70億參數量的中英文預訓練大模型,王小川:第一個裡程碑,歡迎閱讀。
多知網 6 月 16 日消息,搜狗創始人王小川創立的百川智能公司近日宣布推出 70 億參數量的中英文預訓練大模型—— baichuan-7B。目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平台發布。
百川智能方面稱,為了驗證模型的各項能力,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三個頗具影響力的中文評估基準進行了綜合評估,并且均獲得了優異成績,它已經成為同等參數規模下中文表現最優秀的原生預訓練模型。并且在 MMLU 英文權威評測榜單上,領先 LLaMA-7B。在英文方面,在 MMLU 的評測中,baichuan-7B 綜合評分高達 42.5 分,領先英文開源預訓練模型 LLaMA-7B 的 34.2 分以及中文開源模型 ChatGLM-6B 的 36.9 分。
據介紹,北京大學和清華大學已率先使用 baichuan-7B 模型推進相關研究工作,并計劃在未來與百川智能深入合作,共同推動 baichuan-7B 模型的應用和發展。
本次發布也遵循開源精神,baichuan-7B 代碼采用 Apache-2.0 協定,模型權重采用了免費商用協定,只需進行簡單登記即可免費商用。
百川智能 CEO 王小川表示:" 本次開源模型的發布是百川智能成立 2 個月後的第一個裡程碑,對百川智能而言是一個良好的開局。baichuan-7B 模型,不僅能為中國的 AGI 事業添磚加瓦,也為世界大模型開源社區貢獻了新的力量。"