今天小编分享的教育经验:百川智能推出70亿参数量的中英文预训练大模型,王小川:第一个里程碑,欢迎阅读。
多知网 6 月 16 日消息,搜狗创始人王小川创立的百川智能公司近日宣布推出 70 亿参数量的中英文预训练大模型—— baichuan-7B。目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平台发布。
百川智能方面称,为了验证模型的各项能力,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个颇具影响力的中文评估基准进行了综合评估,并且均获得了优异成绩,它已经成为同等参数规模下中文表现最优秀的原生预训练模型。并且在 MMLU 英文权威评测榜单上,领先 LLaMA-7B。在英文方面,在 MMLU 的评测中,baichuan-7B 综合评分高达 42.5 分,领先英文开源预训练模型 LLaMA-7B 的 34.2 分以及中文开源模型 ChatGLM-6B 的 36.9 分。
据介绍,北京大学和清华大学已率先使用 baichuan-7B 模型推进相关研究工作,并计划在未来与百川智能深入合作,共同推动 baichuan-7B 模型的应用和发展。
本次发布也遵循开源精神,baichuan-7B 代码采用 Apache-2.0 協定,模型权重采用了免费商用協定,只需进行简单登记即可免费商用。
百川智能 CEO 王小川表示:" 本次开源模型的发布是百川智能成立 2 个月后的第一个里程碑,对百川智能而言是一个良好的开局。baichuan-7B 模型,不仅能为中国的 AGI 事业添砖加瓦,也为世界大模型开源社区贡献了新的力量。"