今天小编分享的互联网经验：百川智能发布Baichuan 2，王小川：全面领先LLaMA 2，欢迎阅读。
百川智能再次展示了自己的 " 发展速度 "。从今年 4 月成立后，相继推出便相继发布了 Baichuan-7B、Baichuan-13B 两款开源免费可商用的中文大模型后，这次他们又出手了，再次迎来新的里程碑。
9 月 6 日，百川智能宣布正式开源微调后的 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 与其 4bit 量化版本，并且均为免费可商用。
这款大模型进化到什么程度？按照百川智能 CEO 王小川的说法是，全面超越了 LLaMA2 的性能。"Baichuan7B 70 亿参数模型在英文评测级上就已经能够去齐平 LLaMA2130 亿参数的模型。因此，我们说以小博大，小模型相当于大模型，我们有同尺寸大的模型就可以得到更高的性能，全面超越了 LLaMA2 的性能。"
百川智能此次还开源了模型训练的 Check Point，并宣布将发布 Baichuan 2 技术报告，详细介绍 Baichuan 2 的训练细节，帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程，更好地推动大模型学术研究和社区的技术发展。
文理兼备性能优异，全面领先 LLaMA2
Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6 万亿高质量多语言数据进行训练，在保留了上一代开源模型良好的生成与创作能力，流畅的多轮对话能力以及部署门槛较低等众多特性的基础上，两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。
其中 Baichuan2-13B-Base 相比上一代 13B 模型，数学能力提升 49%，代码能力提升 46%，安全能力提升 37%，逻辑推理能力提升 25%，语义理解能力提升 15%。
本次开源的两个模型在各大评测榜单上的表现优秀，在 MMLU、CMMLU、GSM8K 等几大权威评估基准中，以绝对优势领先 LLaMA2，相比其他同等参数量大模型，表现也十分亮眼，性能大幅度优于 LLaMA2 等同尺寸模型竞品。
更值得一提的是，根据 MMLU 等多个权威英文评估基准评分 Baichuan2-7B 以 70 亿的参数在英文主流任务上与 130 亿参数量的 LLaMA2 持平。
Baichuan2-7B 和 Baichuan2-13B 不仅对学术研究完全开放，开发者也仅需邮件申请获得官方商用许可后，即可以免费商用。
国内首创全程开源模型训练 Check Point，助力学术研究
大模型训练包含海量高质量数据获取、大规模训练集群稳定训练、模型算法调优等多个环节。每个环节都需要大量人才、算力等资源的投入，从零到一完整训练一个模型的高昂成本，阻碍了学术界对大模型训练的深入研究。
本着协作和持续改进的精神，百川智能本次开源了模型训练从 220B 到 2640B 全过程的 Check Ponit。这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值，将极大推动国内大模型的科研进展，开源训练模型过程对国内开源生态尚属首次。
技术报告揭示训练细节，繁荣开源生态
当前大部分开源模型在开源过程中只是对外公开自身的模型权重，很少提及训练细节，企业、研究机构、开发者们只能在开源模型的基础上做有限的微调，很难进行深入研究。
秉持更开放、更透明的理念，为帮助从业者深入了解 Baichuan 2 的训练过程和相关经验，更好地推动大模型社区的技术发展。百川智能在发布会上宣布，公开 Baichuan2 的技术报告。技术报告将详细介绍 Baichuan 2 训练的全过程，包括数据处理、模型结构优化、Scaling law、过程指标等。
百川智能自成立之初，就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。成立不到四个月，便相继发布了 Baichuan-7B、Baichuan-13B 两款开源免费可商用的中文大模型，以及一款搜索增强大模型 Baichuan-53B，两款开源大模型在多个权威评测榜单均名列前茅，目前下载量超过 500 万次。
不仅如此，在今年创立的大模型公司中，百川智能是唯一一家通过《生成式人工智能服务管理暂行办法》备案，可以正式面向公众提供服务的企业。凭借行业领先的基础大模型研发和创新能力，此次开源的两款 Baichuan 2 大模型，得到了上下游企业的积极响应，腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。
