今天小编分享的科学经验：王小川大模型2个月交卷！开源7B规模里中文最强，GitHub揽星2.2k，欢迎阅读。
整个开源大模型战场，打得乱成一锅粥了！
最新加入战事的是王小川创业的 AI 公司百川智能，宣布推出 70 亿中英文预训练大模型baichuan-7B。
速度不慢——此时距离百川智能在 4 月中旬官宣创业，开始训练大模型，只过去了 2 个月时间。
而且在 3 个中文评估基准 C-Eval、AGIEval 和 Gaokao 上，均拿下 SOTA。
据官方消息，baichuan-7B 代码采用更为宽松的开源協定，只需简单登记，就能免费商用。
目前，baichuan-7B 大模型已在抱抱脸、Github 和魔搭发布，开源内容包含推理代码、INT4 量化实现、微调代码，以及预训练模型的权重。
而且北大和清华已经率先成为 baichuan-7B 的入幕之宾，开始使用其推进相关研究工作。
万亿 token 中英文大模型
baichuan-7B，采用了 LLaMA 一样的模型设计。
作为 70 亿参数的底座模型，尚未经过监督微调（supervised fine-tuning）和 RLHF。
可用于文本生成、文本分类、问答系统、机器翻译等多个领網域。
作为中英双语模型，主要以高质量中文语料为基础，同时融合优质英文数据。
在数据质量方面，通过质量模型对数据进行打分，对原始数据集进行篇章级和句子级的精确筛选。
在内容多样性方面，利用自研超大规模局部敏感哈希聚类系统和语义聚类系统，对数据进行了多层次多粒度的聚类，最终构建的预训练数据包含1.2 万亿 token，兼顾质量和多样性。
相较于其他同参数规模的开源中文预训练模型，数据量提高了 50% 以上。
以万亿 token 为基础，为了更好地提升训练效率，baichuan-7B 深度整合模型算子，以加快计算流程。
还针对任务负载和集群配置，自适应优化了模型并行策略以及重计算策略。
通过高效的训练过程调度通信，baichuan-7B 成功实现了计算与通信的高效重叠，进而达到超线性的训练加速，在千卡集群上训练吞吐达到 180+Tflops。
目前开源模型視窗的普遍行情是，长度在 2K 以内。
这样的处理长度对长文本建模任务，如需要引入外部知识做搜索增强的场景，产生了较大的限制。
为了训练与推理阶段捕获越多的上下文信息，baichuan-7B 基于 attention 算子优化，实现了万级别超长动态視窗的扩张能力，开放了 4K 上下文視窗。
此外，baichuan-7B 还对模型训练流程进行了深度优化，提升了模型收敛速度。
与同等参数规模的模型相比，baichuan-7B 在困惑度（PPL）和训练损失（training loss）等关键性能指标上表现更加优秀。
为了验证模型的各项能力，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao三个中文评估基准进行了综合评估，均获得优异成绩。
（Gaokao 是复旦大学研究团队创建的评测框架，以高考题为数据集，拿来测试大模型在中文语言理解和逻辑推理能力方面的表现。）
在英文评估基准MMLU 的评测中，baichuan-7B 综合评分达 42.5 分，领先英文开源预训练模型 LLaMA-7B。
500 亿参数版本推进 ing
从 2 月王小川宣布加入大模型占据已在 " 筹备之中 "，到 4 月中旬官宣新公司百川智能名称，正式加入混战，到现在 baichuan-7B 的推出，用时大约 4 个月。
难怪乎试用网友们除了对 baichuan-7B 进行人肉体验外，不少人还对研发速度进行点赞：
目前，北京大学和清华大学已率先使用baichuan-7B 推进相关研究工作，并计划在未来与百川智能深入合作。
动作迅速的百川智能，背后是怎么样的团队班底？
除了牵头人王小川，前搜狗 COO茹立云是已经对外公布的合伙人。
团队方面，以此前搜狗团队为基础，加上来自百度华为微软字节腾讯等公司的人才。
目前，公司还传出对外招聘大模型实习算法工程师的消息。
公司旨在打造中国版的 OpenAI 基础大模型及颠覆性上层应用，瞄准搜索、多模态、教育、医疗等领網域。
于今年 2 月启动筹办后，迅速获得5000 万美元（约人民币 3.4 亿元）启动资金，王小川自掏腰包一部分，还有来自业内好友的个人支持。
4 月正式旗帜鲜明地进入大模型之战时，王小川曾对量子位透露，百川智能的大模型已经在训练，年中就会有第一版发布，希望年底追平 GPT-3.5。
不过，与当初的说法略有出入，现在与大家见面的模型是 70 亿参数，而非当时所说的 "500 亿参数版本 "。
Why？？
王小川对此的解释是：
原定计划没有变，仍在顺利推进中。
辣么，也就是说今年夏天，百川智能还会丢出一枚大模型。
到时候已经乱成一锅粥的开源大模型赛事，会有更猛烈的纷飞炮火吧？
开源地址：
Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7B
Github：https://github.com/baichuan-inc/baichuan-7B
Model Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary
— 联系作者 —
>
