今天小编分享的互联网经验：4个月搓出3款大模型，王小川偷了大厂的“家”，欢迎阅读。
图片来源 @视觉中国
文 | 惊蛰研究所，作者 | 小满
今年 4 月，沉寂一年多的王小川宣布进入 AI 大模型领網域再次创业，与 COO 茹立云联合成立大语言模型公司百川智能。在媒体沟通会上，王小川发布了未来 20 年借助语言 AI 要完成的目标，包括构建中国最好的大模型底座，在搜索、多模态、教育和医疗等方面增强，帮助大众轻松、普惠地获取世界知识和专业服务。
令人意想不到的是，仅仅过了 4 个月，百川智能就接连推出 Baichuan-7B、Baichuan-13B 系列、Baichuan-53B 三款大模型。其中 8 月 8 日发布的 Baichuan-53B 参数量级达到 530 亿，如期完成了王小川 " 在今年三季度发布一款参数量级在 500 亿以上的大规模产品 " 的 KPI。
从离开大众视野到重回创业舞台，以及选择大模型这一时下最热门的风口赛道，王小川的复出很难不吸引人们的关注。而眼下随着百川智能以惊人的效率不断进行产品迭代与更新，人们在大厂云集的大模型赛场上，也开始多了一些与众不同的期待。
" 迟到 " 的百川智能
作为曾经的天才少年以及大众印象中典型的 " 理工男 "，王小川做事向来审慎， 而在选择大模型创业这件事情上，他却罕见地表现出狂热的情绪。
今年 2 月，美团联合创始人王慧文在朋友圈发布了自己的 " 人工智能宣言 "，宣布个人出资 5000 万美元设立北京光年之外科技有限公司，将打造中国 Open AI。而据极客公园媒体报道，王小川在看到王慧文的高调宣言后，也曾准备对外宣布入局大模型领網域。
王小川的激动不无道理。科技创业赛道通常存在时间視窗，特别是对于大模型这类新兴技术而言，越早公开项目越容易争夺到有限的技术人才和资金资源。而且大模型对数据和训练量有着极大的需求，抢先发布产品能够吸引合作机构和用户参与内测，为大模型提供充足的数据并不断训练模型，推动算法迭代和产品更新。
所以当王慧文拿出 5000 万美元，并宣布已有顶级 VC 以 2.3 亿美元认购下轮融资的 " 英雄帖 " 时，无疑加剧了大模型创业团队的人才争夺。颇为有趣的是，在王慧文宣布大模型创业一个月后，被称为 " 搜狗输入法之父 " 的马占凯随即在社交平台上宣布加入光年之外。而百川智能在筹备阶段，也吸引了搜狗原有班底以及其他大厂领军人物的加入。
尽管情绪上有些激动，4 月份官宣的百川智能还是比光年之外晚了将近 2 个月，相比光年之外的 2.3 亿美金融资，百川智能 5000 万美元的启动资金也显得有些单薄。但 " 迟到 " 并不意味着落后，相反这 2 个月让王小川想清楚了很多事情。
从 Open AI 的发展历程中可以看到，虽然前后融资超过了 100 亿美金，但 Open AI 真正开始 " 烧钱 " 也是在 GPT-3 正式发布开始大规模训练之后。据国盛证券估算，GPT-3 的单次训练成本高达 140 万美元，一些更大的 LLM（大型语言模型）的训练成本则介于 200 万美元至 1200 万美元之间。因此，对于刚刚起步的百川智能来说，5000 万美元足以完成项目初期从 0 到 1 的产品设计。
其实在资金之外，大模型项目更关键的还是人才积累问题。Open AI 的 736 名员工中，就有 123 名来自于谷歌、Meta 以及苹果公司的核心人才，半数以上员工曾在硬體或軟體公司工作。技术人才的积累，是 Open AI 在研发方面保持着一流水平的主要原因。而百川智能在最近 4 个月里，已经将团队规模翻倍。
4 月份接受采访时，王小川透露到月底团队成员将达到 50 人。而截至目前，百川智能的员工规模已经达到 113 人左右。其中，技术人员的比例占 70%-80%。作为一家成立不到半年的创业公司，百川智能的官宣或许有些 " 迟到 "，但从结果来看，一切都在按照王小川的计划进行。
王小川的自信从何而来？
虽然起步晚，但百川智能 4 个月发布 3 款大模型的惊人效率，表现出了后发制人的竞争意识，并且每一款产品的体验方面也呈现出了差异化的优势。
早前 Baichuan-7B 和 Baichuan-13B 的跑抽成绩就曾令圈内人士眼前一亮。在清华大学、上海交大、爱丁堡大学联合创建的评测标准 C-Eval 中，Baichuan-7B 经过 52 个学科的测评，最终获评 34.4 分，在同量级产品中排名第一。
国际中 / 英文权威评测数据集 ( 2023 年 6 月 15 日 )
Baichuan-13B 则在自然科学、医学、艺术、数学等领網域大幅领先 LLaMA-13B 等同量级的大语言模型，在社会科学、人文科学等领網域超过了 ChatGPT。而在 MMLU 基准上，Baichuan-13B 超过了所有同量级开源模型。
对于最新发布的 Baichuan-53B，王小川给出的评价是文科能力更好，也就是说 Baichuan-53B 能够很好地理解语言泛化背后的含义，具备理解古诗、生成风格化文章的能力。对此，惊蛰研究所使用 Baichuan-53B 内测版进行了测试。
在连续面对 " 请写一首以夏天为主题的五言绝句 " 的要求时，Baichuan-53B 给出的 4 首诗文存在明显的重复。其中，4 首绝句的最后一句都是 " 荷花盛开满池塘 "，3 首的前两句都是 " 夏日炎炎列日照，绿树成荫鸟儿叫。" 并且每首诗相同的段落描写的都是相同的意象，似乎是按照同一个模板排列组合而成。类似的现象，惊蛰研究所在使用百度的文心一言进行对比测试时，并没有发生。
对于生成风格化文章的能力，惊蛰研究所要求 Baichuan-53B 分别以徐志摩、卡夫卡和柯南 · 道尔的风格 " 写一条朋友圈，讲述我今天吃了肯德基这件事 "。从结果来看，虽然内容结构上也非常相似，但 Baichuan-53B 很好地抓住了三位作家的写作风格。
最令人惊喜的是，在 " 扮演 " 柯南 · 道尔写作的文案中，Baichuan-53B 还提到作者的代表《福尔摩斯探案集》以及其中的贝克街，让人感觉到 AI 不是在单纯地模仿作家风格生成内容，而是在生成作家自己的 " 朋友圈 "。
由此看来，Baichuan-53B 在内容生成方面不仅仅具备一定的理解能力，能够模仿不同的文学风格，在表述上也更像是人，而不是基于大数据和算法对现有数据进行排列组合。这也难怪王小川会自信地表示，" 我们这个模型在文科领網域走前列。"
" 百模大战 " 刚刚开场
ChatGPT 问世以来，大模型风口吸引了越来越多的玩家，从科技大厂到创业公司都开始将大模型作为自身的最大亮点，竭力追逐行业热点。基于这一行业背景，王小川在官宣以创业的形式入局大模型时遭到了质疑，不少网友都表示当前大模型赛道大厂林立，独立团队很难有机会。坦白说，截至目前，整个行业都还停留在 " 外行看热闹 " 的阶段，这也反映了国产大模型团队仍然游离在 B 端和 C 端市场之间的现状。
一个典型的现象是，OpenAI 借助 ChatGPT 成为全球顶尖 AI 公司后，国内一众科技公司纷纷宣布推出类似 ChatGPT 的 " 聊天机器人 "" 图片生成器 "，并且学习 Meta 等科技大厂将大模型开源免费商用。但从实际效果来看，这种 " 百模大战 " 更像是为了抢关注、挣流量。
大模型开放免费商用之后，给谁用、怎么用，谁又真的会用？这一连串的问题没有人问，真正使用了免费大模型的企业也不会主动宣扬。" 聊天机器人 " 的出现，很大程度上只是为了证明科技公司具备一定的技术能力，而现阶段大模型的商业化手段，仍然以 B 端市场为主。
例如百度的文心大模型涵盖基础大模型、任务大模型、行业大模型的三级体系，广泛应用于电力、燃气、金融等产业领網域；腾讯的混元大模型，则主要是帮助腾讯生态实现降本增效 ，在广告领網域可以自动生成广告文案和视频；阿里的通义大模型，能够跟人类进行多轮的互動，拥有文案创作能力，能够续写小说、编写邮件等；华为盘古大模型则基于其训练出的 2000 亿参数以中文为核心的预训练生成语言模型，发布了盘古气象大模型、盘古矿山大模型、盘古 OCR 等多个行业大模型。
透过上述大模型的功能可以看到，科技大厂的大模型体现的是其背后在算法、算力、深度学习方面的技术实力，而这些技术能力服务的首要对象，自然是 B 端客户。此前，华为昇腾计算业务总裁张迪煊就曾表示，华为已经帮助孵化了 20 多个基础大模型，" 中国大模型中约一半由昇腾 AI 支撑 "。而 B 端市场用户可以在通用大模型的基础上，定向开发出符合自己需求的专用大模型辅助企业经营，也可以针对 C 端市场开发大模型应用产品。
在王小川选择大模型创业被质疑机会渺茫这件事情上，大厂在行业赛道抢先卡位，并不代表其已经掌握行业竞争的决胜权。过去因为对 B 端市场以及自身业务的过度关注，使得大厂在技术创新方面缺乏一些主动性。比如 2016 年开始就将 AI 作为战略重心的百度，本就拥有开发 ChatGPT 类语言模型的底层技术，甚至还具备绝无仅有的中文搜索场景，但直到 ChatGPT 爆火之后，百度才在今年 3 月份推出文心一言。
如同王小川对 5000 万美元启动资金的判断一样，大模型的决胜盘在于训练阶段。在给大模型投喂数据这一关键性的成长环节，高素质训练人才提供的高质量数据集是大模型快速成熟、迭代的关键。比如 ChatGPT 早期就利用菲律宾的大学教授进行数据标注，而国内进行数据标注的人才数量和水平均未能满足行业所需。
因此，国产大模型市场虽然已有 " 百模大战 " 的态势，但在最关键的训练环节上，大多数仍在同一起跑线上。王小川之所以有信心参与这一轮行业变革，想必也是看透了大模型不是大力出奇迹的发明创造，而是在底层技术之外，持续投入不断迭代的产品革新。
关于国内科技公司抢滩大模型的行业现象，知名投资人朱啸虎和猎豹创始人傅盛曾在朋友圈激烈交锋。朱啸虎认为行业泡沫明显，甚至断言绝大多数都会在年底死掉。而王小川在 4 月份成立百川智能时表示，" 年底前我们会发布对标 GPT-3.5 的大模型，有信心今年年底做到国内最好。"
王小川的百川智能会是国产大模型的希望吗？不如把悬念留到年底，到时再看国产大模型又是怎样一番新局面。
