今天小编分享的科技经验:拿下微软合作、旗舰模型对标GPT-4,认识一下「欧洲版 OpenAI」,欢迎阅读。
技术与政治的混合优势。
Mistral 目前法国科技界的骄傲和喜悦,也是开源力量的代表。它的初期成功要归功于能巧妙地将 AI 技术与政治结合起来。问题是 Mistral 能否将这种诱人的技术与政治混合优势转化为实实在在的利润。
这家法国 AI 初创的崛起就像西北风一样轻快,这也是它名字 Mistral 的由来。
Mistral 翻译过来是密史脱拉风,法国南部罗纳河谷一带特有的强风,干寒强烈,持续时间长。据说,梵高和高更的决裂也与普罗旺斯刮起的密史脱拉风有关。
Mistral 位于巴黎的办公室,它们也是法国目前最有前途的大模型初创公司
本周一,这股 " 强风 " 发布了直接对标 GPT-4 的旗舰级大模型 Mistral Large。虽然参数数量不及对手,但性能几乎可与 GPT-4 相媲美。随着 Mistral Large 上线,Mistral 还推出了名为 Le Chat 的聊天助手,直接对标 ChatGPT。
Mistral 还宣布与微软达成協定,成为继 OpenAI 之后第二家在微软 Azure 云计算平台上提供商业语言模型的公司。微软也将持有 Mistral 一小部分股份。
有些比赛在真正开始之前就已经结束。在制作最强大型语言模型(LLM)的竞赛里,OpenAI 一直遥遥领先,不断 " 吞噬 " 人才、数据和计算能力以构建更智能的模型,吸引更多用户,再将更多的资金投入到更复杂的模型研发中。但是,Mistral 要给飞轮制造些麻烦。它想要证明,这个行业不应该是美国化的,而是可以变得更加开放。" 我们是一家独立的欧洲公司,具有全球野心,这部分也没有改变。" Mistral CEO Arthur Mensch 最近在社交平台上再次重申。
另外,如果它们确实对 OpenAI 构成了严峻挑战,这也将证实一些业内人士的怀疑——即,在生成式 AI 中,规模并不是一切。" 这不再是一个(规模)做大的问题,而是事关创造力和速度。" Arthur Mensch 说。
31 岁的联合创始人兼 CEO Arthur Mensch 曾在法国一些顶尖大学学习,也在 Google DeepMind 工作过。
这家法国公司成立还不到一年,目前仅有 34 名员工。尽管如此,声称坚定站在开源文化一边(也就是 OpenAI 和谷歌对立面)让它们成为开源 LLM 技术的领头羊之一,也获得了相当可观的融资—— 4.9 亿欧元 ( 约合 5.31 亿美元 ) ,估值超过 20 亿美元。重量級人物儿投资人包括 Andreessen Horowitz 、General Catalyst 等硅谷领先风险投资家,还有谷歌前首席执行官 Eric Schmidt 等科技名人。
随着世界各国政府开始思考这种技术的潜力,政治在 AI 行业中扮演的角色也越来越有分量。Mistral 的初期成功要归功于巧妙地将主要的 AI 技术成分(人才、数据和计算能力)和政治因素结合起来。
先来看看人才。法国工程教育和美国大型科技公司的融合可谓 " 天造地设 ",Mistral 就是它们的结晶。Mistral 六位创始人中的三位—— Arthur Mensch,Timothée Lacroix 和 Guillaume Lample ——加上一些核心技术人才,都是法国精英技术学校的高材生。和许多其他顶级 AI 科学家一样,他们在谷歌、Meta 位于巴黎的研究机构从事 LLM 研究,这使他们成为世界上为数不多(据说只有 100 来人)真正知道如何训练尖端模型成员中的一员。
再来看数据。他们似乎特别擅 长治理数据来训 练他们的模型——这也是 LLM 成功的第二个因素。Mensch 不愿意谈论公司如何管理模型的训练集,毕竟这是它们的竞争优势来源。但业内人士证实,这家初创在保证数据质量( curation )方面 " 非常聪明 ",例如过滤掉重复或没有意义的信息,Mistral 的模型也因此变得更小—— 模型 " 参数 " 量以数十亿计,而 OpenAI GPT-4 的参数量估计为 1.8 万亿 ( 两家公司都对确切的规模保持沉默 ) 。如此一来,无需庞大的数据中心,客户在自己电腦上就能运行他们的大模型。
Mensch 表示,Mistral 对数据管理的关注,使得它们能比竞争对手更有效地使用算力,这也是 LLM 成功的第三个要素。训练 Mistral 最新模型成本远低于 OpenAI (GPT-4 大概花了 1 亿美元),同时客户用自己的数据微调、运行模型的成本大为降低。
常言道,像 Mistral 这样的初创公司往往在技术上享有 " 后发优势 "(相对于 OpenAI ),但要像 Mistral 一样取得目前的成绩,除了技术过硬还需要政治智慧的加持,特别是许多政府认为本土的 LLM 会给国家带来经济和战略上的优势。别忘了 Mistral 的另一位联合创始人正是法国前数字经济国务秘书(初级部长)Cédric O。
Cédric O 只有 40 岁,但他已经在法国总统马克龙政府高层工作了几年,与马克龙一直保持着直接联系,后者对所有 AI 相关的事情都抱有浓厚兴趣。
Mistral AI 的联合创始人 Cédric O。除此之外,他还是 Wagon 编码训练营的学生以及政府 AI 委员会的成员。
Cédric O 过去曾支持激进的技术监管(想想谷歌、微软、亚马逊、脸书等巨头在欧洲接到的巨额罚单和税),但一直呼吁欧洲对基础大模型的监管更为宽松些,否则可能会 " 扼杀 " 大陆为数不多的能够挑战美国科技巨头的机会。 " 没有任何迹象表明欧洲在未来几十年里不会被完全边缘化," 他对欧洲大陆能否在与美国和中国的这场创新竞赛中保持领先地位缺乏信心。
他被 Mistral 吸引,首先是因为创始人 Arthur Mensch、Timothée Lacroix 和 Guillaume Lample、Meta 和 Deepmind 校友的雄心壮志。但很快发现,这家法国初创公司将面临 Meta 或 Google 规模的科技公司所面临的业务、监管和媒体障碍。这就是他的经验可以发挥作用的地方。
" 我为欧洲和法国的初创公司而奋斗,因为它们是我们的未来。" 他曾说。去年,当欧盟《人工智能法案》草案要求 Mistral 公开其数据配方时,在马龙支持下,Cédric O 成功协调了法德两国的努力抵制此类条款,并将它们适当地从法案中删除。
现在的问题是,尚未产生可观收入的 Mistral 能否将这种诱人的技术与政治混合优势转化为利润。该公司的赌注是,许多企业,尤其是欧洲企业,希望对他们使用的 LLM 拥有更多的控制权(比 OpenAI 愿意给予的要多),也不想被锁定在另一个美国技术平台上。按照这种思路,这些客户会愿意付钱给它们维护和运行这些模型。这可能也是微软选择 Mistal 成为第二位合作伙伴的重要原因。
不过,潜在客户也可能会问一个问题:如何监管开源模型?有关这些开源模型是否会让恐怖分子和其他不良分子制造生物和网络武器的激烈辩论已经平息。政策制定者之间的讨论也没有大谈风险,而是转向了潜在回报的问题,包括提高透明度,增加创新,减少对少数掌握技术的强大公司的依赖。 到目前为止,大西洋两岸的监管机构都对开源 LLM 持容忍态度。但是,如果这些模型继续变得更强大,或者被发现被滥用,届时 Cédric O 可能会再次感到忙不过来。
显然,避免政治反弹符合 Mistral 的利益,但游说的成功也有其反面——监管的宽容几乎肯定会导致更多的开源竞争。2 月 20 日,芬兰公司 Silo AI 推出了一种新 LLM,比 Mistral 更开放,提供了训练它的数据和完成工作的軟體的信息。新版本将在几个月后推出,在大多数欧洲语言版本上的表现将和其在芬兰语、英语版本中的表现一样好。
最重要的是,目前还不清楚规模是否对生成式 AI 很重要。当 OpenAI 最终发布它的下一个模型 GPT-5 时,对这一预测的检验将会到来。如果 GPT-5 让 Mistral 等开源力量望尘莫及,那么,Mistral CEO 关于创造力和速度的的言论将显得空洞也没有说服力。不过,在此之前,这家明星公司的故事将继续引发世人的共鸣。