今天小编分享的科学经验:月之暗面Kimi模型更新:200万字視窗版可申请,新增“继续”功能,欢迎阅读。
继 2 月以投后约 25 亿美金估值炸场后,杨植麟的大模型公司月之暗面终于有了一次公开对媒体的活动。
虽然杨植麟本人并未露面,但是发布了更长上下文視窗的版本:
200 万字上下文版本,今天即刻在 Kimi 上开启内测。
并且在与 Kimi 对话过程中,加入了(不打断模型思路的)" 继续 " 功能按钮。
月之暗面工程副总裁许欣然(同时也是 Infra 负责人)在会议室咚、咚、咚把好几摞厚厚的打印纸重重地放在桌面上,分别是打印出来的《中医中医内科学》《中医诊断学》、英伟达 2023 年年度财报、《甄嬛传》剧本版。
一摞比一摞厚。
现场放话:" 欢迎大家体验 "。
去年 10 月,月之暗面第一次公开亮相,发布了 20 万字上下文視窗的 Kimi 模型。
5 个月过去—— 5 个月,对 AI 世界已经是非常久的时间了,Kimi 主要在 3 个方面有所提升:
遵循更复杂的指令
更强的信息检索能力
网页版、Android、iOS、小程式
提出 "Kimi 10 分钟速成定律 "
此次月之暗面最主要的动作,就是将自家模型的上下文視窗提升了一个数量级。
即从发布之初的 20 万字,拓展到 200 万字。
同时据许欣然透露,5 个月过去,相同成本、相同设备情况下,模型响应速度提升了 3 倍左右。
为了达到更好的长視窗无损压缩性能,月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走 " 滑动視窗 "、" 降采样 " 等技术捷径,攻克了很多底层技术难点。
200 万字上下文視窗,意味着 Kimi 模型能够吃下更长的文档内容,完成更长和更复杂的任务。
包括但不限于,快速整理 N 多檔案,如从 500 份简历中提取信息:
现场月之暗面还提出了 "Kimi 10 分钟速成定律"。
即无关领網域大众小众,也无关资料或多或少,只要把资料一股腦丢给模型,10 分钟内,Kimi 都能快速入门一个新领網域。
比如德州扑克、中医内科、开(某个特定型号的)飞机、大模型推理……
现场还演示了 Kimi 模型挖掘长篇故事情节中深层次信息的能力。
案例自然是被人类开发程度不足 10% 的甄嬛传(笑死)。
值得注意的是,月之暗面在媒体沟通会现场提出了一个新说法,即大模型们最近的新竞速赛道," 大海捞针 " 功能,恐怕全绿也没什么太大意义了。
最初,大海捞针其实是一个非常好的评测标准,因为当时大家都没有针对这个 case 去优化过。
但现在它已经不是一个很好的评测指标了,当大家都去关注它的时候,就一定会想尽办法去优化它,慢慢就失去了原本的参考意义。
如果大海捞针不行了,有什么新的评测标准能够检测模型长文本能力吗?
" 暂时还没有。" 许欣然笑道。
他表示,模型視窗越来越长,评测的纬度变得非常非常多,不过团队已经在和学术界团队共同探讨这个开放性的问题。
期望打造 " 个人麦肯锡 "
从 20 万字上下文視窗,迭代为今天开始内测的 200 万字上下文視窗,具体的模型应用场景又有什么新的亮眼之处?会不会只是从 " 处理 50 封简历 " 到 " 处理 500 封简历 " 的简单线性外扩?
一味拓展大模型上下文視窗的边界,会不会打造出一把普通人想象中的 " 皇帝的金锄头 "?
" 实际上,可能会不断地出现更多的现实场景,只有足够长的 context 才能完成。" 月之暗面表示,在 200 万字版本推出后,接下来 Kimi 模型会在以下几个方向发展:
第一,领網域专家。
利用长文本能力吃掉一个领網域里几乎所有的相关资料,使调研一个行业成为简单的事情。
第二,可完成复杂多步任务的 Agent,月之暗面内部称之为 " 个人麦肯锡 "。
希望模型未来不只是像能处理 " 帮我翻译一下这个 PDF" 这类非常具体的任务,也能自动完成抽象、复杂的任务。
第三,多模态能力。
Context 长了之后,Kimi 模型可以容纳更多高清的、时间更长的这种视频,从而让我们模型很方便地去拓展到更多的模态。
据月之暗面联合创始人周昕宇现场的答复,Sora 出来以前,月之暗面就在根据自己的节奏推进多模态能力的研发,Sora 的出现也并没有打乱原有的安排。
" 预计今年会推出我们自己的多模态模型 / 产品。"
One More Thing
最后,他家大模型还悄么声地改名了:
Kimi Chat ➡️Kimi 智能助手
Moonshot 大模型➡️Kimi 大模型
— 联系作者 —
>