今天小编分享的互联网经验:实测Kimi探索版,是中国的o1大模型吗?,欢迎阅读。
文 | 新识研究所,作者 | 杨启隆,编辑 | 丁力
国内大模型厂商们,最近都在迭代新玩意。
而相关进展大多都集中于多模态领網域,其中,自年初 Sora 发布之后,国产文生视频大模型的进度一直受到关注。8 月底,MiniMax 公布了首个 AI 高清视频生成模型。在接下来的 9 月,豆包直接发布了两款视频生成大模型,并且得到了灰测用户的一致好评。而科大讯飞也宣布将于本月首次发布多模态视觉互動及超拟人虚拟人互動能力 ......
不过,在或深或浅地体验了这些新玩意之后,如果要让我挑出一个对日常的学习与工作最有实质性帮助的工具,却觉得不是这些文生视频的大模型或者其他,而是刚刚面世的 Kimi 探索版。
作为在一定程度上想要对标 OpenAI 拥有 " 推理时计算 " 能力 o1 的国内产品,据官方介绍,Kimi 探索版可以模拟人类的推理思考全过程、执行深度搜索并反思改进结果,来提供更加全面和准确的答案。
而 Kimi 探索版产品负责人甚至 " 夸下海口 " —— " 如果 Kimi 搜不到的信息,那大概率用户也很难自己通过传统搜索引擎找到。"
那么,Kimi 探索版同当前国内的其他大模型应用在技术上有什么区别?在实测中的表现是否会像负责人说的那样强大?又会对国内的 AI 搜索与大模型发展方向造成什么样的影响呢?
Kimi 探索版,真有国产 o1 的潜质
先看官方给出的定义,Kimi 探索版是一个" 具备 AI 自主搜索能力,可以模拟人类的推理思考过程,多级分解复杂问题,执行深度搜索,并即时反思改进结果,提供更全面和准确的答案,帮助你更高效地完成分析调研等复杂任务 "的好帮手。
其中 " 模拟人类的推理思考过程 "、" 即时反思改进结果 ",是不是就和一个月之前 OpenAI o1 模型 " 模仿人类系统 2 思考,在推理时计算更加缓慢和深入,更能够突破复杂的逻辑性问题 " 有着异曲同工之妙?
在定义上的几乎相同之外,Kimi 官方提到其能实现如此结果所依仗的第一条就是 " 自主规划策略,步步为营",具体来看,就是 Kimi 探索版会将复杂问题分解为层次化的子问题,然后分步来执行。
这,也同伦敦大学学院(UCL)人工智能中心汪军教授认为 o1 所采用的马尔可夫决策过程一模一样。
图源:机器之心
其实,至此我们大概也就能明了,Kimi 探索版就像国产版的 o1,拥有像人类一样深度思考的能力,更适合那些需要多步推算判断才能得到最终答案的问题。
既然有了方向,那就去看看 Kimi 探索版的表现如何吧。
在勾选 Kimi 探索版之后,我给出我的问题—— " 假设我在 2024 年 9 月 2 日有 100000 元,对比一下截至 9 月 30 日,购买腾讯港股和购买贵州茅台哪个方案的收益率更高?具体收益额会高出多少?"
用人的直觉来拆解,其实就是查询腾讯和贵州茅台分别在 9 月 2 日和 9 月 30 日两个时间的股价,进行收益率比较,并且代入最初的本金计算出具体的收益额。
而 Kimi 探索版的思考过程也确实如此,将这个问题分为了①查询——查询两个时间点上两只股票的价格②计算——计算各自收益率③结论——给出购买贵州茅台收益率更高的结论,并输出具体高出的收益额有多少。
这个简单的问题其实就体现了 Kimi 探索版的不同,其会将一个相对复杂的问题进行像人一样的拆分思考,最终给出答案。此外,官方给出的 " 标注三国战役地点,对应现代城市和地区 " 的示例问题,也很好地体现了这一点。
更令人惊喜的是,在输出相关的结果之后,Kimi 探索版还有着即时反思搜索结果,补充信息的能力。
据官方表示,就像人一样,Kimi 探索版可以借助反思能力,来提升和改进回答的质量。面对开放探索型问题,Kimi 探索版发现第一次回答的信息存在缺失,会主动补充回答更多。面对数字相关的搜索问题,Kimi 了解更多信息后如果发现了数据冲突,则会及时补充提供多方视角的信息供参考决策。
而在刚刚的 " 三国 " 问题上,Kimi 探索版也同样给出了 " 反思 " 的栏目,在最初给出答案的基础上再次增添了三个,也是我首个见到有该功能的大模型应用。
探索版仍有不足,但未来有望补缺
虽然 Kimi 探索版有着不少的突破,但其也存在不少需要被正视的问题。
其中之一就是官方夸下" 自动化大规模信息检索,穷尽海量权威信源 "的海口了。在推送中,官方表示 "Kimi 探索版则可以一次并行搜索几十个不同的关键词,筛选和阅读几百个权威的信息源 ",而一些博主的测试中,也显示 Kimi 探索版会同时搜索数百个网页的信息。
但是,回到 " 标注三国战役地点,对应现代城市和地区 " 这个示例问题上来,有的博主在搜索过程中就会出现阅读 134 个网页的情况,而我在亲身体验中则只能搜索 49 个网页的资料,得出的结果也有所不同。那位博主的答案不出所料地比我更加全面。
面对这样的情况,我不禁想发出疑问,同样的问题、不同的检索范围、不同的结果,究竟是技术、所处环境的问题还是算力的问题?毕竟 OpenAI 的 o1 计算时的所需成本,可不是一个小数字。
之后官方也对我的疑问进行了回答,表示无论显示的阅读网页数量是多少,相同问题给出的答案都是一样的、没有区别。但这样来说,究竟是我的 Kimi 探索版谦虚了,还是其他大 V 博主的 Kimi 探索版略有不实呢?
而在这个相对来说有些 " 无关痛痒 " 的问题外,Kimi 探索版还是有着其他大模型无法解决的问题。
在我问及 "1 到 100 之间奇数的英文单词有多少个字母‘ e ’ " 的问题的时候,虽然 Kimi 表现出了较强的逻辑性,但在具体的数 "e" 上却翻了车——以图上红框内的英文数字为例,thirty-one 中明明只有一个 "e",但 Kimi 探索版却给出了错误的回答。
此外,还有之前大模型会出现幻觉和出现错误的问题,Kimi 探索版也同样掉进了坑里。其实这也就意味着 Kimi 只是在 " 思考 " 方法上进行了改变," 思考 " 的能力并没有提升,这或许也是月之暗面将其定义为 " 搜索版 " 的主要原因吧。
不过,这些也并不影响 Kimi 探索版出现的意义。
还记得在不到一年之前,某几家大模型厂商,还在疯狂输出商业合作给各个宣传口,告诉大家 " 如何调整提示词大模型才能输出给你想要的结果 "、" 要在调整提示词后和大模型进行多轮对话,一步步引导大模型跟随你的思考路径给出答案 "。
而如何解决这个问题,让大家不再被繁琐的提示词困扰,正是这次 Kimi 探索版的意义所在。
正如官方所说,Kimi 探索版希望帮助用户节省花在搜索调研任务上的时间,让大家可以有更多时间专注于提出问题、思考和创造。不过,截至目前每个账号每天只有 5 次提问机会,想要用作生产力还是有些距离,不过月之暗面也回应了我对未来使用次数是否会增加—— " 后续根据用户的使用情况会考虑逐步增加,给用户更好的体验 ",就让我们一起期待吧。
此外,如果将其当作一个纯搜索引擎的话,Kimi 探索版的表现也远远超过市面上的主流搜索引擎,毕竟与其在几秒钟得到一个不一定正确且解释乱七八糟的结果,我更希望它可以多花点时间好好想想,给我一个高质量的结果。
参考资料:
1.《懂股票、爱计划,体验完 Kimi 探索版我回不去了。》,差评 X.PIN;
2.《kimi 探索版提前体验,有点儿强 ~》,CC 的个人笔记;
3.《迟来了 1 个月,但 Kimi 的慢思考似乎比 OpenAl 更有用》,阿虚同学;
4.《一文看懂 LLM 推理,UCL 汪军教授解读 OpenAI ο 1 的相关方法》,机器之心。