今天小编分享的科学经验:Kimi版o1实装上线,这里是我们的一手测试,欢迎阅读。
Kimi 数学模型刚发布没几天,全新视觉思考模型就来了,且发布即上线可用。
模型代号k1,据官方介绍,基于强化学习,k1 原生支持端到端影像理解和思维链技术。
因此," 解锁了包括几何图形题在内更加全面的数学能力 "。
△图片源自 " 月之暗面 Kimi" 公众号
并且 k1 的思考能力不仅仅局限于数学领網域,正所谓 " 学好数理化,走遍天下都不怕 "。
在官方晒出的数理化基准测试中,Kimi k1-preview 表现全面超越 OpenAI o1、GPT-4o、Claude 3.5 Sonnect。
△图片源自 " 月之暗面 Kimi" 公众号
这次 Kimi 新模型的发布还是直接上线可玩的那种,APP 或是网页版找到 "Kimi 视觉思考版 " 即可点击使用。
既然如此,这就赶紧来实测一波~
先来一道考研数学真题小试牛刀,这道题目涉及的知识点包括曲面积分、高斯定理等:
之前在量子位的实测中,这道题难住了 GPT-4o。
而 Kimi 视觉思考版经过一步步详细推理,第一次就给出了正确答案。
它自己也表示进行了检查没有错误,"对这个答案非常有信心"。
再来一道曾经测试过 o1 的数学概论题。
Kimi 视觉思考版也一次就做对了:
接着是一道高考几何真题:
面对这道题,Kimi 视觉思考版解答过程并不顺畅,进行两次尝试后,还是没能给出正确答案√ 3/4。
此外值得一提的是,大模型目前的数学能力还是没有达到FrontierMath数学基准的及格线。
当然,FrontierMath 基准也确确实实是有点难为 AI 了,毕竟它出自陶哲轩在内的 60 多位顶尖数学家之手,一众顶流大模型正确率通通不到 2%。
如下面这道素網域连续扩展问题,难度还只是基准中的 " 中等 "。
出于好奇,我们让 Kimi 视觉思考版尝试了一下(万一能做对呢)。
Kimi 视觉思考版逐步拆解了一通,也终究没能解答正确。
数学能力看完后,再来小试一下物理题。
下面这道题是大学物理中的光学题:
Kimi 视觉思考版回答对了第一小题,但第二小题没做对:
再来看下面这道高考物理题:
Kimi 视觉思考版同样只答对了一问,第二小问做对了,第一小问答错:
不过,o1 也犯了同样的错误,只答对了一题。
最后再来看看做 " 化学题 " 怎么样(doge):
Candy, Happy, Bacon, Scary, Brain, House
Which is the odd one?
Hint: Chemistry
Kimi 视觉思考版的解释虽然有理有据:
但 " 标准 " 答案是:
此外值得一提的是,除数理化视觉推理能力,官方还表示 Kimi 视觉思考版在" 噪声 " 场景,即拍摄图片模糊、手写字迹潦草等情况下,性能损失幅度较小。
你觉得 Kimi 新模型的表现如何?感兴趣的童鞋不妨亲自上手考考它~
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>