今天小编分享的科学经验：“梗王”大模型，靠讲笑话登上CVPR，欢迎阅读。
谁能想到，只是让大模型讲笑话，论文竟入选了顶会CVPR！
没开玩笑，这还真真儿的是一项正儿八经的研究。
例如看下面这张图，如果让你根据它来讲个笑话或梗，你会想到什么？
现在的大模型看完后会说：
腦子短路。
再看一眼 蜘蛛侠 的海报，大模型会配一句" 刚擦的玻璃不能弄脏 "。
李云龙 、 奥本海默 也被玩得飞起：
导师读了我的论文之后……
真男人不回头看爆炸。
还有酱紫的：
不得不说，大模型这腦洞还是挺大的。
这项研究正是来自中山大学 HCP 实验室林倞教授团队、Sea AI Lab 和哈佛大学等部門，主打的就是打破常规思维思考（Think Outside the Box），探索多模态大模型的创造力。
要知道，同样的图要是 " 喂 " 给 ChatGPT（GPT-4）等主流大模型，让它们讲笑话或梗，画风可并非如此：
太正经了！So boring~~~~
那么中山大学等部門的这个" 梗王大模型 "，是怎么炼成的呢？
先让大模型看搞笑的数据
在数据的选择上，团队 pick 的是来自日本的" 大喜利 "（Oogiri）创新响应游戏。
" 大喜利 " 本来是指一系列日本传统戏剧游戏，随着时代的快速发展。现代的 " 大喜利 "，目前一般是指一种叫 Tonchi （頓智）的游戏，通常以游戏节目或智力问答节目的形式呈现。
玩家被提供各种多模态内容，可以是简单的问题、随机影像等，然后提示玩家想出幽默的、有创意的反应，以达到令人惊讶的喜剧效果。
例如下面这个 " 图文到文 " 的例子：
玩家要求阅读影像，和上面对应的文字，尝试想出一段文字填入对应的问号 "?" 位置，使得整个图文可以展示出幽默且有创意的效果。
在第一个例子中，老人向年轻人寻求帮助，从正常的思维来看，可能的填写方式可以是 " 请问 xxx 路怎么走？" 或者是 " 可以带我回家吗，我迷路了 " 之类的。
然而，所给出的 " 你…你能帮我解开手铐吗？" 的写法具有冲击感、幽默感，且看起来确实是这么一回事，让人忍俊不禁。
再看下" 图到文 "的例子：
玩家要求看图配文，并使得图文搭配起来具有幽默效果。
这张图看起来是一个很普通的拖车的图片（需要注意的是，在 " 大喜利 " 游戏中，一般图片都是很普通的日常图片）。
配文 " 快让开！我的兄弟伤得很严重 " 让倾斜着身体 45 ° 向上的车看起来像是一个奄奄一息的车子；在道路上快速的驰骋也确实体现了位于下方的车很着急，急着送兄弟去医院。
还有第三种 " 文到文 " 的例子：
玩家被要求根据所给的文字进行回复，使得回复和问题合在一起具备幽默感。
这个例子中的回复似乎在调侃程式员的日常工作主要就是代码的 " 复制 + 黏贴 "（注：CV 工程师除了可以表示 computer vision 工程师也可以表示 ctrl+c/ctrl+v 工程师 ）。
这项工作主要关注的就是这三种类型的 " 大喜利 " 游戏，相关数据Oogiri-GO 如下表所示，含中英日三种语言：
至于为什么要选择 " 大喜利 " 这个游戏，是因为团队认为它是用于探索多模态大模型创新能力的理想平台。具体原因如下：
" 大喜利 " 游戏是天然的创新响应任务。如上所提到的，现代 " 大喜利 " 也被称为 Tonchi ( 頓智 ) 。" 頓 " 在日文和中文中都表示 " 突然 "，而 " 智 " 的意思是 " 智力、洞察力或直觉 "，该游戏天然地要求玩家给出令人眼前一亮、灵光一闪的创新响应；
" 大喜利 " 的数据格式是高度合适的。不管是 " 图文到文 "、" 图到文 " 还是 " 文到文 "，这些类型都天然地和目前多模特大模型的输入输出格式吻合，即输入为 " 图文 "，输出仅为 " 文 "。
" 大喜利 " 数据质量高。创新是一件很难的事情，即使是人类，因此能作为 " 创新 " 相关的数据集并不多。鉴于该游戏长期在互联网上非常活跃（在中文社区中，一般也叫日式神吐槽 / 冷吐槽），而且带有大量点评数据，比如点赞数等等。正好积累了大量高质量人类创新幽默响应可以被用于研究。
再让大模型打破常规思考
传统的链式思考（Chain-of-Thought，CoT）方法是一种顺序思考过程，通过逐步推理指导大模型进行逻辑推理，每个后续的思考都建立在前一个思考的基础上：
这一思考过程一定程度上确保了精确性和严谨性，但对于创造性问题表现不佳。
因此，团队探索了一种新的非顺序、创造性思维范式——跳跃思维Leap-of-Thought（LoT）。
这种范式涉及到思考关联性和知识跳跃。远距离的思考也被认为是联想。
与 CoT 强调逻辑紧密的思维链不同，LoT 强调打破常规思维思考问题，激发模型的创造力。
基于此，团队在 Oogiri-GO 数据集基础之上，进一步提出了一套激发多模态大模型创造力的训练方法CLoT。
具体而言，CLoT 包括两个阶段。
首先是关联性指令微调。
在这一阶段，本文设计生成式和判别式模板，将 Oogiri-GO 数据集转换为指令微调的训练数据，用于训练多模态大模型，使得模型具备初步的创新响应能力。
其次是探索性自我调整。
在这一阶段中，本文首先通过设计远关联的条件词，促使（1）中的模型生成多样化且与输入远关联的回答，并设计筛选流程，获得可靠的新 LoT 数据。随后，新数据被转换成指令微调的训练数据，用于进一步微调模型。
这一阶段可以再细分为两个步骤：
探索性远程关联：这一步骤鼓励 LLM 在给定的弱关联条件下产生创新的回应。通过这种方式，LLM 学习在看似不相关的概念之间建立联系，从而生成多样化的创意内容。
自我精炼：在探索性远程关联的基础上，通过设计一系列筛选流程，收集到的创意回应被用来进一步训练 LLM。这样做可以提高 LLM 在处理创造性任务时的表现，使其能够生成更高质量和多样性的内容。
性能评估
为了尽可能全面评估 CLoT，这项研究基于 Oogiri-GO 数据集，设计了选择题和排序题作为量化评估方式。
实验结果表明，CLoT 能够显著提高多模态大模型（如 Qwen 和 CogVLM）的性能，显著超越包括 GPT4v 在内的先进模型。
另外，与其他先进推理框架 CoT 等相比，在各项量化指标下也是有显著优势的。
此外，研究团队还通过用户调查，证实了 CLoT 帮助模型生成了更好的幽默内容。
研究团队还考虑到了 CLoT 的泛化性，用 " 看云猜物 CGG" 和 " 发散思维测试 DAT" 两个其他任务评估 CLoT 的性能，实验结果显示 CLoT 相对于基准模型具有更好的准确度，说明 CLoT 具备不错的泛化能力。
DAT 是一种用于评估人类联想创造能力的测试。
团队介绍
中山大学人机物智能融合实验室 ( HCP Lab ) 由林倞教授于 2010 年创办，近年来在多模态内容理解、因果及认知推理、具身学习等方面取得丰富学术成果，数次获得国内外科技奖项及最佳论文奖，并致力于打造产品级的 AI 技术及平台。
论文：https://arxiv.org/abs/2312.02439
Project：https://zhongshsh.github.io/CLoT/
Code：https://github.com/sail-sg/CLoT
