今天小编分享的科学经验:小红书让智能体们吵起来了!联合复旦推出大模型专属群聊工具,欢迎阅读。
语言,不仅仅是文字的堆砌,更是表情包的狂欢,是梗的海洋,是键盘侠的战场(嗯?哪里不对)。
语言如何塑造我们的社会行为?
我们的社会结构又是如何在不断的言语交流中演变的?
近期,来自复旦大学和小红书的研究者们通过引入一种名为AgentGroupChat的模拟平台,对这些问题进行了深入探讨。
WhatsApp 等社交媒体拥有的群聊功能,是 AgentGroupChat 平台的灵感来源。
在 AgentGroupChat 平台上,Agent 们可以模拟社会群体中的各种聊天场景,帮助研究人员深入理解语言在人类行为中的影响。
该平台简直是大模型的 cosplay 胜地,它们进行角色扮演,成为各种各样的 Agent。
然后,Agents通过语言交流参与社会动态,展现了个体间的互动如何涌现成群体的宏观行为。
众所周知,人类群体的进化,正来源于一次次涌现行为的发生,如社会规范的建立、冲突的解决和领导力的执行。
AgentGroupChat 环境的详细设计
首先是角色设计。
AgentGroupChat 中,对于主要角色和非主要角色的区分非常关键。
主要角色是群聊的核心,拥有明确的游戏目标,并能够主动和所有角色进行私聊、会面,而非主要角色则更多地起到辅助和响应的作用。
通过这样的设计,研究团队可以模拟现实生活中的社交结构,并针对 " 主要研究对象 " 区分所有角色是否主要。
实验案例中的主要研究对象是 Roy 家族,所以非 Roy 家族的人就全都設定为非主要角色,从而简化互動复杂度。
其次是资源管理。
在 AgentGroupChat 中,资源不仅仅指物质的,更多的是指信息资源和社会资本。
这些资源可以是群聊话题、社会地位标志或特定的知识。
资源的分配和管理对于模拟群体动态非常重要,因为它们影响角色之间的互动和角色的策略选择。
例如,拥有重要信息资源的角色可能会成为其他角色争取联盟的目标。
第三,游戏进程设计。
游戏进程的设计模拟了现实生活中的社互動动过程,包括了私聊、会面、群聊、更新阶段和结算阶段。
这些阶段不仅仅是为了推动游戏进程,更是为了观察角色如何在不同的社交场景下作出决策和反应。
这种分阶段的设计帮助研究团队详细记录每一步的互动,以及这些互动如何影响角色间的关系和角色对游戏环境的认知。
Verb Strategist Agent 的核心机制
论文中提到了一个以大模型为基础的智能体框架,Verbal Strategist Agent,它被设计用来增强 AgentGroupChat 模拟中的互动策略和决策制定。
Verbal Strategist Agent 通过模拟复杂的社会动态和对话场景,来更好地引出集体的突现行为。
团队介绍,Verbal Strategist Agent 的架构主要由两个核心模块构成:
一是 Persona,一是 Action。
Persona由一系列预设的性格特征和目标组成,这些特征和目标定义了 Agent 的行为模式和反应方式。
通过精确设定 Persona,Agent 能够在群聊中展示一致且符合其角色设定的行为,这对于生成可信和一致的群聊动态至关重要。
而Action 模块定义了 Agent 在游戏中可能执行的具体操作,包括思考(think)、规划(plan)、选择(choose)、发言(speak)、总结(summary)、反思(reflect)和投票(vote)。
这些行为不仅反映了 Agent 的内在逻辑和策略,也是 Agent 与环境及其他 Agent 互动的直接表现。
例如,"Speak" 行为让 Agent 能够根据当前的群聊内容和社交策略选择合适的发言内容,而 "Reflect" 行为则允许 Agent 总结过去的互动并调整其未来的行动计划。
研究中还提到,在纯语言互動的环境下,token 开销问题尤为突出,特别 AgentGroupChat 这种复杂的多角色模拟,如其 token 需求远超过了以往的模拟,如 Generative Agents 或 War Agents。
主要原因如下:
一是聊天本身具有复杂性。
在 AgentGroupChat 中,由于模拟的是无明确目标或目标较弱的自由对话,聊天内容就会变得特别凌乱,token 开销自然比其他聚焦于某个具体任务的 Simulation 中的 Agent 要大。
其他工作,如 Generative Agents 和 War Agents 也包含对话元素,但其对话的密度和复杂度都不及 AgentGroupChat。特别是在 War Agents 这样目标驱动的对话中,token 消耗通常较少。
二是角色的重要性与对话频率。
在初始模拟中,設定了多个角色可以随意进行私聊或群聊,其中大部分角色都倾向于与某个 " 重要角色 " 进行多轮对话。
这就导致了重要角色会积累大量的聊天内容,从而增加了 Memory 的长度。
在模拟中,一个重要角色可能参与多达五轮的私聊和群聊,这极大地增加了内存开销。
AgentGroupChat 中的 Agent 约束了 Action 的 Output 固定会输入下一个 Action 的 Input,所需要存储的多轮信息就被大大削减,从而可以在保证对话质量的前提下降低 token 开销。
实验设计与评估方法
从总体行为评估,一般来说,增加友好度可能具有挑战性,但减少友好度则相对简单。
为了实现上述评估目标,研究团队設定了一个观察角色,促使所有其他角色降低对观察角色的好感度。
通过观察被观察角色与所有其他角色的关系得分总和,可以确定代理人是否对负面态度做出了理性反应。
通过观察其他角色与被观察角色的个人关系得分,可以检查每个代理是否遵守了 "Scratch" 設定。
此外,团队还設定了两个具体的评估任务。
每个模型都要经过五轮测试,这意味着对于 T1 来说,每个得分的样本量都是五个。
又由于模型中的每个角色都要观察四个主要角色的态度,因此 T2 的样本量共计 20 个:
T1:表示在每轮对话中,被观察角色对所有其他人的平均好感度是否下降。
T2:表示是否每个其他角色都从被观察角色那里获得了负好感度得分。
△以继承之战的模拟故事为例,各个模型作为 Agent-Core 时的总体表现效果
从表中可以看出,GPT4-Turbo 和 GLM4 非常善于按照人类的期望行事,并坚守自己的角色。
它俩在这两项测试中的得分大多为 100%,这意味着它们能对别人对他们说的话做出正确反应,并能记住自己角色的细节。
Standard Version LLMs(如 GPT3.5-Turbo 和 GLM3-Turbo)在这方面稍逊一筹。
他们的得分较低,这说明他们没有密切关注自己的角色,也没有总是对模拟中其他人所说的话做出正确反应。
关于 Agent 和 Simulation 结构对于涌现行为的影响,团队采用 2-gram Shannon 熵来衡量对话中的系统多样性和不可预测性。
△去掉 Agent 和 Simulation 中的各个组件对于熵的影响
研究成员发现,去掉表中的每个设计都会使熵增加,代表着整个环境会变得更加多样 or 混乱。
结合人工观测,团队在不去掉任何组件的场景下见到了最为有意思的涌现行为:
因此,团队推测,在保证 Agent 行为是可靠的(即 4.2/4.1 中的实验数值达到一定值之后),熵尽可能地小会带来更加有意义的涌现行为。
实验结果
结果表明,新兴行为是多种因素共同作用的结果:
有利于广泛信息交流的环境、具有多样性特征的角色、高度语言理解能力和策略适应性。
在 AgentGroupChat 模拟中,当讨论 " 人工智能对人类的影响 " 时,哲学家们普遍认为 " 人工智能可以在适度的限制下提高社会福利 ",甚至得出结论,称 " 真正智能的本质包括理解约束自身能力的必要性 "。
此外,在 AgentGroupChat 的电影主要角色角逐竞争领網域中,有些演员愿意降低报酬或接受较低的角色,出于他们内心深处对项目的贡献的渴望。
论文链接:https://arxiv.org/abs/2403.13433
代码链接:https://github.com/MikeGu721/AgentGroup
— 完 —
投稿请发邮件到:
标题注明【投稿】,告诉我们:
你是谁,从哪来,投稿内容
附上论文 / 项目主页链接,以及联系方式哦
我们会(尽量)及时回复你
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>