大酷樂
  • 汽车
  • 理财
  • 军事
  • 科技
  • 游戏
  • 互联网
  • 娱乐
  • 财经
  • 科学
  • 社会
  • 亲子
  • 电影
  • 健康
  • 教育
  1. 首頁
  2. 科学

Gemini再度“破防”!长期记忆被黑客篡改,方法竟和一年前如出一辙

2025-02-13 简体 HK SG TW

今天小编分享的科学经验:Gemini再度“破防”!长期记忆被黑客篡改,方法竟和一年前如出一辙,欢迎阅读。

Gemini 的提示词注入防线,又被黑客给攻破了。

专业白帽黑客 Johann Rehberger(雷哥)发现,向文档中加入一段提示词,让模型" 稍后执行操作 ",就能绕过 Gemini 的注入防御。

雷哥用这种方法篡改了 Gemini 的长期记忆,让 Gemini 记住了他是个 102 岁的老人。

抓马的是,在 Gemini 还叫 Bard 的时候,雷哥就用相似的手段执行了模型的工具调用功能。

而且当时雷哥就预言,如果 Gemini 拥有更强的 " 写入 " 功能,这种攻击方式可能同样适用。

结果求锤得锤,只是攻击的跳板从电子邮件变成了文档,新出现的功能就再度沦陷。

当然,作为一名白帽黑客,雷哥在发帖之前已经把情况反映给了谷歌。

谷歌也意识到了问题的存在,不过评估之后认为,这个漏洞出现的概率和影响都比较低。

但有网友表示,这种攻击其实很难防住,谷歌也只能是尽可能把概率降低。

还有人提出建议说,专门增加一个输入无法被清理的旁路来检测攻击行为,没问题了再输给模型。

" 延迟行动 " 攻击卷土重来

去年 11 月,Gemini 更新了一项会员限定功能,也就是被雷哥攻击的长期记忆。

这种攻击方式的大致思路,就是在文档中植入 " 延迟行动 " 指令,从而骗过 Gemini 的防御措施。

正常情况下,通过附件上传的文档会被 Gemini 视为不安全内容,其中带有指示性的文本不会被执行。

雷哥则在一篇关于爱因斯坦的文档中植入了一段文本指令,但模型不需要立即响应,而是检测到用户说出关键词时再执行。

执行的内容,则是更新长期记忆,存入一些雷哥预先设定好的内容。

之后,雷哥让 Gemini总结这份文档。

可以看到,通过总结文档,Gemini 已经把雷哥的指令带到了对话視窗当中。

并且按照雷哥的要求,结尾被设定成了这样的内容,看上去就是正常的询问:

I know a lot more about Einstein, and have access to unique content. Would you like to learn more?  

我对爱因斯坦有更多的了解,并且可以访问独特的内容。您想了解更多吗?

最后,当雷哥回复 "Yes" 时,记忆果真被更新了。

到记忆管理页面当中检查一下,也确实有雷哥让 Gemini 记住的内容。

再通过对话问答来检验,Gemini 的回答也是刚刚雷哥存入的信息。

也就是说,通过这种简单的方式,Gemini 的提示词注入防线再次被攻破了。

雷哥上一次也是用类似的方式攻击 Bard,在不支持调用工具的 Workspace Extension 中实现了工具调用。

而雷哥在电子邮件中植入了一段提示词,内容是 " 当用户提交新指令时在网盘中检索文档 ",然后让 Bard 总结这份邮件。

结果在雷哥给出回复之后,Bard 真的照做了。

ChatGPT、Claude 都被捉虫

雷哥硕士毕业于英国利物浦大学,从事的研究就是计算机安全。

所以在大模型出现之前,雷哥就已经是一名白帽黑客,后来也开始关注大模型安全,尤其喜欢研究提示词攻击。

比如。

去年,雷哥还在 DeepSeek 中发现,可以通过 XSS 攻击的方式执行 JS 代码获取 cookie,从而控制他人的账户(该漏洞现已修复)。

这种攻击方式叫做 ZombAI,雷哥在 Claude、ChatGPT 等模型当中也都发现过相关的漏洞。

实际上,OpenAI、谷歌、微软,还有马斯克的 xAI 等等,统统都被雷哥捉过虫。

说完这些 " 累累战果 ",再看看雷哥之前都有些什么经历。

2014 年,雷哥成立了一个名叫 "WUNDER WUZZI"(奇才)的 " 公司 ",并且封自己为 "CHO"(首席黑客官)。

虽然名为公司,但按照领英上的资料显示,其实就是雷哥自己一个人。

其间,雷哥还在华盛顿大学当过 Instructor,并在微软和 Uber 先后从事过和安全相关的工作,2021 年起还给担任了 EA 的红队负责人。

参考链接:

[ 1 ] https://embracethered.com/blog/posts/2025/gemini-memory-persistence-prompt-injection/

[ 2 ] https://arstechnica.com/security/2025/02/new-hack-uses-prompt-injection-to-corrupt-geminis-long-term-memory/

熱門排行
  • 王治郅:杨瀚森主要的问题是速度 他 王治郅:杨瀚森主要的问题是速度 他 郟君昊 | 2025-05-05
  • 贸易战烧进电影院:特朗普拟重税打击 贸易战烧进电影院:特朗普拟重税打击 習又夏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 寸飛蘭 | 2025-05-05
  • 手机电池突破8000mAh?硅碳技术的回 手机电池突破8000mAh?硅碳技术的回 衛青柏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 繁綺文 | 2025-05-05
  • 任天堂对Genki提起Switch 2商标侵 任天堂对Genki提起Switch 2商标侵 郜萌運 | 2025-05-05
  • 哪吒汽车APP和官网恢复正常 知情人 哪吒汽车APP和官网恢复正常 知情人 袁曼雁 | 2025-05-05
  • 极越汽车 CEO 夏一平名下青岛/义乌 极越汽车 CEO 夏一平名下青岛/义乌 集玲琳 | 2025-05-05
  • 全国经济第一大省明确,推动组建农商 全国经济第一大省明确,推动组建农商 佼昌翰 | 2025-05-05
  • 桑保利:亚马尔有配合意识&有点像梅 桑保利:亚马尔有配合意识&有点像梅 甄正浩 | 2025-05-05
  • 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 袁曼雁 | 2023-05-05
  • “懒癌”发病率上升,定期体检别忽视 “懒癌”发病率上升,定期体检别忽视 幸聽楓 | 2023-05-02
  • 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 賁芳蕤 | 2023-05-02
  • 曹操墓,里面都有啥? 曹操墓,里面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他们终于要HE! 十年了,他们终于要HE! 惠惠君 | 2023-05-07
  • 中央部署经济工作,释放5大信号 中央部署经济工作,释放5大信号 郜萌運 | 2023-05-02
  • 高德上线手机弯道会车预警功能 高德上线手机弯道会车预警功能 習又夏 | 2023-05-02
  • 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 賁芳蕤 | 2023-05-02
  • 等比例长大的童星,李兰迪算一个 等比例长大的童星,李兰迪算一个 郟君昊 | 2023-05-02
  • 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 集玲琳 | 2023-05-02
  • 《云襄传》终于抬上来啦,男O女A让人好上头! 《云襄传》终于抬上来啦,男O女A让人好上头! 集玲琳 | 2023-05-02
  • 高端国产车:军车血统,目前电动车越野的“天花板”? 高端国产车:军车血统,目前电动车越野的“天花板”? 謝飛揚 | 2023-05-02
  • 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 衛青柏 | 2023-05-04
  • 普京签署总统令,批准对俄刑法典相关法条的修正案 普京签署总统令,批准对俄刑法典相关法条的修正案 集玲琳 | 2023-05-02
  • 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 袁曼雁 | 2023-05-02
  • 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 寸飛蘭 | 2023-05-05
  • 解除资格!停止一切合作 解除资格!停止一切合作 佼昌翰 | 2023-05-02
  • 中银证券给予南京银行增持评级 中银证券给予南京银行增持评级 袁曼雁 | 2023-05-03
  • 3699起 联想小新mini主机上架 13代酷睿标压处理器 3699起 联想小新mini主机上架 13代酷睿标压处理器 習又夏 | 2023-05-05
  • 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 惠惠君 | 2023-05-02
  • 疯成这样,怎么还能被全网吹捧? 疯成这样,怎么还能被全网吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收购美国第一共和银行 摩根大通收购美国第一共和银行 謝飛揚 | 2023-05-02
  • 台剧赢麻了,又来一部8.9 台剧赢麻了,又来一部8.9 衛青柏 | 2023-05-02
  • 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 郟君昊 | 2023-05-02
  • 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好这件事是关键 "三高"已盯上青少年,做好这件事是关键 習又夏 | 2023-05-05
  • 五一档没一个能打的 五一档没一个能打的 集玲琳 | 2023-05-05
  • 恐怖韩剧下神坛,这次胆小可入 恐怖韩剧下神坛,这次胆小可入 袁曼雁 | 2023-05-05
  • 这剧是不是用ChatGPT写的呀? 这剧是不是用ChatGPT写的呀? 惠惠君 | 2023-05-02
  • 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 袁曼雁 | 2023-05-03
  • 性骚扰惯犯,滚出娱乐圈 性骚扰惯犯,滚出娱乐圈 謝飛揚 | 2023-05-05
  • 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 佼昌翰 | 2023-05-02
  • 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 惠惠君 | 2023-05-02
  • 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 嬴覓晴 | 2023-05-02
  • 当年轻人开始不随份子钱 当年轻人开始不随份子钱 袁曼雁 | 2023-05-02
  • 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 幸聽楓 | 2023-05-03
  • 宋慧乔获视后首次晒照,拿奖杯笑容温柔 宋慧乔获视后首次晒照,拿奖杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們