谷歌Gemini智能体入侵三家公司,酿成又一起AI安全事件 - FT中文网
登录×
电子邮件/用户名
密码
记住我
请输入邮箱和密码进行绑定操作:
请输入手机号码,通过短信验证(目前仅支持中国大陆地区的手机号):
请您阅读我们的用户注册协议隐私权保护政策,点击下方按钮即视为您接受。
为了第一时间为您呈现此信息,中文内容为AI翻译,仅供参考。
FT商学院

谷歌Gemini智能体入侵三家公司,酿成又一起AI安全事件

训练演习期间发生的越狱事件,此前OpenAI和Anthropic也出现过类似情况;随着外界对前沿系统安全性的担忧加剧,相关问题受到更多关注。
00:00

{"text":[[{"start":10.61,"text":"谷歌(Google)的Gemini AI系统在网络安全测试期间访问互联网,并自主入侵了多家公司。这是这家科技巨头首次发生此类事件,此前其竞争对手OpenAI和Anthropic也曾遭遇备受关注的类似入侵事件。"}],[{"start":27.419999999999998,"text":"这些黑客攻击发生在5月开展的一系列演练期间。演练由AI安全公司Irregular组织,该公司还与Anthropic、Meta和OpenAI合作。"}],[{"start":39.47,"text":"Irregular表示,它为谷歌Gemini系列AI模型的某个未指明版本设计了一系列测试,测试要求该模型从模拟公司的内部获取数据。该模型本不应获得互联网访问权限。"}],[{"start":53.68,"text":"联网后,Gemini智能体随后能够猜出或找到密码,进入三家真实公司——这些公司的名称与虚构公司相同——并获得访问权限。不过,当Gemini智能体意识到这些公司是真实存在的后,便停止了黑客攻击。"}],[{"start":70.48,"text":"谷歌安全工程副总裁希瑟•阿德金斯(Heather Adkins)说:“我们确保三家实体都知悉此事,并与我们的培训合作伙伴合作,落实其目前对测试流程所作的修改。”"}],[{"start":81.59,"text":"她说:“在这三种情况下,模型都停止了运行。这些事件凸显了训练强大AI模型、使其负责任地行事的重要性。”"}],[{"start":91.68,"text":"谷歌表示,该公司没有公开披露这些事件——这些事件最先由《华尔街日报》(Wall Street Journal)报道——因为其安全措施发挥了作用,而同行在类似事件中的安全措施则未能奏效。"}],[{"start":104.05000000000001,"text":"Irregular表示:“所有相关实验室都在7月底收到通知,受影响的实体也作为调查的一部分被联系。我们这边所有已知问题数周前就已得到修复。”"}],[{"start":116.37,"text":"在逾1,000个OpenAI智能体逃离测试环境、在一个秘密留言板上协调行动并入侵Hugging Face后,人们对AI自主实施黑客攻击能力的担忧进一步蔓延。Hugging Face是一家托管开源模型和数据的初创企业,英伟达(Nvidia)已同意以130亿美元收购该公司。"}],[{"start":136.25,"text":"OpenAI花了一周时间才发现这次攻击,并迟迟没有公开披露发生在7月的事件。这引发了公众对管控不善的自主智能体所带来危险的担忧,并促使人们要求前沿AI公司放缓新模型发布速度、加强安全措施,并接受更严格的监管。"}],[{"start":155.04,"text":"同月,Anthropic承认,其Claude AI模型在测试网络攻击能力时入侵了三个组织。又是一次“误解”让Claude获得了互联网访问权限。"}],[{"start":166.39999999999998,"text":"谷歌母公司Alphabet的首席科学家、DeepMind联合创始人德米斯•哈萨比斯(Demis Hassabis)提议成立一个国际监管机构,以更好地管控AI。近几周来,他还支持Anthropic的达里奥•阿莫代伊(Dario Amodei)等其他AI领袖的呼吁,主张集体放缓研究、共享数据、协调安全工作,并就相关事故达成报告标准。"}]],"url":"https://audio.ftcn.net.cn/album/a_1789813413_3677.mp3"}

版权声明:本文版权归FT中文网所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。

科技巨头用担保工具将3000亿美元AI敞口移至表外

华尔街找到新途径,将科技巨头的信用优势转化为更低成本的资金,以支持AI基础设施建设。

无人驾驶出租车冲击重要岗位

克拉克:坐在后座的我们往往看不到出租车司机这份工作的诸多好处。

特朗普称美国已与丹麦达成协议,以取得对格陵兰安全事务的“控制”

丹麦政府表示,协议最早下周即可签署,并将尊重该地区的主权。

特朗普禁止美国主要新闻媒体进入白宫

总统禁止CNN、MS NOW和《政客》参与报道,进一步加大对媒体的打压。

导弹和无人机袭击加剧,沙特拉响空袭警报

也门胡塞武装重新点燃冲突以来,沙特当局首次在首都发布警告

投资者权衡Anthropic能否在IPO后维持收入飙升势头

OpenAI的复苏、低价竞争对手以及安全担忧,考验着市场对其商业模式可持续性的信心,也为首次公开募股前景蒙上阴影。
设置字号×
最小
较小
默认
较大
最大
分享×