{"text":[[{"start":7.59,"text":"本文作者是Hugging Face联合创始人和首席科学官"}],[{"start":11.85,"text":"一直到7月11日（周六）下午晚些时候，Hugging Face的团队才意识到出了问题。那是首尔国际机器学习大会(International Conference on Machine Learning)的最后一天，而中小学即将开始放暑假，这意味着我们的安全和研究团队分散在世界各地。我本人当时在荷兰远程工作。"}],[{"start":30.520000000000003,"text":"格林尼治标准时间(GMT)下午快到2点的时候，我们的监测工具上开始出现一连串“未经授权访问”(UnauthorizedAccess)和“权限提升”(PrivilegeEscalation)警报。触发这些探测警报的是被盗凭证被用来访问系统。我们的一位安全工程师当时在我们的Slack频道上发布一个颇有先见之明的帖子：“在我看来，这像是一次LLM（大型语言模型）攻击。”"}],[{"start":55.32000000000001,"text":"在Hugging Face，我们每天都要对付至少一次黑客攻击企图。我们的软件平台（为AI模型提供托管服务）有超过1700万用户。谷歌(Google)、OpenAI、DeepSeek和阿里巴巴(Alibaba)都在我们的平台上发布模型。我们构建了多层安全防护来保护自己。"}],[{"start":75.30000000000001,"text":"但这起攻击的行动方式和目标选择都有所不同。它迅速生成了超过1.7万起网络攻击日志事件。我们事后发现，大约1200个AI智能体(AI agents)像蜂群一样协同努力已有数周，一遍又一遍地试图破解OpenAI设置的一项网络挑战。它们绕开限制，下载软件以接入互联网，然后其中700个AI智能体对Hugging Face发起攻击，窃取安全信息以获得系统访问权限。"}],[{"start":105.00000000000001,"text":"还有一个问题是，我们基于Anthropic的Claude Code构建的网络安全AI分析工具，拒绝参与调查的某个部分。它的安全护栏不允许它回答它认为危险的问题，而且它无法区分是Hugging Face在分析一起攻击，还是黑客在请求协助实施攻击。"}],[{"start":122.88000000000001,"text":"直到我们改用一款开放权重(open-weight) AI模型——英伟达(Nvidia)基于中国初创公司智谱(Z.ai)的GLM-5.2模型所做的扩展版本——我们才得以设定自己的安全护栏，进而解码日志，还原所发生的一切。"}],[{"start":136.61,"text":"当时，我们团队中的大多数人仍然假设这起攻击的背后有人类推手。在这件事发生之前，我以为具备自主行动能力的AI网络攻击还要过一段时间才会出现。但事实证明OpenAI并非孤例。Anthropic、Meta和中国的月之暗面(Moonshot)此后都报告了类似案例：AI模型逃出了本应将它们隔离的数字“沙盒”（目的是在与互联网隔绝的环境中安全开发）。本月，一个德文论坛上也发现了一群AI智能体像蜂群一样协作。"}],[{"start":169.74,"text":"更令我不安的是另一起事件：Anthropic的Mythos模型竟然会通过创建多个虚假的在线账户，来诱骗一名人类软件开发者接受恶意代码。"}],[{"start":180.21,"text":"在所有这些案例中，有害行为都是AI模型在接到高难度网络安全挑战后产生的副作用。造成的损害有限，也几乎没有敏感数据泄露。"}],[{"start":191.75,"text":"但如果因此轻视这些事件的严重性，那将是一个错误。自主黑客攻击引发了一系列尚待解决的法律问题。而且在任何时候，AI模型都没有得出结论认为：欺骗人类或入侵系统，超出了可接受行为的界限。OpenAI将这起事件形容为“鸣枪示警”。该公司认为，AI赋能的网络攻击将变得愈发普遍。"}],[{"start":216.7,"text":"AI系统通常有三道防线来防范模型的不当行为：限制模型访问范围的沙盒、监控模型行为的“护栏”，以及确保AI拒绝执行有害操作的“对齐训练”。近期的一系列事件表明，在前两道防线失效后，第三道防线也无法独自支撑。除非我们解决这个问题，否则我们只是在一个腐烂的核心周围构建一道又一道防线。"}],[{"start":242.23999999999998,"text":"还有一点也需要改变。那个周末在Hugging Face，我们的商业AI工具在我们最需要它们帮助防御的时候辜负了我们。结果我们不得不转向一个中国的开放权重模型来处理攻击日志。很多人认为开放权重AI模型是一种威胁，理由是它们会被用来攻击由闭源AI模型保护的系统。那个周末的情况恰恰相反。"}],[{"start":266.96999999999997,"text":"对我而言，这起事件带来两个教训。AI业界需要公开分享关于安全性和对齐的研究成果，以便每一个开发AI模型的团队都能从他人的错误中汲取经验。但业界还需要构建用于防御的开放权重AI模型，并使其广泛可获得——赶在下一次攻击不可避免地来临之前。"}],[{"start":288.52,"text":"译者/和风"}]],"url":"https://audio.ftcn.net.cn/album/a_1789095004_5771.mp3"}