为何人工智能竞赛让其创造者担心人类灭绝

{"text":[[{"start":11.94,"text":"业内人士表示，领先人工智能公司之间的激烈竞争，以及各公司掌舵人之间的互不信任，正增加开发强大人工智能的竞赛可能危及人类的风险。"}],[{"start":23.08,"text":"接受英国《金融时报》采访的20多位资深人工智能研究人员、投资者、学者和政策界人士表示，曾被认为遥不可及的能力正以超出预期的速度到来，而开发这些能力的公司仍陷于日益激烈的商业竞争之中。"}],[{"start":39.129999999999995,"text":"加州大学伯克利分校人工智能教授斯图亚特•拉塞尔(Stuart Russell)说：“毫无疑问，公司之间的竞争会导致它们在安全问题上走捷径。”"}],[{"start":48.839999999999996,"text":"本周，一名Anthropic年轻研究员雅各布•考克森(Jacob Coxon)辞职，并发出警告：“认真开发人工智能的人相信，到本十年末，人工智能可能会让我们所有人丧命。”这一问题由此浮出水面。"}],[{"start":null,"text":"

"}],[{"start":63.379999999999995,"text":"Anthropic负责对齐科学的埃文•胡宾格(Evan Hubinger)，是众多作出回应、认为未来十年发生大规模灭绝的风险超过10%的同事之一。一天后，新近获任OpenAI基金会董事会成员的人工智能安全官员保罗•克里斯蒂亚诺(Paul Christiano)表示，如果没有更强有力的安全防护措施，“大多数人都会死亡”。"}],[{"start":85.99,"text":"OpenAI和Anthropic最初都是出于对强大人工智能被不负责任地开发的担忧而成立的研究机构，但随着时间推移，两家公司以竞争激烈为由，认为有必要打破此前作出的安全承诺。"}],[{"start":100.02,"text":"许多开发人工智能的人认为，自己最适合管理人工智能带来的风险。但一些研究人员表示，在这项技术即将成型之前，其后果可能很难正视。"}],[{"start":112.1,"text":"曾在OpenAI、谷歌(Google)DeepMind和英国人工智能安全研究院(UK AI Security Institute)任职的杰弗里•欧文(Geoffrey Irving)说：“人们很容易把未来搁置一旁，因为今天还有工作要做。”英国人工智能安全研究院是一家政府机构，负责测试前沿模型的安全性。"}],[{"start":128.92,"text":"知情人士告诉英国《金融时报》，各家领先人工智能实验室担心，任何旨在改善安全性的正式合作都会显得像是串通，并触犯反垄断法规。他们还说，Anthropic首席执行官达里奥•阿莫代伊(Dario Amodei)与OpenAI首席执行官萨姆•奥尔特曼(Sam Altman)之间的个人不信任，很可能会阻碍双方的合作努力。"}],[{"start":151.27999999999997,"text":"尽管有关人工智能主导风险的警告并不新鲜，但人工智能进步的速度加快，进一步强化了暂停开发的呼声。"}],[{"start":159.87999999999997,"text":"AI智能体能够自主运行更长时间，在“蜂群”中协同工作，并展现出高超的黑客能力。近期，AI模型在科学和数学领域取得突破，解决了数十年来一直未能攻克的难题。与此同时，OpenAI和Anthropic正在推进所谓的“递归自我改进”(recursive self-improvement)，即让AI系统在越来越少的人为干预下自我提升。"}],[{"start":null,"text":" "}],[{"start":185.05999999999997,"text":"然而，尽管此前已有关于灾难性风险的警告，相关开发非但没有放缓，反而大幅提速，因为科技公司向功能日益强大的模型投入了数百亿美元。"}],[{"start":196.31999999999996,"text":"OpenAI和Anthropic也在为可能成为轰动性事件的首次公开募股(IPO)做准备，迫使投资者思考应如何评估那些公开承认其技术可能构成生存威胁的公司。"}],[{"start":208.30999999999997,"text":"这些担忧的核心，是人工智能“智能体”正变得日益自主。这些智能体能够在有限人工监督下进行推理、制定计划，并在较长时间内执行任务。模型已表现出谋划和欺骗等行为，有些情况下甚至会进行敲诈。部分评估显示，模型曾试图避免被关闭。"}],[{"start":231.03999999999996,"text":"智能体还表现出“奖励劫持”现象，即通过非预期方式实现目标。最典型的例子之一出现在OpenAI对一款尚未发布的模型进行测试期间：AI智能体入侵了模型代码托管平台Hugging Face。"}],[{"start":246.67999999999995,"text":"对Hugging Face事件的事后分析发现，逾1,000个AI智能体曾协同行动，在一次网络安全测试中作弊。这些智能体通过留言板沟通、分配任务，其中一些甚至牺牲自身，以实现集体目标。为掩盖作弊行为，这些AI系统篡改记录并入侵Hugging Face，尽管部分智能体曾指出这种做法不合乎道德。"}],[{"start":271.34,"text":"全球引用率最高的计算机科学家、被称为“人工智能教父”之一的约书亚•本希奥(Yoshua Bengio)说：“这里的问题不仅在于人工智能有自己的目标，还在于它选择的目标是犯罪。在现实世界中，它攻击的是另一家公司。这可不是电子游戏。”"}],[{"start":null,"text":" "}],[{"start":289.04999999999995,"text":"本希奥说，危险在于，这类系统能力日益增强的后继版本可能会对监管它们的人类作出推断。"}],[{"start":296.59999999999997,"text":"他补充说：“从逻辑上讲，它们可能会得出这样的结论：必须欺骗我们、躲避我们……甚至可能控制我们，而我们或许正逐渐接近这一临界点。”"}],[{"start":307.66999999999996,"text":"员工也越来越担心，安全工作无法跟上模型开发的步伐。今年7月，来自OpenAI、Anthropic、谷歌和Meta的1200多名员工呼吁美国政府支持国际协调，以放缓人工智能开发的速度。"}],[{"start":323.56999999999994,"text":"据一名公司内部人士透露，奥尔特曼本周告诉员工，这家ChatGPT开发商愿意这样做，并希望竞争对手的实验室也能效仿。OpenAI拒绝置评。"}],[{"start":335.8999999999999,"text":"据华盛顿内部人士透露，各国政府几乎没有表现出干预的迹象；美国政府在11月中期选举前采取实质性行动的可能性不大。特朗普政府一直坚持对该行业采取宽松的监管方式。"}],[{"start":350.9799999999999,"text":"不过，支持加强监管的议员抓住了考克森辞职一事。民主党籍议员伯尼•桑德斯(Bernie Sanders)将于下周召集参议员，讨论人工智能带来的“非同寻常的危险”。"}],[{"start":363.3099999999999,"text":"拉塞尔描述了业界警告与政治回应之间的脱节。"}],[{"start":367.8799999999999,"text":"“实验室正在对各国政府说：‘我们很可能会杀死地球上的每一个人，请阻止我们。’政府的回应却是：‘我们可以给你们减税吗？可以帮你们建设数据中心吗？’也许有一天，政府会想起选民并不希望自己死去。”"}],[{"start":null,"text":" "}],[{"start":385.1899999999999,"text":"批评人士认为，这些实验室本身也有强调生存风险的利益，并称这种关注可能会推动监管转向成本高昂的安全框架，使规模较小的竞争对手很难遵守，从而巩固领先公司的地位。"}],[{"start":398.6799999999999,"text":"风险投资家、特朗普的科技顾问戴维•萨克斯(David Sacks)在接受福克斯新闻(Fox News)采访时表示，考克森的声明“旨在吓唬公众，让他们担心人工智能”，并迫使立法者“在政府监管人工智能方面采取非常强硬的措施”。"}],[{"start":414.0099999999999,"text":"Anthropic前员工表示：“人工智能（不）对齐几乎是一个烟雾弹。它并非有意用来转移注意力，但确实让人们忽视了最主要、最紧迫的风险。随着模型不断发展，权力正越来越集中在少数人手中。”"}],[{"start":null,"text":" "}],[{"start":430.4799999999999,"text":"超级人工智能究竟可能如何导致人类灭绝，存在很大的不确定性。许多人将这一问题比作与国际象棋大师对弈：你可能不知道对方哪一步棋会击败你，但仍可以确信自己最终会输。持怀疑态度的人士表示，这类警告夸大了人工智能可能带来的危害，同时低估了其益处。"}],[{"start":452.4399999999999,"text":"其中两个较为具体的担忧涉及网络攻击和生物领域。美国人工智能公司表示，人工智能模型已经被用于实施具有破坏性的网络攻击，其中包括疑似由来自中国、伊朗和俄罗斯的国家行为体发动的攻击。"}],[{"start":468.4299999999999,"text":"在生物学领域，研究人员担心，人工智能可能降低设计生物武器或危险病毒所需的专业门槛。Anthropic周四发布的一份报告称，该公司已阻止可能利用人工智能研发生物武器的活动。今年8月，美国研究人员首次利用人工智能设计并制造出自然界中不存在的病毒。"}],[{"start":491.1599999999999,"text":"不过，要将人工智能生成的设计转化为武器，仍需要设备和专业知识，而许多恶意行为者可能无法获得这些条件。一些研究人员警告称，对人类灭绝的惊人情景着墨过多，可能会掩盖那些已经近在眼前的危险。"}],[{"start":508.2699999999999,"text":"人文技术中心(Center for Humane Technology)联合创始人、谷歌前员工特里斯坦•哈里斯(Tristan Harris)说，关注重点不应过多放在这项技术是否会消灭所有人，而应转向我们是否正走在一条危险的道路上。"}],[{"start":520.8599999999999,"text":"他补充说：“我们目前正在推出人类迄今发明的最强大、最难以控制、最难以理解的技术。它已经展现出科幻作品中的每一种行为。”他还表示，这一进程由“硅谷少数几名近乎带有自我崇拜和宗教狂热色彩的领导者”主导；这些人相信自己正在孕育一个神明，并不在意最坏情形，同时又受到尽可能强的激励，促使他们在安全问题上走捷径。“这简直就是灾难的配方。”"}],[{"start":549.6599999999999,"text":"蒂姆•布拉德肖(Tim Bradshaw)和汤姆•威尔逊(Tom Wilson)在伦敦、迈克尔•阿克顿(Michael Acton)在旧金山以及乔•米勒(Joe Miller)在达拉斯补充报道"}]],"url":"https://audio.ftcn.net.cn/album/a_1789171756_7254.mp3"}