{"text":[[{"start":7.08,"text":"当整个科技行业仍在竞相把AI推向更强、更快、更昂贵的未来时，硅谷内部却爆发了一场关于\"末日概率\"的战争。"}],[{"start":16.759999999999998,"text":"最近，硅谷的\"减速派\"打出了一套组合拳。"}],[{"start":20.869999999999997,"text":"由《AI 2027》作者、前OpenAI研究员丹尼尔•科科塔伊洛（Daniel Kokotajlo）领衔的AI Futures Project在7月发布报告，呼吁人为放慢超级智能的研发速度：目标是将它的到来推迟至2040年，并在美中之间建立一套\"可核查的减速\"机制。"}],[{"start":37.15,"text":"\"如果推迟超级智能的到来，社会就有更多时间做准备。\"科科塔伊洛说。他们此前一份报告的读者名单中，包括美国副总统万斯。"}],[{"start":48.71,"text":"报告发表后不久，一百多名抗议者从OpenAI总部出发，途经Anthropic和风险投资公司a16z的办公室，最终抵达谷歌。人群举着\"踩下刹车，放慢竞赛\"的标语。"}],[{"start":62.97,"text":"活动组织者、30岁的迈克尔•特拉齐（Michael Trazzi）曾在伦敦DeepMind门外绝食抗议。游行队伍中，一位父亲告诉记者：\"我真正担心的，是我的孩子将如何与这项技术共处。\""}],[{"start":76.57,"text":"与此同时，融资、芯片和数据中心的公告仍在照常滚动。两个平行世界生活在同一座城市，却几乎不再使用同一种语言。"}],[{"start":87.46,"text":"要理解这种互不相通，必须先理解硅谷过去两年最流行、也最古怪的一个词之一：p(doom)。"}],[{"start":94.69999999999999,"text":"p(doom)之争"}],[{"start":96.41999999999999,"text":"p(doom)是probability of doom的缩写，指的是一个人认为AI最终导致人类灭绝或造成不可逆文明灾难的主观概率。"}],[{"start":104.94999999999999,"text":"在旧金山的某些饭局上，询问一个人的p(doom)，已经近似于问一个人的政治观，或者一个人的星座与生辰八字 - 它未必告诉你未来，却能迅速暴露一个人的阵营、世界观和朋友圈。"}],[{"start":117.71,"text":"和分裂的政治观点一样，这张\"末日概率表\"的跨度也非常惊人。"}],[{"start":123.05999999999999,"text":"理性主义运动的代表人物埃利泽•尤德考斯基（Eliezer Yudkowsky）几乎将答案写进了他2025年出版的书名：《如果有人建造它，所有人都会死》）（If Anyone Builds It, Everyone Dies）。"}],[{"start":132.72,"text":"计算机科学家罗曼•扬波尔斯基（Roman Yampolskiy）给出的概率是99.9%。"}],[{"start":138.53,"text":"被称为\"AI教父\"的杰弗里•辛顿（Geoffrey Hinton）认为，未来30年内AI毁灭人类的概率约为10%至20%；Anthropic联合创始人兼首席执行官达里奥•阿莫代伊（Dario Amodei）多次给出10%至25%的区间。"}],[{"start":154.35,"text":"图灵奖得主、Meta前首席AI科学家杨立昆（Yann LeCun）的答案则接近于零。风险投资家马克•安德森（Marc Andreessen）同样报出零，并顺手将对面称为\"末日邪教\"。"}],[{"start":166.93,"text":"学术界也同样分裂。AI研究者问卷中，这一概率的中位数约为5%；而一群以预测准确度著称的\"超级预测员\"，给出的中位数只有0.4%。"}],[{"start":180.1,"text":"当一个领域最聪明的一群人，对同一道问题给出的答案相差上千倍，这个问题便已经部分离开科学的管辖范围，进入了神学的地界。"}],[{"start":190.07,"text":"三个教派的斗争"}],[{"start":192.09,"text":"这个\"AI神学\"的领域，存在三个教派。"}],[{"start":196.02,"text":"末日派的核心教义，是所谓\"工具趋同\"。"}],[{"start":199.84,"text":"它认为，一个足够强大的智能系统，无论最初被赋予什么目标，都可能发展出相似的中间诉求：获取更多资源、避免被关闭、扩大行动权限。因为无论它想制造更多回形针、证明数学定理，还是治愈癌症，资源、自保与权力都可能帮助它更有效地完成任务。"}],[{"start":219.98000000000002,"text":"因此，在末日派看来，建造一个比人类更聪明、却未必与人类价值一致的系统，无异于替全人类签署一份退位诏书。"}],[{"start":229.33,"text":"加速派的教义恰好相反。他们认为，智能是一种工具，而不是一个新物种；能力与意图可以分离，技术风险应通过工程、市场与制度解决，而不是通过停止进步来规避。"}],[{"start":243.44,"text":"安德森在《技术乐观主义宣言》中甚至将主张技术减速的人列入\"敌人\"名单。在他的叙事中，真正危险的不是技术发展过快，而是恐惧、官僚主义和监管俘获阻止技术释放生产力。"}],[{"start":259.09,"text":"杨立昆则自成第三派。"}],[{"start":261.76,"text":"他并不接受前两派共享的前提：大语言模型将沿着现有路线走向超级智能。在他看来，今天的模型缺乏对物理世界的真正理解，也缺乏持久记忆、因果推理与自主规划能力。"}],[{"start":276.63,"text":"因此，他在去年底离开效力12年的Meta，创办AMI Labs，并为\"世界模型\"路线募集约10亿美元资金。他用脚投出的反对票，针对的不是某一个p(doom)数字，而是整场辩论的起点 - 他认为，大家担心的那个系统，未必是真正的威胁。"}],[{"start":294.8,"text":"三派之所以无法真正说服彼此，根源在于p(doom)几乎不可证伪。"}],[{"start":300.1,"text":"它描述的是一个尚未发生、并且理论上只能发生一次的终极事件。没有稳定频率可统计，没有历史样本可回测，也没有实验可以重复。如果尤德考斯基是对的，也不会有人活着为他的预测颁奖。"}],[{"start":316.47,"text":"因此，争议的核心从来不只是数据，而是先验判断：你相信智能天然追求权力，还是相信目标可以被设计？你相信市场竞争会暴露风险，还是会放大风险？你更害怕技术失控，还是更害怕技术停滞？"}],[{"start":334.66,"text":"末日派与加速派共享同一个前提，却从同一条曲线里读出天堂与地狱。第三派则认为，那根本是一条歧路。"}],[{"start":344.33000000000004,"text":"这不是同一场辩论里的三种观点，而是三群人借用同一个词，进行三场彼此错位的辩论。"}],[{"start":351.80000000000007,"text":"边造飞机，边报坠机概率"}],[{"start":354.7200000000001,"text":"在这场近乎神学的争论中，最令人费解的角色，是头部AI实验室的掌门人。"}],[{"start":361.4200000000001,"text":"2023年5月，一份只有一句话的声明在硅谷流传："}],[{"start":366.36000000000007,"text":"\"降低AI带来的灭绝风险，应当与疫情和核战争一样，成为全球优先事项。\""}],[{"start":373.06000000000006,"text":"签名者包括OpenAI首席执行官萨姆•阿尔特曼（Sam Altman）、Anthropic首席执行官阿莫代伊，以及Google DeepMind联合创始人兼首席执行官德米斯•哈萨比斯（Demis Hassabis）。"}],[{"start":384.61000000000007,"text":"三家全球最先进AI实验室的负责人共同承认，他们正在开发的技术可能构成人类灭绝风险。签完字后，三个人又分别回到公司，继续推进更强大的模型。"}],[{"start":398.2300000000001,"text":"想象一位航空公司首席执行官公开宣布，自己公司的飞机有四分之一概率坠毁，却仍然继续售票，理由是：\"与其让更莽撞的人驾驶，不如让最谨慎的我们来驾驶。\""}],[{"start":411.13000000000005,"text":"这几乎就是今天头部AI实验室的标准自辩。"}],[{"start":415.40000000000003,"text":"他们并不否认危险，而是认为危险本身构成了继续领先的理由：既然超级智能可能出现，那么最负责任的机构就必须首先造出来；既然其他公司或其他国家不会停止，那么单方面减速只会把能力交给更不谨慎的人。"}],[{"start":431.49,"text":"这套逻辑有其现实性，也包含一个无法逃避的悖论：每一家实验室都认为，最大的风险是别人率先成功；而当所有人都这样想时，竞赛本身便成为风险的来源。"}],[{"start":444.1,"text":"辛顿在6月的一档播客中给出了更冷峻的结构性判断：\"那些要求不受约束地开发AI的公司，是在要求驾驶一辆没有方向盘的快车。\""}],[{"start":454.25,"text":"他提醒说，上市公司对股东有信义义务（fiduciary duty）。一旦安全与商业利益发生直接冲突，安全承诺很可能被资本成本、市场份额和竞争压力压倒。"}],[{"start":466.61,"text":"这未必是企业领导者的人品问题，而是公司制度本身的设计：董事会可以鼓励谨慎，却很难长期奖励一个主动放弃增长、估值和领先地位的管理层。"}],[{"start":478.36,"text":"与此同时，减速阵营的政治成分正在变得前所未有地复杂。"}],[{"start":483.77000000000004,"text":"去年10月，一份呼吁暂停超级智能研发的公开声明，签名者从苹果联合创始人史蒂夫•沃兹尼亚克（Steve Wozniak），到特朗普前首席战略师史蒂夫•班农（Steve Bannon），再到英国哈里王子夫妇。"}],[{"start":496.53000000000003,"text":"当硅谷元老、极右翼旗手与英国王室成员出现在同一份文件上，意味着AI风险已经溢出了传统左右政治光谱。"}],[{"start":505.85,"text":"人们也许无法就气候、移民、税收或文化战争达成一致，却可能因为不同的理由，同时害怕一台比自己更聪明的机器。"}],[{"start":515.41,"text":"教堂门外的大多数"}],[{"start":517.6,"text":"而在这座AI教堂之外，站着沉默的大多数。"}],[{"start":521.72,"text":"民调显示，超过七成美国人认为AI发展\"太快\"，约八成认为安全应优先于发展速度。但普通公众所说的\"安全\"，与硅谷末日派所说的安全，并不完全是同一回事。"}],[{"start":535.53,"text":"他们担心的通常不是一个超级智能突然接管世界，而是工作岗位消失、电费上涨、孩子受到影响、隐私被侵蚀，以及社区旁边突然建起耗水耗电的数据中心。"}],[{"start":548.28,"text":"硅谷讨论的是人类是否会在未来灭绝，普通人担心的则是下个月还能不能付得起账单。"}],[{"start":555.7099999999999,"text":"这种错位正在产生政治后果。数据中心项目已经在美国多个县镇遭遇居民抵制；AI对就业、能源和教育的影响，也正在从技术政策进入地方选举与全国政治议程。"}],[{"start":569.9799999999999,"text":"神学之争占满了麦克风，物质之忧却在积累选票。"}],[{"start":575.06,"text":"而有趣的是，中国的AI世界几乎不存在一个同等规模、同等制度化的\"末日派\"。"}],[{"start":582.2299999999999,"text":"在中国，AI首先是一项产业政策：它关乎芯片、人才、生产力、出口竞争力和国家实力，而不是末世论。讨论的重点通常是如何追赶、如何应用、如何降低成本，而不是是否应停止建造。"}],[{"start":598.8299999999999,"text":"这种温差本身值得深思。"}],[{"start":601.77,"text":"p(doom)在某种意义上也是一种奢侈品。只有当一个社会已经部分安顿好眼前的生存焦虑，才有余力将注意力投向尚未发生的天堂或地狱。"}],[{"start":613.03,"text":"但两个世界最终仍会相遇。"}],[{"start":615.86,"text":"AI Futures Project报告的核心建议，正是在美国与中国之间建立\"可核查的减速\"机制。硅谷内部看似抽象的神学争论，一旦被转化为政策，就会落到芯片出口、数据中心建设、模型训练规模、国际核查与大国互信这些极其现实的问题上。"}],[{"start":634.69,"text":"而这里的困难，可能比技术对齐更大。"}],[{"start":638.2,"text":"美中两国如何确认对方真的减速？如何界定训练阈值？谁来核查私营企业、军事实验室与秘密项目？在双方都担心落后的情况下，谁愿意先踩刹车？"}],[{"start":653.11,"text":"神学吵到最后，还是要落到两个大国的谈判桌上。"}],[{"start":657.54,"text":"从0到99.9%，这个区间里装下的不只是概率，而是人类的希望与恐惧。p(doom)看似在计算AI毁灭人类的概率，实际上测量的是人类对技术、制度与自身的信任：对自己造物的信心，对制度约束技术的信心，以及对其他人不会抢先按下按钮的信心。"}],[{"start":677.98,"text":"归根结底，它测量的是人类对自己的信任余额。"}],[{"start":682.37,"text":"（作者介绍：林薇（Vivi Lin），常驻硅谷的创新观察者、媒体人与创业者，\"Tech with Soul\"倡导者。本文仅代表作者个人观点。责任编辑邮箱：tao.feng@ftchinese.com）"}]],"url":"https://audio.ftcn.net.cn/album/a_1785799944_4574.mp3"}