上周我曾探讨人工智能究竟是泡沫、是福、还是祸？我的答案依次是：“在某种程度上是；是；是。”现在，我想更深入地思考最后一个问题：人工智能是祸吗？我将考虑的议题是：人工智能究竟有多危险？我们应该如何遏制它？有没有任何形式的监管将会奏效？我的主要结论是：它肯定是危险的；我们肯定应该尝试监管它；然而，这种尝试极有可能会失败。
有人告诉我，我无权发表评论，因为我不是专家。另一些人则争辩说，我们必须拥抱技术带给我们的一切，因为那是经济增长的源泉。这两种观点都错了。民主是一项共同参与的政治事业。对于如何管理危险的新技术，我们所有人都有权参与辩论。
原子弹发明之时，这个道理就是成立的。它对人工智能——这项技术将带来复杂得多、但也危险的后果——同样适用。况且，在社交媒体对年轻人以及可靠信息这一公共物品造成巨大损害后，某些科技行业大人物自认为有权决定此类事情的主张显然失去了正当性。
将人工智能与核武器相提并论是否不合理？并非如此，因为前者同样可能带来巨大危害。这些危害大致可分为三类：人类基本价值观的崩塌；某些巨大的特定危险；以及广泛的社会动荡。
人类思考、创造和行动。当——或者说如果——机器开始替我们思考，甚至替我们创造和行动时，会发生什么？人类是仍将会竭尽全力去理解客观世界，还是会变得习惯于被动接受现成答案？简言之，人工智能会不会不仅改变人类做什么，还会改变我们的根本属性？
人之所以为人，一个核心方面是承担责任。当阿根廷总统哈维尔•米莱(Javier Milei)宣布在法律上设立“非人类公司”作为新的公司类别时，这一点变得尤为突出。就像历史学家尤瓦尔•赫拉利(Yuval Harari)回应的那样：“赋予人工智能法律人格的国家，可能变成一种历史上从未出现过的国家：不是‘公司国家’，而是‘人工智能国家’。”
从法律上讲，公司是“人”。但人工智能公司可能在无人参与的情况下做出决策。人工智能程序如何——以及对谁——负责？犯罪的首席执行官会坐牢。人工智能的对应机制是什么？就像教皇所说，人工智能是一种“工具”。它不是人。它会感到痛苦吗？它会流血吗？它能承担道德责任吗？它能以任何有意义的方式被追责吗？答案都是否定的。此外，责任问题并不仅限于商业领域。一旦人工智能指挥机器人军队，你该去追究谁的战争罪？
对于能够利用人工智能与其他技术融合所带来的资源的其他机构，问责问题同样存在。大规模监控的可能性极大。自主武器的发展潜力也是如此。捏造虚假信息、深度伪造和诈骗的手段已经大大增强。这些技术进展既可能被国家利用，也可能被私人行为者利用，或者两者兼而有之。在这样的世界里，法律与政治问责机制将如何运作？在一篇煽动性的Substack文章中，经济学家诺亚•史密斯(Noah Smith)甚至认为人工智能将接管世界。
还有就是一些更为特定的危险。其中一个明显的危险是人工智能破坏当今依赖网络的人类文明的能力。当Anthropic警告其Mythos模型对网络安全构成威胁时，我们已经看到了这方面的预兆。几乎我们所依赖的一切东西，反过来都依赖于这些系统。如果人工智能能够破坏这些系统，我们的生活将变得极度不安全，我们被敲诈勒索的可能性将无穷无尽。设计致命病原体的可能性同样令人恐惧。
胡佛研究所(Hoover Institution)的尼尔•弗格森(Niall Ferguson)警告说，人工智能无法控制的部分原因在于，它正受到两场同时进行的军备竞赛推动：一场发生在少数几家企业之间，另一场发生在美国与中国之间。到目前为止，美国决定不监管本国企业之间的这场竞争，而美国和中国也没有尝试控制两国之间的竞争。弗格森认为，前者在很大程度上可以由后者解释。他主张，美中两国就人工智能监管达成协议，是控制美国领先企业之间的“黑手党式”竞争的必要条件。
于是，就像我上周论述的那样，我们陷入了一个陷阱：技术专家们正以惊人的速度将我们推入一个新世界，而这会有什么后果是我们既不理解也无法掌控的。这在一定程度上是因为人工智能是最“通用”的通用技术。潜在而言，它甚至可能意味着用机器智能取代人类。就像我已经指出的，其影响绝非只是可能引发一些特定的危险，而是会广泛得多。人工智能还将影响我们对于自己作为人类的身份认同感，影响我们组织和理解社会的方式：没有感觉、没有意识、更没有良知的程序，是否应该能够像人一样行事？
无论如何，我们显然希望遏制那些最大的危险，尤其是上文讨论的那些危险。就此而言，明智的前进方向是由美国和中国识别相关危险，然后达成某种人工智能裁军条约。那或许能让所有人都感到更安全。
好消息是，人们对未来经济和社会动荡的恐惧正在引发广泛担忧。大家正确地认为，未来太重要，不能交给少数“科技大师”来决定，就像战争太重要，不能只交给将领们决定一样。鉴于此，监管的空间或许会出现。下周我将探讨我们可以采取哪些应对措施。
译者/和风