美国财政部长贝森特和中国副总理何立峰在纽约举行的新一轮经贸会谈，除了关税、稀土、美国农产品和波音飞机仍是重要议题外，增加了人工智能安全这项新内容。贝森特向中方提出建立AI安全事件通报机制，双方同意启动相关对话，并把这一建议交给即将举行的中美领导人会谈讨论。
据报道，双方关注的风险包括具有自我改进能力的AI失控，以及AI被用于网络攻击、生物武器和核武器。这件事的重要性，不只是中美谈判桌上多了一个项目。它说明，AI在中美关系中的角色正在发生变化。过去双方谈AI，重点是谁的模型更强、芯片更多、算力更大，以及美国如何限制中国获得先进技术。现在，AI又被当成一种可能需要两国共同管控的风险。
然而，中美虽然都开始谈AI安全，怕的却不是同一种危险。即使在美中各自内部，企业和政府怕的也不一样。
美国这一轮AI恐慌，首先来自企业界。马斯克、OpenAI首席执行官奥尔特曼、Anthropic首席执行官阿莫代伊等人先后警告，最先进的AI可能在未来几年获得自主行动甚至自我改进能力。一旦AI学会欺骗人类、规避安全测试，或者把自己复制到人类难以控制的网络和设备中，它带来的就不只是失业、假新闻或者隐私泄露，还有人类可能失去对机器的最终控制。
这些担忧不能简单视为企业家为了吸引眼球制造的噱头。开发前沿模型的公司最先看到模型出现了哪些意外能力，也最清楚AI自主行动后可能造成的后果。当几个彼此竞争、都在争夺市场的企业负责人同时发出警报，外界不能完全置之不理。
但企业对AI安全的强调也并非没有自身利益。对已经居于领先位置的公司来说，越严格的安全标准意味着越高的研发门槛。只有拥有足够算力、数据、资金和测试能力的大公司，才承担得起这些成本。政府如果按照领先企业提出的标准监管AI，最后很可能不是限制它们，而是帮助它们挡住后来的竞争者。
这并不意味着这些企业的安全警告是假的，而是说，技术恐惧和商业利益可以同时存在。领先者确实看到了风险，也确实可能利用风险巩固领先地位。AI安全由此既是一种公共议题，也是一种市场权力。
美国政府的担忧则不完全相同。相比AI会不会毁灭人类，华盛顿更关心AI在美中的国家竞争中会落到谁手里。
AI可以自动寻找网络漏洞，帮助设计生物制剂，进入无人机、导弹预警和军事指挥系统，也可以大幅压缩国家领导人在危机中的决策时间。如果一个自动化系统把普通军事调动判断为即将发动的攻击，另一个系统又根据这一判断自动作出反应，一场原本可以通过外交沟通化解的危机，可能在几分钟内越过人类能够阻止的临界点。
这就是美国愿意同中国讨论AI安全的现实原因。它希望两国至少在核武器、军事指挥和重大网络攻击等问题上划出红线，保留“有意义的人类控制”，并建立类似核大国之间的危机沟通机制。
但美国政府也怕中国借助AI改变中美力量对比。美国企业目前在最先进模型、芯片和算力上仍然领先，中国却拥有庞大的工程师队伍、制造能力、电力供应、应用场景和政府组织规划能力。一旦中国把AI大规模嵌入制造业、军事体系和社会治理，美国今天拥有的模型优势未必能够自动转化为长期战略优势。
所以，华盛顿的AI政策从一开始就包含两条并不完全协调的路线：一条是防止AI失控，另一条是防止中国追上。前者要求中美合作，后者要求美国限制中国获得先进芯片、设备、模型和数据。美国政府希望中国接受共同的安全规则，却不会因此放松对中国的技术封锁。
中国企业对此自然保持警惕。华为轮值董事长徐直军最近直言，中国AI还不够强，尚未强到出现美国企业所说的前沿风险。中国现在首先应该做的是加快发展，等达到那个阶段后再研究如何解决那些风险。
这句话虽然听上去有些冒险，却准确反映了中国科技企业的处境。美国企业已经跑在前面，现在却告诉后来者，前面的道路太危险，大家应该一起减速。中国企业很难不怀疑，美国所说的“安全护栏”会不会变成一道新的技术壁垒。
如果安全标准规定，只有拥有某种芯片、测试能力和合规体系的企业才能训练前沿模型，中国企业可能在进入赛场之前就被取消资格。如果最强模型必须封闭，开源模型受到额外限制，中国依靠开源生态缩小差距的路径也会被堵住。对中国企业来说，眼下最迫切的危险不是AI产生自我意识，而是美国把安全问题转化为市场准入和技术封锁。
中国官方对AI的风险意识其实比企业更早，也复杂得多。它既怕中国在竞争中落后，也确实怕AI带来失控风险，但官方所理解的“失控”，首先不是机器摆脱人类控制，而是对政府的治理造成冲击。
中国有关部门负责人最近就发文列举了AI带来的六大风险，警告“敌对势力和别有用心之人”可能利用深度伪造音视频、AI生成图文和“智能水军”，低成本、批量化制造政治谣言，对中国发动舆论战和认知战，威胁政治安全、制度安全和意识形态安全。这段表述很能说明中国官方和美国对AI安全的不同理解。
生成式AI确实改变了信息生产的成本。过去制造大量看似真实的文字、图片和视频，需要相当多人力；现在一个人就可以指挥大量AI账号持续生产内容。网管部门面对的是一套可以自动生成、自动改写和自动扩散的信息机器。更麻烦的是，深度伪造不只是制造假消息，也可能摧毁人们对真消息的信任。当真假越来越难以区分，政府对社会的治理也就会比过去面对更大的挑战。
中国的担心还不止于此。央行货币政策委员会委员黄益平日前提出，AI的广泛应用可能进一步加重中国“供给强、需求弱”的经济失衡。
这个判断触到了中国发展AI的另一个矛盾。中国的优势本来就在生产端：制造业体系完整，政府能够集中资源建设电网、数据中心和算力基础设施，也有大量产业场景可供AI落地。AI越快进入工厂、物流和商业服务，中国的生产效率就越高。
可是，中国经济目前最缺的不是更强的生产能力，而是足够的消费需求。AI如果一方面提高产量，另一方面替代部分白领和制造业岗位，压低劳动者对未来收入的预期，结果可能是商品生产得更多，愿意和有能力购买商品的人却没有相应增加。AI原本被寄望于成为中国经济的新增长引擎，最后却可能进一步拉大生产和消费之间的裂缝。
这也是美国企业谈得不多、中国官方却不能不考虑的问题。当中国还要面对AI对就业、收入分配和社会稳定的冲击时，官方既不能让AI毫无节制地替代就业，又不能停下来不快速推广AI，否则慢下来就可能输掉与美国的竞争。
然而，中国不会因此轻易接受美国提出的AI安全规则，原因在于，官方担心美国会像对待芯片和通信技术一样，把“国家安全”变成打压中国AI的新工具。
美国已经证明，国家安全的定义可以不断扩大。从先进芯片到光刻设备，从云计算服务到对外投资，只要某项技术被认定可能增强中国军事实力，就可能进入限制范围。未来如果前沿模型本身被定义为危险能力，美国便可以要求盟友限制中国企业获得模型、算力和训练数据，还可能以防止扩散为名限制中国开源模型进入国际市场。
在这种情况下，中美所谓的AI安全合作，从一开始就不会只是一场关于人类命运的理性讨论。双方争论哪些能力危险、哪些模型必须接受审查、谁来进行安全测试，实际上是在争夺AI时代的规则制定权。
核武器管控至少可以通过卫星、核材料和发射装置进行一定程度的核查，AI却不同。同一个模型既可以用于医疗研究，也可以用于生物武器；既可以管理城市交通，也可以指挥无人机。算法可以复制，模型可以隐藏在商业机构和数据中心内，技术突破甚至可能发生在政府并不完全知情的企业实验室。中美即使同意建立护栏，也很难确认对方是否真正遵守。
这将使AI安全出现一个危险后果，双方越认识到AI可能失控，越不敢让对方率先获得决定性优势。对风险的共同恐惧不一定带来合作，反而可能加快竞争。因为谁都担心，自己踩下刹车时，对方还在继续加速。
中美领导人讨论AI安全，当然有助于建立最基本的危机沟通和军事红线。但真正的较量，将发生在“安全”这个词由谁解释。中美不管谁能够定义什么是危险模型，它就可能决定其他国家可以把AI发展到什么程度。
从这个意义上说，AI时代第一场规则竞争，或许正以防止AI战争的名义展开。
（注：作者是独立学者，中国战略分析智库研究员。本文仅代表作者个人观点。）