全球首个有效的人工智能安全协议正面临无信任的挑战。随着人工智能发展速度的加快，人们日益担忧其潜在风险。在旧金山的一场闭门会议上，来自多家领先前沿实验室的AI开发者和安全研究者发出警告：AI技术的进步可能超出我们的理解和控制能力。
这一问题的紧迫性在上周愈加明显。前Anthropic员工Jacob Coxon发出辞职警告，呼吁对自我改进AI的开发进行遏制。随后，Anthropic首席执行官Dario Amodei提出，必须在公司、国家间甚至全球层面进行协调，以应对迅速发展的AI威胁。这一提议的成功与否，将直接关乎全球人工智能的安全性。
安全问题迫在眉睫
设想美国前沿实验室出于安全原因减缓非必要的AI发展。那么，如果中国继续全速前行，美国可能在这一世纪最重要的技术竞争中失去战略优势。反之亦然，倘若中国认为美国暗中加速，那么保持克制的理由亦将消失。
这一信任危机阻碍了美国与中国在AI发展上的合作。双方在隐私、监控、审查等领域缺乏共识，共同制定框架的难度巨大。然而，协议的重点可能不在于达成广泛共识，而在于避免灾难发生。双方都无益于失去对能够自主复制的系统的控制。国际协调正是要从此开始。
放慢脚步的时机要明确
否则，等到AI模型已经开始自主复制，可能就为时已晚。因此，必须提前确立预警指标和开发实践。这些指标包括AI自主进行研究的能力增长或朝向危险生物能力的急剧发展。
协议应明确：当危险能力逼近，而安全措施无法跟上时，必须减缓或暂停开发。这比尝试制定一个全球的AI速度上限更为现实。
合作不需要信任
回顾过去在打击恐怖融资和金融犯罪的全球努力，参与国之间常常缺乏信任，但却依然能够形成有效的合作机制。各国就共同威胁达成了有限共识，并通过专业评估实施监督。
前沿AI同样可以借鉴这种逻辑。美国和中国的技术专家将评估指标是否被触发，而更广泛的联盟可以通过影响半导体等基础设施使违规成本显著增加。这种合作的核心在于达成一项安全协议，即便其基础是相互间的缺乏信任。
最终，全球AI安全协议的成功在于双方恐惧相同的灾难，对何时刹车达成一致，指派谁来决定预警信号是否出现，以及如果一方继续前进会产生何种后果，至关重要。
common problems
全球AI安全协议的主要目的是什么？
主要目的是为应对快速发展的AI技术带来的潜在风险，确保在缺乏信任的情况下仍能制定有效的安全措施。
为什么美中两国在AI发展上缺乏合作？
由于隐私、监控等多方面缺乏共识，双方存在严重的信任危机，导致合作难以实现。
有效的AI安全协议需要哪些步骤？
首先需要确定预警指标，其次是制定减缓或暂停发展危险能力的具体措施，让各方在面临重大风险时能及时反应。
如何验证双方在AI发展上的遵守情况？
虽然完美的验证不可能，但目标是使违规行为易被发现且成本高昂，从而促使各方自觉遵守协议。
