科学家呼吁：全球需联手应对AI可能带来的灾难性风险
人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。
我们应建立预警阈值，即模型的能力水平表明该模型可能会越过或接近越过红线。
9月5日-8日，全球顶尖的人工智能（AI）科学家汇聚威尼斯，共同呼吁各国政府和研究人员联手应对AI可能带来的灾难性风险。图灵奖得主约书亚·本吉奥（Yoshua Bengio）、姚期智教授，清华大学讲席教授张亚勤、加州大学伯克利分校教授斯图尔特·罗素（Stuart Russell）等多位计算机科学领域的领军人物，共同出席了由AI安全国际论坛（Safe AI Forum）和博古睿研究院共同举办的第三届国际AI安全对话（International Dialogues on AI Safety）。
在为期三天的会议中，与会科学家们共同达成了一份具有重要意义的共识声明，其核心观点强调了AI安全作为“全球公共产品”的重要性，建议各国应将AI安全纳入学术与技术合作的核心领域。
共识指出，人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。由于人工智能带来的风险具有全球性，我们必须将人工智能安全视为全球公共产品，并为实现这些风险的全球治理而努力。
?
共识认为，作为第一步，各国应设立有能力在其境内监测和应对人工智能事故与灾难性风险的部门。各国监管部门应协同合作，制定应对重大人工智能事故与灾难性风险的全球应急计划。长远来看，各国应建立国际监管机制，以防止出现可能带来全球灾难性风险的模型。为了应对可能到来的由高级人工智能系统引发的灾难性风险，科学家呼吁，国际社会应考虑启动三项工作程序，包括应急准备协议与制度、安全保障体系，以及全球人工智能安全和验证的独立研究。
清华大学国际安全与战略中心主任傅莹，清华大学人工智能国际治理研究院院长薛澜,中国科学院自动化研究所类脑智能研究中心副主任曾毅远程参与了讨论。
在会议的第二天，科学家们与政策制定者、前国家元首及其他领域的专家进行了深入讨论，参会者包括前爱尔兰总统Mary Robinson，卡内基国际和平基金会主席Mariano-Florentino (Tino) Cuéllar，欧盟人工智能标准CEN-CENELEC JTC 21主席Sebastian Hallensleben。面对人工智能技术的快速发展，专家们一致认为，尽快实施这些提案至关重要。此次声明将呈交给多国政策制定者，并在会议中探讨了国际社会应如何协同合作，实现这一目标的战略路径。
以下为“声明”官方中文翻译
《AI安全国际对话威尼斯共识》
人工智能系统能力的迅速发展，正将人类推向一个人工智能可以达到甚至超越人类智能的世界。专家普遍认同这些人工智能系统可能会在未来数十年内被开发出来，很多人认为它们的到来会更快。人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。由于人工智能带来的风险具有全球性，我们必须将人工智能安全视为全球公共产品，并为实现这些风险的全球治理而努力。我们必须未雨绸缪，齐心防范任何随时可能出现的灾难性风险。
国际社会的初步积极举措表明，即使在紧张的地缘政治局势下，在人工智能安全和治理方面开展合作也是可以实现的。各国政府和人工智能开发者在两次峰会上承诺遵循基础性原则，以促进人工智能的负责任发展，并最大限度地减少风险。得益于这些峰会，各国陆续设立了人工智能安全研究所或相似机构，推进测评、研究和标准制定工作。
上述努力值得肯定，必须持续推进。各国需要为人工智能安全研究所提供足够的资源，并继续召开峰会，支持其他国际治理举措。然而，各国需要在现有的努力上迈出更大步伐。作为第一步，各国应设立有能力在其境内监测和应对人工智能事故与灾难性风险的部门。各国监管部门应协同合作，制定应对重大人工智能事故与灾难性风险的全球应急计划。长远来看，各国应建立国际监管机制，以防止出现可能带来全球灾难性风险的模型。
