因此，对于有极高风险的技术，我们需要持续关注安全问题。这方面的典型案例是核技术。核技术的产生就与战争紧密相关，并且被直接应用于战争，让全世界所有人都看到了它所带来的巨大伤亡和毁灭性风险。之后，从切尔诺贝利事故到福岛核事故，一系列核事故带来的灾难一再提醒人们关注核技术的风险防控。据说目前全球核技术领域95％的研发经费都被用在安全防控的研发上。
中国新闻周刊：核技术确实是一个很好的例子，但对其安全问题的重视是发生在灾难发生后。人类社会是否必须经历一场大灾难，才能真正推动对某项新技术的安全风险防控？
薛澜：社会对于新技术的风险认识确实存在滞后性。所以，如何让社会公众对新技术的潜在危害程度有更清晰的认识，是一个巨大的挑战。
人工智能技术和其他技术的安全风险还不太一样。即使是原子弹这样的核技术应用，它带来的危害还是在人类控制之下的。而如果通用人工智能系统产生了自我保护、自我发展的意识，不再受人类控制，乃至无法接受人类是它主人的现实，那我们所有人类的生存都将面临危险，这种安全问题一旦失控就是不可挽回的。所以，我们希望千万不要走到这一步。
当然，如何帮助全社会对新兴技术的风险建立一个全面客观的认识也是刻不容缓的事情。一些文学艺术作品或科幻作品对于人工智能技术的风险也有一些不切实际的夸大，使得社会部分人群也对人工智能技术产生不必要的恐惧，这样的情况也是需要注意的。
中国新闻周刊：在人工智能自主武器的治理上，以美国为代表的部分技术先进国家和其他国家之间的观点并不相同。一些国家为了自己的军事优势，不希望禁止对高风险技术的研发和应用。这种难题如何破解？
薛澜：提到人工智能在军事冲突中的应用，我认为禁止人工智能在军事领域的应用是我们大家共同努力的方向。只有这样，才能最大程度地降低安全失控的风险。中国自2014年以来积极参与《特定常规武器条约》缔约国关于致命性自主武器系统的讨论，是最早提出应禁止开发和应用完全自主的致命性武器的国家之一。
但是，一些世界主要国家，特别是联合国安理会的其他常任理事国，并没有加入中国这一呼吁。之后，国际社会又提出禁止应用完全自主的大规模致命性武器（但不禁止开发）等主张，依然没有得到除中国以外的其他大国的响应。
国际政治的现实是，一些国家认为自主武器是在战争中减少人员伤亡的好办法，是让自己形成战略优势的好工具。所以对于应当如何限制自主武器的开发应用，各国还存在不同的判断。但即使这样，有些安全问题是大家需要共同面对的。
一旦人工智能系统不受人类控制，我们面对的问题就不再是国家和国家之间冲突的问题，而是“碳基和硅基的对抗”。此外，主权国家之间的冲突可能还会受到各种国际公约和规则的制约，但如果有极端组织或者个人出于对社会的不满，使用人工智能技术报复社会，其后果将不堪设想。面对这些问题，全人类的利益一致，所采纳的风险防控机制和政策也应一致。这就如同民航业的安全检查，各国都会按照统一的国际标准执行。
复杂的“机制复合体”
中国新闻周刊：在人工智能全球治理的发展问题上，中共中央政治局委员、外交部部长王毅在两会记者会上强调，要促进各方加强技术共享，努力弥合智能鸿沟，不让任何国家掉队。你认为应如何保证“全球南方”国家不在人工智能技术革命中落后？
薛澜：首先，在风险防控问题上，要让人类社会的所有成员表达自己的意愿。即使没有掌握新技术的国家，也有权利和义务就技术安全问题作出自己的判断，表达自己的意愿并参与规则制定。
其次，人工智能发展会带来巨大的经济社会利益，要保证发展中国家在技术革命的过程中也能分享红利。发展中国家在这个问题上的意愿是非常强烈的。2022年，我在埃及作了一个关于中国人工智能发展的报告，埃及政府的许多官员、学者对此非常感兴趣，特别希望和中国加强合作，希望埃及也能“赶上”。
在具体操作层面，这就需要中国、美国等人工智能“第一梯队”国家在全球技术共享上采取更多的积极措施。这包括和发展中国家的相关机构、高校及企业合作，使他们尽快掌握和应用人工智能技术，为社会造福，同时也要保证他们能安全地使用新技术。
