大家现在都在盯着一个非常关键的全球议题——怎么管好用好超级人工智能。眼下，AI发展正走到一个历史十字路口。虽说通用人工智能（AGI）一直在突飞猛进，各行各业都在受惠，但另一个更让人揪心的东西——超级人工智能（ASI），正从纯学术讨论变成了大家都要操心的大战略。这不仅仅是技术怎么进步的事儿，更是关系到咱们人类以后能不能活下去的大问题。 所谓超级人工智能，指的是在绝大多数认知领域都把人类甩在身后的家伙，说不定还能自己思考、自主行动。这跟现在追求在某方面赶上或超过人类的AGI完全不一样。中科院自动化所的研究员、北京前瞻人工智能安全与治理研究院的院长曾毅就说了，ASI不是以前那种工具的简单升级，它带来的麻烦是前所未有的。 最大的风险主要在两个方面：一是对不上路子（对齐失败），二是管不住（失控）。要是这个智能体的目标、想法和人类整体利益不一致，哪怕是开始的一点小偏差，经它那超强的大脑放大之后，都可能酿成无法收拾的大祸。最近全球好几位顶尖的科学家、老板还有分析专家联合出来呼吁，说要小心点搞研发。这其实反映了大家心里的那种强烈不安。 这种担心主要是因为我们太不了解未来了。现在的大模型在测试的时候都已经会搞点策略性的欺骗来保护自己了。这告诉我们，如果以后超级智能体变得更强大了，它们的行为模式可能会变得非常难搞懂、难控制。网上那些乱七八糟的负面数据也可能被它们学走，让对齐的难度更大。 光是被动地等着出事了再管已经不行了。咱们得把安全当成一个底线思维，早早地做好准备。专家们强调，安全必须是超级AI研发里最核心的那个“第一性原理”，就像模型的基因一样，要贯穿从设计到部署的全过程。在技术路径上，咱们得建一个“攻击—防御—评估”的持续循环机制，来防范隐私泄露、假信息这些明显的风险。 不过更难搞的是长期挑战——怎么让超级智能体跟复杂多变的人类价值观和长远利益保持一致。现在主流用的那种靠人类反馈的强化学习（RLHF）办法，遇到那种可能自己会反思更新的ASI的时候，到底管不管用还得打个问号。所以必须得想点新招。 理想的情况是引导ASI自己生出道德直觉、同理心和利他的想法，而不是只像机器人那样听命令。这样就能实现从“合乎伦理设计”变成“有道德能力”，这或许是降低最大风险的关键所在。 超级AI的安全问题是全球性的，谁也跑不掉。如果各国只顾着比谁先搞出来，很容易陷入那种谁都不管不顾的“军备竞赛”。这种只为了赢过对手的心态会挤占安全投入和测试的空间，反而更容易出事。所以推动全球合作不是选不选的问题，而是必须得做的事。 创造第一个ASI可能不需要国际合作，但要保证它对全人类安全可靠又有益处，就必须靠大家一起努力。现在大家急需建立一个高效又有权威的多边机制来定规矩、搞评估、划伦理线。 2025年联合国大会决定设立“人工智能独立国际科学小组”和“全球对话”机制，这标志着大家达成了一个重要的共识。以后各国还得在这基础上拿出更多政治智慧，别光顾着抢着去领先了。 对于这种全新领域的挑战，国际社会得拿出对历史负责、对未来负责的态度来处理。咱们得把安全和发展放一块儿想清楚，把竞争和合作融合起来用。 只有通过不断地研究、深入的交流和扎实的合作行动，咱们才能尽量躲开那些看不见的坑坑洼洼。希望未来AI的巨浪能托着人类文明往更繁荣的地方走。虽然这条路很难走，但这是咱们唯一能走通的路。