问题:智能体从"会说"迈向"会做",安全风险随之集中暴露 随着大模型能力不断提升,人工智能正从对话交互加速走向任务执行。智能体这类新应用能够自主调度工具、调用外部资源并完成多步骤复杂任务,应用范围随之扩大,但风险也变得更复杂——链条更长、触点更多、传播更快。业界普遍关注的风险包括工具调用被诱导、代码执行引入漏洞、敏感数据泄露、越权操作,以及模型生成不安全代码带来的供应链风险。白皮书指出,安全不应是研发的"可选项",而是关系社会信任与产业可持续发展的"生命线"。 原因:能力提升与应用扩张叠加,工具调用与代码执行成为高风险环节 白皮书分析,智能体风险上升的关键两个上:其一,智能体具备更强的自治性,能较少人工介入的情况下完成"规划—调用—执行—反馈"的闭环;其二,应用场景快速下沉,用户可通过低门槛方式"自定义智能体",效率提升的同时也抬高了安全治理难度。发布会上涉及的负责人用"把保险箱放在家门口"作比,指出当用户自行拼装智能体而缺少统一的安全机制时,即使不一定发生事故,也难以形成可验证、可审计、可复用的安全保障。同时,工具调用与代码执行高度依赖底层模型的编程生成能力,一旦模型在代码安全规则、漏洞识别与防护策略上训练不足,就可能将风险"内嵌"到自动化流程中,放大为系统性隐患。 影响:安全治理能力将成为智能体规模化落地的关键门槛 从产业角度看,智能体正从试验性应用进入规模化部署阶段。若缺乏系统性治理,安全事件可能引发用户信任波动、企业合规成本上升,并对公共服务与关键行业应用形成外溢影响。对企业而言,单点加固难以覆盖"模型—工具—系统—业务"的复杂链路;对行业而言,标准缺位与实践割裂将导致治理碎片化,进而抬高创新门槛。白皮书的判断是:当智能体成为新型生产力工具,安全能力将从"成本项"转变为"竞争力",并成为跨行业协同落地的前置条件。 对策:提出"守己、利他、合作"三关键词,推动全链路、全栈式安全体系建设 在治理理念层面,白皮书提出全行业共同应对风险的三个关键词:守己、利他、合作。"守己"强调技术开发与产品落地必须遵循安全底线与合规要求,把风险控制前置;"利他"强调在追求效率与商业价值的同时,兼顾用户权益与社会公共利益;"合作"强调以开放协同凝聚共识,通过共享经验、共建能力、共促标准,形成风险治理合力。 在技术路径层面,阿里巴巴介绍了围绕芯片、云计算、模型到应用构建的立体化智能体安全防护体系。核心思路是两条主线并行:一是从源头增强基础大模型的"内生安全"能力,减少不安全行为与不安全代码生成的概率;二是构筑多层系统级安全"围栏",对智能体在规划、调用工具、执行代码、访问数据等关键环节实施全链路管控。 在模型训练上,相关负责人表示将编程场景的原生安全作为重点工作方向。依托长期积累的代码安全经验,利用千万级真实漏洞样本构建高质量安全训练语料,并将其融入模型训练的多个阶段,叠加多轮安全对齐与评测校验,以提升模型对漏洞模式、危险函数、越权逻辑等问题的识别与规避能力。据介绍,权威代码安全评测基准SecCodeBench中,其生成代码的安全性在开源模型中保持领先。 在生态协同上,白皮书提出以开源开放推动行业共治,将内部验证有效的技术与安全能力以公共产品形式向行业开放,促进可复用的治理工具与方法扩散,降低中小开发者与传统行业接入智能体的安全门槛,推动形成更广泛的责任共识与实践范式。 前景:从"各自为战"走向"共建共治",安全治理将推动智能体健康发展 面向未来,随着智能体进入更深层的业务流程与更复杂的社会场景,安全治理将从"防风险"更走向"建秩序"。业界预计,围绕模型安全、工具调用规范、可审计机制、红队测试、风险分级与应急处置等领域,将加速形成可落地的行业规则与评测体系。白皮书释放的信号是:以可验证的安全能力支撑可持续创新,以跨机构合作推动形成共识标准,才能让智能体在更大范围内安全可控地释放生产力价值。
智能技术的未来不仅是效率的竞赛,更是责任的考验。当行业从"能做"迈向"做好",安全与信任将成为衡量技术价值的终极标尺。这场关乎发展质量的转型,需要每个参与者以"守己"之心筑底线,以"利他"之行拓格局,方能在变革浪潮中行稳致远。