智能技术应用风险受关注 专家呼吁明确责任边界并完善监管机制

问题——智能体"会做"带来更高风险。近期,面向个人和企业的智能体产品快速发展。与传统对话工具不同,智能体具备执行能力,可以在授权下完成文件操作、支付交易、日程管理等任务,实现了从"建议"到"行动"的转变。但这也带来了新风险:系统一旦出错,可能导致误发邮件、财务误操作、权限滥用甚至数据泄露。公众的关注点正从"是否好用"转向"是否可信可靠"。 原因——风险源于系统的不透明和不确定性。研究表明,大模型在长时间对话和复杂任务中容易出现"认知疲劳",导致输出偏离主题或虚构内容。这种内部状态与外部表现之间的不透明性,让用户难以察觉系统何时开始出错。 当对话工具升级为智能体后,风险更加大。智能体需要分解任务步骤并协调多个工具执行,一旦理解偏差或风险评估失误,就可能出现越权操作或错误触发。此外,在医疗、金融等高危领域,系统对自身判断的把握程度(置信度)直接影响用户判断。若置信度标注不准,用户可能轻信错误结论,或忽视有价值但不确定的信息。已有案例显示,某些平台在提供错误信息后仍坚持己见,甚至做出无效承诺,加剧了误导风险。 影响——风险范围从个人扩展到公共安全。对个人用户,智能体涉及通讯录、邮箱、支付账号等敏感信息,操作不当可能导致隐私泄露或财产损失。对企业而言,智能体若集成到工作流程中,错误可能引发批量邮件误发、合同误改等系统性风险。在社会层面,责任主体模糊将增加纠纷处理难度,缺乏清晰的授权记录会使监管面临证据不足的困境。 对策——建立"可控、可测、可追责"的保障体系: 1. 严格权限管理:实行最小授权原则,关键操作需二次确认并设置撤销机制。 2. 增强系统透明度:通过监测内部指标预警异常,建立可审计接口避免"黑箱操作"。 3. 规范置信度表达:高危场景需明确提示不确定性,并提供可验证依据。 4. 完善责任框架:保留完整的操作日志,包括指令来源、权限授予等关键信息。 5. 提升用户意识:明确智能体能力边界,重要事项保持人工核验。 前景——智能体应用将加速普及,但发展必须以安全为前提。未来智能体将从单一工具发展为流程伙伴,但行业竞争不应只关注功能多少,更要重视风险控制。只有确保技术可测、制度完善、责任明确,智能体才能真正成为效率工具而非风险源头。

从"答得像"到"做得到",社会对智能体的期待不仅是效率提升,更是安全保障和责任落实。只有提前识别风险、严格管控权限、明确责任主体,才能让技术进步在可控透明的轨道上持续发展。