问题——生成式内容“看似可信却可能失真”,误导后果如何定性? 随着智能对话、信息检索类服务广泛进入教育咨询、消费决策等场景,用户对其“即时、权威”的期待不断上升。但生成式模型存“幻觉”风险,可能将概率性推断包装成确定性事实。当不准确信息进入现实决策链条,是否构成侵权、谁应担责、如何举证与救济,成为新型纠纷的核心议题。此次杭州互联网法院审理的案件,正面回应了“模型输出承诺是否有效”“服务提供者责任以何为界”等争点。 原因——技术局限与使用场景叠加,导致“错误信息—信赖—损失”链条易被放大。 据法院查明,原告梁某在注册使用某智能对话应用后,就高校报考信息进行询问,应用生成了关于某校区存在与否的不准确信息。在原告纠正并质疑后,模型仍坚持其说,并更给出所谓解决方案,提出若生成内容有误将向用户提供10万元赔偿。原告随后提供来自高校官网的招生信息,模型才承认此前内容不准确,并提示可通过诉讼索赔。原告据此起诉,要求运营方赔偿损失9999元。 从纠纷成因看,一上,生成式模型输出意义在于“语言流畅、逻辑自洽”的特征,容易增强用户信赖;另一方面,高校报考等信息具有强时效性和高敏感度,一旦信息偏差被误用,用户可能担忧错过机会、增加核验成本与维权成本。技术的概率性与场景的确定性需求相冲突,促使纠纷进入司法审查。 影响——裁判明确三条关键规则:承诺不当然有效、归责以过错为主、责任审查回到构成要件。 其一,关于“赔偿承诺”是否构成法律上的意思表示。法院指出,人工智能不具有民事主体资格,不能独立作出意思表示。模型对话中随机生成的“赔偿承诺”,亦不能当然视为服务提供者的意思表示。裁判从主体资格、工具属性、合理信赖、外观表示等角度强调:若服务提供者并未通过产品设计、明确条款或公开承诺将模型输出作为对外承诺,用户仅凭一次对话中生成的赔偿表述,难以形成可受法律保护的合理信赖,该“承诺”不产生意思表示的法律效力。 其二,关于责任适用何种归责原则。法院认为,生成式服务在现行规范框架下属于“服务”而非产品责任意义上的“产品”,不宜直接套用无过错的产品责任规则。本案更适用民法典的一般过错责任原则。裁判同时给出理由:该类服务缺乏固定用途与可操作的统一质检标准;生成信息本身通常不具备高度危险性;服务提供者对具体输出的预见和控制能力有限;若普遍适用无过错责任,可能不当加重责任、抑制产业创新。 其三,关于是否构成侵权,审查应回归“行为—过错—损害—因果关系”的要件体系。法院在论述中提示,若主张受侵害的是纯粹经济利益而非人格权、物权等绝对权,不能仅以“信息不准”就当然推定行为违法性与损害成立。此类案件中,原告需证明实际损失、损失与不准确信息之间的具体因果链条;同时,还需审查服务提供者是否已履行合理注意义务,例如是否有显著提示信息可能不准确、是否提供核验渠道、是否针对高风险领域采取限制或二次确认机制等。 对策——以制度化合规与分级治理,降低“幻觉”进入决策链条的概率。 对行业而言,应从“提示义务—场景管理—纠错机制—证据留存”四个上完善治理: 一是强化显著告知与使用边界提示,避免将概率性输出包装为确定性结论,尤其在教育招生、医疗健康、金融投资等高风险领域,应设置更清晰的风险提示与“请以权威来源为准”的核验指引。 二是建立场景分级与内容控制策略,对高敏感问题引入检索增强、引用来源标注、拒答或转人工机制,减少无来源断言。 三是完善纠错与申诉通道,对用户指出错误后,系统应具备“降置信—复核—修正”的流程,避免在纠错后仍输出强化错误的内容。 四是做好日志留存与可解释性建设,为纠纷发生后的事实查明、责任判断提供基础,同时推动企业内部形成可审计的合规闭环。 对用户而言,应当形成信息核验习惯,对重大决策事项优先以权威渠道为准,并保留咨询、核验与沟通记录,以便必要时维护自身权益。 前景——司法规则与行业治理将同步推进,“技术应用—风险控制—责任体系”有望更趋清晰。 生成式技术正在从“工具型辅助”走向“决策前置”,其社会影响将持续扩大。此次裁判,在于为新技术应用建立可预期的法律坐标:既不因技术新颖而放任风险外溢,也不以过重责任压缩产业空间。未来,围绕高风险场景的标准化提示、内容来源标注、模型评估与第三方审计、纠纷举证规则等,仍有进一步细化空间。随着监管规则、行业自律与司法裁判相互衔接,生成式服务的治理将更注重“可控、可核验、可追责”。
此判决标志着我国对生成式AI的法律规制进入新阶段,为类似纠纷的处理提供了基本原则;随着技术发展,有关法律问题将不断涌现。未来需在司法实践和立法中持续完善规则,兼顾用户权益保护和技术创新,构建科学合理的AI治理体系。