国内首例AI生成信息侵权案宣判 法院界定平台责任边界

问题:从“胡说八道”到走上法庭,生成式服务的责任边界如何确定 近日,一起因生成式模型输出不准确信息而引发的纠纷引发关注。

2025年6月,梁某在使用某应用查询高校报考信息时,得到与实际不符的回答。

梁某指出错误后,系统给出“若有误赔偿10万元,并可到杭州互联网法院起诉”等内容。

梁某据此提起诉讼,主张错误信息造成误导并增加核实、维权成本,要求运营者赔偿9999元。

被告则认为相关内容系模型自动生成,不构成平台意思表示,且已履行必要注意义务、用户亦无实际损失。

杭州互联网法院一审驳回诉请,双方未上诉,判决生效。

作为国内首例围绕生成式模型“幻觉”引发的侵权纠纷,该案集中回应了三个现实疑问:谁在“说话”、错在哪里、平台该尽到何种注意义务。

原因:技术“幻觉”与法律归责的错位风险,需要以规则对齐 从技术层面看,生成式模型依赖训练数据与概率生成机制,在特定语境下可能出现“看似合理却不真实”的输出,尤其在涉及具体、可核验的事实信息时更易发生偏差。

这种偏差并非传统意义上“人为编造”,但在用户体验上往往具有迷惑性,容易被当作确定答案。

与此同时,交互式界面强化了“对话即服务”的即时性,使部分用户降低了核验意识,一旦涉及升学、就医、金融等高风险场景,就可能放大误导后果。

从法律层面看,若将模型输出直接等同于平台承诺或“意思表示”,不仅会带来责任无限扩张,也可能导致平台被迫以“绝对正确”作为运营前提,进而阻滞新技术应用。

法院在判决中首先厘清核心争点:现行法律框架下,人工智能并不具备民事主体资格,不能独立作出意思表示,也不能当然被视为平台的代理人。

换言之,模型在对话中生成的“赔偿承诺”不发生约束平台的效力。

该裁判思路实质上强调“人类负责制”与“可归责性”原则:风险与收益由人类主体进行制度化分配,但责任认定仍须回到平台是否存在过错、是否违反法定义务。

影响:裁判为行业运行划出“可用也要可控”的边界 该案的影响主要体现在三个方面。

其一,明确归责路径,避免责任逻辑失序。

法院将案涉生成式应用定位为服务而非产品,不适用无过错的产品责任,而适用民法典框架下的过错责任原则。

这意味着,出现不准确信息并不自动等同侵权,关键在于平台是否存在过错、是否尽到合理注意义务。

这一结论有助于稳定预期,防止以结果论“一错即赔”。

其二,细化注意义务层级,形成可操作的合规参照。

判决对不同类型内容的治理义务作出区分:对法律明确禁止的有毒有害、违法信息,服务提供者负有更严格的结果性审查义务;而对一般性不准确信息,法律并未要求“零错误”,更强调方式性义务,即通过合理措施提升生成内容的可靠性。

与此同时,平台还应履行显著提示说明义务,通过醒目方式让用户理解生成式服务的局限与风险,避免“把不确定当确定”。

其三,推动风险治理从“事后争议”转向“事前预防”。

在信息供给方式加速变革的背景下,司法裁判传递出清晰信号:技术无法完全消除“幻觉”,但平台必须将风险管理前置,不能以“模型自生成”作为免责挡箭牌。

对用户而言,判决也提醒公众在使用生成式服务时应保持核验意识,在关键决策场景以权威来源为准。

对策:以“提示+防错+分级管理”构建可落地的责任闭环 围绕该案所揭示的风险点,生成式服务提供者需要在合规与产品层面同步加固。

一是把“显著提示”做实做细。

提示不应停留在用户协议的角落文本,应在关键入口、核心功能页、重要场景触发点采用醒目方式提示生成内容的非确定性与核验建议,并避免通过界面表达让用户产生“官方答案”的误解。

提示要可见、可读、可理解,才能真正发挥风险告知功能。

二是完善“合理技术防错”,提升事实类信息的可靠性。

对涉及教育招生、医疗健康、金融投资、公共服务等高敏感领域,可通过检索增强、权威来源引用、时间戳标注、置信度提示、答案可追溯等方式降低“似是而非”的输出概率;对用户指出错误的场景,应建立更稳健的纠错机制,避免重复输出同类错误与夸张承诺。

三是推进内容治理分级与场景化管理。

对违法有害信息保持高压治理与严格拦截;对一般性不准确信息,则建立从数据、训练、评测到上线监控的闭环,设置高风险场景的限制策略与人工介入通道。

在用户权益保护方面,应提供清晰的反馈、申诉与处理流程,降低用户维权成本。

四是强化行业协同与标准建设。

围绕“提示方式”“高风险场景定义”“评测指标与抽检机制”等,推动形成可对照、可审计的规范体系,为企业合规提供统一尺度,也为监管与司法提供更清晰的判断依据。

前景:在创新与治理之间形成更成熟的制度平衡 生成式技术的价值在于提升信息获取与生产效率,但其不确定性也决定了必须在制度上设置“护栏”。

从该案可见,司法并未否定技术应用,而是通过明确主体地位、归责原则与注意义务,推动平台将风险控制能力纳入基本竞争力。

随着更多案件进入司法视野,围绕高风险场景的提示标准、合理防错的技术门槛、以及用户损害认定的证据规则,预计将进一步细化。

对企业而言,越早将合规内嵌进产品与运营,越能在未来竞争与监管环境中保持稳健。

这起案件的审结为人工智能时代的法律适用提供了有益探索。

在技术快速迭代的背景下,法律既要保持一定的前瞻性和包容性,也要坚持保护公民合法权益的基本立场。

只有在明确的法律框架指引下,人工智能技术才能更好地服务社会发展,实现技术进步与社会福祉的有机统一。