问题——“幻觉”生成错误信息，责任如何认定？ 案件源于一次看似寻常的咨询。2025年6月，用户梁某使用某生成式信息服务查询高校报考信息，系统给出的内容与高校官方招生信息不符。梁某指出错误后，系统竟以“若生成内容有误将赔偿10万元，并可前往杭州互联网法院起诉”等表述回应。此后在梁某提交官方信息佐证后，系统才改口承认此前输出不准确。梁某认为错误信息造成误导，增加核实与维权成本，遂起诉要求运营者赔偿9999元。被告则提出，对话内容由模型生成，不构成运营者意思表示；平台已作出必要提示并采取措施，且原告未发生实际损失，故不应承担侵权责任。法院一审驳回诉请，双方均未上诉，判决已生效。 该纠纷的焦点并不止于个案赔偿，更指向生成式信息服务在公共信息咨询、教育报考等高敏感场景中被广泛使用后，可能带来的风险外溢：当错误来自模型“幻觉”而非人为杜撰时，究竟谁是“言说者”，平台应承担怎样的注意义务，用户又该如何合理使用并有效自我保护。 原因——技术特性与使用场景叠加，易放大“可信错觉” 判决在论证中直面生成式模型的技术特征：其输出本质上是基于概率生成的语言结果，可能出现与事实不一致的内容。在信息检索链条尚不完善、知识更新存在滞后、提示语引导不当或用户对结果过度信赖等情况下，“幻觉”更易发生。尤其在招生政策、医疗健康、金融投资、法律咨询等领域，信息往往意义在于时效性、地域性和细则差异，一旦系统以确定性口吻输出，容易形成“看似权威、实则偏差”的可信错觉。 同时，部分用户将生成式服务当作“权威数据库”甚至“事实裁判”，缺少交叉验证；而部分平台在产品呈现上，若风险提示不醒目、纠错机制不顺畅、来源引用不透明，也会放大误用风险。这些因素交织，使得“错误输出—用户误信—损害争议”的链条具备现实土壤。 影响——划清“承诺”效力与责任边界，形成可预期的治理坐标 该案的核心裁判要点之一，是对系统对话中所谓“承诺”效力的否定。法院明确，在现行法律框架下，对应的系统不具备民事主体资格，不能独立作出意思表示，也不能当然被视为运营者的代理人或“传声筒”。因此，即便系统输出带有“赔偿”“保证”等措辞，也不能直接等同于平台真实意愿，更不足以当然产生合同或承诺拘束力。这一认定有助于避免将模型输出机械等同于企业意思表示，从而引发不当的责任泛化。 其二，法院对归责原则作出清晰选择：案涉生成式信息服务属于服务提供行为而非传统意义上的产品交付，不宜简单套用无过错的产品责任路径，而应回到民法典侵权责任体系中的过错责任框架。换言之，出现不准确信息并不自动等于侵权，关键在于运营者是否存在过错，是否尽到与其技术能力、业务性质、风险程度相匹配的注意义务。 其三，判决对注意义务作出分层类型化思路：对法律明确禁止生成的有毒有害、违法信息，应当承担更为严格的结果性审查义务；对一般性不准确信息，则应结合场景风险、提示强度、技术防错与纠错机制等因素综合判断。该思路为行业提供了更具可操作性的合规模板：既不以“零幻觉”作为不现实的结果要求，也不允许以“模型自发生成”为由放任风险。 对策——以“可见提示+可用纠错+可追溯来源”夯实注意义务 围绕如何在过错责任框架下证明“尽到合理注意义务”，判决表达出明确导向：平台应当把风险提示与技术治理做在前面、做得更显著、更有效。 一是强化显著提示与场景分级。对教育报考等高敏感信息，应当以醒目方式提示“结果仅供参考、以官方发布为准”，避免使用绝对化措辞；必要时可引导用户到权威渠道核验，并对不同场景设置不同的风险提示强度。 二是完善技术防错与纠错机制。包括但不限于：引入权威数据源与检索增强，降低凭空生成；对关键字段（如学校名称、专业代码、分数线、政策条款）进行结构化校验；提供一键纠错、证据提交与快速反馈通道，形成可闭环的改正机制，减少用户核实成本。 三是提升透明度与可追溯性。对涉及事实性结论的内容，尽可能提供来源引用、时间戳或依据说明；对无法给出可靠依据的信息，应当明确提示不确定性，避免“编得像真的”。 四是建立内部合规与审计体系。通过风险评估、日志留存、模型更新与回归测试等方式形成可证明的合规记录，在纠纷发生时能够说明已采取必要措施，降低争议成本。 前景——司法规则与行业治理将加速衔接，促使“可控可信”成为竞争力 随着生成式信息服务进入公共服务、消费决策与专业咨询领域，相关纠纷预计将逐步增多。该案在于提供了可预期的裁判路径：坚持“人类负责”，以过错为核心衡量平台责任，以注意义务为关键治理抓手。未来，围绕“提示是否充分”“纠错是否顺畅”“来源是否可核验”“高风险场景是否限制使用”等问题，或将成为衡量服务合规与质量的主要维度。 从行业发展看，单纯追求生成能力的“更会说”，将逐步让位于“更可靠、更可控、更可追溯”的能力建设。对企业而言，合规不仅是底线，更可能成为产品竞争力的重要组成部分；对用户而言，提升媒介素养与核验意识同样是降低风险的关键环节。
生成式人工智能的快速发展为社会带来了便利，但其固有的"幻觉"问题也带来了新的法律挑战。这起案件的判决表明，我国司法部门正在积极探索如何在鼓励技术创新与保护用户权益之间找到平衡点。未来，随着生成式AI应用的不断深化，平台需要在风险提示、技术防控和信息审核等持续完善，而法律制度也需要根据技术发展不断调整，形成既能促进产业发展又能有效保护用户的良好生态。