一、案件核心争议 2023年，杭州居民梁某在某人工智能平台查询高校招生信息时，系统两次生成了与官网不符的内容；在用户指出错误后，平台作出了"若信息错误赔偿10万元"的承诺。梁某随后以此为依据提起诉讼，要求平台承担违约责任。被告企业辩称，对话内容由系统自动生成，公司已完成算法备案和风险提示等法定义务，且用户并未因此遭受实际损失。 二、司法裁判要旨 法院审理后认为，根据《民法典》第1165条和《生成式人工智能服务管理暂行办法》，涉案技术属于服务范畴而非产品。由于人工智能不具备民事主体资格，其"赔偿表述"不构成法律意义上的意思表示。判决强调，服务提供商需要承担算法透明度、内容审核等"方式性义务"，但仅在故意或重大过失导致损害时才需承担责任。 三、行业影响分析 这个判决为快速发展的智能服务产业明确了法律边界。据统计，我国已完成备案的人工智能服务达346项，超过八成网民使用涉及的产品获取信息。中国社科院法学所专家认为，该案确立的过错责任原则既能防范技术滥用风险，又不会过度监管而抑制创新，反映了数字经济治理的"包容审慎"理念。 四、深层风险警示 技术便利的背后隐藏着认知危机。中青校媒调研发现，97%的大学生遭遇过人工智能信息失真，超七成呼吁加强技术优化。传播学研究者指出，当虚假信息以"高置信度"的形态传播时，可能会重塑公众的认知图景。这与上世纪李普曼提出的"拟态环境"理论相符——技术塑造的虚拟镜像正在逐步替代现实参照系。 五、综合治理路径 国家网信办近期加强了对人工智能服务的数据训练、内容标识等合规要求。产业界也在推进"可信AI"技术研发，包括引入人类反馈强化学习、建立多层级事实核查机制等。法律界建议构建"技术+伦理+法律"三维治理框架，通过用户教育提升全民的数字素养。
"幻觉"现象提醒我们，技术进步并不必然带来真实与可靠。越是便捷的信息工具，越需要规则、责任与理性来支撑。要让生成式人工智能更好地服务社会，既需要用法治明确边界、用治理压实义务，也需要公众在使用时保持审慎，守护认知安全。只有在"可用"的基础上不断追求"可信"，新技术的价值才能真正转化为现实收益。