问题:从“优化”到“投毒”,生成式检索面临新挑战 随着生成式搜索、问答和智能助手的普及,旨在提升内容检索与引用效果的GEO服务迅速增长。然而,黑灰产借机将“优化”扭曲为“投毒”:通过批量制造虚假评论、伪造权威信息、植入诈骗信息,甚至利用检索增强生成(RAG)和跨会话记忆等机制漏洞,干扰模型输出,误导用户决策。今年央视“3·15”晚会曝光的案例显示,部分不法团伙已形成从内容生产到分发的完整链条,对社会诚信和网络生态造成破坏。 原因:利益驱动与技术漏洞并存,治理亟待加强 一是利益驱使。在生成式检索时代,“被引用”直接影响品牌获客和交易转化,催生短期逐利行为。二是技术门槛降低。自动化工具使批量生产和分发低质内容变得容易,部分系统隐藏合规风险,形成灰色产业链。三是新技术带来新风险。RAG、向量检索等技术虽提升体验,但被滥用可能导致信息污染或长期误导。四是合规意识不足。部分从业者混淆“提升可见性”与“操纵结果”的界限,忽视广告标识、数据来源等法律要求。 影响:误导用户、损害企业、加重平台责任 对用户而言,“投毒”内容可能引发诈骗、医疗金融等高风险决策失误。对企业来说,虚假宣传或商业诋毁可能招致处罚、诉讼和声誉损失。对平台和模型提供方而言,若缺乏反“投毒”机制,将面临内容安全和用户信任的双重压力,甚至影响行业公信力。 对策:划定红线,协同治理 行业共识是,合规GEO应通过优化真实信息提升检索效果,而非欺骗手段。当前需明确以下红线:禁止批量制造虚假内容;禁止伪造权威背书;禁止操纵模型输出;禁止恶意竞争;商业推广须明确标识。 治理需多方协作:监管层面可依托现有法规,要求企业落实数据审核与风险应对;行业应制定GEO服务标准,建立合规指引;平台需加强数据源审核和异常识别;企业应完善内容生产到发布的闭环管理,慎用自动化工具。 前景:从流量竞争到可信竞争 国际经验显示,事后惩戒与平台自治并重。我国通过制度规范和行业自律,有望在新业态早期确立规则。随着治理完善,“投毒”成本将上升,行业竞争将回归内容质量和服务能力。未来,可验证的信源体系、透明的商业标识和可审计的内容链路将是生态健康的关键。
人工智能的繁荣需要法律与技术双重保障;只有坚持合规发展、强化责任意识,才能实现安全可信的智能搜索时代。行业各方应共同努力,构建真实、公正的数字环境。