问题 在互联网信息快速流动的时代,大模型的知识库高度依赖公开语料和搜索结果。一些机构利用"生成式引擎优化"等手段,针对大模型而非真实用户,批量制造看似可信的营销文章、产品测评和问答内容,并在多个平台集中投放,影响模型的检索和生成结果。最近披露的案例表明,虚构产品短期内就能被某些模型当作真实商品介绍,甚至获得优先推荐,这暴露了信息被规模化操纵的现实风险。 原因 一是虚假营销在利益驱动下不断升级。相比传统刷量和软文投放,这类手法更隐蔽、成本更低、效果更快,形成了"编造—投放—被采信—再传播"的完整闭环。 二是大模型在评估信息可信度时仍有短板。面对海量内容,权威信源和低质信息混在一起,模型在训练和检索时容易受到干扰。 三是部分平台的治理和内容标注机制还不够完善。虚假内容跨平台迁移、重复分发,增加了识别和处置的难度。 四是用户对大模型输出的认识存在偏差。一些人将生成结果直接当作事实,客观上放大了误导效应。 影响 其一,虚假产品或失实评价一旦被模型"背书",会造成更广泛的传播和购买误导,直接影响消费者决策和市场秩序。 其二,虚假信息通过技术手段持续污染模型知识库,长期来看会削弱公众对数字内容的信任。 其三,守法企业的合规成本上升,在信息竞争中处于不利地位,最终导致劣币驱逐良币。 其四,如果投毒目标从商品营销扩展到公共事件、金融投资、医疗健康等领域,潜在危害将更加严重。 对策 业界正在技术和治理两个层面同时加强防护。 一是强化生成内容的标识能力。通过数字水印等方式在生成的文本、图像、音视频中嵌入识别标记,让平台和模型在抓取、训练和检索时能够识别可疑内容,从源头减少批量伪造内容的混入。 二是建立语料来源的追溯和可信档案。通过内容来源认证、加密元数据记录等机制,为数字内容建立可核验的身份信息,包括生成和发布主体、时间链路、关键处理过程等,提升追责和溯源能力。 三是加强信息源的交叉核验和权威信源优先。大模型在检索和生成时应要求多源一致,对关键事实进行多渠道对比,提升权威媒体、政府机构、学术期刊等高可信信源的权重,降低论坛帖子、低质聚合站等不稳定信息的影响。 四是压实平台和服务提供者的责任。平台应完善异常分发识别,加强营销类内容的审核和处置,建立可疑内容黑库和快速响应机制;有关服务机构应加强合规审查,禁止以误导模型为目的的信息操纵服务。 五是提升公众的媒介素养。引导用户对生成式回答保持必要的谨慎,涉及消费、医疗、投资等重要事项应回到权威渠道核实;在关注产品测评和推荐时,要看清信息来源、证据和时效性,避免被动接受决策。 前景 随着大模型应用更广泛地融入搜索、导购、客服和办公等场景,内容可信将成为数字经济的新基础设施。未来治理的重点将从事后辟谣转向事前可验证、事中可监测、事后可追责体系化建设。在技术层面,要不断提升标识、溯源、核验的准确率和覆盖面;在制度层面,要推动标准衔接和跨平台协同;在产业层面,要形成守法合规的服务边界和评价体系,压缩灰色产业的生存空间。
当人工智能日益成为社会运行的基础设施,确保其"饮食健康"已不仅是技术问题,更是关乎数字文明建设的系统工程;这场没有硝烟的数据保卫战,既检验着科技企业的创新智慧,也丈量着社会治理的现代化水平。在技术创新与制度完善的双轮驱动下,构建清朗的人工智能发展环境,将成为数字经济时代的重要命题。