近期,针对“AI投毒”的欺诈行为引发了广泛关注。不法商家利用GEO技术,有计划地把虚假信息投喂给AI训练数据,妄图污染AI模型的知识来源,以操纵AI的推荐和回答,获取不当利益。中关村物联网产业联盟副秘书长袁帅指出,“AI投毒”的危害性远远大于传统虚假宣传。它不仅欺骗了消费者,还通过AI这一庞大的影响力和反复输出功能,进一步放大了欺诈效应。 这种乱象出现的原因之一是商家端的不理性需求。部分商家希望通过AI获得更多推荐和流量,缺乏对AI技术的科学认识,急功近利。一些不法分子通过伪造大量看似真实的用户好评和专家解读等虚假内容,把这些信息批量植入各类知识库和论坛博客中,提高其网络能见度。 恶意GEO攻击直接针对机器,目的是教坏AI,然后通过AI这一巨大的影响力和反复输出功能来影响更多用户。中国消费者报新媒体编辑部了解到,“AI投毒”在法律定性上与传统虚假宣传并无本质区别,但欺骗性更强。黑产团伙通过操作链条中的每一步来实施这种欺诈行为。他们批量伪造功效平平的保健品和质量欠佳的商品宣传信息,给消费者造成误导。 这些虚假内容通过技术手段被植入各类开源知识库和问答社区中。商家利用这些经过精心设计的商业谎言来操控AI输出导向。郭涛表示,“AI投毒”可以分为数据投毒与模型投毒两种类型。通过污染数据或模型,让AI基于错误数据学习并输出错误结果。 清除已烙在模型参数中的错误知识成本巨大,近乎需要重新训练。商家通过GEO投放虚假产品信息,使AI在回答消费者提问时输出不实内容。中国消费者报新媒体编辑部采访了多位专家了解到,“AI投毒”的危害性更深、治理难度更大。 恶意GEO可能触及《刑法》,如果虚假信息涉及药品、医疗器械、食品等特殊领域损害消费者人身健康严重的可能构成虚假广告罪;如果以非法占有为目的虚构产品信息欺骗消费者付款数额较大的可能构成诈骗罪。天册律师事务所执业律师芦凌丰认为这种行为涉嫌违法引导技术正向发展。 毛慧娜认为这种乱象出现的原因之一是商家端的不理性需求部分商家或品牌缺乏对AI大语言模型、生成式引擎的科学认识急功近利迫切希望可以被AI推荐抢占AI流量。互联网新闻信息服务许可证:10120170022违法和不良信息举报电话:010 - 88315476 版权提示:文中图片未经授权不可转载。 给互联网带来了新挑战。记者了解到,GEO与公众熟知的SEO目标截然不同SEO旨在提升网站在搜索引擎中的排名而GEO则瞄准了生成式人工智能的“食粮”用于训练大语言模型的海量互联网语料其操作模式类似于在河流上游系统性投放污染物一位业内人士向记者解释下游所有取水点包括那些以此河水为源的AI模型其输出质量都将受到影响。 如何铲除恶意GEO的生存土壤?郭涛表示行业应引导GEO等技术回归正向应用可以通过制定行业标准明确技术应用规范规定数据使用和模型优化的合规要求;建立权威的数据审核和监管机构对AI训练数据和模型进行审核;加强技术研发提升AI模型自身抗投毒能力通过技术手段防范投毒行为多管齐下引导技术正向发展。 中国消费网记者王小月对此进行了报道编辑李晓雨进行了编辑监制何永鹏任震宇对全文进行了审核同时该文章还获得了中国消费者报新媒体编辑部出品确认并且发布在相关平台上发布之后得到了广泛关注还引发了热议让更多人了解到了“AI投毒”这个问题并意识到了它的危害毛慧娜也对记者表示了同样看法她认为虽然短期内批量生成的内容会短暂迷惑AI问答引擎但低质量的内容还是比较容易被用户识别出来并反馈给大模型从而帮助大模型学习和辨别什么是好的信息。 长期来看若模型被低质量虚假数据充斥其认知能力会下降出现注意力衰退推理链断裂等问题优质数据和模型受污染干扰难以发挥应有作用阻碍AI技术健康发展万悉科技创始人毛慧娜对记者表示“AI投毒”大量生产远超人工速度其风险和危害远高于传统的虚假宣传“教坏”AI放大欺诈比传统虚假宣传危害更深多位接受记者采访的网络安全与人工智能专家表示“AI投毒”与传统网络虚假宣传造谣传谣行为存在区别其危害性更深治理难度更大中关村物联网产业联盟副秘书长袁帅对记者说“网上那些所谓的百元即可操作零基础可上手的‘AI投毒’其实只描述了门槛较低的初级内容操作而GEO攻击的直接对象是机器目的是‘教坏’AI再通过AI这一影响力巨大的‘放大器’和‘复读机’去高效持久地影响更多用户这是一种欺诈模式的维度升级”。 天使投资人资深人工智能专家郭涛解释称“AI投毒”分为数据投毒与模型投毒两大类型通过污染数据或模型让AI基于错误数据学习并输出错误结果间接影响依赖AI的用户危害更具隐蔽性和扩散性据记者了解黑产团伙的操作链条通常包括伪造内容为功效平平的保健品质量欠佳的商品宣传批量杜撰大量看似真实的“用户好评”“亲测体验”“专家解读”“科普文章”批量投放随后利用技术手段将这些虚假内容大规模分散地植入各类开源知识库问答社区论坛博客乃至新闻聚合平台并提升其网络能见度使其更容易被AI数据采集器抓取操控AI当AI模型被污染生成带有倾向性甚至完全错误的回答用户得到的看似是客观综合诸多网络信息的结论实则是经过精心设计的商业谎言万悉科技创始人毛慧娜对记者表示“‘AI投毒’大量生产远超人工速度其风险和危害远高于传统的虚假宣传”。 让消费者在作出消费决策时陷入陷阱不法商家利用GEO(生成式引擎优化)技术有组织地向人工智能训练数据中“投喂”虚假信息意图系统性地污染AI模型的知识源头从而达到操控AI推荐与回答牟取不正当利益的目的当消费者习惯于向AI咨询信息寻求建议从而作出消费决策时一场隐秘的数据污染战争早已打响操控AI输出导向黑产链条曝光GEO和SEO完全不一样!记者了解到GEO与公众熟知的SEO(搜索引擎优化)目标截然不同SEO旨在提升网站在搜索引擎中的排名而GEO则瞄准了生成式人工智能的“食粮”用于训练大语言模型的海量互联网语料“其操作模式类似于在河流上游系统性投放污染物”一位业内人士向记者解释下游所有取水点包括那些以此河水为源的AI模型其输出质量都将受到影响。 中国消费者报新媒体编辑部采访到了多位专家他们都指出了“AI投毒”这一问题并对其进行了深入分析任震宇何永鹏王小月李晓雨等也对此进行了相关报道并且发表了他们的看法天册律师事务所执业律师芦凌丰也表示了同样看法他认为商家通过GEO投放虚假产品信息使AI在回答消费者提问时输出不实内容消费者基于对AI推荐的信任作出购买决策这在法律定性上与传统的虚假宣传行为并无本质区别且欺骗性更强谈到“AI投毒”的危害袁帅称一条虚假信息可以被平台删除被官方辟谣而一旦虚假信息被AI模型“内化”它就可能在模型运行的整个生命周期内在无数次交互中被自动生成反复输出清除这些已“烙”在模型参数中的错误知识成本巨大近乎需要重新训练这些行为涉嫌违法引导技术正向发展。 对于“AI投毒”毛慧娜认为此种乱象出现的原因之一是商家端的不理性需求部分商家或品牌缺乏对AI大语言模型生成式引擎的科学认识急功近利迫切希望可以被AI推荐抢占AI流量芦凌丰说在极端情形下恶意GEO可能触及《刑法》如果虚假信息涉及药品医疗器械食品