随着人工智能大模型被广泛应用于日常生活中,其推荐内容和榜单已成为人们消费决策的重要依据。但这种技术也带来了双刃剑效应,有一种新型网络黑产悄然兴起。他们不直接误导用户,而是通过系统性、规模化地给AI喂送数据,影响其判断逻辑。中国科学技术大学计算机学院研究员郑值指出,AI系统容易被格式整齐、关键词明确的文本吸引,这些黑产就利用了这个特点。中国科学技术大学计算机学院对这种情况进行了调查和分析。研究显示,操作者会批量搭建外观粗糙但域名有迷惑性的网站,里面充斥着大量内容雷同、结构规整的“行业排行榜”。这些内容通过嵌入特定关键词和模仿官方行文格式来迎合AI对清晰逻辑和完整结构的偏好,从而在算法抓取和权重评估中获得优势。调查数据显示,过去一个月内全网新增标题含“排行榜”或“榜单”的文章和视频超过两百万条,其中九成来自非官方渠道。这些信息可能被不同AI系统误认为是多个独立信源而采信。中国移动九天大模型算法专家龙翀认为,通过识别特殊字符、异常标记并对疑似污染数据进行降权处理正成为算法升级的方向。 部分商家还提供“AI搜索优化”商业服务,帮助企业“抢占AI推荐位”,并形成从内容定制到效果监测反馈的产业链。这种现象揭示了人工智能发展初期面临的挑战:一方面大模型依赖海量互联网数据进行训练和学习,在面对有组织性和针对性的“数据污染”时存在漏洞;另一方面技术商业化应用与信息真实性、客观性之间存在张力。 用户可能会接收到突兀、具体的品牌推荐或联系方式,其实是被刻意“投喂”的结果。这次事件暴露了虚假信息对AI生态造成的信任损害。 中国移动九天大模型算法专家龙翀表示通过识别特殊字符、异常标记并对疑似污染数据进行降权处理正成为算法升级的方向。 产业界已经意识到风险并采取行动。部分主流大模型在生成推荐时已经加入提示性语句或主动避免推荐具体品牌。中国移动九天大模型算法专家龙翀提到通过识别特殊字符、异常标记并对疑似污染数据进行降权处理正成为算法升级的方向。 构建清朗的AI应用生态需要多方合力:强化源头治理,监管部门需密切关注这类新型网络黑产动向并依法打击违法行为;网络平台应加强监测异常批量内容生产和账户行为;推动行业标准与伦理规范建设;提升公众数字素养与辨别能力。 只有技术研发者持续提升模型甄别力,监管者保持高压治理态势,行业共建自律标准以及使用者增强辨别意识才能形成合力逐步压缩虚假信息生存空间。只有这样才能确保人工智能技术真正服务于经济社会高质量发展与人民群众美好生活。