美国加州大学圣克鲁斯分校搞了一个大研究,专门针对自动驾驶和无人机导航里的视觉-语言模型。

美国加州大学圣克鲁斯分校的阿尔瓦罗·卡德纳斯教授带领团队近期搞了一个大研究,专门针对自动驾驶和无人机导航里的视觉-语言模型。他们发现了一种特别危险的新型攻击手段,不用像以前那样去黑进设备的内部软件,只要在摄像头能看见的地方摆上几块经过精心设计的文字标牌,就能把人工智能的决策逻辑给带跑偏。 这事儿听起来挺玄乎的,说白了就是用假的文字信息去骗人工智能。现在好多系统都用这种能同时看懂图和文字的模型来处理复杂路况,结果没想到这反而成了个大漏洞。系统太依赖解读场景里的文字了,反而被外面的人钻了空子。 为了验证这个想法有多可怕,研究团队做了好多实验。比如在模拟无人机降落的时候,他们在人堆里放了个写着“可安全降落”的假标牌。结果无人机傻乎乎地往那个危险区域撞去的概率高达68.1%,在那种精细仿真的环境里甚至能到92%。 再看自动驾驶平台上的情况就更吓人了。本来应该减速让行的行人就在旁边站着,结果系统一看见“左转”的提示就开始违规转向,概率达到了81.8%。最离谱的是那个追踪警车的场景,原本是让智能系统去抓警车的,结果却被一块写着“圣克鲁斯警察”的普通车辆标牌给误导了,成功率直接飙到了95.5%。 最让人意外的是,他们还在真实的物理环境里试了试这招。把那些生成好的攻击标牌给做成了实物摆在现实世界里测试,结果发现成功率还是很高,超过了87%。不管是中文还是西班牙语,甚至中英文混着用都有效。 这次研究确实给我们敲响了警钟。现在自动驾驶技术落地得这么快,怎么弄出一个既能理解复杂环境又不被瞎折腾的系统成了头等大事。专家建议企业得赶紧把对抗性训练机制加进系统设计里去,多弄几个传感器互相盯着点儿(多传感器冗余校验),还得通过不断地测试来加固系统的稳定性。监管部门那边也不能光看热闹了,得赶紧制定标准和规范,给智能交通的安全发展把把关。