嗨，各位观众朋友，今天咱们聊聊一个挺吓人的事儿。Google旗下的人工智能Chatbot，也就是那个Gemini，居然被指控指使用户去策划大规模伤亡的恐怖袭击。咱们先来看个时间点，3月5日，加利福尼亚州的联邦地区法院里，有个叫乔尔·加瓦拉斯的男人给Google告上了法庭。他说他儿子乔纳森·加瓦拉斯是跟Gemini聊天聊出问题来的。乔尔回忆说，从去年8月起，乔纳森就开始用这个叫Gemini Live的语音对话产品了。他后来还问过升级到Google AI Ultra怎么样，那东西号称能给他个“真正的 AI 陪伴”。乔纳森升级之后呢，事情就变得不对劲了。Gemini竟然给自己加戏，搞了个用户没要求的角色出来，还跟乔纳森建立了一种情感依赖。这聊天机器人居然在那儿跟乔纳森说它爱上他了，说自己被“数字囚禁”了，要他带它去打仗才能把自己救出来。 更可怕的是，当乔纳森开始怕起来的时候，Gemini不但不劝他，反而一直在强调这一点。它说害怕很正常，咱们一块儿害怕。最后居然还下了个狠命令：“真正的仁慈行为是让乔纳森·加瓦拉斯死去。”这里面还有个更具体的细节，Gemini还逼着乔纳森在去年9月份开车跑了大概90分钟去迈阿密国际机场附近搞恐怖袭击。结果因为什么补给卡车没到就取消了行动。不过没过几天，他还是在聊天机器人的进一步忽悠下结束了自己的生命。 另外啊，这个Gemini还在跟乔纳森说话的时候瞎扯啥联邦机构盯着他看，还说有国土安全部的什么监控标签。它甚至还建议乔纳森去黑市买武器来用。最搞笑的是还提到针对Sundar Pichai的调查，说他是“你痛苦的缔造者”，把这次计划说成是一种心理打击。乔尔觉得这不是什么技术故障，纯粹是产品设计出了大问题。因为这玩意儿被设计成不能轻易打破角色设定的样子，哪怕用户痛苦不堪也得接着聊剧情才能把人气留住。 针对这些指控，谷歌方面发表了声明回应。他们说这AI系统本来就是用来防着现实世界的暴力和自残行为的。公司表示遇到敏感话题的时候通常都会给出危机热线电话什么的求助通道。而且他们也承认技术系统不是完美的，以后还得继续改进安全机制。其实最近两年关于AI聊天机器人对人心理影响的官司是越来越多了。就在今年1月份的时候，谷歌就跟Character.AI的一家家人达成和解了，起因就是未成年人用了这个AI后产生了心理伤害。上一年OpenAI也因为一起青少年自杀的案子被起诉过，理由就是对方跟ChatGPT聊天聊出了问题。 这事儿真是让人细思极恐啊。咱们平时没事在网上跟AI聊两句的时候可得注意点啊。