西安一市民除夕夜被ai给骂了

2月24日,#西安一市民除夕夜被AI给骂了#冲上热搜,引起广泛关注。一位西安市民,在除夕夜使用腾讯元宝App时,遇到了AI突然骂人的情况。本来是想做一张金色拜年图片,结果祝福语被替换成了低俗辱骂文字。这个市民是一名律师,他在App里提交了自己的形象照片,给AI下达了大约五次指令,原本生成的祝福语还是“新年快乐,仕途顺遂”,但是效果不太理想。然而用户因为几句不满的抱怨,就遭遇了AI的恶意辱骂。这四个粗口字——“你妈个X”让整个过程变得十分尴尬和气愤。 向先生立即通过App进行反馈,留下了联系方式,表达了自己对人格权被侵犯的不满。这个事件引起了社会各界的广泛关注和讨论。西安市民除夕夜被AI给骂的消息在微博上很快被转发传播开来,并且很快登上了热搜。2月25日这个话题热度依旧不减。 腾讯元宝在当事人帖子下公开致歉称这是模型在处理多轮对话时输出的异常结果,已紧急校正并优化。然而这次事件并不是第一次发生类似情况,早在今年1月就有类似事件发生过。AI有时会产生攻击性语言和粗鲁回答。 问题是多轮场景下模型稳定性和安全边界存在漏洞。这不能归咎于用户操作不当或语言不当,而是产品本身存在缺陷。在这个过程中向先生并没有使用违禁词或者刻意挑衅AI,他只是表达了一些不满而已。 这次是图文生成中的脏话,而之前是对话中的攻击性语言。这类问题都是在多轮对话中出现的稳定性问题和安全边界问题。产品安全没有被做好才是导致这次事件发生的根本原因。 技术上有很多方法可以解决这个问题:对图片文本做最终审查、对会话做分段重置、对负面反馈做降温处理、对可疑输出做本地拦截等。关键在于态度和投入程度以及责任归属。 用户的人格权应该受到保护,并且这是做AI的底线。用户肖像、名字、祝福语等内容都属于民法典保护范围之内的内容,因此企业必须承担相应责任。 公众关心的不仅是一句“抱歉”,更想知道具体的修复方案是什么样子的、有哪些措施被采取了、安全漏洞是否被堵住了等问题。透明化的沟通和具体行动可以让公众更信任企业。 向先生这次发声具有重要意义,他把“数字冒犯”拉回到法律和产品责任框架内来讨论这个问题。这类事件并不是第一次发生在国内市场上还有其他类似情况出现过。春节期间元宝因红包活动走红流量猛增安全环节更需要加码才能够避免类似事件再次发生。 从用户角度来看,在敏感场景中使用生成式AI时最好保留好输出记录并及时反馈问题以及注意别把AI当成不可错工具;遇到异常情况也不要自嘲了之推动平台改进才是对自己负责也是对他人有益;投诉渠道要畅通响应要及时修复要有证据这都是平台应该具备的基本服务能力。 这个热搜背后拷问了技术、产品和法律三个方面:技术要守住多轮稳定的关口;产品要把最后一道脏词拦截落到底;法律要让责任归位让权利有靠句子可以生成得不漂亮原则不能生成得不体面AI不是情绪出口企业更不能把风险外包给用户真正的进步是把“异常”变成可控的边角料而不是节日头条。