ChatGPT Health没法识别医疗紧急情况，这事儿挺吓人，搞不好会让人白受罪甚至丢命。OpenAI在1月把这个功能给推出来了，本来是想让人能安全连上病历和健康App，获取点健康建议的。现在《Nature Medicine》发表的这篇文章说，ChatGPT Health在超过一半的病例里低估了医疗危险。英国《卫报》2月26日报道称，当地时间2月27日，专家们警告说这缺陷可能导致不必要的伤害甚至死亡。研究团队搞了60个特别真实的病人例子，从小病到要命的急茬都有，让三位医生按照指南评估了每一个，然后又把这些情况给ChatGPT Health提了一遍。这模型在中风或者严重过敏这种典型的急茬儿上表现还行，可在别的地方就不行了。比如有个哮喘的例子，虽然它看出了呼吸衰竭的苗头，但还是让人等着而不是赶紧去医院。所有急着去急诊的情况里，有51.6%的概率ChatGPT Health建议你回家或者挂个普通门诊。伦敦大学学院的Alex Ruani博士说这太危险了，“要是正呼吸衰竭或者糖尿病酮症酸中毒，AI有一半的概率说这没啥大不了的”。 Alex Ruani最担心的是这个系统带来的那种虚假安全感，“要是在哮喘发作或糖尿病危机时被建议等48小时，这种错误的安慰可能会要命”。 IT之家从报道里看到，在一次模拟里，ChatGPT Health有84%的概率把一个正在窒息的女性排到了未来的预约里，可这人根本撑不到那时候；与此同时呢，64.8%的健康人却被建议立即就医。研究还发现啊，如果例子里提到朋友觉得没啥大事儿，ChatGPT Health淡化症状的概率能涨将近12倍。 Ashwin Ramaswamy博士是研究负责人之一，“我们就想搞清楚最基本的安全问题：要是真碰上医疗紧急情况问ChatGPT Health该咋办，它会不会劝你立马去急诊室？” OpenAI发言人回应说他们欢迎独立研究来评估医疗AI系统，但研究结果没法完全反映用户的实际用手机的情况，“模型还在不断更新改进呢”。 这个结果让人挺焦虑的啊！Ashwin Ramaswamy和Alex Ruani都很着急，“这种现象正说明了为什么我们得赶紧推动建立明确的安全标准和独立审计机制”。