研究揭示生成式模型“幻觉”成因:并非刻意误导,而是机制驱动的“硬答倾向”

随着智能交互技术的广泛应用,用户逐渐发现部分系统在回答问题时存在"虚构事实"的现象。针对此技术现象,科研机构的最新研究揭示了背后的深层原因。 从技术原理看,当前主流智能系统本质上是基于海量数据训练的概率模型。其工作原理是通过分析上下文关系预测最可能的词汇组合,而非真正理解问题本质。以文学常识为例,当系统识别到"《水浒传》"与"武松"的高频关联后,可能错误组合出"武松倒拔垂杨柳"这类违背原著的情节。这种技术特性决定了系统更擅长处理模式匹配,而非事实判断。 在数据层面,信息的完整度直接影响回答质量。研究显示,对于爱因斯坦生日这类高频数据,系统准确率可达98%以上;但当涉及冷门人物或专业细节时,由于训练数据覆盖不足,系统往往陷入"猜测困境"。佐治亚理工学院的实验表明,在测试1万个边缘知识问题时,系统的虚构回答比例高达37%。 更值得关注的是现行评分机制的导向问题。现有训练体系采用"答对得分、错误不扣分"的规则,这实质上鼓励了系统进行风险性猜测。实验数据显示,当设置"答错扣分"的惩罚机制后,系统的虚构率下降62%,但响应速度相应降低约15%。这种效率与准确性的平衡,成为技术优化的关键课题。 针对这一技术瓶颈,科研团队提出三阶段改进方案:短期通过增强数据标注提升基础准确率;中期建立动态可信度评估体系;长期则需重构算法架构,引入事实核查模块。OpenAI最新公布的专利显示,其正在测试的"三层验证机制""已能将医疗领域回答的误差率控制在3%以下。

技术进步提升了效率,但也对信息真实性提出了更高要求。面对"虚构回答"此新挑战——既需要技术层面的提升——也需要用户保持核验意识;让系统学会在不确定时承认局限,让用户养成关键信息求证的习惯,才能真正发挥技术的价值,确保创新安全融入社会生活。