在人类交流中，大脑会将听觉与视觉信息进行融合，以应对环境干扰。但在人工智能领域，要稳定复现该机制长期存在技术难点。最新发表于《arXiv》的研究论文，首次较为系统地梳理了多模态语音识别系统在处理多源信息时的内部决策逻辑，有关发现可能为人机交互系统的设计与优化带来新的思路。研究团队提出的“Dr. SHAP-AV”诊断工具基于博弈论中的沙普利值，可对系统决策过程进行毫秒级监测。在覆盖-10分贝到静音环境的梯度测试中，六种主流模型普遍更依赖音频信号——即便在无噪声条件下，视觉信息的贡献率也不足40%。这种倾向在传统编码器-解码器架构中更明显，其中Auto-AVSR表现出57%的稳定音频依赖，反映出当前训练数据对唇动信息的表征仍不充分。继续分析显示，这类偏好与特征提取难度有关：音频包含更丰富的音素、语调等语言学线索，而视觉信息需要识别更细微的肌肉运动模式，数据采集与标注成本更高、技术门槛也更大。，Whisper-Flamingo等新型混合架构表现出34%的策略调节幅度，说明通过结构改进，模型环境适应性仍有提升空间。研究还给出一项积极结果：所有测试系统都能保持严格的时序对应关系，输入与输出在时间维度上实现精确同步，这为实时翻译等应用提供了重要基础。针对突发性脉冲噪声与稳态背景噪声的对比实验进一步表明，系统对脉冲噪声的抗干扰能力更强，这一结论可为交通、医疗等场景的算法优化提供参考。
复杂环境下的语音识别竞争，正从参数规模与算力转向对“信息取舍能力”的考验；噪声出现时能否快速判断哪些信息更可靠，并把这种判断以可解释的方式表现为来，将直接影响技术落地的安全边界与用户体验。以可解释诊断推动改进、以量化评测促进规范，可能是多模态语音技术走向成熟的重要一步。