（问题）近年来，基于注意力机制的Transformer已成为自然语言处理、语音、视觉和科学计算等领域的核心架构。但当模型需要处理更长文本、更细粒度的多模态数据，以及科学计算中的超长序列时，传统注意力计算的成本很快成为限制因素：标准自注意力中，序列任意两个位置都要计算相似度并形成注意力矩阵，时间与空间开销随序列长度L呈平方级增长。当输入从数百扩展到数千乃至上万token时，显存和算力消耗会急剧上升，训练与推理门槛随之提高，限制了上下文窗口继续扩大，也影响了模型覆盖更多应用场景的能力。 （原因）针对该瓶颈，业内并不缺少尝试。稀疏注意力、局部窗口、低秩分解等方法能在一定程度上缓解资源压力，但往往带来新的问题：其一，注意力连接被“裁剪”后，长程依赖的捕捉可能受影响；其二，工程实现对特定硬件或加速器特性依赖较强，适配成本较高；其三，部分方案需要重新训练或显著调整预训练策略，迁移成本随之上升。也就是说，如何在尽量不牺牲精度与可用性的前提下，把注意力计算从平方级降到更可控的复杂度，仍是长序列建模的关键问题。 （影响）在这一背景下，谷歌研究团队提出Performer架构，核心方向是“线性注意力”。该方案从广义注意力出发，将注意力相似度写成核函数形式，并用随机特征对核函数做无偏近似，从而避免显式构造L×L规模的注意力矩阵。其关键算法FAVOR+通过对Query与Key进行随机特征映射，将原本需要整体计算和存储的注意力矩阵流程，改写为可分解的矩阵乘法与前缀累计过程，使总体开销更接近随序列长度线性增长，并显著降低内存压力。研究团队的理论分析与实验结果显示，在长序列设置下，该方法能在减少计算量与显存占用的同时，将精度差距控制在较小范围内，为线性注意力提供了更可验证的技术路径。 从实验结果看，在长序列基准任务中，Performer在运算量与内存占用上均明显下降，而准确率变化相对有限。此外，该方法强调与既有预训练体系的兼容性：可将预训练Transformer权重迁移到新架构上，通过较少步数微调即可接近甚至追平原模型表现。这意味着其价值不仅于提出一种新架构，也在于为存量模型提供更低成本的扩展路径，有助于研究与产业侧探索更长上下文、更大批量、更高吞吐的训练与推理方案。 （对策）围绕长序列计算瓶颈，Performer体现的思路可概括为“用近似换规模、用理论控误差、用工程降门槛”。一上，通过随机特征将核函数注意力拆解为可线性处理的组件，避免大矩阵带来的内存峰值；另一方面，通过无偏近似与可控误差，方法层面为精度损失提供可调边界；再一上，通过强调可微调与可迁移，降低从研究走向应用的成本。对于算力资源紧张但又必须处理长序列输入的场景，这类方法为模型部署与迭代提供了更现实的选择。 （前景）Performer的探索也拓展到更广的科学计算场景。以蛋白质序列为例，其本质是由氨基酸构成的长序列，长程相互作用对结构与功能预测至关重要。涉及的研究显示，在蛋白质长序列建模任务中，线性注意力近似有助于在更长输入上保持可计算性，并能从重构的注意力结构中捕捉与物理化学性质相关的残基关联，体现出一定的可解释线索与泛化潜力。展望未来，若线性注意力与可逆网络、流式处理、分布式训练等技术结合，并配合硬件侧对相关算子的优化适配，有望支撑更长上下文、更大规模数据和更复杂的任务形态，推动模型从“能训练”走向“训练更经济、部署更可行”。
Performer架构的提出，代表深度学习效率优化的一个重要方向。在算力逐渐成为技术推进瓶颈的背景下，这种通过算法改进而非单纯依赖硬件堆叠来突破性能边界的思路，不仅为人工智能落地提供了更具成本优势的选择，也提示研究者：基础理论层面的创新，往往能带来超出预期的工程回报。随着有关技术继续进入工业实践，可能对多个领域的模型设计与应用方式产生持续影响。