（问题）随着大模型从“会对话”走向“能办事”，智能体工具调用、任务规划与多步决策中越来越依赖强化学习训练；但业内普遍面临一个突出矛盾：智能体往往只能从任务最终成败中获得稀疏反馈，训练过程难以充分吸收“做对了什么、哪里偏离、如何修正”等关键信息；更现实的是，智能体在一次任务中形成的有效做法，常难以在后续相似任务中被持续复用，导致学习成本居高不下、迭代效率受限。 （原因）研究团队指出，问题不仅在于奖励信号稀疏，更在于“经验系统”缺乏动态适配能力。现有不少方法尝试引入历史轨迹、记忆库或检索机制，以期为智能体提供参考，但经验管理往往是静态设计：经验如何筛选、以何种形式呈现、对策略更新产生多大影响，缺少与智能体能力提升相匹配的自我调整机制。随着训练推进，经验与能力之间的匹配度可能逐步下降：低质量经验会干扰决策，高层抽象经验又可能超出当前策略理解范围，最终出现“经验越多越难用”的反效果。 （影响）该矛盾直接制约智能体走向长期稳定运行。一上，无法高效利用过程信息，会增加与环境交互次数和算力消耗，推高研发与部署成本；另一方面，经验复用不足意味着跨任务迁移能力偏弱，模型新场景仍易陷入“从零开始”的循环。对需要持续学习、反复执行的复杂应用而言，经验的可积累与可调用，已成为影响可靠性和可扩展性的关键变量。 （对策）针对上述瓶颈，阿里巴巴集团与香港科技大学联合研究借鉴神经科学中“互补学习系统”理论，提出互补强化学习（Complementary Reinforcement Learning）框架。该框架的核心思路是把“做决策”和“管经验”拆分为两个相互牵引的模块，并让二者在训练中共同进化：其一为策略智能体，负责与环境交互并根据奖励更新行为；其二为经验提取器，负责从历史轨迹中抽取、组织和提供可复用经验。不同于传统经验回放或固定记忆库的思路，经验提取器并非被动存取，而是根据“经验是否真正帮助策略完成任务”获得直接反馈：有助于成功则得到正向激励，反之则受到惩罚，从而优化筛选标准与表达方式，推动经验质量随策略能力提升而同步升级。 在训练机制上，研究提出多项针对性设计以提高有效性与稳定性。针对策略智能体，团队将训练数据划分为“有经验指导”和“无经验介入”两条路径并行推进，通过分组计算学习信号，既吸收经验带来的增益，又避免策略对外部经验产生过度依赖，从制度上防止“靠经验投喂、忽视自主提升”的倾向。针对经验提取器，为提升优化稳定性，研究引入相应的稳定训练算法思路，使其在复杂反馈下仍能持续迭代，减少训练震荡。 在工程实现上，为支撑双模型协同训练的吞吐需求，研究设计异步训练框架，并设置集中式经验管理组件对经验的存储、检索和更新进行调度，使策略交互不被经验处理阻塞，经验提炼也能后台稳定进行。这种“前台持续探索、后台持续整理”的机制，有助于在不牺牲交互效率的前提下提升经验利用率。 （前景）业内分析认为，让智能体具备“能沉淀、会调用”的经验体系，是从单次对话式能力走向持续行动能力的重要环节。互补强化学习将经验管理从静态工具升级为可学习、可反馈、可进化的系统，有望在多任务训练、长链路决策、工具使用与复杂环境交互等场景中提升样本效率与泛化表现。下一步研究仍需在可解释性、经验安全边界、跨领域迁移稳定性以及与现有训练范式的兼容性上继续验证，并通过更大规模任务与真实应用评测来检验其工程价值。
互补强化学习的突破在于将经验管理纳入可优化体系。在日益复杂的应用环境中，谁能帮助智能体持续积累并有效运用经验，谁就更有可能实现技术从实验室到规模化应用的跨越。