Anthropic最近搞了一波工具调用更新,给多步骤代理任务把Token用量硬生生给砍了30%到50%。这套动作就是想让大语言模型(LLMs)在管事儿的时候,跑得更快、更顺溜、也更准。他们搞了几个大招:一是让程序帮忙调用工具,二是动态过滤掉垃圾信息,三是直接去搜合适的工具用,四是给LLMs举例子。 先说这程序化工具调用,能让模型自己写代码、执行任务。这种做法就像你自己动手干家务,只把该处理的信息留下,把冗余的都扔了。比如你不用一遍遍重复加载一样的数据填进上下文窗口,而是让程序只处理关键信息。这样一来,处理复杂活儿比如自动化分析数据或者管理内容生成时,模型就变得特别聪明高效。 接着是动态过滤。平时模型去网上捞数据,经常捞回来一大堆没用的东西。这时候动态过滤就会像筛子一样把不相关的内容筛掉。这样平均能省掉24%的Token用量,回答也更准了。像你搞个大的数据集分析时,它就能帮你把无关的细节去掉,让模型只盯着那些有用的见解看。 然后是工具搜索功能。以前加载工具模式就像把所有工具都搬进屋子再挑着用太费事儿了。现在这功能就像你直接打电话给懂行的人问方案一样快捷。它只给你找最相关的那几个工具用。在那种要好多工具配合干活的流程里,这优化省了好多Token,省得最狠的时候能高达80%。 最后是输入示例这一招给LLMs当老师。通过举几个具体的例子教它们怎么处理复杂参数。这一下子就把参数处理的成功率从72%拉到了90%。比如在自动化管邮件时,输入示例教会它怎么给消息分类或者回个合适的信;写文章或者做个总结时,也能让输出跟用户想要的一模一样。 这几个大招合起来用威力大得很。在那些有很多步骤的工作流里少用30%到50%的Token简直太省钱了。这就让大模型在面对海量数据或者复杂工具链时更有扩展性和精准度了。比如做客服机器人能处理更多的用户问题还不卡顿;写文章的效率也高了很多。 Anthropic的这些新招特别适合干那种数据得凑一起用、流程得很固定或者要扒拉大数据集的活计。最常见的就是帮你看邮件、帮你写文章还有做客户支持。