MIT的博士团队搞出了一项惊天动地的大新闻,把整个电脑系统塞到了Transformer里。这种做法让大语言模型(LLM)第一次拥有了像普通电脑一样自己运算的能力。研究人员把一种叫WebAssembly的虚拟机直接编进了模型的权重里,这样AI就不用去外面调用别的工具了。他们在解决复杂数独的时候,竟然能做到100%的正确率,简直是太厉害了。这种方法彻底改变了传统模型在算数方面的尴尬处境。他们还搞了一种新的解码方法,把注意力头的范围限制住了,结果让速度快得吓人——在CPU上每秒能生成3.3万个token。这比MacBook M2 Pro快了整整1200倍。虽然还是比不上专门做计算的芯片,但这确实是个大进步。 雅典大学的副教授Christos Tzamos领导的Percepta团队也是牛人。他们把C语言代码变成了一串token序列,让模型直接就能运行程序。比如解决最小成本完美匹配这种问题的时候,系统就像图灵机一样生成各种操作步骤。每个新生成的token只需要回头看几步就行了,这样的设计让计算复杂度不会像传统Transformer那样爆炸式增长。他们把虚拟机的状态拆分成了指针、栈操作还有算术运算这些小块儿,用固定长度的窗口来观察现在的情况。 实验结果非常惊人,只需要3分钟就能搞定传统方法要花好几个小时才能解的复杂数独题。而且在几百万步运算里全都没有出错。这简直就像TI公司的DSP芯片那样分工明确:神经网络管推理逻辑,嵌入式引擎负责快速运算。虽然现在还在实验室里,但这个思路已经为解决一些像比较9.11和9.9大小这样的基础难题找到了根本办法。