腾讯混元在2月10日给咱们整了一个端侧部署的大动作，他们开源了HY-1.8B-2Bit这个“极小”模型。你别看它参数有1.8B这么多，实际上它利用了2Bit量化技术把内存给压到了600MB。这个数据简直太顶了，比一般的手机应用都要小，真正做到了端侧部署的突破。 这个模型其实是HY-1.8B-Instruct的衍生版本，他们利用了混元团队自己开发的2Bit量化方案，通过QAT训练才把它压缩到这个大小。别看小了6倍多，在真实设备上运行速度快了2到3倍。 这个模型还保留了原版的思维链功能，能为各种复杂度的任务提供推理。这是业界首个在端侧跑通2bit量化的产业级实践。现在很多应用都要求在手机、耳机或者智能家居上离线部署，还得保证私密性，这就很需要这种小而强大的模型。现在HY-1.8B-2Bit已经在Huggingface和Github上线了，感兴趣的朋友可以去试试。这事儿的主人公还是记者罗亦丹。