成本暴降90%!阿里深夜干了件大事

2025-09-12 | 来源: 智东西 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

混合注意力机制：用Gated DeltaNet（线性注意力）和Gated Attention（门控注意力）的组合替换标准注意力，实现超长上下文长度的有效上下文建模。

研究人员发现Gated DeltaNet相比常用的滑动窗口注意力（Sliding Window Attention）和Mamba2有更强的上下文学习能力, 并在3:1的混合比例下，即75%层使用Gated DeltaNet，25%层保留标准注意力，能一致超过超越单一架构，实现性能与效率的双重优化。

同时在保留的标准注意力中，研究人员进一步引入多项增强设计，包括沿用先前工作的输出门控机制，缓解注意力中的低秩问题，将单个注意力头维度从128扩展至256，仅对注意力头前25%的位置维度添加旋转位置编码，提高长度外推效果。

高稀疏度混合专家（MoE）：在MoE层中实现极低的激活比率，大幅减少每个token的FLOPs，同时保留模型容量。研究人员的实验表明，在使用全局负载均衡后，当激活专家固定时，持续增加专家总参数可带来训练loss的稳定下降。

北京阅兵弄巧成拙美日执意要搞"大事"

向西! 一路向西! 中亚方向中国正在干大事!

香港女子深夜只穿内衣呆坐马路中央影片疯传

此前，Qwen3系列的MoE专家激活比约为1比16，Qwen3-Next实现了1比50的激活比。

稳定性优化：包括零中心化和权重衰减layernorm等技术，以及其他增强稳定性以实现鲁棒的预训练和后训练。研究人员发现，注意力输出门控机制能消除注意力池与极大激活等现象，保证模型各部分的数值稳定。

多Token预测（MTP）：提升预训练模型性能并加速推理，Qwen3-Next特别优化了MTP多步推理性能，通过训练推理一致的多步训练，进一步提高了实用场景下的Speculative Decoding接受率。

结语：3B激活参数对标旗舰模型！阿里凭架构创新为模型降本提速Qwen3-Next的突破点在于同时实现了大规模参数容量、低激活开销、长上下文处理与并行推理加速。此外结合注意力机制、MoE设计等方面的多项架构创新，阿里通义此次实现仅激活3B参数模型就能对标规模更大模型的性能，使得模型在性能与效率之间找到更佳平衡点，同时为降低模型训练、推理成本提供了有效路径。研究人员在博客提到，未来他们将持续优化这一架构并开发Qwen3.5。与此同时近期阿里通义已经推出数个不同领域的模型，如超万亿参数的Qwen3-Max-Preview、文生图及编辑模型Qwen-Image-edit、语音识别模型Qwen3-ASR-Flash等。随着其多领域模型的持续落地与开源，阿里通义在开源社区的技术影响力正逐步增强。