成本暴降90%!阿里深夜干了件大事

2025-09-12 | 来源: 智东西 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

在解码（decode）阶段，该模型在4k上下文下实现近4倍的吞吐提升，在超过32k的长上下文场景中能保持10倍以上的吞吐优势。

具体来看，其指令模型表现优于Qwen3-30B-A3B-Instruct-2507和Qwen3-32B-Non-thinking，并取得了几乎与参数规模更大的Qwen3-235B-A22B-Instruct-2507模型相近的结果。

只有在面向大模型的综合性评测基准、高难度数学推理基准AIME25中，指令模型的表现略逊色于Qwen3-235B-A22B-Instruct-2507，在编程、复杂问答与长对话的评测中表现更好。

Qwen3-Next-80B-A3B-Instruct在RULER上所有长度的表现明显优于层数相同、注意力层数更多的Qwen3-30B-A3B-Instruct-2507，甚至在256k范围内都超过了层数更多的Qwen3-235B-A22B-Instruct-2507。

香港女子深夜只穿内衣呆坐马路中央影片疯传

大事不妙 "两头婚"在中国悄然蔓延

向西! 一路向西! 中亚方向中国正在干大事!

思维模型的表现优于预训练成本更高的Qwen3-30B-A3B-Thinking-2507、Qwen3-32B-thinking，全面超过了谷歌的闭源模型Gemini-2.5-Flash-Thinking，并在部分指标上接近阿里最新旗舰模型Qwen3-235B-A22B-Thinking-2507。

二、混合注意力、MoE、稳定优化、多Token预测加持

研究人员在博客中提到，Qwen3-Next是针对大模型在上下文长度和总参数两方面不断扩展（Scaling）的未来趋势而设计。

Qwen3-Next采用的是Qwen3 36T预训练语料的一个均匀采样子集，包含15T tokens。其训练所消耗的GPU Hours不到Qwen3-30A-3B的80%；与Qwen3-32B相比，仅需9.3%的GPU计算资源，即可实现更优的模型性能。

这一模型结构相较其4月底推出的Qwen3的MoE模型，新增了多种新技术并进行了核心改进，包括混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多Token预测（MTP）机制等。