DiffuSpace开源扩散语言模型Clover-35B-A3B：激活3B参数，单卡GB300每秒约680个token

现在主流的大语言模型都是一个字一个字往后写的。10月30日，DiffuSpace团队开源了 Clover-35B-A3B-Preview（中文名“三叶”），走的是另一条路：扩散语言模型，一次对一整块文本反复“去噪”，多个token可以同时生成。详情见团队发布在 Hugging Face上的介绍文章。

关键信息

• 团队成员来自香港大学NLP组，此前做过下载量超过270万次的 Dream 7B。
• 模型是混合专家（MoE）结构，总参数 350亿，每次只激活约 30亿，支持思考模式，采用Apache许可证，权重已上架Hugging Face、GitHub和ModelScope，并支持SGLang和llama.cpp。
• 架构上，团队把线性注意力Gated DeltaNet改成了适合“块扩散”的双向版本。
• 官方成绩：SWE-bench Verified 73.6，GPQA Diamond 83.8，MMLU-Pro 84.8，Terminal-Bench 2.1为51.7，均高于同规模的Qwen3.6-35B-A3B。
• 速度：单张GB300上约 680 token/秒；在H200上为515，对照的Qwen配合推测解码是365。量化到INT4后，16GB显存的RTX 5070 Ti在MATH-500上能跑到101.8 token/秒，大约是对照组的两倍。

我的看法

扩散语言模型过去常给人“快但不够聪明”的印象。Clover有意思的地方在于，它把代码和工具调用的分数做到了和主流自回归模型同一档，同时保留了速度优势。消费级显卡也能跑得动，对本地部署的开发者来说很有吸引力。

需要提醒的是，这还是预览版，所有分数和速度都是团队自己测的，等社区实测后再下结论更稳妥。团队也预告了后续会推出带“联合模式”的版本。