4-bit 模型超过 BF16？Quantization-Aware Healing 的成绩和比较缺口

4-bit 模型超过 BF16？Quantization-Aware Healing 的成绩和比较缺口

Hugging Face 8 月 25 日刊出的 Quantization-Aware Healing（QAH）研究很抓眼球：把 GPT-OSS 120B 压缩到 60B，再量化为 MXFP4，最终检查点在 9 项基准中的 7 项超过同规模 BF16 检查点。长上下文 AA-LCR 高 7.4 分，AIME 2025 高 5.6 分，LiveCodeBench 则从 65.5 到 66.5。

如果只读标题，很容易得到“4-bit 比全精度更强”的印象。研究页面随后出现了一条关键质疑，作者也公开确认：被比较的两个 60B 检查点接受的训练并不等量。BF16 版本完成一次恢复蒸馏，MXFP4 版本又针对原始 120B 教师做了第二次蒸馏。因此，结果能证明这个 4-bit 成品确实超过其 BF16 起点，却还不能单独证明增益来自量化感知方法，而非额外训练。

QAH 解决的是压缩与量化叠加后的恢复

常见部署流程会先删减层、注意力头或神经元，再把权重压到 4 bit。两种损失叠加后，数学、代码与长上下文能力往往一起受损，需要恢复阶段。量化感知训练（QAT）模拟量化误差并继续用任务损失微调；量化感知蒸馏（QAD）则让量化学生拟合教师的输出分布。

难点在于，结构已经变成 60B 后，不存在一个独立训练、完全等价的全精度教师。若学生只追随恢复过的 60B BF16 检查点，教师本身已经继承压缩损失。QAH 直接用原始 120B 模型的 logits 教 60B MXFP4 学生，并用分块 KL 损失处理最长 32k token 的样本。9B 对照实验中，QAH 约 100 步达到峰值，QAT 约 700 步才接近，继续训练还出现明显下滑。

60B 学生只有教师约一半参数，4-bit 权重也大幅降低显存占用。站内关于[vLLM 高吞吐推理](/articles/open-source-vllm-high-throughput-inference)的讨论同样适用：能放进更少 GPU 只是起点，批处理吞吐、首 token 延迟、长上下文显存和并发退化仍需在同一套服务配置下测。

标题成立到哪一步，取决于缺失的对照组

公平对照应让 60B BF16 也接受相同教师、数据、步数的额外蒸馏；另一个实用对照，是把继续训练后的 BF16 做常规量化，与“在量化状态下恢复”的 QAH 相比。作者认可这些缺口，并表示现有表格无法把“量化下蒸馏”与“训练得更久”区分开。

还有一处措辞需要收紧。结果表把 120B 教师标为 MXFP4，因为 GPT-OSS 120B 本身以 MXFP4 MoE 权重发布；文章却多次使用 full-precision original 的说法。因而“超过原始全精度模型”不宜被直接转述。较准确的表述是：60B MXFP4 成品在多数测试上超过它被量化前的 60B BF16 恢复检查点，并在 LiveCodeBench 上略高于 120B 教师；不同模型、训练阶段与精度标签要分开看。

这篇研究提供了值得复现的方法，但不该直接变成采购结论。建议固定推理框架和提示集，记录显存、吞吐、首 token 延迟与成本，再用业务中的代码、工具调用或长文档任务测准确率。数学和代码结果可交给另一套模型复核，同时保留人工抽样。类似方法也可参考[GLM 5.3 Flash 上线前怎么测](/articles/how-to-evaluate-glm-5-3-flash-for-production)。

[QAH 技术文章](https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing)和[论文页面](https://huggingface.co/papers/2608.20953)给出了完整数据与公开讨论。当前最稳妥的判断是：成品表现可复现的价值较高，方法的独立增益还要等匹配训练量的对照。