Source: https://www.astrmira.com/research/papers/contextual-quantization/
Language: zh-CN

[← 全部研究](https://www.astrmira.com/research/)

RESEARCH / LOW-BIT LLMS

# 同一次量化改动，为何会改变好坏？

Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs

研究极低比特大模型中一次离散改动的真实收益：沿改动自身的路径评估，并在持续变化的模型状态上组合决策。

[arXiv 原文](https://arxiv.org/abs/2609.09867) [阅读 PDF](https://arxiv.org/pdf/2609.09867v1)

PAPER / V1

**作者**: Wenxuan Xiao · Xu Cao

**首次提交**: 2026.09.09

**公开版本**: [arXiv:2609.09867 ↗](https://arxiv.org/abs/2609.09867) · 预印本

大模型量化 · 后训练 · 离散优化

## 重构更接近，模型未必更好

后训练量化会调整有限的编码，让权重或激活的重构误差降低。但模型最终面对的是预测损失与任务表现。论文研究的是：在位数不变的前提下，如何判断一次合法的离散编码改动是否真正有益。

收益首先取决于改动本身的位移。只在起点计算梯度会遗漏沿途的曲率；在这次改动自己的中点计算梯度，能更准确地判断终点损失的变化方向。Llama-3.2 的低比特实验检验了这一差异。

改动的收益来自它走过的路径，也取决于此前的改动把模型带到了哪里。

## 改动之间，也会相互影响

对合法量化状态的穷举显示，多个改动的组合收益可由近似二次结构描述。即使两两交互项很小，也可能改变多目标下的最优取舍；同一次改动在不同状态中，甚至会从有益变为有害。

逐个读取改动的中点，可以修复局部选择。组合范围扩大后，则需要从实际到达的状态重新评估，并检查真实终点。论文中的终点评估束搜索找到了优于更大规模一次性更新的稀疏改动。

## 从静态打分，走向随状态更新的优化

这项工作把量化优化推进到“几次改动”的粒度：明确优化目标，沿各自路径判断收益，再随着状态变化重新组合。实验同时考察任务准确率和留出数据上的困惑度，连接局部选择与模型实际表现。

## 阅读与引用

完整推导、实验设置和结果见论文原文。

[摘要与版本记录 ↗](https://arxiv.org/abs/2609.09867)[HTML 全文 ↗](https://arxiv.org/html/2609.09867v1)[PDF ↗](https://arxiv.org/pdf/2609.09867v1)

Wenxuan Xiao, Xu Cao. Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs. arXiv:2609.09867, 2026.

CONTINUE READING

[压缩之后，搜索还会做出相同的选择吗？](https://www.astrmira.com/research/papers/low-bit-decisions/)[少到一两个比特，什么信息仍被保留？](https://www.astrmira.com/research/papers/covariance-binary-quantization/)