Source: https://www.astrmira.com/zh-hant/research/papers/contextual-quantization/
Language: zh-Hant

[首頁](https://www.astrmira.com/zh-hant/)/[研究](https://www.astrmira.com/zh-hant/research/)/2609.09867

LOW-BIT LLMS / ARXIV:2609.09867

# 同一次量化改動，為何會改變好壞？

Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs

沿離散改動自身的路徑評估收益，並在持續變化的模型狀態中組合決策，研究極低位元大型語言模型的量化改動效用。

[閱讀 arXiv 原文](https://arxiv.org/abs/2609.09867)[閱讀指定版本 PDF](https://arxiv.org/pdf/2609.09867v1)

論文資訊

**作者**: Wenxuan Xiao, Xu Cao

**首次提交**: 2026-09-09

**最近修訂**: 2026-09-09

**公開版本**: arXiv 2609.09867v1

大型語言模型量化 · 後訓練 · 離散最佳化

一次改動的效用，取決於自身路徑與先前改動留下的模型狀態。

## 重構更準確，模型未必更好

訓練後量化調整有限編碼，以降低權重或啟動值的重構誤差；模型最終卻以預測損失和任務表現來評估。論文研究如何在位元數固定時，判斷一次允許的編碼改動是否真正有用。

收益取決於改動的位移。只看起點梯度會遺漏路徑曲率；在改動中點計算梯度，能更準確地判斷終點損失的變化方向。Llama-3.2 的低位元實驗檢驗了這項差異。

## 量化改動會彼此影響

窮舉允許的量化狀態顯示，組合效用可用近似二次結構描述。小幅兩兩交互作用仍可能改變多目標下的最佳取捨，同一改動也可能在不同狀態下由有益變成有害。

中點評估能修正局部選擇。面對較大的組合，方法從實際到達的狀態重新評估並檢查精確終點；以終點評估的束搜尋找到了優於大規模一次性更新的稀疏改動。

## 從靜態分數，走向隨狀態更新的最佳化

研究將量化最佳化推進到個別編碼改動的層次：明確定義目標，沿各自路徑評估改動，並隨狀態重新組合。實驗將這些選擇連結到任務準確率及留出資料的困惑度。

閱讀與引用

## 繼續閱讀論文原文。

完整推導、實驗設定與結果，請參閱公開論文。

[摘要與版本紀錄 ↗](https://arxiv.org/abs/2609.09867)  
[PDF 全文 ↗](https://arxiv.org/pdf/2609.09867v1)

相關論文

VECTOR SEARCH · 2026.09

### 壓縮之後，搜尋還會做出相同的選擇嗎？

Wenxuan Xiao · Xu Cao

研究簡介

When Does Low-Bit Quantization Preserve the Decisions of Vector Search?

把量化誤差放回向量搜尋實際執行的排序與圖剪枝決策，透過比較間隔、相關殘差與執行軌跡分析可靠性。

向量檢索 · 決策穩定性

[瞭解這項研究](https://www.astrmira.com/zh-hant/research/papers/low-bit-decisions/)

[arXiv](https://arxiv.org/abs/2609.09854)

REPRESENTATION GEOMETRY · 2026.05

### 少到一兩個位元，什麼資訊仍被保留？

Wenxuan Xiao

研究簡介

Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings

透過共變異數結構與座標異質性解釋低位元排序行為，分析額外幅度位元與隨機旋轉為何對不同表示有不同效果。

表示幾何 · 二值量化

[瞭解這項研究](https://www.astrmira.com/zh-hant/research/papers/covariance-binary-quantization/)

[arXiv](https://arxiv.org/abs/2605.17524)