Source: https://www.astrmira.com/ja/research/papers/contextual-quantization/
Language: ja

[ホーム](https://www.astrmira.com/ja/)/[研究](https://www.astrmira.com/ja/research/)/2609.09867

LOW-BIT LLMS / ARXIV:2609.09867

# 同じ量子化変更の価値は、なぜ変わるのか？

Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs

極低ビット LLM の離散的な変更を、その変更自身の経路に沿って評価し、変化するモデル状態の中で判断を組み合わせます。

[arXiv で読む](https://arxiv.org/abs/2609.09867)[指定バージョンの PDF](https://arxiv.org/pdf/2609.09867v1)

論文情報

**著者**: Wenxuan Xiao, Xu Cao

**初回投稿**: 2026-09-09

**最終改訂**: 2026-09-09

**公開バージョン**: arXiv 2609.09867v1

LLM 量子化 · 事後学習 · 離散最適化

変更の価値は、その経路と、それまでの変更が作った状態に左右されます。

## 再構成がよくても、モデルがよいとは限らない

学習後量子化では有限のコードを変えて重みや活性値の再構成誤差を減らしますが、モデルは最終的には予測損失とタスク性能で評価されます。本論文は、ビット幅を固定したとき、許容されるコード変更が実際に有益かを判断する方法を探ります。

効用は変更の変位に依存します。始点の勾配だけでは経路の曲率を捉えられず、変更の中点で勾配を評価すると終点損失の変化方向をより正確に推定できます。低ビットの Llama-3.2 実験でこの違いを検証します。

## 量子化の変更は相互作用する

許容される量子化状態を列挙すると、組み合わせた効用は近似的に二次構造で表されます。小さな二者間相互作用でも多目的の最適な取捨選択を変え、同じ変更が別の状態では有益から有害へ転じる場合があります。

中点評価は局所的な選択を修正します。組み合わせを広げる場合には、実際に到達した状態で再評価し、厳密な終点を確かめます。終点評価によるビーム探索は、大きな一括更新を上回る疎な変更を見つけました。

## 固定スコアから、状態に応じた最適化へ

量子化最適化を個々のコード変更の粒度へ進め、目的を定め、各経路に沿って効用を評価し、状態の変化に合わせて再構成します。実験ではタスク正解率とホールドアウトのパープレキシティに結びつけて検証します。

原文と引用

## 論文の原文へ。

導出の詳細、実験設定、結果は公開論文をご覧ください。

[要旨とバージョン履歴 ↗](https://arxiv.org/abs/2609.09867)  
[論文全文 PDF ↗](https://arxiv.org/pdf/2609.09867v1)

関連論文

VECTOR SEARCH · 2026.09

### ベクトルを圧縮しても、同じ判断は保たれるか？

Wenxuan Xiao · Xu Cao

研究の概要

When Does Low-Bit Quantization Preserve the Decisions of Vector Search?

量子化誤差を検索の順位付けやグラフ枝刈りの判断に位置づけ、比較マージン、相関した残差、実行軌跡から信頼性を考察します。

ベクトル検索 · 判断の安定性

[研究の詳細へ](https://www.astrmira.com/ja/research/papers/low-bit-decisions/)

[arXiv](https://arxiv.org/abs/2609.09854)

REPRESENTATION GEOMETRY · 2026.05

### 1～2 ビットにしても、何が残るのか？

Wenxuan Xiao

研究の概要

Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings

共分散構造と座標の不均一性から低ビットでの順位付けを説明し、追加の大きさビットやランダム回転の効果が表現ごとに異なる理由を探ります。

表現の幾何 · 二値量子化

[研究の詳細へ](https://www.astrmira.com/ja/research/papers/covariance-binary-quantization/)

[arXiv](https://arxiv.org/abs/2605.17524)