Source: https://www.astrmira.com/ko/research/papers/contextual-quantization/
Language: ko

[홈](https://www.astrmira.com/ko/)/[연구](https://www.astrmira.com/ko/research/)/2609.09867

LOW-BIT LLMS / ARXIV:2609.09867

# 같은 양자화 변경의 가치는 왜 달라질까요?

Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs

극저비트 대규모 언어 모델에서 이산 변경을 그 경로를 따라 평가하고, 변화하는 모델 상태에서 결정을 조합해 실제 효용을 연구합니다.

[arXiv에서 읽기](https://arxiv.org/abs/2609.09867)[해당 버전 PDF 열기](https://arxiv.org/pdf/2609.09867v1)

논문 정보

**저자**: Wenxuan Xiao, Xu Cao

**최초 제출**: 2026-09-09

**최근 수정**: 2026-09-09

**공개 버전**: arXiv 2609.09867v1

대규모 언어 모델 양자화 · 사후 학습 · 이산 최적화

변경의 효과는 그 경로와 이전 변경들이 만든 상태에 달려 있습니다.

## 더 나은 복원이 항상 더 나은 모델은 아닙니다

사후 양자화는 가중치나 활성화의 복원 오차를 줄이기 위해 유한한 코드를 변경하지만, 모델은 결국 예측 손실과 작업 성능으로 평가됩니다. 논문은 고정 비트폭에서 허용된 코드 변경이 실제로 유용한지 판단하는 방법을 묻습니다.

효용은 변경의 변위에 달려 있습니다. 시작점에서만 평가한 기울기는 경로의 곡률을 놓치지만, 변경의 중간점에서 평가하면 끝점 손실 변화의 부호를 더 잘 추정합니다. 저비트 Llama-3.2 실험으로 이를 검증합니다.

## 양자화 변경은 서로 영향을 줍니다

허용된 양자화 상태를 열거하면 결합 효용이 대략 이차식으로 나타납니다. 작은 쌍별 상호작용도 최적의 다목적 절충을 바꿀 수 있고, 같은 변경이 상태에 따라 도움이 되거나 해로워질 수 있습니다.

중간점 평가는 국소 선택을 보정합니다. 더 큰 조합에서는 실제 도달한 상태에서 재평가하고 정확한 끝점을 확인합니다. 끝점을 평가하는 빔 탐색은 더 큰 일회성 변경보다 좋은 성과를 내는 희소 업데이트를 찾습니다.

## 정적 점수에서 상태를 반영하는 최적화로

양자화 최적화를 개별 코드 변경 수준으로 옮깁니다. 목표를 정의하고 각 변경을 경로에 따라 평가하며 상태 변화에 맞춰 재조합합니다. 실험은 이러한 선택을 작업 정확도 및 별도 검증 데이터의 퍼플렉서티와 연결합니다.

읽기와 인용

## 논문 원문에서 더 살펴보세요.

전체 유도 과정, 실험 설정과 결과는 공개된 원고에서 확인할 수 있습니다.

[초록과 버전 기록 ↗](https://arxiv.org/abs/2609.09867)  
[논문 전문 PDF ↗](https://arxiv.org/pdf/2609.09867v1)

관련 논문

VECTOR SEARCH · 2026.09

### 압축된 벡터는 언제 같은 결정을 내릴까요?

Wenxuan Xiao · Xu Cao

연구 소개

When Does Low-Bit Quantization Preserve the Decisions of Vector Search?

벡터 검색이 실제로 수행하는 순위 비교와 그래프 가지치기 안에서 양자화 오차를 분석하고, 신뢰성을 비교 마진, 상관된 잔차, 실행 경로와 연결합니다.

벡터 검색 · 의사결정 안정성

[연구 자세히 보기](https://www.astrmira.com/ko/research/papers/low-bit-decisions/)

[arXiv](https://arxiv.org/abs/2609.09854)

REPRESENTATION GEOMETRY · 2026.05

### 1비트나 2비트에 무엇이 남을까요?

Wenxuan Xiao

연구 소개

Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings

공분산 구조와 좌표별 이질성으로 저비트 순위 동작을 설명하며, 추가 크기 비트와 무작위 회전이 표현마다 다르게 작용하는 이유를 연구합니다.

표현 기하 · 이진 양자화

[연구 자세히 보기](https://www.astrmira.com/ko/research/papers/covariance-binary-quantization/)

[arXiv](https://arxiv.org/abs/2605.17524)