같은 양자화 변경의 가치는 왜 달라질까요?

더 나은 복원이 항상 더 나은 모델은 아닙니다

사후 양자화는 가중치나 활성화의 복원 오차를 줄이기 위해 유한한 코드를 변경하지만, 모델은 결국 예측 손실과 작업 성능으로 평가됩니다. 논문은 고정 비트폭에서 허용된 코드 변경이 실제로 유용한지 판단하는 방법을 묻습니다.

효용은 변경의 변위에 달려 있습니다. 시작점에서만 평가한 기울기는 경로의 곡률을 놓치지만, 변경의 중간점에서 평가하면 끝점 손실 변화의 부호를 더 잘 추정합니다. 저비트 Llama-3.2 실험으로 이를 검증합니다.

양자화 변경은 서로 영향을 줍니다

허용된 양자화 상태를 열거하면 결합 효용이 대략 이차식으로 나타납니다. 작은 쌍별 상호작용도 최적의 다목적 절충을 바꿀 수 있고, 같은 변경이 상태에 따라 도움이 되거나 해로워질 수 있습니다.

중간점 평가는 국소 선택을 보정합니다. 더 큰 조합에서는 실제 도달한 상태에서 재평가하고 정확한 끝점을 확인합니다. 끝점을 평가하는 빔 탐색은 더 큰 일회성 변경보다 좋은 성과를 내는 희소 업데이트를 찾습니다.

정적 점수에서 상태를 반영하는 최적화로

양자화 최적화를 개별 코드 변경 수준으로 옮깁니다. 목표를 정의하고 각 변경을 경로에 따라 평가하며 상태 변화에 맞춰 재조합합니다. 실험은 이러한 선택을 작업 정확도 및 별도 검증 데이터의 퍼플렉서티와 연결합니다.