Source: https://www.astrmira.com/fr/research/papers/contextual-quantization/
Language: fr

[Accueil](https://www.astrmira.com/fr/)/[Recherche](https://www.astrmira.com/fr/research/)/2609.09867

LOW-BIT LLMS / ARXIV:2609.09867

# Pourquoi la valeur d’un même changement de quantification varie-t-elle ?

Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs

Étudie l’utilité réelle d’un déplacement discret dans les LLM à très faible précision, en l’évaluant le long de son propre trajet et en combinant les décisions dans un état de modèle évolutif.

[Lire sur arXiv](https://arxiv.org/abs/2609.09867)[Ouvrir le PDF de cette version](https://arxiv.org/pdf/2609.09867v1)

Informations sur l’article

**Auteurs**: Wenxuan Xiao, Xu Cao

**Première soumission**: 2026-09-09

**Dernière révision**: 2026-09-09

**Version publique**: arXiv 2609.09867v1

Quantification des LLM · Post-entraînement · Optimisation discrète

L’effet d’un changement dépend de son trajet et de l’état créé par les changements précédents.

## Une meilleure reconstruction ne fait pas toujours un meilleur modèle

La quantification après entraînement modifie un code fini pour réduire l’erreur de reconstruction des poids ou des activations, alors que le modèle est évalué sur la perte prédictive et les tâches. L’article demande comment reconnaître un changement de code admissible réellement utile à largeur de bits fixée.

L’utilité dépend du déplacement effectué. Le gradient au seul point de départ ignore la courbure du trajet ; une évaluation au milieu du déplacement estime mieux le signe de la variation de perte au point d’arrivée. Des expériences sur Llama-3.2 à faible précision testent cette distinction.

## Les changements de quantification interagissent

L’énumération des états quantifiés admissibles montre une utilité combinée approximativement quadratique. De faibles interactions par paires peuvent modifier le meilleur compromis multiobjectif ; un même changement peut devenir nuisible dans un autre état.

Les évaluations au point milieu corrigent les choix locaux. Pour des combinaisons plus grandes, la méthode réévalue depuis les états réellement atteints et vérifie les points d’arrivée exacts. Une recherche en faisceau évaluée aux points d’arrivée trouve des mises à jour parcimonieuses meilleures que des changements ponctuels plus importants.

## Des scores statiques à une optimisation sensible à l’état

Le travail place l’optimisation au niveau des changements de code individuels : définir l’objectif, évaluer chaque déplacement sur son trajet et recombiner les changements à mesure que l’état évolue. Les expériences relient ces choix à la précision sur les tâches et à la perplexité sur des données de validation distinctes.

Lire et citer

## Poursuivez avec l’article original.

Les démonstrations complètes, le protocole expérimental et les résultats figurent dans le manuscrit public.

[Résumé et historique des versions ↗](https://arxiv.org/abs/2609.09867)  
[Article complet en PDF ↗](https://arxiv.org/pdf/2609.09867v1)

Articles associés

VECTOR SEARCH · 2026.09

### Quand des vecteurs comprimés prennent-ils les mêmes décisions ?

Wenxuan Xiao · Xu Cao

En quelques mots

When Does Low-Bit Quantization Preserve the Decisions of Vector Search?

Étudie l’erreur de quantification dans les décisions réelles de classement et d’élagage des graphes, en reliant leur fiabilité aux marges de comparaison, aux résidus corrélés et aux traces d’exécution.

Recherche vectorielle · Stabilité des décisions

[Découvrir cette recherche](https://www.astrmira.com/fr/research/papers/low-bit-decisions/)

[arXiv](https://arxiv.org/abs/2609.09854)

REPRESENTATION GEOMETRY · 2026.05

### Que reste-t-il avec un ou deux bits ?

Wenxuan Xiao

En quelques mots

Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings

Explique le classement à faible précision par la covariance et l’hétérogénéité des coordonnées, notamment les effets différents d’un bit de magnitude supplémentaire et d’une rotation aléatoire selon les représentations.

Géométrie des représentations · Quantification binaire

[Découvrir cette recherche](https://www.astrmira.com/fr/research/papers/covariance-binary-quantization/)

[arXiv](https://arxiv.org/abs/2605.17524)