Une meilleure reconstruction ne fait pas toujours un meilleur modèle
La quantification après entraînement modifie un code fini pour réduire l’erreur de reconstruction des poids ou des activations, alors que le modèle est évalué sur la perte prédictive et les tâches. L’article demande comment reconnaître un changement de code admissible réellement utile à largeur de bits fixée.
L’utilité dépend du déplacement effectué. Le gradient au seul point de départ ignore la courbure du trajet ; une évaluation au milieu du déplacement estime mieux le signe de la variation de perte au point d’arrivée. Des expériences sur Llama-3.2 à faible précision testent cette distinction.
Les changements de quantification interagissent
L’énumération des états quantifiés admissibles montre une utilité combinée approximativement quadratique. De faibles interactions par paires peuvent modifier le meilleur compromis multiobjectif ; un même changement peut devenir nuisible dans un autre état.
Les évaluations au point milieu corrigent les choix locaux. Pour des combinaisons plus grandes, la méthode réévalue depuis les états réellement atteints et vérifie les points d’arrivée exacts. Une recherche en faisceau évaluée aux points d’arrivée trouve des mises à jour parcimonieuses meilleures que des changements ponctuels plus importants.
Des scores statiques à une optimisation sensible à l’état
Le travail place l’optimisation au niveau des changements de code individuels : définir l’objectif, évaluer chaque déplacement sur son trajet et recombiner les changements à mesure que l’état évolue. Les expériences relient ces choix à la précision sur les tâches et à la perplexité sur des données de validation distinctes.
Lire et citer
Poursuivez avec l’article original.
Les démonstrations complètes, le protocole expérimental et les résultats figurent dans le manuscrit public.