Source: https://www.astrmira.com/de/research/papers/contextual-quantization/ Language: de [Startseite](https://www.astrmira.com/de/)/[Forschung](https://www.astrmira.com/de/research/)/2609.09867 LOW-BIT LLMS / ARXIV:2609.09867 # Warum verändert sich der Nutzen derselben Quantisierungsänderung? Contextual Utility of Quantization Moves in Extreme Low-Bit LLMs Untersucht den tatsächlichen Nutzen diskreter Schritte in LLMs mit extrem niedriger Bitbreite, indem jeder Schritt entlang seines Weges und im sich verändernden Modellzustand bewertet wird. [Auf arXiv lesen](https://arxiv.org/abs/2609.09867)[PDF dieser Version öffnen](https://arxiv.org/pdf/2609.09867v1) Angaben zum Artikel **Autoren**: Wenxuan Xiao, Xu Cao **Erstmals eingereicht**: 2026-09-09 **Zuletzt überarbeitet**: 2026-09-09 **Öffentliche Version**: arXiv 2609.09867v1 LLM-Quantisierung · Nachtraining · Diskrete Optimierung Ein Schritt wird von seinem Weg und vom Zustand geprägt, den frühere Schritte erzeugt haben. ## Bessere Rekonstruktion bedeutet nicht immer ein besseres Modell Quantisierung nach dem Training verändert einen endlichen Code, um Rekonstruktionsfehler von Gewichten oder Aktivierungen zu reduzieren. Bewertet wird das Modell jedoch über Vorhersageverlust und Aufgabenleistung. Die Arbeit fragt, wie sich bei fester Bitbreite der tatsächliche Nutzen eines zulässigen Codeschritts erkennen lässt. Der Nutzen hängt von der Verschiebung des Schritts ab. Ein Gradient nur am Start übersieht die Krümmung des Weges; die Auswertung am Mittelpunkt schätzt das Vorzeichen der Verluständerung am Endpunkt besser. Experimente mit niedrig quantisiertem Llama-3.2 prüfen diesen Unterschied. ## Quantisierungsschritte beeinflussen einander Die Aufzählung zulässiger quantisierter Zustände zeigt einen näherungsweise quadratischen Gesamtnutzen. Selbst kleine paarweise Wechselwirkungen können den besten Kompromiss zwischen mehreren Zielen verändern. Derselbe Schritt kann in einem anderen Zustand von hilfreich zu schädlich wechseln. Mittelpunktbewertungen korrigieren lokale Entscheidungen. Bei größeren Kombinationen bewertet die Methode aus tatsächlich erreichten Zuständen neu und prüft exakte Endpunkte. Eine Beam Search mit Endpunktbewertung findet sparsame Aktualisierungen, die größere einmalige Änderungen übertreffen. ## Von statischen Werten zur zustandsabhängigen Optimierung Die Arbeit verlagert Quantisierungsoptimierung auf einzelne Codeänderungen: das Ziel festlegen, jeden Schritt entlang seines Weges bewerten und Schritte im sich entwickelnden Zustand neu kombinieren. Experimente verbinden diese Entscheidungen mit Aufgabengenauigkeit und Perplexität auf zurückgehaltenen Daten. Lesen und zitieren ## Im Originalartikel weiterlesen. Vollständige Herleitungen, Versuchsaufbau und Ergebnisse finden Sie im öffentlich zugänglichen Manuskript. [Zusammenfassung und Versionsverlauf ↗](https://arxiv.org/abs/2609.09867) [Vollständiger Artikel als PDF ↗](https://arxiv.org/pdf/2609.09867v1) Verwandte Artikel VECTOR SEARCH · 2026.09 ### Wann treffen komprimierte Vektoren dieselben Entscheidungen? Wenxuan Xiao · Xu Cao Forschung im Überblick When Does Low-Bit Quantization Preserve the Decisions of Vector Search? Untersucht Quantisierungsfehler in den tatsächlichen Rang- und Graphbeschneidungsentscheidungen der Vektorsuche und verbindet deren Zuverlässigkeit mit Vergleichsmargen, korrelierten Residuen und Ausführungsspuren. Vektorsuche · Entscheidungsstabilität [Diese Forschung entdecken](https://www.astrmira.com/de/research/papers/low-bit-decisions/) [arXiv](https://arxiv.org/abs/2609.09854) REPRESENTATION GEOMETRY · 2026.05 ### Was bleibt bei einem oder zwei Bits erhalten? Wenxuan Xiao Forschung im Überblick Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings Erklärt Rangverhalten bei niedriger Bitbreite durch Kovarianz und unterschiedliche Koordinatenskalen, einschließlich der unterschiedlichen Wirkung eines zusätzlichen Betragsbits und zufälliger Rotation auf verschiedene Repräsentationen. Repräsentationsgeometrie · Binäre Quantisierung [Diese Forschung entdecken](https://www.astrmira.com/de/research/papers/covariance-binary-quantization/) [arXiv](https://arxiv.org/abs/2605.17524)