Was bleibt bei einem oder zwei Bits erhalten?

Warum können gegensätzliche Entwürfe beide funktionieren?

Einige binäre Quantisierungssysteme rotieren Vektoren zufällig, andere behalten die ursprünglichen Achsen. Bei gleicher Bitbreite variiert die Suchqualität zwischen Repräsentationen stark. Der Artikel untersucht diese Beobachtungen anhand der Statistik kontrastiver Embeddings.

Kovarianz und Koordinatenheterogenität trennen

Im gaußschen Modell beeinflusst die gesamte Kovarianzstruktur die Rangtreue. Randvarianzen allein erfassen das aufsummierte Signal zwischen Koordinaten nicht. Ungleiche Koordinatenvarianzen bestimmen, wie viel ein Betragsbit beiträgt und ob zufällige Rotation hilft oder nützliche Struktur entfernt.

Rotation gleicht Varianzen an und kann eine isotrope Distanzkorrektur ermöglichen. Sie kann aber auch Heterogenität auslöschen, die ein anderer Code nutzt. Die Arbeit leitet Näherungen für die Rangtreue und empirische Skalierungsbeziehungen über Modelle und Dimensionen hinweg her.

Repräsentationsstruktur als Entwurfshinweis nutzen

Experimente mit neun Embedding-Familien und achtzehn Datensätzen untersuchen Kovarianz, Betragsbits und Rotation. Die Ergebnisse geben statistische Orientierung für Kodierung und Vorverarbeitung unter den angegebenen gaußschen Annahmen und Näherungsbedingungen.