Die Etikettenfehlerkurve: Genauigkeit, Kosten und Wirkung tieferer Etiketten

Coherent trainiert sein Bewertungsnetz mit Stellungen aus eigenen Partien. Jede Stellung bekommt als Etikett die Bewertung einer Suche der Engine, in der Datenerzeugung mit 5.000 Knoten je Zug. Eine tiefere Suche kostet mehr Rechenzeit. Die Messreihe „Etikettenbudget“ hat gemessen, wie nah die Etiketten je nach Knotenzahl an einer tiefen Referenzsuche liegen, was sie kosten und ob ein Netz aus tieferen Etiketten mehr lernt. Ein Beitrag vom 26.10.2026 zeigte daraus Auszüge; dieser Beitrag stellt die ganze Messreihe dar. Er entstand im Auftrag des Betreibers und macht keine Aussage über Spielstärke: Alle Maße messen den Abstand zu einer tiefen Referenzsuche derselben Engine oder die Vorhersage des Partieausgangs.

Kurz gesagt

• Der Etikettenfehler gegenüber der Referenzsuche sinkt von 6,19 Tausendsteln bei 625 Knoten über 3,58 bei 5.000 Knoten auf 1,13 bei 80.000 Knoten.
• Die Rechenzeit je Partie steigt bei 20.000 Knoten auf das 3,57-Fache, bei 40.000 Knoten auf das 6,91-Fache.
• Netze, die aus denselben 300.000 Partien mit 20.000 oder 40.000 Knoten neu etikettiert lernten, unterschieden sich im Netzfehler von Netzen aus 5.000er-Etiketten um einen Log-Kontrast von −0,49 und −0,31 %. Nach der vorab festgelegten Regel ist das kein tragfähiger Unterschied; die einseitigen oberen 95-%-Grenzen lagen bei +3,87 und +4,05 %.
• Den Partieausgang sagten die Netze aus tieferen Etiketten um 0,0017 und 0,0023 Nats schlechter voraus. Die Messreihe endete plangemäß nach Stufe 1.
• Der Befund gilt nur für das nachträgliche Umetikettieren bei gleicher Datenmenge und fester Netzbreite 768.

Die Maße

• Etikett: die Bewertung einer Stellung durch eine Suche mit k Knoten.
• Etikettenfehler E(k): das Mittel von (σ(Etikett/205) − σ(Referenz/205))². σ ist die logistische Funktion; sie macht aus einer Bewertung in Centibauern einen Wert zwischen 0 und 1. Referenz ist eine Suche derselben Engine mit 5,12 Mio. Knoten und leerem Suchspeicher.
• Warm und kalt: Warm läuft die Suche wie in der Datenerzeugung: ein Engineprozess je Partie, die Partie Zug für Zug, der Suchspeicher aus den früheren Zügen bleibt erhalten. Kalt wird der Suchspeicher vor jeder Stellung geleert.
• Netzfehler M: dasselbe Maß für die Bewertung eines trainierten Netzes, auf einem eingefrorenen Messsatz.
• Log-Loss: wie gut eine Bewertung, über eine angepasste Skala in eine Wahrscheinlichkeit umgerechnet, den Ausgang der Partie vorhersagt. Gemessen in Nats; kleiner ist besser.
• Log-Kontrast: 100-mal die Differenz der natürlichen Logarithmen zweier Werte, angegeben in %. Bei kleinen Unterschieden entspricht er etwa der prozentualen Änderung.

Stufe A: Wie genau ist ein Etikett?

Aus zwölf Läufen der eigenen Datenerzeugung wurden 10.008 Partien gezogen, je Partie zwei Stellungen. 20.015 Stellungen waren auswertbar. Jede wurde mit fünf Knotenzahlen warm und kalt neu bewertet und mit der Referenz verglichen. Bei 5.000 Knoten trafen die nachgespielten Zeilen die gelieferten bitgleich.

• Bänder: Bootstrap über ganze Partien mit 2.000 Ziehungen.
• Verlauf: Über den ganzen Bereich passt E proportional zu k^−α mit α = 0,349, Band 0,340 bis 0,360. Auf zwei logarithmischen Achsen wird die Kurve über die gemessenen Abschnitte steiler: Der Betrag der Steigung beträgt 0,23 (0,19 – 0,27), 0,28 (0,26 – 0,30), 0,37 (0,35 – 0,40) und 0,46 (0,43 – 0,49).
• 5.000 gegen 20.000 Knoten: Der Etikettenfehler sinkt um 40,3 %, Band 38,4 bis 42,2 %.
• Kalt und warm: Kalt ist der Fehler 1,27- bis 1,99-mal so groß wie warm, und die warme Suche erreicht bei gleicher Knotenzahl mehr Tiefe. Ob das echte Genauigkeit ist oder nur ähnlichere Suchbäume, trennt die Messung nicht.
• λ(k):* das Gewicht des Partieergebnisses, bei dem eine Mischung aus Etikett und Partieergebnis auf der σ-Skala der Referenz am nächsten käme. Es sinkt mit der Knotenzahl von 0,144 auf 0,031. Die Netze der Stufe 1 lernten mit dem Gewicht 0,1.
• Nachrechnung: Eine unabhängige zweite Implementierung bestätigte alle Entscheidungsgrößen von Stufe A, mit höchstens 0,006 % relativer Abweichung.

Wie tief muss die Referenz sein?

Auch die Referenz ist nur eine endliche Suche. Deshalb wurden 2.000 Kontrollstellungen aus 1.000 Partien gegen drei Referenztiefen ausgewertet.

• Je tiefer die Referenz, desto kleiner der gemessene Rückgang. Gepaart auf denselben Stellungen ist er gegen 20,48 Mio. Knoten um 4,6 Prozentpunkte kleiner als gegen 5,12 Mio. Knoten, Band 2,8 bis 6,3.
• Die vorab festgelegte Einstufung „mehr“ (untere Grenze des Rückgangs mindestens 10 %) hielt bei allen drei Tiefen.
• Gegenprobe: Bei 100 von 100 Stellungen lieferte die Referenzsuche mit 5,12 Mio. Knoten in beiden Läufen dieselbe Bewertung und Tiefe.

Was tiefere Etiketten kosten

200 Partien aus 180 Läufen der Datenerzeugung wurden auf einem voll ausgelasteten Rechner vollständig warm mit 5.000, 20.000 und 40.000 Knoten nachgespielt. Gegen den Durchsatz der Datenerzeugung geeicht ergab sich ein Faktor von 1,243.

Die fünf teuersten der 200 Partien machten 4,9 % der Kosten aus.

Der Messsatz für Netze

• Umfang: 48.807 Partien mit 92.314 Stellungen, jede mit der kalten Referenz von 5,12 Mio. Knoten bewertet.
• Entdopplung: Stellungen, die auch in Trainingsdaten vorkommen, wurden entfernt; geprüft gegen 600 Trainingsläufe mit 872 Mio. Zeilen, 74.934 Treffer. Dadurch sank der Anteil der Stellungen mit höchstens neun Steinen von 32,5 auf 26,9 %. Alle Werte von M gelten für diese Verteilung.
• Haltesatz für den Log-Loss: 11.009 Partien; die Skala wird auf 1.178 Partien angepasst, gemessen auf den übrigen 9.831.
• Blindheitsprüfung: An 12 bestehenden Netzen derselben Bauart ordnete M alle 7 vorab festgelegten Netzpaare in der erwarteten Reihenfolge. Das zeigt, dass M Unterschiede zwischen Netzen sieht; eine Umrechnung in Spielstärke liefert es nicht.

Vorstufe: Netzfehler und Datenmenge

Vor dem Hauptversuch wurden Netze der Breite 768 mit 5.000er-Etiketten aus 150.000, 300.000 und 1.200.000 Partien trainiert, je 16 Epochen mit dem Ergebnisgewicht 0,1.

• Wiederholung: Ein zweiter Lauf mit derselben Saat bei 300.000 Partien ergab bitgleiche Netze und denselben Wert von M.
• Planung der Stufe 1: Aus der Streuung bei 1.200.000 Partien setzte die Regel eine Mindeststreuung von 0,0372 an, das Doppelte des oberen 95-%-Rands. Als Referenzeffekt nahm sie an: Übernähme ein Netz den Etikettengewinn von 5.000 auf 40.000 Knoten mit dem Faktor 0,81, läge der Log-Kontrast von M bei −16,7 %. Das ursprüngliche Planungsmodell ergab mit 4 Saaten beim halben Effekt eine Teststärke von 0,989. Die Auswertungsregel wurde danach geändert und gesondert geprüft (nächster Punkt).
• Abnahme der Regel: Vor dem ersten Training der Stufe 1 wurde die endgültige Regel in einem vorab festgelegten Raster aus 1.314 synthetischen Prüfzellen simuliert. Ohne echten Effekt ging sie dort in höchstens 7,5 % der Fälle fälschlich weiter. In den Zellen mit normalverteilter Streuung und dem angesetzten Messfehler erkannte sie den halben Referenzeffekt in mindestens 89,2 % der Fälle; über alle Zellen mit normalverteilter Streuung deckten ihre Grenzen den wahren Wert in mindestens 92,5 % der Fälle. Grenzen: Bei stark schiefer Verteilung zwischen den Saaten sinkt die Teststärke beim halben Referenzeffekt auf 0,657; wäre die wahre Streuung doppelt so groß wie die Mindeststreuung, gäbe es bei 4 Saaten keine Schranke der Fehlerrate unter 10 %.
• Folge der Mindeststreuung: Unter dieser Regel muss ein negativer Log-Kontrast dem Betrag nach mindestens etwa 4,25 % erreichen. Das ist notwendig, aber nicht hinreichend: Die einseitige obere 95-%-Grenze muss unter null liegen.

Stufe 1: Lernt ein Netz aus tieferen Etiketten mehr?

Die ersten 300.000 Trainingspartien wurden mit 5.000, 20.000 und 40.000 Knoten warm neu etikettiert. Partien, Stellungen und Ausgänge blieben dieselben. Je Knotenzahl lernten 4 Netze mit 4 Saaten, in allen drei Armen mit denselben Startgewichten und derselben Batchfolge, je 16 Epochen. Entscheidend war der Vergleich 40.000 gegen 5.000 Knoten; 20.000 Knoten wurde beschreibend ausgewertet.

• Netzfehler: Tragfähig wäre ein Gewinn nur, wenn die einseitige obere 95-%-Grenze unter null läge. Sie lag beim entscheidenden Vergleich bei +4,05 %.
• Log-Loss: Bei beiden tieferen Etiketten lag die einseitige untere 95-%-Grenze des Unterschieds über null. Auch das war nach der Regel ein Grund zum Stopp.
• Folge: Stopp nach Stufe 1.
• Ohne Mindeststreuung: Auch mit dem beobachteten Standardfehler allein läge der Kontrast nur beim −0,95-Fachen (40.000) und −1,49-Fachen (20.000) seines Standardfehlers. Die gemessenen Kontraste sind um mehr als eine Größenordnung kleiner als der Referenzeffekt der Planung.

Was die Messung nicht zeigt

• Wahrheit: E und M messen die Nähe zu einer tieferen Suche derselben Engine. Blinde Flecken, die Etikettensuche, Netz und Referenz gemeinsam haben, sieht dieses Maß nicht.
• Spielstärke: Keines der Maße ist ein Vergleich in Partien.
• Tiefere Datenerzeugung: Stufe 1 hat nur nachträglich umetikettiert. Ob eine Datenerzeugung, die schon beim Spielen tiefer sucht, lehrreichere Stellungen und genauere Partieausgänge liefert, ist nicht gemessen.
• Rezept: Der Befund gilt für Netze der Breite 768 mit festem Rezept (16 Epochen, Ergebnisgewicht 0,1, Lernrate 0,00025, Batchgröße 4.096, 300.000 Partien), gemessen am Endstand nach der letzten Epoche.

Wie das geprüft wurde

• Quellen: das Datenpaket der Messreihe mit Tabellen, Methodik, Unsicherheiten und einer Quellenliste, die jede Zahl mit Datei und Prüfsumme belegt.
• Paketprüfung: Das Prüfskript des Pakets liest jede Zahl aus ihrer Quelle nach und prüft die Verbote. Für diesen Beitrag lief es erneut: 6.149 Prüfungen, alle bestanden.
• Nachrechnung: Die Tabellenzeilen dieses Beitrags erzeugt ein eigenes Skript aus den Daten des Pakets und prüft sie gegen beide Sprachfassungen. Steigungen, Kontraste aus den Werten je Saat, Kosten und der Referenzeffekt wurden nachgerechnet.
• Unabhängige Prüfung: Ein Agent einer anderen Modellfamilie prüfte Text, Tabellen und Grafiken in 2 Runden gegen das Datenpaket und seine Primärquellen und rechnete Steigungen, Kosten, Planungswerte, Teststärke und die Grenzen der Stufe 1 selbst nach. Er bestätigte alle Tabellenwerte und benannte Korrekturen, darunter die Herkunft der Teststärke, den Geltungsbereich der Abnahme und die Bezeichnung der Vergleichswerte; sie sind eingearbeitet.