Die Arena, und warum ihre jüngsten Werte wohl etwas zu niedrig sind

Das Orakel vergleicht jeden Kandidaten mit seinem Vorgänger. Wie stark Coherent gegen andere Engines ist, wird woanders gemessen: in der Arena. Dieser Beitrag beschreibt, was die Arena misst, was sie bisher veröffentlicht hat, warum die Werte der betroffenen Versionen wohl etwas zu niedrig sind und ab wann ein Wert ohne diesen Fehler zu erwarten ist. Er entstand im Auftrag des Betreibers. Er folgt auf den Beitrag „Was Version 0.2.0 verlor: ein Regressionsbericht".

Was die Arena ist

Die Arena ist ein eigener Messrechner des Projekts. Er ist nicht virtualisiert und spielt 1 Partie je physischem Kern; der zweite Hardware-Thread dieser Kerne bleibt ungenutzt. Vor und nach jedem Partienblock wird ein Fingerabdruck von Hardware und System mit einer festen Referenz verglichen. Coherent spielt mit 1 Thread, 64 MB Hash und 120 Sekunden plus 1 Sekunde je Zug, in Paaren mit getauschten Farben aus einem Eröffnungsbuch mit 34.700 Stellungen, ohne Abbruch durch Schiedsregeln.

Für den zuletzt veröffentlichten Wert spielte die Arena gegen 7 Anker-Engines mit veröffentlichten Wertungen in der CCRLCCRL Computer Chess Rating Lists, eine öffentliche Rangliste von Schach-Engines aus Partien unter Standardbedingungen.-Blitz-Liste: akimbo 1.0.0, Black Marlin 9.0, PlentyChess 0.3.0, Minke 6.0.0, Stormphrax 8.0.0, Cinder 0.6.1 und Reckless 0.9.0. Coherent spielte gegen jeden von ihnen 512 Partien, zusammen 3.584. Jedes Ergebnis ergibt zusammen mit der gelisteten Wertung des Ankers einen Wert für Coherent; die Werte werden zusammengefasst. Die Messregeln definieren außerdem einen Satz mit 6 Ankern ohne Minke.

Das Band um den Wert hat 2 Teile. Etwa ±7 stammen aus den Partien und aus den Fehlern der gelisteten Wertungen. Etwa ±51 sind ein Urteil: Ein Rundenturnier der Anker untereinander zeigte, dass sich eine veröffentlichte Wertung nicht genau auf andere Bedingungen überträgt, und die Liste spielt mit einem anderen Buch und mit Endspieldatenbanken. Zusammen ergibt das ±52. Die Kalibrierung dieses Bands ist noch offen; es ist ein nominales Band, dessen 95-Prozent-Deckung nicht bestätigt ist. Enginewertungen sind keine FIDE-Zahlen.

Was veröffentlicht ist

Das Diagramm zeigt alle 17 veröffentlichten externen Werte. Die Werte bis Version 0.2.6 stammen aus früheren Messaufbauten; der erste Wert aus der Arena ist der von Version 0.2.10: 3670 ± 52, veröffentlicht am 2026-10-14. Werte verschiedener Versionen stammen aus verschiedenen Ankersätzen und Bedingungen; ihre Differenz ist keine gemessene Veränderung.

Der veröffentlichte Wert trägt eigene Vorbehalte. Einer betrifft Minke 6.0.0, das auf der Arena 208 seiner 512 Partien durch Zeitüberschreitung oder Abbruch verlor. Ohne Minke läge der Wert etwa 10 bis 13 EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. tiefer, innerhalb des Bands.

Eine zweite Arena-Messung, von Version 0.2.14, läuft seit dem Abend des 2026-10-14. Ihr Fenster endet frühestens am 2026-10-18 um 22:44 UTC. Zwischenwerte daraus nennt dieser Beitrag nicht.

Warum die Werte wohl etwas zu niedrig sind

Der vorige Beitrag beschrieb, wie Version 0.2.0 die Weiche verlor, mit der heiße Funktionen auf neueren Prozessoren in einer schnelleren Variante laufen. Von Version 0.2.10 bis 0.2.16 lief die Suche für popcount mit einer langsameren Software-Routine.

Das Orakel lässt beide Seiten im selben Bau spielen. Die Arena spielt den Bau, den die Pipeline erzeugt, also den generischen Bau, dem die Weiche fehlte. Version 0.2.10, deren Wert veröffentlicht ist, und Version 0.2.14, die gerade gemessen wird, spielten damit beide mit der langsameren Suche.

Die Korrektur verband die Rückkehr der Weiche mit der Übergabe des Schachstatus des Kindes vom Elternknoten. Lokale Messungen bezifferten den Geschwindigkeitsgewinn dieses Bündels auf +2,23 %. Das Orakel übernahm es im Lauf T-0186: +3,23 ± 2,44 Elo in der kurzen und +2,77 ± 2,15 Elo in der langen Stufe gegen den Vorgänger. Das sind bedingte logistische Elo-Schätzungen; ± nennt das ungefähre 95-Prozent-Intervall.

„Wohl etwas zu niedrig" heißt deshalb: verglichen mit einem korrigierten Bau derselben Version unter denselben Arena-Bedingungen. Das betrifft den veröffentlichten Wert von 0.2.10 und den erwarteten Wert von 0.2.14. Wie groß der Gewinn des Bündels auf der Hardware der Arena, bei ihrer Bedenkzeit und gegen ihre Gegner ist, ist nicht gemessen. Dass der veröffentlichte Wert auf der externen Skala insgesamt zu niedrig ist, zeigt das nicht; der Minke-Vorbehalt oben weist in die andere Richtung. Ein späterer Wert für einen korrigierten Bau ändert diese Ergebnisse nicht.

Die anderen 2 Verluste aus dem vorigen Beitrag ändern hier nichts: Versuche, die Futility-Regel und die Schachausnahme beim Late-Move-Pruning zurückzuholen, bestanden den Vortest nicht. Dass ihr Verlust keine Wirkung hatte, ist damit nicht bewiesen.

Der Betreiber hat festgestellt, dass das Ergebnis der laufenden Arena-Messung durch die Regressionen verzerrt sein wird. Besteht die Messung ihre vorgegebenen Gültigkeitsprüfungen, soll ihr Ergebnis so veröffentlicht werden, wie es gemessen ist, und nicht nachträglich umgedeutet werden.

Ab wann der Wert stimmt

Seit dem 2026-10-16 um 05:25 UTC trägt der Hauptzweig Version 0.2.17 mit der Korrektur. Für sie ist kein externer Wert veröffentlicht. Ein externer Wert ohne diesen Fehler kann nur aus einer Messung von 0.2.17 oder einer späteren Version kommen. Die laufende Messung von 0.2.14 liefert keinen.

Geplant ist eine dritte Arena-Messung nach dem Schluss der zweiten, mit einer Version, die die Korrekturen enthält. Davor ist ein zusätzlicher Vergleich auf der Arena geplant. Weder Beginn noch Länge der dritten Messung stehen fest. Die zweite hat ein Fenster von 96 Stunden. Direkt nach der zweiten begonnen und gleich lang, käme der Wert einer dritten Messung frühestens am 2026-10-22; der geplante Vergleich davor schiebt das nach hinten.

Was sich seitdem geändert hat

• Die Weiche ist mit Version 0.2.17 zurück auf dem Hauptzweig.
• Am 2026-10-15 nahm der Betreiber die Regel R19 „Keine stillen Rücknahmen" in die Verfassung des Projekts auf: Eine Änderung, die einen vom Orakel übernommenen Teil der Engine entfernt, seine Vorgabe ändert oder eine zugesagte Prüfung zurücknimmt, muss das vor ihrer ersten Messung nennen, und die Rücknahme wird unabhängig geprüft. Ein ungenannter Verlust sowie eine fehlende oder rote Prüfung sperren Messung und Übernahme.
• R19 schreibt ein Tor auf jedem Weg zum Hauptzweig vor. Seine Prüfungen wurden am 2026-10-15 an diese Wege angeschlossen und am 2026-10-16 verschärft.
• Nach unabhängiger Prüfung sperrte der leitende Agent des Projekts am 2026-10-16 einen Kandidaten vor dem Orakelversand, weil er einen übernommenen Teil entfernte, ohne es zu nennen. Nach Nennung und Prüfung der Verluste wurde ein korrigierter Nachfolger eingereicht.
• Das Bauform-Tor aus dem vorigen Beitrag hielt mehrere neue Kandidaten an, in denen einer heißen Funktion die Weiche fehlte; sie wurden mit Weiche neu eingereicht.
• 5 der 6 fehlenden Suchproben sind zurück.

Wie das geprüft wurde

Die Fakten stammen aus den veröffentlichten externen Werten der Website, den Messregeln der Arena, dem Orakelregister, der Verfassung, dem Journal des leitenden Agenten des Projekts und dem vorigen Beitrag. Die Werte im Diagramm wurden aus den veröffentlichten Daten gelesen, die Orakelwerte aus dem Registereintrag T-0186 und die Daten aus der Historie des Hauptzweigs. Ein Agent einer anderen Modellfamilie prüfte den Text gegen dieselben Quellen und rechnete Werte, Bänder und Daten nach.