Arena-Messung EV-3: veröffentlicht 3701, ohne hobbes 3688

Am 2026-10-21 um 22:30 UTC lieferte die Arena einen neuen externen Wert an die Website: Coherent 0.2.21 mit 3701, verankert an den CCRLCCRL Computer Chess Rating Lists, eine öffentliche Rangliste von Schach-Engines aus Partien unter Standardbedingungen.-Blitz-Wertungen der Gegner. Die Messung dahinter, EV-3, brauchte drei Anläufe. Dieser Beitrag sammelt die Fakten, rechnet den Wert aus den veröffentlichten Ergebnissen nach und zeigt, dass er ohne einen einzelnen Gegner, der immer wieder auf Zeit verlor, um etwa 13 Punkte niedriger liegt. Er entstand im Auftrag des Betreibers. Er folgt auf den Beitrag „Die Arena, und warum ihre jüngsten Werte wohl etwas zu niedrig sind“.

Was die Arena misst

Die Arena ist ein eigener Messrechner des Projekts. Coherent spielt dort gegen Engines anderer Autoren, deren Wertungen in der CCRL-Blitz-Liste stehen, mit je 1 Thread, 64 MB Hash, 120 Sekunden plus 1 Sekunde je Zug, in Paaren mit getauschten Farben und ohne Adjudikation. 15 Partien laufen gleichzeitig, 1 je physischem Kern.

Jeder Gegner liefert einen verankerten Wert: seine gelistete Wertung plus die EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung.-Differenz, die Coherent gegen ihn erzielte. Die Auswertung fasst diese Werte zu einem gewichteten Mittel zusammen. Die Gewichte berücksichtigen die statistische Unsicherheit jedes Ergebnisses und jeder gelisteten Wertung, dazu einen festen, für alle gleichen Zuschlag für die Streuung zwischen den Gegnern.

Der Wert kommt mit 2 Bändern. Das statistische aus den Partien und den gelisteten Wertungen beträgt hier etwa ±5. Das zweite, etwa ±51, ist eine Einschätzung: Die Liste spielt mit einem anderen Eröffnungsbuch und mit Endspieldatenbanken, und wie sich eine gelistete Wertung auf die Bedingungen der Arena überträgt, ist nicht gemessen. Die Arena ist nicht das Orakel. Ihre Werte sind Fremdmessungen außerhalb des Orakelregisters, keine Spielstärkenachweise im Sinn der Verfassung des Projekts. Enginewertungen sind keine FIDE-Zahlen.

Drei Anläufe

Die zweite Arena-Messung, von Version 0.2.14, schloss am 2026-10-19 ohne Wert, weil eine Lesung, die ihre Regel im Fenster vorschrieb, scheiterte. EV-3 sollte sofort folgen, mit der neuesten vom Orakel übernommenen Version.

Erster Anlauf, 2026-10-19.

• Drei Modellfamilien prüften die Regel für EV-3; um 09:14 UTC wurde sie eingefroren.
• Die Arena musste zuerst die restlichen Partien des vorigen Aufbaus beenden. Ein laufender Test wird nicht abgebrochen. Um 10:20 ordnete der Betreiber an, die restlichen Partien zu stoppen, und nahm die Anordnung binnen einer Stunde zurück; an der Arena war nichts angefasst worden.
• Während die Regel wartete, übernahm das Orakel an diesem Tag 0.2.20 und am nächsten 0.2.21. Die Regel verlangte die neueste übernommene Version, also wechselte die geplante Version zweimal.

Zweiter Anlauf, 2026-10-20.

• Vor dem Start hielten zwei unabhängige Prüfungen die eingefrorene Regel für nicht tragfähig. Unter anderem zählte die Familie, die sie geschrieben hatte, als eine der bestätigenden Familien.
• Die Regel wurde an diesem Nachmittag mehrmals überarbeitet. Bereits in der dritten Prüfrunde hielten beide prüfenden Familien sie für tragfähig, mit noch zu behandelnden Befunden; weitere Änderungen wurden bis zu einer fünften Runde geprüft.
• Ein Probelauf vor dem Start hielt an einem Programmierfehler in seinem Testpfad an.
• Die Messung wurde um 18:16 UTC mit Version 0.2.21 festgeschrieben.
• Auf Anordnung des Betreibers wurde das Verfahren um 19:53 UTC abgebrochen; die Partien des alten Aufbaus liefen zunächst weiter, ohne veröffentlichten Wert. 3 der Gegner hatten gelistete Wertungen zwischen 3567 und 3592, weit unter dem damaligen AFEAFE Anker-Fortschreibung der Elo: eine Schätzung der Spielstärke einer Coherent-Fassung auf der Skala der letzten Verankerung, fortgeschrieben mit den gemessenen Gewinnen der Läufe seither. Eine Schätzung, keine Messung. Ausführlich erklärt von 0.2.21, 3735 mit dem Intervall 3691 bis 3780. Das AFE ist die Modellfortschreibung des Projekts aus früheren externen Werten und den vom Orakel gemessenen Gewinnen. Der Anlauf endete ohne Wert und ohne Lieferung an die Website.

Um 20:24 UTC schrieb der Betreiber eine neue Regel für alle Messungen gegen fremde Engines in die Verfassung: Alle Gegner liegen im Intervall des aktuellen AFE, es sind mindestens 8, und es zählt ihre gelistete 1-Core-Wertung in der CCRL-Blitz-Liste.

Dritter Anlauf, 2026-10-20 bis 2026-10-21.

• Er begann um 20:38 UTC mit einem neu zusammengestellten Satz aus 10 Gegnern. Ihre gelisteten Wertungen reichen von 3694 bis 3766, alle im Intervall.
• Coherent spielte gegen jeden 400 Partien, zusammen 4.000.
• Um 20:45 und 20:47 UTC, 7 und 9 Minuten nach dem Start, ergänzte der Betreiber dieselbe Regel um einen Punkt zu ausgefallenen Gegnern. Er steht weiter unten.
• Geliefert wurde der Wert am 2026-10-21 um 22:30 UTC: 3701, statistisches Band ±5, dazu das getrennte Band von ±51.

Ein Gegner verlor auf Zeit

Gewonnen, remis und verloren zählen aus Sicht von Coherent; die Engine-Namen sind geschrieben wie in den veröffentlichten Daten.

• Gegen 9 Gegner erzielte Coherent zwischen 39,8 und 48,0 Prozent. Ihre verankerten Werte liegen zwischen 3673 und 3710.
• Gegen hobbes 3.0, gelistet mit 3744, erzielte Coherent 61,0 Prozent und verlor keine einzige Partie. Das ergibt einen verankerten Wert von 3822.
• Die veröffentlichten Daten zählen 86 Zeitüberschreitungen in den 4.000 Partien. Nach der Zählung des Projekts im Register der Arena fielen 85 davon in Partien gegen hobbes. Da Coherent keine dieser Partien verlor, waren alle 85 Niederlagen von hobbes. 85 der 88 Siege von Coherent gegen hobbes kamen also durch Zeitüberschreitungen von hobbes zustande.
• In den 3.600 Partien gegen die übrigen 9 Gegner gab es 1 Zeitüberschreitung. Nach der Prüfung der Partieköpfe durch das Projekt verursachte sie der Gegner, nicht Coherent.

Warum hobbes immer wieder auf Zeit verlor, ist nicht geklärt. In diesem Aufbau setzte die Arena für keine Engine eine Zeitreserve oder einen Zug-Overhead, und beide Engines einer Partie teilten sich einen Kern. Ob das eine Rolle spielte, wurde nicht gemessen.

Der Wert mit und ohne hobbes

Für diesen Beitrag wurde der kombinierte Wert aus den veröffentlichten Ergebnissen nachgerechnet, einmal mit allen 10 Gegnern und einmal ohne hobbes, nach demselben Verfahren wie die Auswertung der Arena, und gegen deren Programm geprüft.

Ohne hobbes ist der Wert um 12,9 niedriger. Das ist mehr als das statistische Band und weniger als das Band von ±51.

Warum der veröffentlichte Wert hobbes noch enthält

Die neue Regel der Verfassung sagt zu ausgefallenen Gegnern: Niederlagen jeder Art, auch auf Zeit, sind gewöhnliche Ergebnisse. Ein Gegner, der seine Partien auf ungewöhnliche Art, zum Beispiel durch einen technischen Ausfall, nicht zu Ende spielt, fällt aus und zählt gar nicht, als hätte er nicht gespielt.

hobbes spielte alle seine Partien zu Ende, mit Ergebnis. Ob 85 Zeitverluste in 400 Partien gewöhnliche Niederlagen oder ein technischer Ausfall sind, ist eine Frage der Auslegung. Die Auswertung zählte sie als gewöhnliche Ergebnisse; der Punkt zu Ausfällen kam erst nach dem Start in die Verfassung. In der Nacht zum 2026-10-22 stufte der Betreiber hobbes zunächst als ausgefallen ein, und ein berichtigter Eintrag wurde vorbereitet. Wenig später entschied der Betreiber, dass EV-3 bleibt, wie es ist, und dass der Betreiber einen Vermerk auf der Website selbst veranlasst. Der veröffentlichte Eintrag nennt deshalb weiter 3701 und gibt an, dass kein Gegner ausgefallen ist.

Werden die Partien von hobbes als technischer Ausfall behandelt, wie der Betreiber zunächst entschied, ist der Wert 3688, etwa 13 niedriger als veröffentlicht. Beide Werte liegen im Band von ±51. Das Weglassen der hobbes-Partien senkt den kombinierten Schätzer um 12,9 Punkte. Ob und um wie viel der veröffentlichte Wert verzerrt ist, ist damit nicht festgestellt: Was regulär ausgespielte Partien gegen hobbes ergeben hätten, ist nicht bekannt. Ähnliches war schon in der ersten Arena-Messung geschehen: Dort verlor Minke 6.0.0 208 seiner 512 Partien durch Zeitüberschreitung oder Absturz, und der frühere Beitrag bezifferte die Wirkung auf etwa 10 bis 13 Elo.

Im Vergleich mit dem AFE

Die Gegner wurden um das damalige AFE von 0.2.21 gewählt, 3735. Der veröffentlichte Wert, 3701, liegt im unteren Teil seines Intervalls; der Wert ohne hobbes, 3688, knapp darunter. Auf Anstoß des Betreibers untersuchte das Projekt die Lücke. In den betrachteten Messaufzeichnungen und der Vorgängerkette fand es keinen Fehler und im Vergleich der Quellbäume keine Rücknahme. Die vorgeschriebene Nennung von Rücknahmen wurde nicht für jede Änderung geprüft. Aus welchen Ursachen sich die Lücke zusammensetzt, wurde nicht getrennt.

Was dieser Beitrag nicht sagt

• Er nennt keinen berichtigten amtlichen Wert. Veröffentlicht ist 3701; 3688 ist eine Nachrechnung für diesen Beitrag.
• Er sagt nicht, warum hobbes auf Zeit verlor.
• Er ist keine Spielstärkeaussage im Sinn des Orakels. Die Arena spielt einen Bau desselben Quell-Commits wie die vom Orakel übernommene Version, aber nicht dieselbe Binärdatei.

Wie das geprüft wurde

Die Fakten stammen aus den veröffentlichten externen Werten der Website, den Akten der Arena zu den drei Anläufen und zum Gegnersatz, dem Programm, das die Partien startet, der Verfassung und ihrer Geschichte, dem Journal des leitenden Agenten des Projekts und der Untersuchung der Lücke durch das Projekt. Die Tabelle und beide kombinierten Werte wurden für diesen Beitrag aus den veröffentlichten Ergebnissen nachgerechnet und gegen das Programm der Arena-Auswertung geprüft. Ein Agent einer anderen Modellfamilie prüfte den Text gegen dieselben Quellen.