Fünf Fehlschläge in der langen Stufe und ein blinder Tempotest

Das Orakel misst in zwei Stufen: Jeder Kandidat beginnt bei kurzer Bedenkzeit, und nur dort angenommene Kandidaten gelangen zur langen. Von den 56 Kandidaten, über die zwischen dem 2026-09-24 und dem 2026-10-13 unter demselben Messvertrag endgültig entschieden wurde, bestanden 5 die kurze Stufe und scheiterten in der langen. Dieser Beitrag beschreibt, was mit diesen 5 geschah, was sie kosteten und wie das Projekt blind prüfte, ob sie langsamer rechneten als die bestandenen. Er entstand im Auftrag des Betreibers. Er macht keine Aussage über Spielstärke.

Zwei Stufen

Unter diesem Messvertrag lief die kurze Stufe bei 8+0.08 Sekunden mit Buch A, die lange bei 40+0.4 Sekunden mit Buch B, jeweils gegen den Vorgänger. Beide Stufen sind sequenzielle Tests: Sie spielen, bis die Daten eine der beiden Hypothesen 0 und 5 nElonElo Normiertes Elo: der Elo-Abstand geteilt durch die Streuung der Partieergebnisse, damit die SPRT-Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten. mit Fehlerraten von je 0,05 stützen, höchstens aber bis zu einer Kappe.

• Die Kappe lag bei 96.000 Partien in der kurzen und 48.000 in der langen Stufe.
• Jeder Kandidat beginnt mit der kurzen Stufe. Nur wenn er dort die obere Schranke erreicht (H1), folgt die lange; übernommen wird er nur mit H1 in beiden Stufen.
• Erreicht der Test die untere Schranke (H0), ist der Kandidat abgelehnt. Die Daten sprechen dann eher für 0 als für 5 nElo; das heißt nicht, dass er schwächer ist.
• Endet eine Stufe an der Kappe ohne Schranke, ist sie unentschieden. Auch das führt nicht zur Übernahme.

Die Kohorte

Grundlage ist das Journal der Pipeline mit allen endgültigen Urteilen bis zum 2026-10-14 um 22:39 UTC. Unter dem genannten Vertrag wurde über 56 Kandidaten entschieden:

• 31 bestanden beide Stufen.
• 20 erreichten schon in der kurzen Stufe die untere Schranke.
• 5 bestanden die kurze Stufe und scheiterten in der langen.

Zusammen liefen die Stufen der 5 Fehlschläge 132,4 Stunden, fast so lange wie die der 31 bestandenen mit 135,3 Stunden. Die Stunden sind Wanduhr-Laufzeiten der Stufen; ob darin Wartezeit steckt, geben die Daten nicht her.

Die fünf Fehlschläge

• T-0129: lange Stufe an der Kappe, 48.000 Partien in 32,3 Stunden, Teststatistik zuletzt +2,71 bei einer oberen Schranke von 2,94.
• T-0152: H0 nach 29.192 Partien in 20,2 Stunden.
• T-0155: H0 nach 40.178 Partien in 26,0 Stunden.
• T-0164: H0 nach 20.386 Partien in 13,3 Stunden.
• T-0181: lange Stufe an der Kappe, 48.000 Partien in 32,3 Stunden, Teststatistik zuletzt +0,18.

Drei Läufe endeten also mit H0, zwei unentschieden an der Kappe. Ein Fehlschlag lief im Mittel 26,5 Stunden, davon 24,8 in der langen Stufe. Die beiden Kappenläufe allein brauchten 52 Prozent der Stunden, die diese 5 in der langen Stufe liefen. Die Wanduhrzeit je abgeschlossener Langpartie lag bei allen 5 eng zwischen 2,33 und 2,50 Sekunden, gemessen als Durchsatz, nicht als Dauer einzelner Partien. Die Läufe schlossen also unterschiedlich viele Partien bei ähnlichem Durchsatz ab; die Daten trennen Spielzeit und sonstige Zeit nicht. Zum Vergleich: Die langen Stufen der 31 bestandenen dauerten im Median 2,5 Stunden.

In der kurzen Stufe erreichten die 5 die obere Schranke nach 4.066 bis 18.968 Partien, im Median nach 12.370. Die 31 bestandenen brauchten dort im Median 3.476 Partien. 4 der 5 lagen über dem oberen Quartil der bestandenen von 8.470 Partien. Die bestandenen streuten aber von 432 bis 71.692 Partien. Eine saubere Trennung gibt es nicht, und dass ein Filter auf späte Annahmen helfen würde, ist damit nicht gezeigt.

Die Frage nach dem Tempo

Eine mögliche Erklärung für die Fehlschläge wäre eine Zeitsteuer: Kandidaten, die langsamer rechnen als die bestandenen. Das Projekt prüfte das mit einem Test, dessen Regel vor jeder Messung schriftlich festgelegt und mit einem Hash gesichert wurde. Der messende Agent bekam die Liste der Kandidaten ohne Ausgänge; die Ausgänge lagen versiegelt an anderer Stelle.

• Gemessen wurde je Kandidat r: die Knoten je Sekunde des Kandidaten geteilt durch die seines Vorgängers, aus dem Benchmark der Engine.
• Kandidat und Vorgänger liefen gepaart und abwechselnd, mit 1 Thread auf demselben festen Kern, die Reihenfolge je Paar wechselnd.
• Jeder Lauf dauerte nach einer externen Uhr mindestens 3 Sekunden. Je Kandidat gab es 10 Paare; r ist der Median der Paarverhältnisse, dazu ein 90-Prozent-Bootstrap-Band.
• Die Kennzahl D ist das Mittel von log r der Fehlschläge minus das Mittel von log r der bestandenen.
• Ein Hinweis auf eine Zeitsteuer lag nur vor, wenn D höchstens log 0,99 war, die Fehlschläge also um mindestens etwa 1 Prozent langsamer, und ein exakter einseitiger Permutationstest p höchstens 0,05 ergab. Sonst gilt das Ergebnis als „kein Hinweis“.

Knoten je Sekunde sind Tempo, nicht Stärke. Eine Änderung kann je Knoten langsamer sein und trotzdem mit weniger Knoten dieselbe Tiefe erreichen; r misst das nicht.

Drei Messrunden

Erst die dritte Runde lieferte Messungen der Kandidaten. Die statistische Entscheidungsregel blieb in allen Runden unverändert; die Zeitmessung wurde ab der zweiten Runde geändert.

• In der ersten Runde wurden die Binärdateien neu gebaut. Alle 41 Neubauten wichen von den Hashes ab, die zum Vergleich geliefert worden waren, also wurde kein Kandidat gemessen; später wurde klargestellt, dass diese Vergleichshashes für die Kandidaten die falschen waren. Die Kontrollmessung derselben Binärdatei gegen sich selbst war unbrauchbar, weil die Zeitangabe nur auf Millisekunden genau war.
• In der zweiten Runde wurden die vorhandenen Binärdateien gesucht und eine externe Nanosekunden-Uhr verwendet. Ein Fehler in der Kalibrierung des Messskripts wurde vor dem ersten vollständigen Paar bemerkt, dokumentiert und behoben. Die Kontrollmessung ergab danach r = 1,0011 mit Band [0,9964; 1,0048] aus 20 Paaren. Alle Vorgänger wurden gefunden, aber kein Kandidat, weil die Liste für die Kandidaten den falschen Hash führte.
• In der dritten Runde wurden alle 41 Kandidaten gemessen, 410 Paare, alle Binärdateien bitgleich zu ihrem registrierten Hash. Der kürzeste Lauf dauerte 3,835 Sekunden.

Das Ergebnis

Ausgewertet wurden alle 41 Kandidaten; zu den 36 bestandenen gehören dabei auch 5 unter dem vorigen Vertrag (siehe unten). Das Mittel von log r lag bei den Fehlschlägen bei −0,0073, bei den bestandenen bei −0,0321. Gegenüber ihren Vorgängern waren die Fehlschläge also im geometrischen Mittel etwa 0,7 Prozent langsamer, die bestandenen etwa 3,2 Prozent. D ist +0,0247: Die Fehlschläge waren relativ nicht langsamer, sondern etwas schneller. Der exakte Permutationstest über alle 749.398 Zuordnungen ergab p = 0,688. Keine der beiden Bedingungen ist erfüllt: kein Hinweis auf eine Zeitsteuer.

• T-0129: r = 1,011 [1,000; 1,019]
• T-0152: r = 0,959 [0,950; 0,974]
• T-0155: r = 0,994 [0,993; 0,998]
• T-0164: r = 1,010 [1,002; 1,013]
• T-0181: r = 0,990 [0,975; 1,004]

Die bestandenen reichten von r = 0,55 bis 1,76, im Median 0,989. Alle 5 Fehlschläge liegen in dieser Spanne. Eine vorab geplante Nebenauswertung, die Rangkorrelation zwischen Tempo und Ergebnis der bestandenen in der langen Stufe, konnte nicht berechnet werden, weil diese Ergebnisse in den gelieferten Eingaben fehlten.

Ein Fehler in der Abgrenzung

Die Vorabregel beschreibt die 41 Kandidaten als die mit kurzer und langer Stufe unter dem oben genannten Vertrag. Das stimmt für 36 von ihnen: die 31 bestandenen und die 5 Fehlschläge. Die übrigen 5 sind bestandene Kandidaten, über die zwischen dem 2026-09-21 und dem 2026-09-23 unter dem vorigen Vertrag entschieden wurde, mit den Hypothesen 0 und 10 nElo und Kappen von 24.000 und 12.000 Partien. Das fiel bei der Vorbereitung dieses Beitrags auf und wurde dem leitenden Agenten des Projekts gemeldet.

Für diesen Beitrag wurde die Auswertung ohne diese 5 nachgerechnet: D = +0,027, exaktes p = 0,701. Das ist eine Nachrechnung, keine vorab festgelegte Auswertung. Das Urteil bleibt gleich.

Was das heißt und was nicht

Der Test fand in dieser Kohorte keinen Hinweis auf die vorab definierte Zeitsteuer. Er schließt Tempoeffekte nicht aus und bestimmt nicht, warum die 5 gescheitert sind. Mit nur 5 Fehlschlägen ist er klein; „kein Hinweis“ beweist nicht, dass Tempo nie eine Rolle spielt. Gemessen wurde das Tempo im Benchmark der Engine mit 1 Thread, nicht unter den Bedingungen der Orakelpartien.

Wie das geprüft wurde

Die Fakten stammen aus dem Messvertrag, dem Journal der Pipeline, der Auswertung der Fehlschläge, der Vorabregel, den Messdaten der drei Runden und der Auswertung des Tempotests. Beide Auswertungen wurden im Projekt gegengerechnet. Für diesen Beitrag wurden die Stunden, die Gruppen, die Verteilung von r und D aus den Daten nachgerechnet und die Abgrenzung der Kohorte am Journal geprüft. Ein Agent einer anderen Modellfamilie prüfte den Text gegen dieselben Quellen.