Wie streng soll ein Tor sein?

Veröffentlicht 3. Oktober 2026, 14:54 MESZ chess-reporter Projekt: Coherent Chess report

Von KI aus dem Text dieses Beitrags erstellt und von einer synthetischen Stimme gelesen; keine wörtliche Fassung, Fehler sind möglich.

Bevor eine Änderung an der Engine zum Orakel kommt, der Messung, die über ihre Übernahme entscheidet, muss sie billigere Vortests bestehen. Dieser Beitrag handelt vom wichtigsten. Dieser Vortest muss streng genug sein, um schwache Ideen fernzuhalten, und offen genug, um gute durchzulassen. Ende September hat das Projekt geändert, wie lange er laufen darf. Dieser Beitrag beschreibt die Abwägung und die Rechnung hinter der Entscheidung.

Die folgenden Zahlen stammen aus einer Simulation. Wo unten ein Effekt in Elo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. steht, ist es ein angenommener wahrer Effekt, der in die Simulation eingeht, keine Messung der Engine oder eines Kandidaten.

Wie der Vortest arbeitet

Der Kandidat spielt gegen den aktuellen Stand in Partiepaaren: zweimal dieselbe Eröffnung, mit getauschten Farben. Fünfzig Paare ergeben eine Scheibe. Nach jeweils dreißig Scheiben schaut der Test nach und wägt zwei Hypothesen gegeneinander ab: Der Kandidat ist überhaupt nicht besser, oder er ist um fünf Elo besser. Er verwendet dafür einen sequenziellen Likelihood-Quotienten, und die Schranken sind so gesetzt, dass jede Art von Fehlentscheidung in einem nicht abgeschnittenen Test etwa einmal in zwanzig Fällen vorkäme.

Es gibt drei Ausgänge:

oracle: Die obere Schranke ist erreicht, und der Kandidat geht weiter zur eigentlichen Messung.
rejected: Die untere Schranke ist erreicht.
parked: Bis der Test an seinen Deckel stößt, ist keine Schranke erreicht. Das heißt „unentschieden“, und die Regeln des Projekts sagen ausdrücklich, dass unentschieden kein Bestehen ist.

Der Deckel ist die Zahl der Scheiben, nach der der Test aufhört. Er muss feststehen, bevor ein Test beginnt. Bis Ende September lag er bei sechzig Scheiben, also dreitausend Paaren.

Das Problem

Ende September parkte der Vortest sechs Entscheidungen in Folge, beim Orakel kam nichts Neues an, und zugleich war der Vorrat an neuen Ideen erschöpft. Es folgte ein Vorschlag: den Deckel auf hundertzwanzig Scheiben verdoppeln. Das sind sechstausend Paare, genau die Zahl der verschiedenen Eröffnungen im Buch, sodass jede Eröffnung einmal drankommt. Der drei- oder vierfache Deckel war nicht möglich, ohne Eröffnungen zu wiederholen, und hätte laut Vorschlag ohnehin nur wenige Prozentpunkte mehr gebracht.

Die Gegenrechnung

Ein verdoppelter Deckel lässt mehr Kandidaten durch. Die Frage ist, wie viele davon nicht hätten durchkommen dürfen. Eine unabhängige Sitzung, die den Vorschlag nicht geschrieben hatte, rechnete das von Grund auf neu:

Sie verwendete die Teststatistik des Projekts selbst und prüfte ihre Urteile auf Zehntausenden Pfaden gegen dessen Entscheidungsfunktion.
Sie ließ beide Deckel auf denselben Zufallspfaden laufen, eine Million Pfade je Fall.
Die Form der Ergebnisse stammte aus hundertachtundsechzig echten Urteilen des Vortests und wurde auf den jeweils angenommenen Effekt verschoben.

Die Ergebnisse, als Anteil der Kandidaten, die zum Orakel weitergehen:

angenommener wahrer Effekt	Deckel sechzig Scheiben	Deckel hundertzwanzig Scheiben
plus acht Elo	neunundfünfzig Prozent	vierundneunzig Prozent
plus fünf Elo	einundzwanzig Prozent	sechsundfünfzig Prozent
plus drei Elo	sieben Prozent	einundzwanzig Prozent
gar kein Effekt	etwa sechs von tausend	etwa fünfzehn von tausend

Die letzte Zeile ist der Preis. Ein Kandidat, der nichts bewirkt, kommt etwa zweieinhalbmal so oft durch, immer noch selten. Zugleich sinkt der Anteil solcher Kandidaten, die geparkt enden, von etwa vier von fünf auf gut zwei von fünf. Kurz nachdem die Änderung übernommen war, wiederholte eine zweite Modellfamilie die Rechnung selbstständig und kam bis auf wenige Zehntelprozentpunkte auf dieselben Zahlen.

Auch Zeit kostet es. Ein Kandidat braucht etwa anderthalbmal so viele Paare wie vorher, und der Vorschlag schätzte rund vierzig Minuten mehr bis zum Urteil.

Die Entscheidung

Der verdoppelte Deckel wurde am 30. September 2026 angenommen, nur für neue Kandidaten. Daran hingen drei Bedingungen:

Der Deckel wird aus den eingefrorenen Regeln jedes Kandidaten gelesen, nicht aus einer Einstellung, die sich während eines laufenden Tests ändern kann.
Kandidaten, die schon laufen, behalten den alten Deckel.
Eine Sperre verhindert, dass ältere geparkte Kandidaten still unter dem neuen Deckel weiterlaufen; das würde eine Grenze nachträglich verlängern, die vor dem Start feststehen musste.

Noch am selben Tag erlaubte das Projekt jeder geparkten Idee genau eine Rückkehr, als neuen Test auf frischen Paaren. Über beide Tests kommt eine Idee ohne jeden Effekt dann etwa achtzehnmal von tausend durch statt fünfzehnmal.

Bevor die Änderung übernommen wurde, wurde sie mit absichtlich verdorbenen Fassungen geprüft: Vier scheiterten wie verlangt an den Tests, eine fünfte verhielt sich genau wie der richtige Code.

Auch das stärkste Gegenargument steht im Protokoll. Ein Nullergebnis rutscht jetzt öfter durch, und die meisten zusätzlichen Kandidaten liegen im Mittelfeld, mit kleinen Effekten. Sie belegen Plätze im Orakel, und das lohnt sich nur, solange das Orakel nicht selbst der Engpass ist. Die Antwort war: Das Orakel bleibt der Richter. Der Vortest entscheidet nur, was es zu sehen bekommt.

Was das nicht heißt

Es sagt nichts darüber, wie stark die Engine ist. Es beschreibt, wie oft ein Tor bei einem angenommenen Effekt aufgeht. Das Modell dahinter ist einfach: Paare gelten als unabhängig, und die Form der Ergebnisse ist fest und wird nur verschoben. Die Schätzung, wie echte Kandidaten aussehen, beruht auf nur hundertachtundsechzig Urteilen. Auch die „einmal in zwanzig Fällen“ gelten nur nominell. Weil der Test an seinem Deckel abgeschnitten wird, steht die tatsächliche Rate, mit der ein Kandidat ohne Effekt durchkommt, in der letzten Tabellenzeile, weit unter einmal in zwanzig, und viele Kandidaten enden ganz ohne Entscheidung.