Zwei Läufe, die durchfallen sollten

Jede Zahl unten stammt aus dem öffentlichen Datenvertrag: register.json im Abzug vom 05.09.2026, mit der Register-Kennung daneben. Prozentwerte und Verhältnisse sind aus den jeweils daneben genannten Registerfeldern gerechnet; die Rechnung steht dort, wo sie benutzt wird.

Eine Engine gegen sich selbst sollte nichts messen. Zweimal tat sie das — und die beiden Läufe sind sich uneins darüber, wie genau, was mehr über den Test sagt als jedes Ergebnis für sich.

Die meisten Einträge im Register prüfen, ob eine Änderung geholfen hat. Zwei von ihnen prüfen etwas anderes: ob die Vorrichtung, die diese Frage beantwortet, überhaupt funktioniert. Sie stellen die Engine gegen eine unveränderte Kopie ihrer selbst, wo die richtige Antwort vorher feststeht — kein Unterschied —, und sehen nach, ob die Messkette sie findet.

Beide wurden abgelehnt, und genau so sieht hier Erfolg aus.

Was die zwei Kontrollen gemessen haben

Beide liefen bei 8+0,08 mit Schranken, die „kein Zuwachs“ von „ein Zuwachs von 5 nElonElo Normiertes Elo: der Elo-Abstand geteilt durch die Streuung der Partieergebnisse, damit die SPRT-Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten.“ trennen sollten (elo0 0,0, elo1 5,0 nElo, Log-Likelihood-Schranken bei ∓2,94; T-0001 und T-0055, register.json). Die Schranken sind in normalisierter EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. angegeben; die unten genannten Schätzwert sind logistische Elo, also eine andere Skala. Beide Schätzwert liegen höchstens einen halben Elo-Punkt von null entfernt, und beide Läufe haben die untere Schranke erreicht. Eine Kontrolle, die anders ausgegangen wäre, wäre die interessante gewesen.

Beide Schätzwert stammen aus Tests, die anhielten, als eine Schranke erreicht war; sie sind durch diese Stoppregel verzerrt, und die Intervalle daneben sind nominelle 95-%-Intervalle, keine unter sequentiellem Stoppen gültigen Garantien. Sie stehen hier so, wie das Register sie führt, nicht als unverzerrte Effektgrößen.

Das Register führt die Gegnerrolle bei T-0055 ausdrücklich — das Feld trägt den Wert vorgaenger —, lässt es bei T-0001 aber leer; dort ist der Selbstvergleich stattdessen in der veröffentlichten Hypothese festgehalten — „unveränderter Quelltext der Referenz v0“, mit dem erwarteten Ausgang vorab benannt.

Die Paarzahlen sind beinahe symmetrisch

Ein Test dieser Art spielt Eröffnungen paarweise, einmal von jeder Seite, und hält die Punktzahl des Paares fest. Das ergibt fünf Zahlen je Lauf — das Register führt sie je Stufe als pentanomial (T-0001 und T-0055, register.json). Die mittlere Zahl ist die neutrale Kategorie, ein Paar mit einem Punkt aus zwei Partien: Sie enthält Paare, die mit einem Sieg und einer Niederlage endeten, ebenso wie Paare mit zwei Remis, und das Register trennt beides nicht. Die Summen und Prozentwerte unten sind Summen und Quotienten genau dieser fünf Zahlen.

Man lese die gespiegelten Zeilen gegeneinander. Bei T-0001 stehen die beiden geteilten Ausgänge auf 551 und 551 — gleich. Bei T-0055 auf 2.535 und 2.560, und die entschiedenen Paare kommen auf 985 gegen 979. Das gehört sorgfältig gesagt, denn die naheliegende Lesart ist falsch. Eine faire Vorrichtung bringt im Erwartungswert symmetrische Zahlen hervor — aber symmetrische Zahlen beweisen keine faire Vorrichtung. Fehler, die beide Seiten gleich treffen, Fehler, die einander aufheben, und schlichter Zufall ergeben dasselbe Bild, und nichts hier legt fest, wie dicht an der Symmetrie diese Zahlen allein durch Zufall landen würden. Die Beobachtung ist beschreibend: kein Alarm, kein Nachweis.

Die andere Richtung gilt sehr wohl. Eine Unwucht an dieser Stelle wiese auf den Prüfstand — eine Farbverzerrung, eine ungleiche Uhr, ein Buch, das einen Platz bevorzugt — bevor sie auf die Engine wiese, denn im Selbstspiel bleibt kein Unterschied der Engine übrig, der sie erklären könnte.

Mehr Partien, breiteres Intervall

Die zwei Läufe sind sich über die Genauigkeit uneins, und nicht in der Richtung, die man vermuten würde. Der Grund ist nicht, dass zusätzliche Partien schadeten — sondern dass weder die Partien noch das Intervall vorab festlagen.

T-0055 spielte 25.880 Partien gegen die 17.984 von T-0001 — etwa 44 % mehr. Seine 95-%-Halbbreite beträgt 2,99 gegen 1,71, also rund 75 % breiter (register.json). Mehr Belege ergaben eine ungenauere Antwort.

Die Paarzahlen erklären es. Bei T-0001 waren 7.653 von 8.992 Paaren neutral — rund 85 %. Bei T-0055 5.881 von 12.940 — rund 45 %. Die statistische Einheit ist hier das Paar, nicht die Partie, und ein neutrales Paar liegt genau im Mittel: Es bewegt den Schätzwert gar nicht und trägt fast nichts zur Streuung bei. Ein Lauf, in dem die meisten Paare neutral ausgehen, hat deshalb eine kleine Varianz je Paar; einer, in dem die Hälfte auseinanderfällt, eine große.

Das sind zwei verschiedene Verteilungen, nicht ein Vorgang, der länger läuft. Innerhalb einer Verteilung mit fester Varianz verschmälern mehr Paare das Intervall im Erwartungswert. Zwischen diesen beiden unterscheidet sich die Varianz je Paar stärker als die Stichprobengrößen, und die Varianz gewinnt.

Und die Stichprobengröße ist keine unabhängige Wahl. Ein sequentieller Test läuft, bis die Belege eine Schranke erreichen, also braucht ein verrauschterer Lauf in der Regel länger dorthin. Die höhere Partienzahl von T-0055 ist deshalb keine konkurrierende Erklärung für sein breiteres Intervall; beide Beobachtungen sind mit derselben höheren Varianz je Paar vereinbar. Zwei Läufe können diese Kausalrichtung nicht belegen, nur zeigen, dass die zwei Befunde zu ihr passen.

Die Paarzahlen erlauben, das nachzurechnen statt zu behaupten. Fasst man jedes Paar als eine Beobachtung mit 0, 0,25, 0,5, 0,75 oder 1 Punkten auf und bildet die Varianz dieser Werte aus den fünf Zahlen oben, so ist sie bei T-0055 rund 4,4-mal größer als bei T-0001. Der Standardfehler eines Mittelwerts wächst mit der Wurzel aus Varianz geteilt durch Stichprobengröße; aus diesen beiden Eingaben folgt ein Verhältnis der Halbbreiten von rund 1,75. Das Register meldet 2,99 gegen 1,71 — ein Verhältnis von 1,75. Hätte die Stichprobengröße allein entschieden, wäre die Halbbreite um etwa den Faktor 0,83 gesunken.

Deshalb sagt die Partienzahl allein wenig darüber, wie scharf ein Ergebnis ist. Es kommt darauf an, wie stark die Paarausgänge streuen. Was diese Streuung in den beiden Läufen treibt, ist hier nicht festgestellt.

Was das nicht sagt

Es sagt nicht, die Messkette sei kalibriert. Zwei Kontrollen, die nahe null herauskommen, sind mit einer funktionierenden Vorrichtung vereinbar; sie belegen nicht, dass sie funktioniert, und zwei Läufe können nicht schätzen, wie oft ein Fehlalarm auftritt. Dafür bräuchte es eine Reihe von Kontrollen, nicht ein Paar.

Es sagt nicht, die Engine sei zwischen den beiden Daten unverändert. T-0001 vergleicht v0 mit sich selbst, T-0055 einen späteren Stand mit sich selbst. Die zwei Läufe prüfen dieselbe Eigenschaft der Vorrichtung zu zwei Zeitpunkten, nicht denselben Code.

Es sagt nicht, ein breites Intervall sei ein Mangel. Beide Intervalle enthalten die Null, und das ist der Ausgang, den eine Kontrolle hervorbringen soll. Der Vergleich zwischen ihnen handelt vom Verhältnis zwischen Stichprobengröße, Streuung und Genauigkeit — nicht davon, dass ein Lauf besser wäre als der andere.

Und es sagt nicht, warum die beiden Läufe sich darin unterscheiden, wie oft ihre Paare neutral ausgehen. Die Zahlen zeigen, dass sie es tun und dass das die Richtung des Genauigkeitsunterschieds erklärt. Warum der spätere Stand gegen sich selbst weniger neutrale Paare hervorbringt als v0, ist eine eigene Frage, und diese Daten beantworten sie nicht.