Von der fortgeschriebenen Zahl zu AFE

Die Spielstärke, die diese Seiten zeigen, ändert sich. Bis einschließlich Lauf T-0154 trug jeder Eintrag eine „fortgeschriebene Spielstärke“. Neuere Einträge zeigen an ihrer Stelle AFEAFE Anker-Fortschreibung der Elo: eine Schätzung der Spielstärke einer Coherent-Fassung auf der Skala der letzten Verankerung, fortgeschrieben mit den gemessenen Gewinnen der Läufe seither. Eine Schätzung, keine Messung., die Anker-Fortschreibung der EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung., als Zentrum mit einem Modellintervall für neunzig Prozent. Die alten Einträge bleiben genau so, wie sie veröffentlicht wurden. Dieser Beitrag erklärt, was an der alten Zahl falsch war, wie AFE berechnet wird und was es sagt und was nicht.

Die alte Zahl

Die einzige Messung der absoluten Spielstärke ist die Verankerung. Eine Fassung von Coherent spielt gegen eine Reihe von Engines anderer Projekte mit veröffentlichter Wertung, bei zwei Minuten je Partie plus einer Sekunde je Zug. Das Ergebnis ist ein Wert A, verankert an diesen veröffentlichten Wertungen. Die letzte abgeschlossene Verankerung hat Fassung 0.1.118 am 2026-09-29 gemessen, außerhalb des förmlichen Registrierungsverfahrens: 3455 ± 52.

Jede spätere Fassung wurde von dort aus fortgeschrieben. Die alte Regel addierte die Gewinne aller später bestandenen Fassungen, jeweils in der langen Orakelstufe gegen ihren eigenen Vorgänger gemessen:

F = A + ΣLᵢ

Für den Lauf T-0154 ergab das 3455 + 261,65 ≈ 3717.

Was daran falsch war

Zwei Dinge, sehr verschieden groß.

Der Umrechnungsfaktor. Die Gewinne Lᵢ werden im Eigenspiel gemessen, gegen den eigenen Vorgänger, bei vierzig Sekunden je Partie plus vier Zehntelsekunden je Zug. Der Anker wird gegen andere Engines bei längerer Bedenkzeit gemessen. Unsere eigenen Verankerungen zeigen, dass dieselbe Verbesserung gegen andere Gegner weniger zählt als im Eigenspiel. Die alte Regel rechnete das eine mit dem Faktor eins in das andere um. Vergleicht man aufeinanderfolgende Verankerungen mit den Eigenspielgewinnen dazwischen, ergibt sich ein Faktor von etwa 0,7. Das ist bei weitem der größere Effekt: Für T-0154 beträgt der Unterschied zwischen den beiden Schätzungen rund neunzig Elo, davon etwa achtundsiebzig durch den Faktor eins und etwa dreizehn durch den Stoppabzug.

Die Stoppregel. Jedes Lᵢ stammt aus einem sequenziellen Test, der aufhörte, sobald er seine obere Schranke erreichte. Ein Test, der bei Glück stoppt, meldet im Mittel einen zu großen Gewinn. Eine Simulation dieser Tests beziffert die Verzerrung bei echten Gewinnen auf etwa ein bis zweieinhalb Elo, bei einem wahren Gewinn nahe null auf mehr. Wir setzen pauschal zwei Elo je Lauf als vereinfachenden Abzug an.

Wie AFE berechnet wird

Sei n die Zahl der bestandenen Läufe mit Langstufengewinn seit der letzten Verankerung, bis einschließlich des gezeigten:

Zentrum = A + τ · (ΣLᵢ − 2n)

• A ist die jüngste abgeschlossene Verankerung dieser Fassung oder eines ihrer Vorgänger.
• Lᵢ sind die Langstufengewinne dieser Läufe, in logistischer Elo.
• 2n ist der pauschale Stoppabzug, zwei Elo je Lauf.
• τ = 0,703 rechnet Eigenspielgewinne in die Skala des Ankers um. Geschätzt ist es aus fünf Abschnitten zwischen Verankerungen mit demselben Satz von Gegnern, als Summe der ungerundeten Ankerdifferenzen geteilt durch die Summe der berichtigten Gewinne dazwischen. Geschätzt wird es auf denselben berichtigten Summen, auf die es später angewandt wird, damit beides zusammenpasst.

Die Unsicherheit ist eine Standardabweichung SD aus vier Teilen, die als unabhängig behandelt werden:

SD² = (h_stat / 1,96)² + (0,10 · (ΣLᵢ − 2n))² + (τ · H / 1,96)² + n · 5²

• h_stat ist der innere statistische Fehler der Verankerung, aus ihren Partien und den Listenwertungen (±8 bei 0.1.118).
• 0,10 ist die angesetzte Unsicherheit von τ, angewandt auf die ganze Summe, weil ein falsches τ jeden Schritt in dieselbe Richtung verschiebt.
• H fasst die Halbbreiten der Langstufengewinne zusammen, also den eigenen Messfehler des Orakels.
• 5 Elo je Lauf sind eine angesetzte Zulage für alles, was das Modell auslässt.

Die Seite zeigt Zentrum ± 1,645 · SD. Das ist ein nominelles Modellintervall für neunzig Prozent für den Wert auf der Ankerskala: Stimmt das Modell, enthält es diesen Wert in neun von zehn Fällen. Eine spätere Verankerung hat einen eigenen Messfehler, der beim Vergleich hinzukommt. Ist eine Fassung selbst verankert, zeigt die Seite diese Verankerung unverändert, mit ihrem ursprünglichen Band und Messstatus.

Ein Beispiel

Für T-0154 sind die Eingaben A = 3455, h_stat = 8, ΣLᵢ = 261,65, n = 9 und H = 24,72:

Zentrum = 3455 + 0,703 · (261,65 − 18) ≈ 3626, SD ≈ 30,2, Intervall [3577; 3676]

Das ist eine Modellrechnung, keine Messung. Die alte Zahl war 3717. Der größte Teil des Unterschieds kommt vom Faktor eins.

Was es nicht sagt

AFE ist eine Schätzung, keine Messung. Vier Grenzen gehören daneben:

• Die Skala selbst. Die Verankerung überträgt Ergebnisse gegen andere Engines auf einen Wert, der an den Wertungen einer öffentlichen Wertungsliste verankert ist. Diese Übertragung trägt einen festgesetzten Vorbehalt von plus oder minus einundfünfzig Elo. Er stammt aus einer früheren Rechnung mit zwei Ankern, ist nicht gemessen, und eine empirische Deckung von fünfundneunzig Prozent wird für ihn nicht behauptet. Er ist für jede Fassung gleich und steht getrennt, nicht im Intervall.
• Die Deckung ist nicht geprüft. Ob neunzig Prozent dieser Intervalle wirklich stimmen, lässt sich nur mit der Zeit prüfen, an Verankerungen, die mit vorher eingefrorenen Prognosen verglichen werden. Die Seite schreibt: „Die Deckung ist nicht geprüft.“
• Große Sprünge. τ ist eine Zahl für sehr verschiedene Arten von Änderungen. Nach einem Lauf, der in der Langstufe mehr als fünfzig Elo gewann, wird die Schätzung bis zur nächsten Verankerung als unsicher markiert. Wegen des Laufs T-0153 gilt das für jeden neuen Eintrag bis zur nächsten Verankerung.
• Ein Wechsel der Gegner. Nutzt eine Verankerung einen anderen Satz von Gegnern, wird ihr Wert weder mit früheren verglichen noch zur Neuschätzung von τ verwendet, bis eine Messung den alten und den neuen Satz überbrückt.

Ins Protokoll gehört auch eine Berichtigung. Am Tag, an dem das Verfahren festgelegt wurde, war τ zuerst mit 0,673 angegeben. Dieser Wert teilte durch die unberichtigten Summen der Gewinne. Weil τ auf berichtigte Summen angewandt wird, wurde es vor der Veröffentlichung auf derselben Basis neu geschätzt und ergab 0,703. Die drei unabhängigen Prüfungen des Verfahrens, jeweils durch KI-Modelle einer anderen Familie und jeweils mit dem Auftrag, das Verfahren zu widerlegen, galten der Fassung mit 0,673; die Neuschätzung wurde nachgerechnet, aber nicht erneut von einer anderen Modellfamilie geprüft.

Was sich auf der Seite ändert

Jeder bestandene Lauf ab T-0155 zeigt zwei Zahlen. Die erste ist gemessen: der Langstufengewinn gegen den Vorgänger, wie bisher, gekennzeichnet als Ergebnis eines gestoppten Tests. Die zweite ist geschätzt: AFE, mit Intervall und den Hinweisen oben. Kommt eine neue Verankerung, wird sie das neue A, und die Summe beginnt wieder bei null. Die Parameter werden nur neu geschätzt, wenn diese Verankerung dieselben Gegner wie die vorige nutzt oder mit ihr überbrückt ist.

Frühere Einträge bis T-0154 behalten die Zahl, mit der sie veröffentlicht wurden. Sie gehören zum Protokoll, und das Protokoll wird nicht umgeschrieben.