Von 5 auf 4 nElo: was ein feinerer Orakeltest kosten würde

Dies ist eine Modellrechnung, keine Messung. Sie schätzt, was sich ändern würde, wenn der Test des Orakels nach kleineren Verbesserungen suchte als heute.

Der Inhaber des Projekts fragte, wie viele Partien das Orakel mehr spielen müsste, wenn seine obere Schranke um 1 Punkt sinkt. Hier heißt das: Die obere Schranke elo1 des sequenziellen Tests geht von 5 auf 4 nElonElo Normiertes Elo: der Elo-Abstand geteilt durch die Streuung der Partieergebnisse, damit die SPRT-Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten., die untere Schranke elo0 = 0 und die Fehlerraten α = β = 0,05 bleiben. Die Schranke 3 steht zum Vergleich daneben, wo es hilft. Ob das Orakel umgestellt wird, entscheidet der Inhaber; die Rechnung liegt ihm als Entscheidungsgrundlage vor.

Wie das Orakel heute testet

Auf seinem regulären Weg misst das Orakel einen Kandidaten in 2 Stufen gegen seinen Vorgänger: kurz bei 8+0.08 Sekunden mit Buch A, lang bei 40+0.4 Sekunden mit Buch B. Die lange Stufe folgt nur nach bestandener kurzer. Sonderwege haben eigene Schranken und sind hier nicht betrachtet.

Jede Stufe ist ein sequenzieller Wahrscheinlichkeitsquotiententest (SPRTSPRT Sequentieller Wahrscheinlichkeitsquotiententest. Es wird gespielt, bis die gesammelte Evidenz eine von zwei Schranken erreicht; dann endet der Test.) in normalisierter EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. (nElo), gerechnet aus Partiepaaren mit getauschten Farben, mit elo0 = 0, elo1 = 5 und α = β = 0,05. Der Test endet, sobald sein logarithmierter Likelihood-Quotient +2,944 oder −2,944 erreicht, also ±ln 19. Jede Stufe hat einen Deckel: 48.000 Paare (96.000 Partien) für die kurze und 24.000 Paare (48.000 Partien) für die lange Stufe. Erreicht eine Stufe ihren Deckel ohne Schranke, endet sie unentschieden, und der Kandidat wird nicht übernommen. Das ist für diese Version endgültig: Dasselbe Binary wird nie wieder gemessen, ein verändertes Binary gilt als neuer Kandidat.

In den Epochen 6 bis 10 wurden 54 Kandidaten so gemessen. In der kurzen Stufe bestanden 34, 20 wurden abgelehnt; in der langen Stufe bestanden 30, 3 wurden abgelehnt, und 1 erreichte den Deckel. Dieser eine spielte 48.000 Partien in rund 32 Stunden und endete bei einem nElo von 3,86 ± 3,11 mit einem logarithmierten Likelihood-Quotienten von 2,71, knapp unter 2,944. Zusammen wurden rund 611.000 kurze Partien in rund 79 Stunden gespielt, mit 7.778 Partien je Stunde, und in der langen Stufe, die rund 192 Stunden dauerte, mit etwa 1.495 Partien je Stunde; das ergibt insgesamt rund 271 Orakelstunden.

Das Modell

Die Rechnung behandelt den logarithmierten Likelihood-Quotienten als Summe unabhängiger, normalverteilter Zuwächse, 1 je Partiepaar. In normalisierten Einheiten, t = nElo/(800/ln 10) und δ = elo1/(800/ln 10), hat jeder Zuwachs den Mittelwert δ(2t − δ) und die Varianz 2δ². Das Orakel selbst rechnet den Quotienten aus geschätzten Verteilungen der Paarergebnisse; Mittelwert und Varianz der Näherung stimmen in dieser lokalen Diffusionsnäherung in führender Ordnung mit denen des Orakel-Quotienten überein.

Ohne Deckel liefern die Formeln von Wald für eine Brownsche Bewegung zwischen 2 Schranken das Ergebnis im Modell exakt. Mit den Deckeln geht eine Monte-Carlo-Simulation den Test Paar für Paar durch. Im Modell ohne Deckel gilt eine einfache Regel: Behält das wahre nElo seine Lage relativ zu elo1, bleibt die Chance zu bestehen gleich, und die Partienzahl wächst mit 1/elo1². Von 5 auf 4 ist das ein Faktor (5/4)² = 1,5625.

Ohne Deckel: die Zahl der Partien

Je Stufe braucht [0;4] das 1,12- bis 1,67-Fache an Partien von [0;5], je nach wahrem nElo: genau 1,5625 bei 0, am meisten, 1,67, bei etwa 1,3, am wenigsten, 1,12, bei etwa 5,7, und nahe 1,25 für sehr gute oder sehr schwache Kandidaten. Das beantwortet die Frage für eine einzelne Stufe ohne Deckel.

Mit den heutigen Deckeln: beide Stufen

Stunden sind Orakelstunden je Kandidat, aus dem Durchsatz von 7.778 kurzen und 1.495 langen Partien je Stunde. P(Langdeckel) ist die Wahrscheinlichkeit, dass die lange Stufe, falls erreicht, am Deckel ohne Urteil endet. Die Mehrzeit ist aus den ungerundeten Partienzahlen gerechnet.

Mit den heutigen Deckeln ergeben die simulierten Werte von −10 bis 15 nElo für [0;4] ungefähr 14 bis 47 % mehr Orakelzeit je Kandidat. Die Chance, übernommen zu werden, steigt nur wenig: bei wahren 3 nElo von 0,271 auf 0,312. Im Modell liegt das am Deckel der langen Stufe: Bei [0;4] wird er für wahre 2 bis 3 nElo in 45 bis 52 % der langen Läufe erreicht.

Gemessen am übernommenen nElo je Orakelstunde schneidet [0;4] für jedes wahre nElo über 0 in der Rechnung (1 bis 15) schlechter ab als [0;5]: Bei 3 nElo übernimmt es 4,01 statt 4,67 nElo je 100 Orakelstunden.

Die echte Kandidatenmischung

Für eine Mischung wie die echte hat die Rechnung die 54 Kandidaten der Epochen 6 bis 10 genommen und je Stufe den Schätzwert aus dem Register als wahres nElo eingesetzt. Im Modell braucht [0;5] rund 239 Orakelstunden und übernimmt im Mittel etwa 30 Kandidaten, bei weniger als einem Lauf am Deckel. [0;4] braucht rund 300 Stunden, 26 % mehr, und übernimmt etwa ebenso viele, bei knapp 2 Läufen am Deckel. [0;3] bräuchte rund 387 Stunden, 62 % mehr, wiederum für etwa ebenso viele. Zum Vergleich zeigt das Register rund 271 Stunden, 30 übernommene Kandidaten und 1 Lauf am Deckel.

Die Rechnung hat außerdem 2 Varianten mit anderen Deckeln betrachtet. Mit [0;5] und einem Langdeckel von 48.000 Paaren steigt die Chance auf Übernahme bei wahren 2, 3 und 4 nElo von 0,082, 0,271 und 0,553 auf 0,109, 0,358 und 0,683, während die Orakelzeit je Kandidat von 11,8, 17,4 und 19,8 auf 13,4, 20,3 und 22,4 Stunden steigt. Das übernommene nElo je Orakelstunde ist dann für wahre 1 bis 6 nElo höher als heute: bei 3 nElo 5,28 statt 4,67 je 100 Stunden. Ein Lauf, der diesen größeren Deckel erreicht, kostet 96.000 lange Partien, etwa 64 Orakelstunden. Mit [0;4] und Deckeln von 75.000 und 37.500 Paaren steigt die Chance bei wahren 3 nElo auf 0,481, bei rund 31 Orakelstunden je Kandidat; der Ertrag je Orakelstunde ist bei 2 bis 4 nElo etwa so hoch wie heute und bei 1, 5 und 6 niedriger.

Grenzen

• Das ist ein Modell, keine Messung. Es nimmt eine Normalnäherung des logarithmierten Likelihood-Quotienten je Paar an, unabhängige Paare und einen festen Durchsatz. Außer bei der Mischung der Epochen 6 bis 10 haben beide Stufen dieselbe Stärke. Partien, die beim Abbruch von 60 gleichzeitig gespielten noch laufen, sind nicht mitgezählt.
• Die Mischung der Epochen 6 bis 10 setzt Schätzwerte nach einem vorzeitigen Testende als wahre Stärke ein; Abbruch und Auswahl können sie verzerren. Für die 20 in der kurzen Stufe abgelehnten Kandidaten steht der Kurzwert auch für die lange Stufe. Unter [0;5] bleibt das Modell 12 % (kurz) und 11 % (lang) unter den tatsächlich gespielten Partien; die Ursache und ob das den Vergleich der Varianten verzerrt, ist nicht belegt.
• Das übernommene nElo je Orakelstunde zählt nur, wenn Orakelzeit knapp ist. Wartet das Orakel auf Kandidaten, zählt eher die Chance auf Übernahme je Kandidat.
• Ob kleine Gewinne gegen den Vorgänger auch gegen andere Gegner tragen, ist nicht belegt. nElo gegen den Vorgänger ist keine von den Büchern unabhängige Spielstärke.
• Die Ergebnisse mit Deckeln sind Monte-Carlo-Schätzungen: 40.000 Läufe je Zelle bei festen Stärken und 8.000 je Kandidat und Stufe bei der Kandidatenmischung. Bei 40.000 Läufen beträgt der Standardfehler höchstens 0,0025 für Wahrscheinlichkeiten und rund 0,4 % für Partienzahlen; aggregierte Standardfehler der Mischung sind nicht angegeben. Die Prozentangaben zur Mehrzeit sind Punktwerte der Simulation.

Wie das geprüft wurde

Die Rechnung stammt von einem Agenten des Projekts, auf Bitte des Inhabers. Ein Agent einer anderen Modellfamilie hat das Modell, den Teil ohne Deckel, ausgewählte Zellen mit Deckel, die Kandidatenmischung, die Registerzahlen und jede Aussage nachgerechnet; eine Simulation mit dem exakten Quotienten des Orakels bestätigte die Normalnäherung für 1 Zelle. Für diesen Beitrag wurden die Tabelle ohne Deckel und die Registerzahlen exakt nachgerechnet und 6 Zellen mit Deckel mit eigenem Code erneut simuliert, je 10.000 Läufe; alle stimmten im Rahmen des Zufallsfehlers überein. Diese Gegenprüfung bezog sich auf das zugrunde liegende Faktenblatt; diesen Text haben ein weiterer Lauf eines Agenten jener Familie und der Agent, der die Rechnung gemacht hat, gegen das Faktenblatt geprüft.