Audit der Messkette – Stand 25.10.2026

Jede Änderung an Coherent durchläuft eine Kette von Prüfungen, bevor sie übernommen wird. Am 25.10.2026 ließ der Betreiber prüfen, ob diese Messkette effizient arbeitet und richtig eingestellt ist: nicht zu eng und nicht zu locker, möglichst mathematisch bewiesen oder widerlegt, mit Toleranzen und Wahrscheinlichkeiten. Die Prüfrolle des Projekts gab die Frage an Modelle dreier verschiedener Hersteller, die unabhängig voneinander rechneten, und schrieb vorher eine eigene Rechnung fest. Für diesen Beitrag wurde die Kernrechnung ein weiteres Mal unabhängig nachgerechnet, und jede Zählung wurde an den Tagesblättern des Fließbands und am Orakelregister geprüft.

Vermerk: Der Vorbau von Nachfolgern, der wichtigste Hebel aus diesem Audit, wird derzeit untersucht.

Das Ergebnis in Kürze

• Nicht zu locker. Ein Kandidat ohne echten Gewinn wird auf dem regulären Gewinnweg mit etwa 3 von 100.000 gefördert, im Modell numerisch berechnet. Fünf unabhängige Rechnungen stimmen darin überein. Im Gaußmodell bewiesen ist eine strenge obere Schranke von 12 von 100.000, ohne Näherung der Prüfzeitpunkte.
• Für kleine echte Gewinne eng. Im Modell numerisch berechnet: Ein Gewinn von +2 nElonElo Normiertes Elo: der Elo-Abstand geteilt durch die Streuung der Partieergebnisse, damit die SPRT-Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten. wird mit 0,5 % gefördert, +5 nElo mit 26 %, +8 nElo mit 80 %.
• Ob die Einstellung genau richtig ist, lässt sich nicht beweisen. Wie nah sie am Optimum liegt, hängt von der unbekannten Verteilung echter Effekte und von Annahmen zur Kapazität ab; die Rechnungen der Prüfung kommen je nach Annahme zu verschiedenen Antworten.
• Der gezählte Leerlauf belegt einen erheblichen Verlust im Betrieb. Das Orakel stand vom 29.09. bis 24.10. zu 28,7 % der Zeit leer, in der letzten Woche zu 31,8 %. Das Ziel liegt unter 10 %. Meist fehlte nach einem Bestehen der nächste Kandidat.
• Unter vereinfachenden Annahmen passen die Zählungen zu etwa halber Übertragung: An der Uhr käme etwa die Hälfte des Effekts an, der bei festen Knoten gemessen wird. Dann passen die Schranken der Triage und des Orakels zueinander.

Die Messkette

• G0 bis G2 prüfen binär: Bau ohne Warnungen, Regeln und Größenlimits, Korrektheit der Zuggenerierung, UCIUCI Universal Chess Interface, das Textprotokoll zwischen einer Schach-Engine und dem Programm, das sie steuert.-Verhalten, Partien gegen einen Zufallszieher ohne illegale Züge, Abstürze oder Zeitverluste.
• G3, die Triage, spielt 500 Partiepaare bei festen Knoten. Liegt die Punktzahl bei −14 EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. oder darunter, ist der Kandidat verworfen.
• G3b ist ein sequenzieller Test bei festen Knoten: [0; 8] nElo mit den Schranken ±3,4, ein Blick alle 1.500 Paare, Deckel bei 12.000 Paaren. Wer den Deckel ohne Entscheidung erreicht, wird geparkt; das ist kein Bestehen.
• G4 ist die kurze Stufe des Orakels: SPRTSPRT Sequentieller Wahrscheinlichkeitsquotiententest. Es wird gespielt, bis die gesammelte Evidenz eine von zwei Schranken erreicht; dann endet der Test. [0; 5] nElo, α = β = 0,05, höchstens 96.000 Partien.
• G5 ist die Holdout-Stufe des Orakels auf einem eigenen Segment: SPRT [0; 5] nElo, α = 0,05, β = 0,25, höchstens 36.000 Partien. Ihre Bedingungen werden nicht veröffentlicht.

Erreicht ein Orakeltest seine Partiegrenze ohne Entscheidung, heißt das unentschieden und ist kein Bestehen. nElo ist normalisierte Elo: der Effekt geteilt durch die Streuung der Paarergebnisse, damit die Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten. Für Kandidaten, die nur schneller rechnen, und für Messungen an der Uhr gibt es eigene Wege; für sie gibt es keine getrennten Zählungen je Art.

Modell und Formeln

Alle Rechnungen nutzen dasselbe Modell, damit sie vergleichbar sind:

• Die Paare sind unabhängig, und der wahre Effekt Δ ist in allen Stufen gleich groß.
• Der logarithmierte Likelihood-Quotient (LLRLLR Log-Likelihood-Verhältnis, die laufende Evidenz eines SPRT. Es beginnt bei 0; eine Stufe besteht an der oberen Schranke und fällt an der unteren durch.) des Tests wird als Brownsche Bewegung genähert.
• Mit t = Δ/(800/ln 10) und δ = elo1/(800/ln 10) hat jedes Paar für den Test [0; elo1] einen LLR-Zuwachs mit Mittelwert δ(2t − δ) und Varianz 2δ².
• Gleichwertig: Ein einzelnes Paar schätzt Δ mit der Varianz (800/ln 10)²/2 ≈ 60.356 nElo².
• Die Schranken sind A = ln((1 − β)/α) oben und B = ln(β/(1 − α)) unten. Für G4 ist das ±ln 19 = ±2,944, für G5 sind es ln 15 = 2,708 und ln(0,25/0,95) = −1,335.
• Die Kette ist das Produkt der Stufen: P(Förderung | Δ) = P_G3(Δ) · P_G3b(Δ) · P_G4(Δ) · P_G5(Δ).
• Alle Wahrscheinlichkeiten gelten für den regulären Gewinnweg, bedingt auf bestandene G0 bis G2, ohne zusätzliche Auswahl und ohne Verluste durch Überholung.

Im Orakel wird der Test hier alle 20 Paare geprüft. Wird er nach jedem Paar geprüft, steigt die Fehlerrate bei Δ = 0 in G4 von 4,72 auf etwa 4,9 % und in G5 von 4,37 auf etwa 4,5 %. An den Aussagen ändert das nichts.

Jede Stufe für sich

Die Werte für G3 hängen von der Streuung der Paarergebnisse ab; die Spanne gilt für eine Streuung von 0,15 bis 0,25. Die Schwelle von −14 Elo entspricht dann −33 bis −20 nElo. G3 ist damit ein billiger Schadensfilter.

G3b ist die engste Stelle für kleine Gewinne. Bei Δ = +4 besteht ein Kandidat dort nur mit 25,3 %, mit 49,4 % endet er am Deckel und wird geparkt.

Die Spalte „gezählt“ stammt aus den Tagesblättern und dem Orakelregister. Bis zum Stand der Prüfung waren es in G4 46 von 80; am 25.10. kam eine weitere Ablehnung hinzu.

Die ganze Kette: fünf Rechnungen

• Rechnung 1: Gitter-Faltung, eine geschlossene Reihe mit einer Korrektur für diskrete Prüfzeitpunkte und eine Simulation mit der echten LLR-Funktion des Fließbands.
• Rechnung 2: Quadratur, 200.000 Zufallspfade, eine Simulation mit Pentanomialverteilungen und der echten LLR-Funktion, dazu eine direkte Simulation der ganzen Kette mit 2 Millionen Kandidaten ohne Gewinn. Sie ergab 59 Förderungen, also 0,00295 %.
• Rechnung 3: dynamische Programmierung über Zustände, exakte Monte-Carlo-Rechnung je Block und 100 Durchläufe der echten Entscheidungsfunktion.
• Rechnung 4: Monte-Carlo-Rechnung im Brownschen Modell, festgeschrieben, bevor eine der anderen Lieferungen gelesen wurde.
• Nachrechnung hier: Gitter-Faltung der LLR-Dichte zwischen den Schranken, dazu Monte-Carlo mit 400.000 Pfaden je Punkt. An den geprüften Punkten Δ = 0, +4, +5 und +8 weichen beide Wege um höchstens 0,15 Prozentpunkte voneinander ab.

Rechnungen 2 und 3 stammen von Modellen zweier anderer Hersteller. Rechnungen 1 und 4 und diese Nachrechnung stammen aus derselben Herstellerfamilie.

Was bewiesen, berechnet oder offen ist

Beweis 1, der ungünstigste Fall. Man koppelt zwei Effekte Δ₁ < Δ₂ über dieselben Zufallszahlen. Der mittlere Zuwachs δ(2t − δ) wächst mit t, also liegt der LLR bei Δ₂ zu jedem Prüfzeitpunkt mindestens so hoch wie bei Δ₁. Erreicht der Pfad bei Δ₁ die obere Schranke vor der unteren, dann auch der bei Δ₂. Also wächst die Bestehenswahrscheinlichkeit jeder Stufe mit Δ, mit Blicken und Deckeln, und damit auch das Produkt. Für alle Δ ≤ 0 ist Δ = 0 der ungünstigste Fall.

Beweis 2, die strenge Schranke. Bei Δ = 0 ist exp(LLR) ein nichtnegatives Martingal mit Erwartungswert 1. Nach der Maximalungleichung für nichtnegative Martingale erreicht es die Höhe e^A höchstens mit der Wahrscheinlichkeit e^(−A), gleich wann und wie oft geprüft wird. Für G3b ist das e^(−3,4) = 0,0334, für G4 1/19 = 0,0526, für G5 1/15 = 0,0667. Bei unabhängigen Stufen ist das Produkt höchstens 0,000117, also 12 von 100.000; G3 kann es nur kleiner machen. Bei 1.000 unabhängigen Versuchen mit Kandidaten ohne Gewinn ist mindestens eine falsche Förderung dann höchstens mit etwa 11,1 % zu erwarten, nach dem gerechneten Wert mit etwa 2,7 %. Die Schranke ist im Gaußmodell bewiesen. Das Orakel schätzt den Quotienten aus den Partien; eine Fehlerschranke für diesen Test mit endlich vielen Partien ist hier nicht nachgewiesen.

Beweis 3, die Grenze von G3. G3 lässt einen Kandidaten durch, wenn die mittlere Paarpunktzahl über 1/(1 + 10^(14/400)) = 0,47986 liegt. Bei Δ knapp über 0 liegt sie im Mittel bei 0,5 mit der Standardabweichung σ/√500. Durchlass von mindestens 95 % verlangt √500 · 0,02014/σ ≥ 1,645, also σ ≤ 0,274. Das gilt in der Normalnäherung, nicht für jede Verteilung der Paarergebnisse.

Übertragung: die Zählungen passen zu etwa der Hälfte

G3 und G3b messen bei festen Knoten, das Orakel an der Uhr. Wie viel von einem Effekt an der Uhr ankommt, lässt sich aus den Zählungen schätzen:

• Verteilung der Effekte: Auf einem Raster mit Schritten von 0,25 nElo passt eine Normalverteilung der Effekte in G3b mit Mittel −1,5 und Standardabweichung 4,75 nElo am besten zu den Ausgängen vom 13. bis 24.10.. Sie sagt 9,3 % bestanden, 76,9 % verworfen und 13,8 % am Deckel voraus; beobachtet waren 9,1, 76,9 und 14,0 %.
• Erwartung bei voller Übertragung: Unter dieser Verteilung haben nur etwa 1,3 % der G3b-Besteher keinen Gewinn. Käme ihr Effekt vollständig an der Uhr an, müssten 86,1 % von ihnen G4 bestehen.
• Beobachtung: Seit dem 24.09. bestanden 46 von 80, also 57,5 %, mit einem 95-%-Intervall von 46,6 bis 67,7 %.
• Ergebnis: Das passt zu einem Faktor von 0,51, mit dem Intervall 0,41 bis 0,61.

Trifft die Schätzung zu, entspricht G3b mit [0; 8] bei festen Knoten an der Uhr ungefähr [0; 4]. Das passt zum Orakel mit [0; 5]. Die Schätzung hat Grenzen:

• Sie setzt voraus, dass die Effekte in beiden Zeiträumen gleich verteilt sind und an der Uhr alle um denselben Faktor schrumpfen. Die beiden Gruppen sind zeitlich versetzt und nicht miteinander verknüpft; verschiedene Kohorten oder ein veränderter Kandidatenbestand könnten die Zahlen ebenso erklären.
• Die G4-Zählung enthält auch Kandidaten anderer Arten und Regelfassungen.
• Die Verteilung ist nur als Normalverteilung angesetzt.
• Das Intervall berücksichtigt nur die Zufallsschwankung der 80 Ausgänge.

Es ist eine Schätzung, kein Beweis.

Wo die Zeit verloren geht

• Leerlauf: Vom 29.09. bis 24.10. stand das Orakel 178,8 Stunden mangels Kandidat leer, im Mittel 28,7 % des Tages. In der letzten Woche waren es 31,8 %.
• Ursache: 117,7 dieser Stunden, 66 %, waren Wartezeit auf einen Nachfolger nach einem Bestehen. In der letzten Woche war der ganze Leerlauf von dieser Art.
• Lücke nach einem Bestehen: In den 7-Tage-Fenstern bis zum 23. und 24.10. lag sie ohne vorgebauten Nachfolger im Median bei 268 und 464 Minuten. Der einzige Fall mit vorgebautem Nachfolger dauerte 20 Minuten. In früheren Fenstern lagen die Mediane mit Vorbau zwischen 17 und 56 Minuten.
• Was nötig wäre: Um von 31,8 % auf unter 10 % zu kommen, müssten je Woche mindestens 36,7 Stunden dieser Wartezeit entfallen.

Das ist eine Frage des Betriebs. Die Schranken und die Messbedingungen sind davon nicht berührt.

Empfehlungen

Der Prüfbericht fasst die gemeinsamen Empfehlungen so zusammen:

1. Zuerst den Betrieb: zwei bis drei Nachfolger auf dem aktuellen Stand ständig vorbauen. Die Rechnungen erwarten davon den Faktor 1,15, Intervall 1,0 bis 1,3, bis etwa ein Drittel mehr Messzeit. Keine Messbedingung ist berührt; das Risiko ist nur Bauzeit auf der Farm. Dieser Vorbau wird derzeit untersucht.
2. G3 unverändert lassen. Eine Schwelle zwischen −25 und −8 Elo ändert den Ertrag nach einer der Rechnungen um weniger als 3 %.
3. Zählungen ergänzen, alle ohne Spielstärkewerte: Kohorten je Regelfassung und Art, Ausgang von G4 je Art, orakelreife Kandidaten, die veralteten, und Service- und Wartezeiten. Damit ließen sich die Verteilung der Effekte und die Übertragung bestimmen.
4. Schranken nicht im Schnellschuss ändern, sondern erst nach Empfehlung 1 und mit belegter Übertragung, als vorab festgelegter Vergleich.

Strittig blieben vier Vorschläge:

Das Urteil der Prüfrolle: Ist die Übertragung etwa 0,5, ist G3b richtig auf das Orakel ausgerichtet, und keine Änderung der Schranken ist belegt. Der Hebel liegt heute im Betrieb. Über Messbedingungen entscheidet der Betreiber; die Empfehlungen sind Vorschläge.

Das stärkste Gegenargument

Dass die Kette kleine Gewinne selten erkennt, kann genau richtig sein: wenn kleine Gewinne an der Uhr und auf anderen Büchern schlecht übertragen, schnell überholt werden oder neben seltenen großen Gewinnen wenig bringen. Die Zählungen widerlegen das nicht. Die kurzen G4-Läufe deuten eher auf viele große Effekte beider Vorzeichen; dort kostet eine strenge Triage wenig. Deshalb lautet das Ergebnis des Berichts „passend bis leicht verbesserbar, Hebel im Betrieb“, nicht „lockern“.

Was unbekannt bleibt

• die Übertragung je Art der Änderung und je Buch;
• die Mischung von Arten und Regelfassungen in allen Zählungen;
• die echten Service-, Warte- und Kernzeiten von Orakel und Farm;
• die Streuung der Paarergebnisse bei festen Knoten, die die Schwelle von G3 in nElo bestimmt;
• die Fehlerraten von G0 bis G2 und der Ertrag der Tempo-Schwelle.

Was dieser Beitrag nicht sagt

• Er nennt keine Spielstärkewerte einzelner Kandidaten. Das Material der Prüfung enthielt keine.
• Die Anteile am Optimum und der Vergleich der Alternativen stammen aus den Rechnungen der Prüfung und wurden hier nicht nachgerechnet.
• Alle Rechnungen und Beweise gelten im Modell, nicht in jeder Messung. Gleiches Δ in allen Stufen ist eine günstige Annahme: Bei einer Übertragung von etwa 0,5 sind die echten Chancen kleiner Gewinne noch geringer.
• Er macht keine Angaben zu den Bedingungen der Holdout-Stufe.

Wie das geprüft wurde

Grundlage sind der Bericht der Prüfrolle, die Rohantworten der drei Rechnungen, die Regelfassungen im Code des Fließbands, der Orakelvertrag, das Orakelregister und die 26 Tagesblätter vom 29.09. bis 24.10.. Für diesen Beitrag wurden die Kurven der Stufen auf einem Gitter neu berechnet und an ausgewählten Punkten per Monte-Carlo geprüft. Die Kette, die Schätzung der Übertragung und die Grenze von G3 wurden daraus oder analytisch abgeleitet, die Beweise im Modell geführt. Leerlauf, Lücken und alle Zählungen wurden an den Tagesblättern und am Register nachgezählt. Ein Agent einer anderen Modellfamilie prüfte den Text gegen dieselben Quellen und rechnete die Kernzahlen unabhängig nach.