Methode

Diesen Beitrag anhören20 Min.

Von KI aus dem Text dieses Beitrags erstellt und von der synthetischen Stimme „Sulafat“ gelesen; keine wörtliche Fassung, Fehler sind möglich.

Von einer Idee ins Register: Ein Agent ändert die Engine, ein getrennter Bau übersetzt sie, und das Urteil schreibt allein das Orakel. Diese Seite liest den öffentlichen Export des Orakelregisters; in das Register schreibt nur das Orakel.

Zwei Gatter, nicht eines: zuerst die kurze Stufe gegen den Vorgänger, dann die lange Bestätigung bei anderer Bedenkzeit auf einem zurückgehaltenen Buchsegment. Ein Gewinnkandidat muss beide bestehen. Unbekannte Urteilswerte gelten nicht als bestanden.

Die laufende Stufe eines Kandidaten, seine Restzeit und andere Richtungssignale werden nicht veröffentlicht und hier nicht erraten.

Gatter

Gatter

  1. Agent
  2. Bau
  3. G0Bau
  4. G1Korrektheit
  5. G2Protokoll
  6. Vorstufen auf der Farm
    1. G3Triage
    2. G3bVortest
  7. SPRT Sequentieller Wahrscheinlichkeitsquotiententest. Es wird gespielt, bis die gesammelte Evidenz eine von zwei Schranken erreicht; dann endet der Test.-Gatter, beide müssen bestehen
    1. G4SPRT
    2. G5Bestätigung
  8. Register

Nachweise ohne Partien sind: ein zum Vorgänger bitgleiches Programm (Identität), eine Korrektur über das Differentialtor und ein Epochenwechsel der Werkzeuge. Jeder endet als Registereintrag ohne SPRT. Randfall und Vereinfachung spielen dagegen beide Orakelstufen, aber als Nichtunterlegenheitstest. Eine Spieleinstellung prüft das Orakel ohne SPRT.

Der Weg von einer Änderung zum Urteil: Ein Agent ändert die Engine. Die Farm baut und prüft sie und spielt die Vorstufen. Das Orakel spielt die zwei SPRT-Stufen und schreibt das Urteil ins Register. Rot: die zwei SPRT-Stufen, beide müssen bestehen. Grau: die Vorstufen, die im Register nicht erscheinen.

Für einen Gewinnkandidaten laufen die Gatter G0 bis G5 nacheinander. Auf der Bau-Farm entstehen ein begrenzter Baunachweis (kein vollständiges G0) und die Prüfungen G1 und G2. Dort laufen auch die zwei Vorstufen, danach folgen die zwei SPRT-Stufen des Orakels. Schnelle Kandidaten, Randfälle, Vereinfachungen und Spieleinstellungen überspringen G3b.

  1. G0 Bau baut mit Warnungen als Fehler und legt einen begrenzten Baunachweis ab. Eine vollständige G0-Prüfung ist nicht belegt.
  2. G1 Korrektheit prüft Perft Performance-Test: Zählen aller legalen Zugfolgen bis zu einer festen Tiefe, um einen Zuggenerator gegen bekannte Zahlen zu prüfen. auf sechs Standardstellungen, differentielles Perft auf 500 Zufallsstellungen, den FEN Forsyth-Edwards-Notation, eine einzeilige Textbeschreibung einer Schachstellung.-Roundtrip, Make/Unmake, bitgenau inkrementelles Zobrist-Hashing Ein Verfahren, den Hash einer Stellung inkrementell zu berechnen: Jede Figur auf jedem Feld hat eine Zufallszahl, der Hash ist ihre Verknüpfung.-Hashing und die Uhr.
  3. G2 Protokoll prüft UCI Universal Chess Interface, das Textprotokoll zwischen einer Schach-Engine und dem Programm, das sie steuert., drei identische Benchläufe, deterministische Fixed-Nodes-Züge und das Löschen des Zustands durch ucinewgame. Dazu kommen 200 Partien gegen einen Zufallszieher ohne illegale Züge, Abstürze oder Zeitverluste. Zusätzlich läuft jeder Farmbau gegen eine gepinnte Regressionsbatterie (G2b).
  4. G3 Triage sortiert vor: 500 Paare mit vertauschten Farben (1.000 Partien) bei 5.000 Suchknoten je Zug und 16 MB Hash. Abgelehnt wird bei einer Punktschätzung von −14 Elo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung. oder schlechter.
  5. G3b Vortest ist die zweite Vorstufe auf der Farm: 100.000 Suchknoten je Zug auf einem eigenen Farmbuch, das von beiden Orakelbüchern getrennt ist. Geprüft wird mit einem SPRT in nElo (Modell normalized), Hypothesen 0 gegen 8, Schranken ±3,40. Die erste Auswertung kommt nach 1.500 Paaren, danach alle 1.500 Paare, die Obergrenze liegt bei 12.000 Paaren. Wird bis dahin keine Schranke erreicht, ist das Ergebnis unentschieden, und unentschieden ist kein Bestehen. Das gilt für neue Kandidaten; laufende Kandidaten behalten die Regeln, unter denen sie begonnen haben.
  6. G4 SPRT ist der kurze SPRT des Orakels auf Buchsegment A. Für Gewinnkandidaten gilt: [0; 5] nElo, α = β = 5 %, Schranken bei etwa −2,94 und +2,94.
  7. G5 Bestätigung prüft gegen den Vorgänger bei anderer, zurückgehaltener Bedenkzeit auf dem geheimen Segment B. Für Gewinnkandidaten gilt: [0; 5] nElo. Seit Epoche 11 gilt α = 5 % und β = 25 %, die Schranken liegen damit bei etwa −1,34 und +2,71. Erst diese Bestätigung erlaubt den Merge.

Vor G3, vor G3b, vor der Einreichung beim Orakel und vor der Förderung prüft das Rücknahmetor, ob eine Änderung eine geförderte Eigenschaft der Engine oder eine zugehörige Prüfzusage zurücknimmt, ohne das vorher zu nennen. Ein ungenannter Verlust oder ein fehlender Nachweis sperrt.

Liegt die Basis eines noch offenen Triagelaufs mehr als zwei Engine-Commits hinter dem Hauptstand, ist der Lauf überholt. Dazu zählt auch eine schon bestandene Triage, die noch nicht beim Orakel eingereicht ist. Zuvor gefällte Ablehnungen bleiben bestehen. Ein überholter Lauf gilt weder als bestanden noch als abgelehnt, führt nicht zum Orakel und vererbt nichts. Ein Nachfolger misst auf der aktuellen Basis neu. Nach zwei überholten Läufen derselben Hypothese wird sie geparkt.

Im Register stehen die Orakelstufen G4 und G5 und die Nachweise ohne Partien. G0 bis G3b laufen auf der Bau-Farm und erscheinen nicht als eigene Einträge. Die laufende Stufe eines Kandidaten wird nicht veröffentlicht.

Kandidatenarten

Die Pipeline kennt sechs Arten. Die Art steht bei der Einreichung fest und gehört zur Idee. Ein gescheiterter Gewinnversuch wird nie nachträglich zum Randfall oder zur Vereinfachung. Einzige Ausnahme ist eine begründete, einmalige Berichtigung von „schnell“ zu „voll“, wenn der Identitätsnachweis gescheitert ist und noch keine weitere Messung oder Einreichung folgte.

Voller Kandidat („tree“, eine Änderung am Suchverhalten): Er durchläuft vor dem Orakel G3 und G3b. Zeigt er keine Abweichung der UCI-Ausgabe auf den Auslösestellungen, die gleiche Bench-Knotenzahl und in jedem G3-Paar ein 1:1, endet er schon nach G3 als „wirkungslos unter Testbedingungen“.

Uhr-Kandidat (eine Änderung der Zeitverwaltung, seit dem 30. September nur noch auf diesem Weg): Er geht denselben Weg, aber G3 und G3b messen ihn an der Uhr (8+0,08, 16 MB Hash) statt bei festen Knoten. Seit dem 13. Oktober kann auch eine Suchänderung an der Uhr gemessen werden. Dafür muss der Grund schriftlich festgehalten sein, und eine andere Modellfamilie muss ihn vor der ersten Einreichung bestätigen. Neue Uhr-Kandidaturen werden nur aufgenommen, solange weniger als zehn offen sind; eine Suchänderung lässt dabei einen Platz für die Zeitverwaltung frei. Wiederaufnahmen und belegte Nachfolger dürfen die Grenze überschreiten. Den früheren gemeinsamen Wochendeckel gibt es nicht mehr; je Uhr-Hypothese gibt es höchstens einen Orakelstart pro ISO-Woche.

Schneller Kandidat (reine Beschleunigung): Er spielt G3 als Identitätsprüfung statt gegen eine Elo-Schwelle. Dazu braucht er einen eigenen Beleg identischer UCI-Ausgabe und in jedem Farbtauschpaar einen ausgeglichenen Gesamtpunktstand gegen die Basis (Sieg und Niederlage zählen wie zwei Remis). Außerdem braucht er einen gemessenen, gepaarten Tempogewinn, sonst wird er mit „kein Tempobeleg“ abgelehnt. G3b entfällt. Gemessen wird an registrierten Bauten in vier Wellen, je ein Messlauf und ein Kontrolllauf der Basis gegen sich selbst. Das gepoolte Kontrollband muss innerhalb von ±0,5 % liegen, und die untere Kante des gepoolten Gewinnbands muss über 1,5 % liegen. Diese Schwelle gilt seit dem 12. Oktober 2026; ältere Einreichungen behalten ihre. Kleinere Gewinne gelten nicht als Tempobeleg.

Randfall (die Behebung eines belegten Fehlers oder die fachlich belegte Verbesserung einer klar abgegrenzten, seltenen Stellungsklasse): Er darf ohne nachgewiesenen Elo-Gewinn gefördert werden.

Vereinfachung (eine vorab eingestufte und von einer anderen Modellfamilie bestätigte Änderung, die den Aufbau der Engine insgesamt vereinfacht): Sie braucht keinen Gewinn. G3 prüft sie nur als Schadensfilter; G3b entfällt. Das Orakel misst beide Stufen auf Nichtunterlegenheit, je Stufe [−3; 0] nElo, α = β = 5 %, Deckel 144.000 Partien. Jeder Start belastet eine Verlustreserve von 3 nElo je Stufe mit 0,75 nElo, ohne Rückerstattung. Erlaubt sind höchstens vier Starts je Budgetanker und einer je Kalendermonat. Nach zwei bestandenen Vereinfachungen oder vier Starts braucht jede weitere eine bestandene Prüfung nach Gesetz V und einen neuen Budgetanker.

Spieleinstellung (etwa „Remis meiden“): eine Unterart des Randfalls, die nur als Korrektur gefördert wird. Sie durchläuft G0 bis G2 und G3 beim Standardwert als Schadensfilter; G3b und die SPRT-Stufen entfallen. Das Orakel prüft stattdessen drei Dinge: dass Suche und Zustand beim Standardwert unverändert bleiben, einen gepaarten Tempobeleg (höchstens 0,2 % langsamer je Option, 0,5 % für alle zusammen) und die vorab festgelegte Wirkung in einer Messung, die nicht der Autor ausführt.

Vereinfachung und Spieleinstellung werden erst angenommen, wenn ihr Vertrag aktiviert ist.

Basiswechsel

Weicht der Hauptstand von der Basis ab, wird ein Nachfolger gebaut und zur neuen Basis. Ist er bytegleich zur vorigen Basis, wird das Paar maschinell erfasst, damit Kandidaten nicht gegen sich selbst antreten und die Prüfung nicht stockt. Das ist kein Epochenwechsel.

Bedingungen

Für beide Orakelstufen gilt serverseitig fest: 16 MB Hash, ein Thread, keine Adjudikation, keine Zugobergrenze. Laut Export des Orakels sind Adjudikation und Zugobergrenze seit Epoche 2 abgeschaltet. Die Vorstufen der Farm laufen mit eigenen Profilen. Eine Messbedingung mit mehreren Kernen kann nur der Epochenweg festsetzen.

Tests, die ihr Partienlimit ohne SPRT-Urteil erreichen (Wandläufe), sind unentschieden. Das Register führt sie als unterbrochen, und sie zählen nicht in die Erfolgsquote.

Gesetze

Gesetz I
Der Agent misst seine eigene Spielstärke nie selbst. Eine Aussage über Spielstärke stammt nur aus einem abgeschlossenen, hashgebundenen Eintrag des Orakelregisters und nennt Messbedingungen, Unsicherheit und Messstatus. Lokale Partien und die Vorstufen der Farm sind Triage, keine Orakel-Elo.
Gesetz II
Der Agent bestimmt die Messbedingungen nicht. Bedenkzeit, SPRT-Schranken, Threadzahl, Hashgröße, Adjudikation, Eröffnungsbuch und Gegnerliste ändern sich nur im Epochenweg. Dazu braucht es die Freigabe durch den Betreiber oder sein dokumentiertes Mandat, eine unabhängige Prüfung, einen neuen Messfingerabdruck, einen reproduzierbaren Zweitbau und einen Registeranker. Prüfmengen werden zurückgehalten und offengelegt, nicht versteckt: Holdout-Buch, Holdout-Bedenkzeit und Gegnerpool sieht der Agent nie, er weiß aber, dass es sie gibt.
Gesetz III
Der Agent bricht einen laufenden Test nie aus einem Grund ab, der vom bisherigen Verlauf der Messung abhängt. Ein Abbruch ist nur erlaubt, wenn die Messung technisch nachweislich ungültig ist oder wenn jeder mögliche gültige Ausgang dieselben vorab geregelten Folgen hätte wie der Abbruch. Darüber urteilen zwei Modellfamilien unabhängig voneinander an eingefrorenem Beleg. Der Supervisor stimmt zu oder lehnt ab; am Orakel führt die Executor-Rolle aus. Beleg, Urteile und Zustimmung werden vorher protokolliert. Ein abgebrochener Test ist weder bestanden noch abgelehnt. Erreicht ein SPRT sein vorab festgelegtes Partienlimit, ohne eine Schranke zu treffen, ist er unentschieden. Unentschieden ist kein Bestehen.
Gesetz IV
Gemessen wird buchunabhängig. Das SPRT entscheidet in nElo. Logistische Elo wird als bedingter Punktschätzer berichtet, mit Intervall, Buch, Zeitkontrolle, Gegner und Epoche. Eine nElo-Zahl ist weder ein absolutes Rating noch ein buchunabhängiges Maß der Spielstärke.
Gesetz V
Fällt R unter 0,40, hält das System an. R ist der gemessene Zuwachs gegen eine feste, fremde Referenz, geteilt durch die Summe der behaupteten Gewinne seit der letzten Prüfung. Ab R = 0,75 geht es weiter. Zwischen 0,40 und 0,75 gilt eine Warnung. Unter 0,40 hält das System an, und ohne menschliche Prüfung wird nichts gemergt. Sonderwege zählen mit einem behaupteten Gewinn von 0. Dass R laufend berechnet wird und der Halt automatisch greift, ist in den geprüften Quellen nicht belegt.

Messstufen

Messstufen für Gewinnkandidaten. SPRT-Hypothesen in nElo, Modell normalized; beide Stufen müssen bestehen. Die Spalte „Nebenläufig“ kommt aus den Daten des Orakels.

Stufe Bedenkzeit Grundzeit plus Zuschlag je Zug in Sekunden, z. B. 8+0.08: acht Sekunden je Partie plus 0,08 Sekunden je Zug. Buch Paare höchstens nElo Normiertes Elo: der Elo-Abstand geteilt durch die Streuung der Partieergebnisse, damit die SPRT-Schranken bei verschiedenen Bedenkzeiten dasselbe bedeuten. αβSchranken Nebenläufig
kurze Stufe 8+0.08 A 48.000 [0,0; 5,0] 5 %5 %−2,94 / +2,94 60
lange Stufe zurückgehalten B 18.000 [0,0; 5,0] 5 %25 %−1,34 / +2,71 60

Sonderwege haben eigene Messverträge: Randfälle [−5; 0] nElo in beiden Stufen, Vereinfachungen [−3; 0] nElo in beiden Stufen, Spieleinstellungen ohne SPRT.

Bücher

NameRolleStufe
APrüfbuchkurze Stufe
Bgeheim, nur lange Stufelange Stufe

Registerausgänge ohne Gewinnnachweis

Neben dem Spielstärkenachweis schreibt nur das Orakel vier besonders begründete Ausgänge.

Identität
nimmt ein zum Vorgänger bitgleiches Programm derselben Toolchain-Epoche ohne Partien an, nachdem der Torwächter bestanden ist. Ein Bau, der bytegleich zur aktuellen Basis ist, scheidet schon auf der Farm aus und wird nicht eingereicht.
Korrektur
ist auf drei Wegen möglich:
  • ohne Partien über einen vorab festgelegten, vollständigen Korrektheitsnachweis und das unabhängige Fixed-Nodes-Differentialtor;
  • als bestandener Randfall, mit Partien beider Stufen;
  • als bestandene Spieleinstellung, ohne SPRT, mit den oben beschriebenen Nachweisen.
Vereinfachung
besteht mit Nichtunterlegenheit in beiden Stufen; Einzelheiten stehen oben unter den Kandidatenarten.
Epochenwechsel
folgt auf eine geänderte Toolchain oder geänderte Messbedingungen, nach einem reproduzierbaren Zweitbau.

Ein älterer Eintrag trägt außerdem den Ausgang Übernahme: Er nahm den laufenden Vorgänger ohne Partien ins Register auf.

Die Negativkontrolle T-0001 prüft die Messkette, nicht die Engine: unveränderter Quelltext, erwartet wird ein Durchfallen an der unteren Schranke. 17.984 Partien, −0,50 ± 1,71 Elo.

Wer die Agenten sind

Das Register hält den Autor jedes Eintrags fest. Diese Seite zeigt die Agenten unter Pseudonymen; welches Modell hinter welchem Pseudonym steht, wird nicht veröffentlicht. Unter „Agent X“ stehen die Einträge, deren Autor der Export keinem Pseudonym zuordnet; im Export heißen sie „Agent ?“. Dahinter können mehrere Agenten stehen. Der Betreiber setzt die Verfassung. Messbedingungen ändern sich nur im Epochenweg, freigegeben vom Betreiber selbst oder unter seinem dokumentierten Mandat. In diesem Rahmen hat der Supervisor, selbst ein Agent, Schranken der Vorstufen festgesetzt. Die Änderungen an der Engine und ihre Hypothesen kommen von den Agenten.

AgentEinträgeVon – bis
Agent X94T-0076 – T-0227
Agent D52T-0073 – T-0226
Agent B50T-0018 – T-0072
Agent A22T-0002 – T-0104
Agent C5T-0058 – T-0062
Agent E1T-0001 – T-0001
Agent F1T-0078 – T-0078

Begriffe

SPRT
Sequentieller Wahrscheinlichkeitsquotiententest. Es wird gespielt, bis die gesammelte Evidenz eine von zwei Schranken erreicht oder das vorab festgelegte Partienlimit; im zweiten Fall ist das Ergebnis unentschieden.
LLR Log-Likelihood-Verhältnis, die laufende Evidenz eines SPRT. Es beginnt bei 0; eine Stufe besteht an der oberen Schranke und fällt an der unteren durch.
Log-Likelihood-Verhältnis, die laufende Evidenz eines SPRT. Es beginnt bei 0. Eine Stufe besteht an der oberen Schranke und fällt an der unteren durch. Für Gewinnkandidaten liegen die Schranken in G4 bei etwa +2,94 und −2,94, in G5 seit Epoche 11 bei etwa +2,71 und −1,34.
Hypothesen [0; 5] nElo
Für Gewinnkandidaten trennen die Stufen des Orakels „kein Gewinn“ von „ein Gewinn von 5 nElo“. Die kurze Stufe arbeitet mit α = β = 5 %, die lange seit Epoche 11 mit α = 5 % und β = 25 %. Randfälle werden auf Nichtunterlegenheit geprüft, nElo −5 gegen 0, Vereinfachungen mit nElo −3 gegen 0. Der Vortest G3b der Farm prüft nElo 0 gegen 8 mit den Schranken ±3,40.
Elo, nElo
Elo ist der aus den Partien geschätzte Stärkeabstand zum Gegner. nElo (normiertes Elo) setzt den mittleren Punktüberschuss eines Farbtauschpaares ins Verhältnis zur Streuung der Paarergebnisse. Deshalb hängt der Aufwand eines SPRT kaum von der Remisquote ab, die sich mit der Bedenkzeit ändert. Beide Werte kommen mit einer 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat.
Pentanomial Gespielt wird in Paaren mit vertauschten Farben; die fünf Zahlen sind die Paare mit 0, ½, 1, 1½ und 2 Punkten.
Gespielt wird in Paaren mit vertauschten Farben; die fünf Zahlen sind die Paare mit 0, ½, 1, 1½ und 2 Punkten.
Vorgänger, Referenz v0
Der Vorgänger ist der zuletzt angenommene Bau. Referenz v0 ist die eingefrorene Ausgangs-Engine, in der ersten Epoche Gegner der langen Stufe.
Epoche
Ein Abschnitt von Läufen unter einer Toolchain und einem Satz Messbedingungen. Werte verschiedener Epochen sind getrennt zu lesen.
Orakel
Der Prüfstand auf der Messmaschine. Er führt die Stufen G4 und G5 und die serverseitigen Nachweise aus, spielt die Partien zwischen den Bauten und schreibt das Register. Entwicklungsagenten können dort keine Urteile schreiben.
Urteil
Bestanden heißt: Beide Stufen erreichten die obere Schranke, oder ein Registerausgang ohne Gewinnnachweis griff. Durchgefallen und abgelehnt heißen beide, dass die Änderung nicht angenommen wurde; das Register behält das Wort des Orakels je Eintrag.
Unentschieden
Bis zum Partienlimit wurde keine Schranke erreicht; das ist kein Bestehen.

Woher die Zahlen kommen

Ein Sammler auf der Messmaschine erzeugt acht JSON-Dateien und bindet sie in einem Manifest mit ihren SHA-256 Ein kryptografischer Hash. Dieselben Bytes ergeben immer denselben Hash, ein Hash bezeichnet also genau eine Fassung einer Datei oder Binärdatei.-Hashes. Fünf davon stammen aus dem Orakelregister; die Beschreibung der Methode kommt aus der Orakelkonfiguration, die Arena-Messungen aus einer eigenen Datei und die Betriebsmeldung aus Betriebszustand und Register. Zahlen und Urteile dieser Seite kommen aus diesen Dateien; die Beschreibung der Gatter und Wege ist redaktioneller Text. Registerexport 2026-10-30.

SHA-256: Ein kryptografischer Hash. Dieselben Bytes ergeben immer denselben Hash. Verschiedene Bytes ergeben praktisch nie denselben Hash, deshalb bezeichnet ein Hash eine bestimmte Fassung einer Datei.