SPSA auf dem Prüfstand: kein belegt besseres Verfahren

Coherent stellt Zahlenwerte seiner Suche, etwa Schnittränder, Reduktionen und Verlängerungen, mit SPSA ein. Auf Auftrag des Betreibers haben am 26.10.2026 drei Modellfamilien unabhängig geprüft, ob es ein besseres Abstimmverfahren gibt. Dazu kommt eine Modellrechnung zur Frage, welche Werte nach einer Abstimmung übernommen werden sollten. Alle EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung.-Zahlen in diesem Beitrag sind Modell-Elo aus einer Simulation, keine Messung der Spielstärke.

So arbeitet SPSA

• SPSA steht für „Simultaneous Perturbation Stochastic Approximation“: Alle Parameter werden in jedem Schritt gleichzeitig verändert.
• Stören: Jeder Parameter bekommt zufällig ein Vorzeichen. Eine Fassung der Engine verschiebt jeden Parameter um den Störradius in diese Richtung, die andere gleich weit in die Gegenrichtung.
• Duell: Die beiden Fassungen spielen Partiepaare mit vertauschten Farben gegeneinander. Gezählt werden Siege minus Niederlagen.
• Schritt: Jedes Duell liefert für alle Parameter einen Beitrag in Richtung der Fassung, die in diesem Duell besser abschnitt, umso größer, je deutlicher das Ergebnis. Die Beiträge mehrerer Duelle werden gesammelt und dann gemeinsam angewendet. Störradius und Lernfaktor nehmen im Lauf der Abstimmung ab. Den Störradius am Ende nennt dieser Beitrag c; er dient unten als Maßeinheit für die Parameter.
• Unsere Umsetzung rechnet in der Form von Fishtest, der Testplattform von Stockfish. Ein Gutachten hat sie mit dem Fishtest-Code verglichen und keinen Rechenfehler gefunden; ein zweites bestätigt die Zählung von Siegen minus Niederlagen.

Gibt es ein besseres Verfahren?

Gesucht war ein Verfahren, das bei gleicher Partienzahl mehr Spielstärke liefert oder dieselbe Stärke mit deutlich weniger Partien. Bedingung des Betreibers: Ein Ersatz muss beweisbar mindestens so zuverlässig sein wie SPSA. Zwei Familien arbeiteten mit Websuche, eine ohne Netz.

• Ergebnis aller drei: Kein geprüftes Ersatzverfahren ist für 30 bis 90 Parameter bei unserem Partierauschen bewiesen oder im Schach belegt überlegen.
• Geprüft wurden CMA-ES, Bayes'sche Optimierung, CLOP, 2SPSA, Bandit-Verfahren und Abstimmung ohne Partien.

Die Werte der Tabelle sind Schätzungen aus den Gutachten, keine Messungen.

Grenze des Beweisbaren

Der Auftrag fragte auch, was „zu 100 % verlässlich“ hieße und was davon beweisbar ist.

• Zwei Gutachten halten fest: Wenn sich die Ergebnisverteilungen von besserer und schlechterer Fassung überlappen, kann dieselbe Beobachtung unter beiden auftreten. Dann kann kein nichttriviales Verfahren mit endlich vielen Partien fehlerfrei entscheiden, auch SPSA nicht.
• „Zu 100 % verlässlich“ ist in diesem Sinn nicht beweisbar. Beweisbar sind asymptotische Sätze unter Annahmen, exakte Modellrechnungen und die Fehlerraten vorab festgelegter Tests unter deren statistischen Annahmen.
• Gegen Rückschritte der Engine prüfen die festen Messstufen und das Orakel jeden Kandidaten, gleich mit welchem Verfahren er entstand. Unter ihren statistischen Annahmen begrenzen sie das Risiko einer fehlerhaften Übernahme; ausschließen können sie es nicht.

Welche Werte nach der Abstimmung übernehmen?

Im Modell läuft jede Abstimmung zweimal unabhängig, von derselben Ausgangslage aus und mit getrennten Zufallsziehungen. Danach entscheidet je Parameter eine von drei Endregeln:

• Filter: Beide Läufe verschieben den Parameter in dieselbe Richtung, jeder um mindestens 0,5·c. Dann gilt das Mittel beider Läufe, sonst bleibt der Startwert.
• Saatmittel: immer das Mittel beider Läufe.
• Saatmittel mit |T| ≥ 1: das Mittel, wenn die Teststatistik T des Parameters über beide Läufe mindestens 1 im Betrag erreicht, sonst der Startwert. T ist die Summe seiner Einzelsignale aus allen Duellen, geteilt durch die Wurzel ihrer Quadratsumme. Ein Einzelsignal ist der vorzeichenbehaftete Abstand der beiden Werte des Parameters im Duell, in Einheiten von c, mal dem simulierten Duellergebnis.

Das Modell:

• 30 Parameter, jeder mit eigenem quadratischem Verlust. Steht ein Parameter um x·c neben seinem Optimum, kostet das L·x² Modell-Elo; L ist je Parameter log-gleichverteilt zwischen 0,05 und 2.
• Jeder Parameter steht mit Wahrscheinlichkeit f schon am Optimum, im Mittel also ein Anteil f. Sonst ist sein Startfehler normalverteilt mit Standardabweichung s·c, mit s = 0,5 oder 1,0.
• SPSA wie in unserer Umsetzung: je Lauf 500 Duelle zu je 30 Partiepaaren; aktualisiert wird nach Bündeln von 15 Duellen, das letzte Bündel hat 5; der Lernfaktor endet bei 0,002·c².
• Die Duellergebnisse sind keine echten Partien, sondern ein linearisiertes Gaußsignal mit fester Varianz 1 je Partiepaar. Das ist eine Modellannahme.
• 300 Wiederholungen je Zeile. „Verfügbar“ ist der Modellgewinn, wenn alle Parameter genau auf ihr Optimum kämen.

Mittlerer Modellgewinn in Modell-Elo; in Klammern der Anteil der Läufe, die mit Verlust enden. Die Standardfehler der Mittelwerte liegen zwischen 0,02 und 0,34.

Was die Tabelle zeigt:

• Bei f ≤ 0,5 bringt das Saatmittel bei beiden Werten von s mehr Modellgewinn als der Filter.
• Bei f = 0,9 bringt der Filter gleich viel oder mehr als das ungefilterte Saatmittel. Das Saatmittel endet dann in 46 % (s = 1,0) und 74 % (s = 0,5) der Läufe mit Verlust.
• Keine Regel erreicht den verfügbaren Gewinn. Bei s = 1,0 und f = 0 erreicht das Saatmittel 11,76 von 15,24 Modell-Elo.
• Welche Endregel mehr bringt, hängt im Modell also vom Anteil f ab.

Was das Modell nicht enthält

• den Unterschied zwischen Abstimmung mit festen Knoten und Spiel auf Zeit;
• Rundung auf ganze Zahlen, Grenzen der Parameter, die Verteilung der Ergebnisse von Partiepaaren und ausgefallene Duelle;
• echte Partieergebnisse.

Was offen ist

• Der Anteil f und die Verteilung der Verluste L sind für die Engine nicht gemessen.
• Die Gutachten schlagen Änderungen an der Endregel und Varianten von SPSA vor. Gemessen ist keiner dieser Vorschläge, beschlossen ebenfalls keiner.

Wie das geprüft wurde

• Quellen: die drei Gutachten, ihre Zusammenfassung mit Nachtrag, beide Simulationsskripte mit ihren Ausgaben.
• Modell ohne f: Die Modelltabelle eines Gutachtens wurde mit eigenem Code nachgerechnet. Bei s = 1,0 ergab sich für den Filter 9,27 und für das Saatmittel 11,45 Modell-Elo, gegen 9,4 und 12,3 im Gutachten.
• Modell mit f: Diese Erweiterung hat nur eine Modellfamilie gerechnet. Die Faktenprüfung einer zweiten Familie hat beide Simulationsausgaben mit denselben Skripten bytegleich erzeugt und die Modellparameter gegen unseren Code geprüft. Für diesen Beitrag wurde die Ausgabe der Erweiterung noch einmal bytegleich erzeugt; jede Zahl der Tabelle und der Diagramme wurde per Skript gegen sie geprüft.
• Grenzen der Prüfung: Den Vergleich mit dem Fishtest-Code konnte die Faktenprüfung nicht selbst wiederholen. Die Tabelle der Ersatzverfahren ist als Inhalt der Gutachten geprüft, nicht als Messung.
• Unabhängige Prüfung: Ein Agent einer anderen Modellfamilie prüfte Text, Tabellen und Grafiken in 2 Runden gegen dieselben Quellen und gegen unseren SPSA-Code. Er verglich alle 10 Tabellenzeilen und beide Diagramme mit der Simulationsausgabe und fand sie richtig. Er benannte Korrekturen an der Beschreibung von SPSA, des Modells, der Endregeln und der Grenzen der Messstufen; sie sind eingearbeitet.