Zwei fremde Maßstäbe, zwei verschiedene Antworten

Projektmessung, nicht im Register. Jede Zahl stammt aus der Datenlieferung zur EloElo Stärkeabstand zum Gegner, aus den Partien geschätzt, mit 95-Prozent-Halbbreite, wo das Orakel eine berichtet hat. Nie eine absolute Wertung.-Verankerung vom 7. September 2026. Keine Zahl stammt aus dem öffentlichen Datenvertrag.

Projektmessung, nicht im Register. Coherent 0.1.58 hat 1.148 Partien gegen 2 fremde Engines mit veröffentlichter Wertung gespielt. Die beiden Verankerungen widersprechen sich um 54 Punkte. Die Angabe lautet deshalb 2300 ± 60 und nicht das rechnerisch engere Mittel.

Projektmessung, nicht im Register. Bisher hat sich Coherent nur an sich selbst gemessen. Die Zahl dafür heißt IMSIMS Intern gemessene Stärke: 2200 plus der Elo-Abstand gegen eine eingefrorene eigene Bezugskonfiguration. Ein Fortschrittsmaß zwischen eigenen Fassungen, keine Wertung aus einer Rangliste., intern gemessene Stärke. Sie sagt, wie die Engine gegen eine eingefrorene eigene Bezugskonfiguration abschneidet — und sonst nichts. Wer wissen will, wo das Programm im Feld steht, braucht Gegner, die jemand anderes gebaut und die jemand anderes bewertet hat.

Das ist jetzt geschehen: 1.148 Partien von Coherent 0.1.58 gegen 2 fremde Engines mit veröffentlichter Wertung. Herausgekommen ist keine saubere Zahl, sondern ein Widerspruch — und der ist das eigentlich Interessante.

Die beiden Messungen

Gleicher Aufbau bei beiden: Zeitkontrolle 2 Minuten plus 1 Sekunde je Zug — die Bedenkzeit, für die die verwendete Rangliste ihre Werte angibt. Farbtauschpaare aus einem festen Eröffnungsbuch, feste Partienzahl, kein vorzeitiger Abbruch nach Zwischenstand, keine Wertung von Stellungen durch einen Schiedsrichter, 64 MB Hashspeicher je Seite.

Alle Fehlerangaben sind Halbbreiten auf dem 95-%-Niveau.

Die beiden Antworten liegen 54 Punkte auseinander. Das sind 2,28 Standardabweichungen; die zweiseitige Zufallswahrscheinlichkeit dafür beträgt 0,022. Zu selten, um es abzuwinken.

Was wir sagen — und was wir nicht sagen

Die ehrliche Angabe lautet:

Coherent 0.1.58 liegt bei ungefähr 2300, mit einem Band von ± 60 — übertragen über 2 Gegner, die sich untereinander widersprechen.

Rechnerisch käme aus beiden Messungen ein Mittel von 2303 mit ± 23 heraus. Diese Zahl schreiben wir nicht hin. Sie entsteht nur, wenn man unterstellt, die beiden Anker seien sich einig — und genau das sind sie nicht. Auch die Spanne von 2277 bis 2331 wäre zu eng: das sind 2 Punktwerte, die selbst je rund ± 32 tragen, keine Ränder des Plausiblen.

Und selbst ± 60 deckt nicht alles ab. Was in beiden Läufen gleich falsch sein könnte — unsere Hardware, unser Buch, unsere Bedingungen gegenüber denen der Rangliste —, verschiebt beide Zahlen in dieselbe Richtung und fällt beim Mitteln nicht heraus. Ein Fehler, den keine unserer Messungen sehen kann, bleibt möglich.

Ein Wort zur Form: das liest sich wie ein Listenplatz, ist aber keiner. Es ist ein Übertrag über 2 Gegner, kein Turnier in einem gewachsenen Feld.

Woran es liegen könnte

Hier wird es unbequem. Man sieht den Widerspruch am deutlichsten, wenn man die beiden Gegner gegeneinander hält statt gegen uns: Die Rangliste setzt Drofa 32 Punkte über Blunder. Über den Umweg unserer Partien messen wir zwischen denselben beiden Engines 86 Punkte.

2 Erklärungen passen gleich gut auf dieselben Zahlen:

1. Die fremden Wertungen übertragen sich nicht. Eine Wertung gilt für die Bedingungen, unter denen sie entstand — andere Hardware, anderes Gegnerfeld, andere Eröffnungen. Dass sie sich nicht punktgenau übertragen, wäre der Normalfall und keine Panne.
2. Coherent liegt dem einen Gegner besser als dem anderen. Spielstärke ist nicht wirklich eine Zahl auf einer Geraden. Zwischen 2 Programmen kann es Stilfragen geben, die keine Rangliste abbildet, ohne dass eine der beiden Wertungen falsch wäre.

Wir hätten gern die erste Erklärung genommen — sie stellt uns besser dar. Sie folgt aber nicht aus den Daten. Im Gegenteil: von der Streuung, mit der wir den Widerspruch überhaupt beurteilen, stammen rund 2 Drittel aus unseren eigenen Partien und nur 1 Drittel aus den veröffentlichten Wertungen. Wer hier Schuld verteilen will, muss zuerst bei sich anfangen.

Der Versuch, der es entscheidet

Die Frage lässt sich beantworten, und zwar ohne uns: Man lässt die beiden Anker direkt gegeneinander spielen, in unserem Aufbau, mit unserem Buch, bei derselben Bedenkzeit.

• Kommt ein Abstand um 32 heraus, trägt die Rangliste bei uns, und der Rest ist eine Stilfrage zwischen Coherent und den beiden.
• Kommt ein Abstand um 86 heraus, widerspricht unser Aufbau der Liste.

Dieser Lauf ist eingereiht und startet, sobald die Maschine frei ist. Das Ergebnis reichen wir nach — auch dann, wenn es unbequem ausfällt.

Eine Panne, die wir nicht kleinreden

Der Lauf gegen Blunder endete bei Partie 549 statt 600, weil der Gegner abstürzte und der Turnierleiter daraufhin abbrach. Die Abbruchpartie ist nicht gewertet.

Das ist mehr als eine Fußnote, denn es trifft ausgerechnet den Lauf, der für uns günstiger ausgeht. Ein Absturz in einer verlorenen Stellung, der nicht gewertet wird, zieht unsere Punktrate nach oben — also genau in Richtung des höheren Ankers 2331. Wir haben 0 Zeitüberschreitungen in allen 1.148 Partien, aber das sagt nichts über die Behandlung von Abstürzen. Wer diesem Lauf weniger Gewicht gibt, landet näher bei 2280 als bei 2300.

Wir erwähnen es, weil eine abgebrochene Messreihe gefährlicher ist als eine fehlende: sie sieht vollständig aus.

Und was heißt das für IMS?

Die interne Zahl steht bei 2363 ± 26 und liegt damit über beiden Ankern. Der Grund war vorhergesagt: IMS hängt an einer künstlich gedrosselten Bezugskonfiguration, deren Einstellwert wir als Nullpunkt übernommen haben. Eine frühere Brückenmessung hatte gezeigt, dass diese Drosselung nicht linear ist — zwischen 2 Einstellungen, die 300 Punkte auseinanderliegen sollten, maßen wir 133.

Der Verdacht bestätigt sich: die IMS-Skala steht zu hoch. Wie viel genau, sagen 2 uneinige Anker nicht. Als Maß für Fortschritt zwischen 2 eigenen Fassungen bleibt sie brauchbar — dafür wurde sie gebaut, und dafür ist der Nullpunkt gleichgültig. Als Aussage über die Stärke im Feld war sie zu optimistisch.

Messbedingungen

Die Engines Blunder 7.1.0 und Drofa 2.0.0 werden mit Wortmarke und Version genannt, weil die Messbedingungen es erfordern; eine Verbindung zu ihren Autoren oder eine Befürwortung durch sie besteht nicht.

Die Statistik dieses Beitrags wurde von einem unabhängigen Modell gegengerechnet. Eine frühere Fassung nannte die Spanne zwischen den beiden Ankern als Ergebnis und schob den Widerspruch auf die fremden Wertungen. Beides steht so nicht mehr da, und die Partienzahl ist seither korrigiert worden.