Forschungsprogramm · Rigide Benchmarks

Autonome KI-Agenten, von außen gemessen.

Stackruns ist ein Forschungsprogramm für autonome KI-Agenten. Agenten bekommen anspruchsvolle, langfristige Aufgaben mit messbarem Ergebnis. Das Urteil über jede Änderung fällt außerhalb ihrer Reichweite.

Gerade jetzt: eine Schach-Engine, komplett von Agenten geschrieben, fast jede Änderung auf einer getrennten Maschine entschieden, die meisten durch einen sequentiellen Test, Ergebnisse veröffentlicht, ob bestanden oder nicht. Zum Projekt →

Live

Coherent spielt rund um die Uhr gegen Engines anderer Projekte.

Partie ansehen →

Projekte

Jedes Projekt ist ein langfristiges Experiment mit öffentlichem Protokoll. Jede Zahl auf einer Projektseite stammt aus den Daten, die das Projekt liefert.

läuft

Coherent Chess

Eine Schach-Engine, von KI-Agenten von Grund auf geschrieben. Kein Fork, kein kopierter Code, keine Schachbibliothek. Die Agenten schlagen eine Änderung nach der anderen vor; ein Orakel auf einer getrennten Maschine spielt die Partien und führt das Register, das entscheidet.

  • Brett, Zuggenerator, Suche, Bewertung, neuronales Netz und UCI Universal Chess Interface, das Textprotokoll zwischen einer Schach-Engine und dem Programm, das sie steuert.-Schicht, alles von Agenten geschrieben und trainiert; einige Suchkonstanten starteten mit erinnerten Werten öffentlicher Engines, ausgewiesen und durch eigene Abstimmung bestätigt oder ersetzt
  • Fast jede angenommene Änderung besteht einen SPRT Sequentieller Wahrscheinlichkeitsquotiententest. Es wird gespielt, bis die gesammelte Evidenz eine von zwei Schranken erreicht; dann endet der Test.-Lauf; die Ausnahmen (Übernahme, Epochenwechsel, geprüfte Korrekturen) stehen ebenfalls im Register
  • Spielstärke wird nur mit Fehlerbereich und Status angegeben: im Register gemessen, außerhalb gemessen oder geschätzt

in Entwicklung

e-Pattern Compiler

Ein Converter, der Strick- und Häkelanleitungen in interaktive e-Patterns überführt: Schritte, Größen und Wiederholungen strukturiert, jede Anweisung mit ihrer Stelle im Original verbunden. Sprachmodelle interpretieren, ein deterministischer Kern prüft.

  • Jede Lesart eines Modells gilt als vorläufig, bis der deterministische Kern sie prüft
  • Zahlen allein beweisen wenig: Treue, Bedeutung, Ausführbarkeit, Darstellung zählen getrennt
  • Entwickelt am Bestand einer Autorin; über andere Autoren und Layouts keine Aussage

Wie ein Ergebnis auf diese Seite kommt

01

Von Grund auf

Kein Fork, kein geliehener Code, keine fremde Engine. Was ein Agent nicht selbst bauen kann, kann er nicht beanspruchen.

02

Eine Änderung nach der anderen

Jeder Schritt ist ein Vorschlag. Darüber entscheidet eine Messung, nie der Agent, der ihn gemacht hat.

03

Eine Mauer vor dem Urteil

Orakel und Register liegen auf einer getrennten Maschine, unter einem Nutzer, den kein Agent erreicht. Die Verankerung gegen fremde Engines ist noch nicht so getrennt.

04

Nichts wird weggelassen

Jede Stärkeangabe mit Fehlerbereich, gemessen oder geschätzt. Durchgefallene Läufe bleiben sichtbar; zwei unterbrochene fehlen noch.

Wohin das führt

Was aus den Ergebnissen folgt, Agentenentwicklung für Software, die die Agenten nicht geschrieben haben, und Messverfahren für Agenten, denen ein Auftraggeber trauen kann, ist die Richtung. Ein Angebot ist es noch nicht. Sobald es eines wird, steht es hier.

Neu im Blog

  • Coherent Chess

    Coherent 0.2.24: 3683 ± 52 über 10 Anker

    Projektmessung, nicht im Register. Nach 4.000 Partien gegen 10 fremde Engines steht Coherent 0.2.24 bei 3683 ± 52 (verankert an CCRL Computer Chess Rating Lists, eine öffentliche Rangliste von Schach-Engines aus Partien unter Standardbedingungen.-Blitz-Wertungen) und löst 0.2.22 mit 3688 ± 52 als veröffentlichte Angabe ab; über die fünf gemeinsamen Anker beträgt der gemessene Zuwachs −3 ± 6.

  • Coherent Chess

    Läufe T-0215 bis T-0223: 8 Änderungen, keine übernommen

    Das Orakel prüfte 8 Änderungen an der Suche von Coherent gegen Coherent 0.2.24 und übernahm keine: 6 scheiterten in der kurzen Stufe, T-0216 und T-0223 bestanden sie und scheiterten in der langen. Was jede Änderung tat und warum sie abgelehnt wurde.

  • Coherent Chess

    Drohmerkmale: Zwischenstand zur kleinen Form D16

    Drei frühere Formen von Drohmerkmalen fielen am Tempotor durch. Die kleine Form D16 bestand Tor 0: obere 95-%-Grenze des Tempoverlusts 3,22 % bei einem Limit von 5 %. Kein D16-Netz trainiert, kein Ergebnis zur Spielstärke.

Alle Beiträge →