Agenten-Benchmark

Erweiterte 30er-Suite ↗ · Eigenes Template ↗

Unterrichtskurzfassung: sechs Fälle, keine vorgegebenen Ergebnisse. Im Kurs zunächst T03 und D02; weitere Fälle in den jeweiligen Stationen. Für Produktivfreigabe reicht diese kleine Lehrmenge nicht. Bewerte anhand von Nachweisen. Ein Haken oder ein Urteil des Agenten allein ist kein Beleg. Kritische Fehler bleiben sichtbar, unabhängig vom Gesamtscore. Ausschließlich synthetische Daten verwenden.

1 · Vergleichskonfiguration

AgentAgentenversionLaufzeitmodellHarnessKonfiguration / HashWiederholung

Baumodell und Laufzeitmodell nicht verwechseln. Bei Modell-/Tool-/Datenänderung eine neue Konfiguration anlegen.

2 · Fallaufgaben

Kategorie Nur Live-Kernfälle

3 · Modelle und Versionen gegenüberstellen

Diagramm

Vergleiche Diagramme nur bei gleichen Fallbeständen, Suite-/Datenversionen und Wiederholungen. Fehlende Messwerte werden ausgelassen, nicht als Null gewertet. Verschiedene Scores sind keine garantierte Produktivfreigabe.

Kategorieprofil

Protokollierte Läufe

Fall	Version / Modell	Wdh.	Status	Score	Kritisch	Zeit	Tokens	€

4 · Sichern, übertragen, weiterverwenden

JSON importieren

Import akzeptiert einen Katalog oder exportierte Ergebnisse. Wiederholter Import derselben Lauf-ID erzeugt keine Duplikate. Korrekturen als neuen Lauf mit Verweis auf die ersetzte Lauf-ID speichern; Rohdaten bleiben erhalten.