Ausführung: Lebenszyklus, Transaktionen und Evaluierung (Evals)

Ein deklarierter Lifecycle gibt jedem Lauf einen bekannten Zustand, eine Menge zulässiger Übergänge und ein Ende. Ohne ihn können Sie die beiden Fragen nicht beantworten, die in jedem Vorfall aufkommen: Wo steht dieser Prozess gerade, und was kostet es, wenn er weiterläuft. Explizite Zustände machen den Fortschritt außerdem in Geschäftsbegriffen berichtbar statt in Log-Zeilen, und geben dem Betrieb einen belastbaren Punkt zum Eingreifen.

Agent-Aktionen berühren echte Systeme, also brauchen sie die Disziplin, die Sie bei Datenbankarbeit bereits anwenden: planen, Vorschau, anwenden, verifizieren, committen, mit einem definierten Rollback. Fehlt diese Abfolge, hinterlässt ein Fehler auf halbem Weg die Umgebung in einem inkonsistenten Zustand, und die Bereinigung ist manuell, langsam und wird meist von Ihren erfahrensten Leuten erledigt. Umkehrbarkeit ist außerdem das, was es sicher macht, mit der Zeit mehr Autonomie zu gewähren, weil Fehler aufhören, dauerhaft zu sein.

Ein Eval-Set ist die Regressions-Suite für probabilistische Software. Es ist das, womit Sie sagen können, ob ein neues Modell, ein neues Prompt oder eine Kontextänderung tatsächlich etwas verbessert hat, statt aus Anekdoten und den letzten drei Beispielen zu argumentieren, die jemand zufällig ausprobiert hat. Teams, die hier investieren, können ein neues Modell binnen Tagen einführen und die Entscheidung mit Zahlen belegen; Teams, die das nicht tun, sind strukturell nicht in der Lage, sicher zu upgraden, und ihre Qualitätsdiskussionen kommen nie zu einem Ergebnis.

Eine Anfrage als Quellcode zu behandeln, der Stages durchläuft, vom geparsten Intent über Spezifikation, Plan und Ausführung bis zur Verifizierung, hat einen sehr praktischen Vorteil: Wenn die Ausgabe falsch ist, können Sie sagen, welche Stage falsch war. Systeme, die als ein einziger undurchsichtiger Aufruf gebaut sind, lassen sich im Nachhinein nicht diagnostizieren, sodass jeder Vorfall wieder mit Raten beginnt und jeder Fix spekulativ ist. Die Zwischenartefakte aufzubewahren ist günstig; sie nicht zu haben, ist das, was Post-mortems ergebnislos macht.