Worum es geht: Wenn Code schneller entsteht, wird das Prüfen zum Engpass. Diese Lektion zeigt zwei Antworten darauf: eine feste Durchsichtsliste für Code – und Evals, also automatische Prüfungen für die Qualität von Modellausgaben.
1. Sieben Fragen bei der Durchsicht
Erfüllt der Code die Aufgabe – und nur die Aufgabe? Agenten neigen dazu, nebenbei mehr zu bauen als gefordert. Alles, was nicht in der Beschreibung stand, ist ein Kandidat zum Streichen.
2. Wie man effizient durchsieht
Nicht Zeile für Zeile von oben. Beginnen Sie mit der Liste der geänderten Dateien: Passt die Auswahl zur Aufgabe? Eine geänderte Datei, die nicht dazugehört, ist ein Warnzeichen. Dann die Schnittstellen und Datenmodelle, weil dort die Entscheidungen stecken. Dann die Fehlerbehandlung. Die eigentliche Logik zuletzt – sie ist meist der unproblematischste Teil.
Wenn ein Durchgang mehr als zwanzig Minuten dauert, war die Aufgabe zu groß geschnitten. Teilen Sie sie beim nächsten Mal.
3. Was Evals sind
Eine Eval ist ein Test für die Ausgabe eines Sprachmodells. Da dieselbe Frage nie exakt dieselbe Antwort liefert, lässt sich nicht auf Gleichheit prüfen – geprüft werden Eigenschaften: Enthält die Antwort die erwarteten Felder? Liegt sie im erlaubten Format? Steht die richtige Zahl darin? Enthält sie etwas, das nicht vorkommen darf?
| Prüfart | Beispiel |
|---|---|
| Format | Antwort ist gültiges JSON mit den Feldern status und begruendung |
| Inhalt | Die genannte Preisspanne entspricht der Angabe im Quelldokument |
| Verbotenes | Keine erfundenen Referenzen, keine Zusagen zu Lieferzeiten |
| Quellenangabe | Jede Aussage nennt die Fundstelle, aus der sie stammt |
| Länge und Ton | Höchstens 120 Wörter, Sie-Ansprache, keine Ausrufezeichen |
4. Eine Eval-Sammlung aufbauen
Beginnen Sie mit zwanzig echten Fällen aus dem Alltag – echte Kundenanfragen, echte Dokumente, echte Fragen. Halten Sie zu jedem fest, was eine gute Antwort ausmacht. Diese zwanzig Fälle laufen nach jeder Änderung an Anweisung, Modell oder Kontext durch.
Der Wert entsteht beim Ändern. Ohne Evals ist jede Anpassung ein Blindflug: Man verbessert einen Fall und verschlechtert drei andere, ohne es zu merken. Mit Evals sieht man sofort, was besser und was schlechter wurde.
5. Wenn ein Modell prüft
Für Eigenschaften, die sich nicht mechanisch prüfen lassen – etwa „ist die Antwort höflich und sachlich?“ –, kann ein zweites Modell als Prüfer eingesetzt werden. Das funktioniert brauchbar, wenn die Prüffrage eng gestellt ist und nur mit Ja oder Nein beantwortet werden soll. Es ersetzt keine mechanische Prüfung dort, wo eine möglich ist – und es ersetzt keine Stichprobe durch Menschen.
6. Häufige Fragen
Wie viele Fälle braucht eine Eval-Sammlung? Zwanzig für den Anfang, fünfzig für ein System im Betrieb. Wichtiger als die Zahl ist, dass die schwierigen Fälle dabei sind – nicht nur die einfachen.
Wann läuft die Sammlung? Bei jeder Änderung an Anweisung, Kontext oder Modell, und zusätzlich regelmäßig im Betrieb: Modelle werden aktualisiert, und die Qualität kann sich dabei verschieben.
Ersetzt das die menschliche Prüfung? Nein. Evals fangen Rückschritte ab. Ob das System das Richtige tut, beurteilt weiterhin ein Mensch – regelmäßig und stichprobenartig.
Stand: September 2026. Die Übungen laufen vollständig in Ihrem Browser – es wird nichts gespeichert oder übertragen.