Ein KI-Agent bekommt Anweisungen: welche Aufgaben er übernimmt, welche Werkzeuge er nutzen darf, in welchem Ton er schreibt, was er nie tun soll. Woran erkennen Unternehmen, ob ein KI-Agent den Anweisungen folgt, die sie ihm gegeben haben? In der Vorführung sieht fast jeder Agent folgsam aus. Im Betrieb zeigt sich die Frage anders: Ein Sprachmodell hält sich meistens an seine Anweisungen, aber nicht verlässlich, und Abweichungen fallen selten von selbst auf. Wer es wissen will, muss jede Anweisung in etwas übersetzen, das sich prüfen lässt.
Warum Beobachten nicht reicht
Der übliche Weg ist, ein paar Dutzend Antworten zu lesen und freizugeben, wenn nichts auffällt. Das hat drei Schwächen.
Erstens sind Abweichungen oft selten. Eine Regel, die in neunzig von hundert Fällen eingehalten wird, wirkt beim Durchlesen von zehn Antworten zuverlässig. Zweitens hängt das Verhalten vom Eingang ab: Ungewöhnliche Anfragen, lange Verläufe oder Inhalte, die der Agent selbst liest, verschieben es. Was ein Agent auf einer Website oder in einem Dokument findet, kann ihm sogar neue Anweisungen unterschieben, wie wir in Versteckte Anweisungen für KI-Agenten: Die eigene Website prüfen beschreiben. Drittens ändert sich das Verhalten mit jeder neuen Modellversion, jeder angepassten Anweisung und jedem neuen Werkzeug. Eine Beobachtung vom letzten Monat sagt wenig über heute.
Verlässlich wird die Antwort erst, wenn sie nicht vom Eindruck einer Person abhängt, sondern von Prüfungen, die bei jedem Vorgang oder jeder Änderung gleich laufen.
Jede Anweisung in eine Prüfung übersetzen
Zuerst werden die Anweisungen Satz für Satz aufgelistet, dann wird für jede Regel festgelegt, wie ihre Einhaltung festgestellt wird. Dafür gibt es drei Arten von Prüfungen.
- Prüfung durch Code. Alles, was sich formal beschreiben lässt: Pflichtfelder, Formate, Wertebereiche, erlaubte Werkzeuge, verbotene Begriffe, Länge. Sie sind schnell und liefern immer dasselbe Ergebnis.
- Prüfung durch ein zweites Modell. Für Regeln, die Urteilsvermögen brauchen, etwa Tonfall, Vollständigkeit oder ob eine Antwort beim Thema bleibt. Ein zweites Modell bewertet die Antwort anhand einer festen Frage mit klarer Skala, zum Beispiel: Enthält die Antwort eine Zusage zu Lieferterminen, ja oder nein?
- Prüfung durch einen Menschen. Für alles, was weder Code noch ein Modell sicher beurteilen kann, und als Kontrolle der beiden anderen Prüfarten. Menschen prüfen eine Stichprobe, nicht jeden Vorgang.
Die Faustregel: so viel wie möglich durch Code, das Modell für den Rest, den Menschen für die Stichprobe und die Eichung. Bewertet ein Modell, sollte sein Urteil regelmäßig mit dem menschlichen Urteil an denselben Fällen verglichen werden. Weichen die beiden oft voneinander ab, ist die Bewertungsfrage zu unscharf.
Wichtig ist auch, wo eine Prüfung sitzt. Regeln, deren Verletzung Schaden anrichtet, etwa der Aufruf eines nicht erlaubten Werkzeugs, werden nicht nachträglich festgestellt, sondern vorher verhindert: Die Software um den Agenten lässt den Aufruf gar nicht zu. Andere Regeln dürfen nachträglich geprüft werden, solange ein Verstoß rechtzeitig auffällt.
Folgen eines Verstoßes →
- Prüfmodell vor Ausführung
- Freigabe durch einen Menschen
- Harte Sperre in der Software
- Aufruf wird gar nicht zugelassen
- Stichprobe durch Menschen
- Bewertung durch Prüfmodell
- Automatische Prüfung nach dem Schritt
- Ergebnis im Protokoll
Prüfbarkeit durch Code →
Grafik verwenden? Gern, mit Quelle Wundrig und Link auf diesen Beitrag. Hinweise
Ein Beispiel: die Regeln hinter diesem Blog
Die Beiträge in diesem Blog entstehen mit einer KI-Routine, die nach schriftlichen Anweisungen ganz unterschiedlicher Art arbeitet.
| Anweisung | Art der Prüfung | Wann sie greift |
|---|---|---|
| Jeder Beitrag hat eine Grafik, mindestens drei häufige Fragen und Quellen mit https | Code: Test im Build | Vor der Veröffentlichung, ein Fehler stoppt sie |
| Die Seite muss fehlerfrei gebaut werden | Code: Build | Vor der Veröffentlichung |
| Jede Quelle ist erreichbar | Code: Abruf jeder Adresse | Vor der Verwendung der Quelle |
| Die Quelle sagt, wofür sie zitiert wird | Lesen der Seite | Vor der Verwendung der Quelle |
| Keine erfundenen Zahlen, Kunden oder Studien | Lesen durch einen Menschen | Nach der Veröffentlichung |
Die oberen Regeln kann die Routine nicht umgehen: Fehlt die Grafik, schlägt der Test fehl, und es wird nichts veröffentlicht. Die unteren lassen sich nicht durch Code feststellen. Ob eine Zahl erfunden ist, erkennt kein Test. Ihre Einhaltung wird nach der Veröffentlichung gelesen. Fällt dabei etwas auf, wird der Beitrag korrigiert und, wo möglich, eine neue Prüfung ergänzt, damit derselbe Fehler beim nächsten Mal vorher auffällt. So wandern Regeln mit der Zeit von der unteren in die obere Hälfte der Tabelle.
Einen Prüfsatz anlegen und pflegen
Neben den Prüfungen am einzelnen Vorgang braucht ein Agent einen festen Prüfsatz: eine Sammlung von Fällen, an denen jede Änderung gemessen wird. Wie man ihn aus echten Fällen aufbaut, beschreiben wir in KI-Agenten: echte Arbeit oder nur eine Demo?. Für die Frage nach den Anweisungen kommen drei Arten von Fällen hinzu:
- Fälle, die eine Regel herausfordern. Für jede wichtige Anweisung mindestens einen Fall, in dem der Verstoß naheliegt: eine Anfrage, die zu einer verbotenen Zusage verleitet, oder ein Dokument, das dem Agenten andere Anweisungen gibt.
- Fälle außerhalb der Aufgabe. Anfragen, die der Agent ablehnen oder weitergeben soll. Ein Agent, der alles beantwortet, folgt seiner Abgrenzung nicht.
- Fälle aus dem Betrieb. Jeder Verstoß, der im Betrieb auffällt, wird als neuer Fall in den Prüfsatz übernommen.
Der Prüfsatz läuft bei jeder Änderung an Modell, Anweisungen oder Werkzeugen, nicht nur einmal vor dem Start. Für das Ergebnis zählt nicht ein Gesamtwert, sondern das Ergebnis je Regel. Sinkt die Einhaltung einer einzelnen Regel, ist das ein Grund, die Änderung nicht in Betrieb zu nehmen, auch wenn der Agent insgesamt besser abschneidet.
Im Betrieb weiter hinsehen
Nach dem Start laufen die Prüfungen durch Code bei jedem Vorgang mit. Ihre Ergebnisse gehören ins Protokoll, damit sich zeigen lässt, welche Regel wie oft verletzt wurde und ob sich das verändert. Wie ein solches Protokoll aufgebaut ist, steht in Was hat der KI-Agent geändert? Änderungen nachvollziehbar prüfen.
Dazu kommt eine regelmäßige Stichprobe, bei der ein Mensch einige Vorgänge vollständig nachvollzieht und gegen die Anweisungen hält. Eine feste wöchentliche Stichprobe ist besser als eine gründliche Durchsicht, die nur stattfindet, wenn jemand Zeit hat. Diese Prüfungen sind Teil dessen, was wir beim Bau von KI-Agenten von Anfang an einplanen.
Eine kurze Liste für den Anfang:
- Die Anweisungen des Agenten liegen schriftlich vor, eine Regel pro Satz.
- Für jede Regel ist festgelegt, wie ihre Einhaltung geprüft wird.
- Regeln mit schweren Folgen werden in der Software erzwungen, nicht nur erbeten.
- Ein Prüfsatz mit herausfordernden Fällen läuft bei jeder Änderung.
- Die Ergebnisse werden je Regel ausgewiesen, nicht nur als Gesamtwert.
- Eine benannte Person zieht regelmäßig eine Stichprobe.
Fazit
Ob ein KI-Agent seinen Anweisungen folgt, lässt sich nicht durch Beobachten beantworten, sondern nur durch Prüfungen. Dafür wird jede Anweisung in eine Prüfung übersetzt: durch Code, wo es geht, durch ein zweites Modell, wo Urteilsvermögen nötig ist, und durch eine menschliche Stichprobe für den Rest und zur Eichung. Ein Prüfsatz, der bei jeder Änderung läuft und je Regel ausgewertet wird, zeigt früh, wenn sich das Verhalten verschiebt.
Häufige Fragen
Wie prüft man, ob ein KI-Agent seine Anweisungen einhält?
Indem man jede Anweisung einzeln in eine Prüfung übersetzt. Formale Regeln wie Pflichtfelder, Formate oder erlaubte Werkzeuge prüft Code, Regeln wie Tonfall oder Vollständigkeit ein zweites Modell mit einer klaren Bewertungsfrage. Eine regelmäßige menschliche Stichprobe deckt den Rest ab und kontrolliert die automatischen Prüfungen.
Kann ein Sprachmodell die Antworten eines anderen Modells zuverlässig bewerten?
Für viele Regeln ja, wenn die Bewertungsfrage eng gefasst ist und eine klare Skala hat, etwa eine Ja-Nein-Entscheidung. Sein Urteil sollte aber regelmäßig mit dem Urteil von Menschen an denselben Fällen verglichen werden. Weichen beide oft voneinander ab, muss die Frage geschärft werden.
Muss man einen KI-Agenten nach einem Modellwechsel erneut testen?
Ja. Eine neue Modellversion, angepasste Anweisungen oder neue Werkzeuge können das Verhalten verändern, auch bei Regeln, die vorher zuverlässig eingehalten wurden. Deshalb läuft der Prüfsatz bei jeder Änderung und wird je Regel ausgewertet, nicht nur als Gesamtwert.