Kaum eine Technologie lässt sich so eindrucksvoll vorführen wie ein KI-Agent. Er liest eine Anfrage, sucht Informationen zusammen, ruft Systeme auf und liefert ein Ergebnis – in wenigen Sekunden, ohne dass jemand eingreift. Nach einer solchen Demo ist die Versuchung groß, den Agenten gleich in den Betrieb zu übernehmen.
Im Alltag zeigt sich dann oft ein anderes Bild. Der Agent scheitert an Sonderfällen, braucht ständig Korrekturen oder erledigt die Aufgabe so, dass jemand hinterher alles prüfen muss. Die gesparte Zeit ist dann schnell wieder weg.
Der Unterschied zwischen einer Demo und einem Agenten, der echte Arbeit übernimmt, lässt sich an fünf Kriterien festmachen.
1. Die Aufgabe ist klar abgegrenzt
Eine Demo zeigt meist den Idealfall: eine saubere Anfrage, vollständige Daten, ein eindeutiges Ergebnis. Echte Arbeit besteht zu einem großen Teil aus Ausnahmen – unvollständige E-Mails, widersprüchliche Angaben, Anfragen, die eigentlich zwei Anliegen enthalten.
Ein Agent, der im Betrieb funktionieren soll, braucht deshalb eine klar beschriebene Aufgabe mit klaren Grenzen: Was gehört dazu, was nicht, und was passiert mit allem, was nicht passt? „Beantworte Kundenanfragen“ ist keine Aufgabe für einen Agenten. „Beantworte Anfragen zum Lieferstatus, wenn eine Bestellnummer vorhanden ist, und leite alles andere an das Team weiter“ ist eine.
2. Das Ergebnis lässt sich prüfen
Die wichtigste Frage bei jedem Agenten lautet: Woran erkennen wir, ob er seine Arbeit richtig gemacht hat? Bei manchen Aufgaben ist das einfach – ein ausgefülltes Formular lässt sich gegen das Quelldokument prüfen, eine Kategorisierung gegen eine Stichprobe von Hand. Bei anderen ist es schwierig, etwa bei Zusammenfassungen oder Empfehlungen.
Agenten eignen sich am besten für Aufgaben, bei denen die Prüfung deutlich schneller geht als die Arbeit selbst. Wenn die Kontrolle eines Ergebnisses genauso lange dauert wie die Aufgabe, spart der Agent nichts.
3. Er wurde an echten Fällen gemessen
Eine Demo zeigt, dass etwas funktionieren kann. Für den Betrieb zählt, wie oft es funktioniert. Das lässt sich nur messen, indem man den Agenten auf eine repräsentative Menge echter Fälle ansetzt – nicht auf die zehn Beispiele, mit denen er entwickelt wurde.
Praktisch bewährt hat sich ein einfacher Ablauf:
- Eine Stichprobe echter Fälle aus den letzten Wochen sammeln, einschließlich der schwierigen.
- Für jeden Fall festhalten, was das richtige Ergebnis gewesen wäre.
- Den Agenten alle Fälle bearbeiten lassen und die Ergebnisse vergleichen.
- Die Fehler nach Art sortieren: falsches Ergebnis, fehlende Information, falsch eingeordneter Sonderfall.
Diese Stichprobe wird zum Prüfstand für jede spätere Änderung. Wer das Modell, die Anweisungen oder die Werkzeuge anpasst, sieht sofort, ob es besser oder schlechter geworden ist.
4. Er weiß, wann er aufhören muss
Ein guter Agent erkennt, wenn eine Aufgabe über seine Grenzen hinausgeht, und gibt sie ab – mit einer kurzen Zusammenfassung dessen, was er schon herausgefunden hat. Ein schlechter Agent liefert in solchen Fällen trotzdem ein Ergebnis, das plausibel aussieht und falsch ist.
Diese Fähigkeit entsteht nicht von selbst. Sie muss in der Aufgabenbeschreibung angelegt und an echten Fällen geprüft werden. In der Praxis ist ein Agent, der die einfachen Fälle sicher erledigt und die übrigen sauber weitergibt, deutlich wertvoller als einer, der alle Fälle bearbeitet und bei einem Teil davon unbemerkt danebenliegt.
5. Die Werkzeuge sind zuverlässig
Ein Agent ist nur so gut wie die Systeme, auf die er zugreift. Wenn er den Lieferstatus aus einem Warenwirtschaftssystem abfragt, das gelegentlich veraltete Daten liefert, wird er gelegentlich falsche Auskünfte geben – ganz gleich, wie gut das Modell ist.
Deshalb lohnt es sich, vor dem Agenten die Schnittstellen anzusehen: Liefern sie verlässliche Daten? Sind die Berechtigungen so eng wie möglich gesetzt? Wird jeder Aufruf protokolliert, damit sich Fehler nachvollziehen lassen? Oft ist die Arbeit an diesen Grundlagen der größere Teil eines Agentenprojekts.
Wie man anfängt
Der sinnvollste Einstieg ist selten der große, vollautomatische Agent. Besser ist eine eng umrissene, häufige Aufgabe, bei der Fehler wenig Schaden anrichten und sich leicht erkennen lassen. Der Agent erstellt zunächst Entwürfe, die ein Mensch freigibt. Erst wenn die Messungen über mehrere Wochen stabil sind, wird die Freigabe für die einfachen Fälle schrittweise zurückgenommen.
Dieser Weg ist weniger spektakulär als eine Demo. Er führt aber zu einem Agenten, dem das Team vertraut – und der tatsächlich Arbeit abnimmt.
Fazit
Ob ein KI-Agent echte Arbeit übernimmt, entscheidet sich nicht in der Vorführung, sondern an fünf nüchternen Fragen: Ist die Aufgabe abgegrenzt, lässt sich das Ergebnis prüfen, wurde an echten Fällen gemessen, erkennt der Agent seine Grenzen, und sind die Werkzeuge zuverlässig? KI-Agenten, die echte Arbeit erledigen, sind eine der Fragen, denen wir in unserem Research Lab nachgehen – und ein wiederkehrendes Thema in unseren Kundenprojekten.