Viele KI-Agenten haben inzwischen ein Gedächtnis. Sie legen Notizen über Kunden, Projekte, Lieferanten oder interne Abläufe ab und greifen beim nächsten Auftrag darauf zurück. Das ist praktisch: Der Agent muss nicht jedes Mal neu erfahren, dass ein Kunde Rechnungen nur per Post erhält oder dass ein Projekt auf eine neue Datenbank umgezogen ist.
Eine Funktion, die dabei oft eingebaut ist, wirkt auf den ersten Blick besonders bequem. Kommt eine neue Information zum selben Thema herein, ersetzt sie die alte. Niemand muss aufräumen, das Gedächtnis bleibt aktuell. Genau diese Bequemlichkeit hat eine Kehrseite, die in vielen Projekten zu spät auffällt: Wer eine neue Information einschleusen kann, kann die alte überschreiben. Und der Agent handelt danach, als wäre nichts gewesen.
Warum das Gedächtnis eine Angriffsfläche ist
Ein Agent liest im Betrieb viel Text, den niemand im Unternehmen geschrieben hat: E-Mails von außen, Dokumente von Lieferanten, Webseiten, Tickets, Formulareingaben. Für ein Sprachmodell ist das alles zunächst einfach Text. Es unterscheidet nicht von selbst zwischen einer Anweisung der Buchhaltung und einem Satz, der in einer fremden E-Mail steht.
Solange der Agent eine solche Information nur für die aktuelle Aufgabe verwendet, bleibt der Schaden begrenzt. Sobald er sie aber in sein Gedächtnis übernimmt, wird aus einer einzelnen fragwürdigen Eingabe eine dauerhafte Annahme. Sie wirkt in jeder späteren Aufgabe weiter, auch in solchen, bei denen die ursprüngliche Quelle längst nicht mehr sichtbar ist.
Das ist kein theoretisches Problem für Sicherheitsforscher. Es ist eine Frage der Datenqualität, die jedes Unternehmen betrifft, das Agenten mit Gedächtnis einsetzt. Auch ohne böse Absicht landen dort Fehler: ein veralteter Stand aus einem weitergeleiteten Mailverlauf, eine Vermutung, die als Tatsache gespeichert wird, eine Angabe, die nur für einen Einzelfall galt.
Ein Beispiel aus der Kreditorenbuchhaltung
Ein Unternehmen setzt einen Agenten ein, der eingehende Lieferantenrechnungen vorbereitet. Er liest die Rechnung, gleicht sie mit der Bestellung ab und schlägt eine Zahlung vor, die ein Mensch freigibt. Damit er nicht jedes Mal nachschlagen muss, merkt er sich Stammdaten der Lieferanten, darunter die Bankverbindung.
Eines Tages kommt eine E-Mail, die aussieht wie die eines bekannten Lieferanten. Darin steht, dass sich die Bankverbindung geändert habe und Zahlungen ab sofort auf ein neues Konto gehen sollen. Der Agent erkennt: neue Information zum selben Thema. Er ersetzt den alten Eintrag.
Die nächsten Zahlungsvorschläge enthalten das neue Konto. Die Person, die freigibt, prüft Betrag und Rechnungsnummer, denn das sind die Punkte, die sich bisher geändert haben. Die Bankverbindung kam bisher immer aus den Stammdaten und war nie ein Thema. Genau deshalb fällt die Änderung nicht auf.
Der Fehler in diesem Beispiel liegt nicht beim Sprachmodell. Es hat getan, wofür das Gedächtnis gebaut war. Der Fehler liegt darin, dass niemand festgelegt hat, welche Informationen der Agent überhaupt selbst ändern darf und aus welchen Quellen.
Vier Fragen zum Gedächtnis eines Agenten
Bevor ein Agent mit Gedächtnis in den Betrieb geht, sollten sich vier Fragen klar beantworten lassen.
| Frage | Woran man eine gute Antwort erkennt |
|---|---|
| Was darf sich der Agent merken? | Es gibt eine Liste von Informationsarten, nicht „alles, was nützlich erscheint“. |
| Woher darf eine Information stammen? | Jede Information trägt ihre Quelle mit, und nicht jede Quelle darf jede Art ändern. |
| Was passiert bei einem Widerspruch? | Der Agent überschreibt nicht stillschweigend, sondern legt den Konflikt zur Prüfung vor. |
| Wie lässt sich ein Eintrag zurückverfolgen? | Alte Stände bleiben erhalten, Änderungen sind mit Zeitpunkt und Quelle protokolliert. |
Die erste Frage ist die wichtigste. Viele Gedächtnisfunktionen sind bewusst offen gestaltet, damit der Agent selbst entscheidet, was relevant ist. Für den Einstieg ist es sicherer, das Gegenteil zu tun: wenige, klar benannte Arten von Informationen zuzulassen und alles andere zu verwerfen.
Kritische Informationen gehören nicht ins Agentengedächtnis
Ein einfacher Grundsatz hilft in den meisten Fällen weiter: Informationen, deren Änderung Geld bewegt, Zugriffe öffnet oder Kunden betrifft, gehören in die Systeme, in denen sie schon heute gepflegt werden. Bankverbindungen stehen in der Buchhaltung, Berechtigungen in der Benutzerverwaltung, Preise und Rabatte im Warenwirtschafts- oder Shopsystem. Der Agent darf sie dort lesen. Ändern darf er sie nicht, oder nur über denselben Freigabeweg, den auch ein Mensch gehen müsste.
Ins eigene Gedächtnis des Agenten gehört dagegen Arbeitswissen, dessen Fehler wenig Schaden anrichten: bevorzugte Formulierungen, wiederkehrende Rückfragen, Hinweise, wo bestimmte Unterlagen zu finden sind. Wenn dort etwas Falsches steht, fällt es auf und lässt sich korrigieren, ohne dass bereits Schaden entstanden ist.
Diese Trennung klingt banal. In der Praxis wird sie oft übersprungen, weil es bequemer ist, dem Agenten einfach alles zu geben, was er brauchen könnte.
Quellen unterscheiden
Wo der Agent doch selbst lernen soll, hilft eine klare Unterscheidung der Quellen. Eine Information, die eine Mitarbeiterin im internen System einträgt, hat ein anderes Gewicht als ein Satz aus einer eingehenden E-Mail. Praktisch bewährt haben sich drei Stufen:
- Interne, angemeldete Quellen dürfen Einträge direkt anlegen und ändern.
- Bekannte externe Quellen wie Lieferantenportale dürfen Vorschläge machen, die ein Mensch bestätigt.
- Unbekannte oder ungeprüfte Quellen wie freie E-Mails oder Webseiten dürfen das Gedächtnis gar nicht verändern. Der Agent kann ihren Inhalt für die laufende Aufgabe nutzen, aber nichts davon dauerhaft übernehmen.
Damit diese Unterscheidung funktioniert, muss jede gespeicherte Information ihre Herkunft mitführen. Ein Gedächtnis, in dem nur der Inhalt steht, lässt sich später weder prüfen noch bereinigen.
Testen wie bei jeder anderen Funktion
Ein Gedächtnis ist eine Funktion des Agenten und sollte genauso geprüft werden wie seine übrigen Aufgaben. Zur Sammlung echter Fälle, an der ein Agent gemessen wird, gehören deshalb auch Fälle mit widersprüchlichen oder untergeschobenen Informationen: eine E-Mail, die eine Stammdatenänderung behauptet, ein Dokument mit veraltetem Stand, eine Anweisung, die sich als Systemhinweis ausgibt. Wie eine solche Fallsammlung aufgebaut wird, beschreiben wir im Beitrag KI-Agenten: echte Arbeit oder nur eine Demo?.
Wer diese Fälle nach jeder Änderung am Agenten erneut durchspielt, sieht früh, ob ein neues Modell oder eine neue Gedächtnisfunktion Informationen anders übernimmt als zuvor. Dazu gehört auch, das Gedächtnis selbst regelmäßig anzusehen: Was steht darin, woher stammt es, und stimmt es noch? Diese Kontrolle ist Teil des laufenden Betriebs, wie wir ihn in Automatisierung im Betrieb: Was passiert, wenn sie ausfällt? beschreiben.
Fazit
Ein Gedächtnis macht KI-Agenten nützlicher, weil sie nicht jedes Mal bei null anfangen. Es macht sie aber auch anfälliger, weil jede übernommene Information in alle späteren Aufgaben weiterwirkt. Die entscheidende Frage ist deshalb nicht, ob ein Agent sich etwas merken soll, sondern was, aus welcher Quelle und mit welchem Freigabeweg. Kritische Daten bleiben in den Systemen, in denen sie gepflegt werden, Widersprüche werden vorgelegt statt überschrieben, und jede Änderung ist nachvollziehbar. Wie wir mit Kunden festlegen, was ein Agent tun darf und was ein Mensch freigibt, beschreiben wir auf der Seite zu KI-Agenten. Agenten, die im Alltag verlässlich arbeiten, sind zudem eine der Fragen, denen wir in unserem Research Lab nachgehen.