Ein KI-Agent, der im Unternehmen Arbeit erledigen soll, braucht Wissen, das kein Sprachmodell von sich aus hat: Produktdaten, Preisregeln, Vertragsbedingungen, interne Abläufe, die Ausnahmen, die nur das eigene Team kennt. Die Frage ist, wie dieses Wissen zum richtigen Zeitpunkt beim Modell ankommt.
Lange galt dafür eine Standardantwort: alle Dokumente in kleine Abschnitte zerlegen, in Zahlenvektoren umwandeln, in einer Vektordatenbank ablegen und bei jeder Frage die ähnlichsten Abschnitte mitschicken. Dieses Verfahren heißt Retrieval-Augmented Generation, kurz RAG. Es funktioniert, hat aber Schwächen. Inzwischen gibt es eine zweite Möglichkeit, die für viele Aufgaben einfacher und verlässlicher ist: gegliederte Dokumente, die der Agent selbst durchsucht und gezielt öffnet.
Wie die Vektorsuche arbeitet und wo sie scheitert
Bei der Vektorsuche wird jeder Textabschnitt in eine Zahlenfolge übersetzt, die seine Bedeutung abbildet. Eine Frage wird ebenso übersetzt, und die Datenbank liefert die Abschnitte, deren Zahlenfolgen der Frage am nächsten liegen. Sie findet auch Textstellen, die andere Wörter verwenden als die Frage. Wer nach „Rückgabe“ sucht, bekommt auch den Abschnitt über „Retouren“.
Die Schwächen liegen an drei Stellen:
- Zerlegte Zusammenhänge. Ein Abschnitt aus der Mitte eines Vertrags weiß nicht mehr, zu welchem Vertrag er gehört. Der Satz „Die Frist beträgt 30 Tage“ ist ohne Überschrift wertlos oder irreführend.
- Genaue Bezeichnungen. Artikelnummern, Produktnamen, Paragraphen und Fehlercodes sind Fälle, in denen Bedeutungsähnlichkeit nicht hilft. Zwei Artikel mit ähnlicher Beschreibung, aber unterschiedlicher Nummer liegen für die Vektorsuche nah beieinander.
- Veraltete Stände. Wird ein Dokument geändert, muss der Index neu aufgebaut werden. Geschieht das nicht zuverlässig, findet der Agent die alte Fassung, ohne es zu bemerken.
Anthropic beschreibt in seiner Arbeit zu Contextual Retrieval genau diese Schwächen und ergänzt die Vektorsuche deshalb um eine klassische Stichwortsuche und um kurze Zusammenfassungen, die jedem Abschnitt seinen Zusammenhang mitgeben. Auch die Dateisuche von OpenAI kombiniert Bedeutungs- und Stichwortsuche. Die reine Vektorsuche ist also selbst bei den Anbietern nicht mehr die ganze Antwort.
Gegliederte Dokumente, die der Agent selbst liest
Der zweite Weg verzichtet auf den vorab berechneten Index. Das Wissen liegt in gut gegliederten Textdateien, etwa im Markdown-Format, mit klaren Überschriften und einem Inhaltsverzeichnis. Der Agent bekommt Werkzeuge, um Dateien aufzulisten, nach Wörtern zu durchsuchen und gezielt zu öffnen. Er entscheidet selbst, was er liest.
Anthropic nennt das in seinem Beitrag zum Context Engineering den „Just in time“-Ansatz: Der Agent hält nur Verweise wie Dateipfade bereit und lädt Inhalte erst, wenn er sie braucht. Claude Code etwa liest Projektregeln aus einer Datei namens CLAUDE.md und durchsucht den übrigen Code bei Bedarf selbst, ohne Vektordatenbank.
Die Vorteile sind praktisch: Ein Dokument bleibt als Ganzes erhalten, genaue Bezeichnungen werden über die Wortsuche sicher gefunden, und eine Änderung ist sofort wirksam, weil es keinen Index gibt, der veralten kann. Jeder im Team kann nachlesen, was der Agent liest. Der Preis: Der Agent braucht mehrere Schritte, um eine Antwort zu finden, und das kostet Zeit und Modellaufrufe. Bei sehr großen, ungeordneten Beständen findet er sich ohne Hilfe nicht zurecht.
Ein Beispiel aus unserer eigenen Arbeit
Die Beiträge in diesem Blog schreibt eine KI-Routine. Sie braucht Wissen über unsere Leistungen, unseren Ton und alle bisher erschienenen Beiträge, damit sie kein Thema doppelt behandelt. Eine Vektordatenbank gibt es dafür nicht.
Stattdessen liest die Routine zu Beginn zwei Dateien, in denen die Texte der Website und die Beschreibungen der Leistungen stehen. Ein kleines Skript gibt ihr eine Liste aller Beiträge mit Datum, Thema, Adresse und Titel aus, also ein Inhaltsverzeichnis. Will sie wissen, ob ein Thema schon behandelt wurde, durchsucht sie die Beiträge nach passenden Begriffen und öffnet die Treffer, um sie ganz zu lesen.
Dieser Aufbau hat einen Grund: Der Bestand ist überschaubar, ändert sich mit jedem Beitrag, und die entscheidenden Fragen betreffen genaue Inhalte, nicht ungefähre Ähnlichkeit. Ein Index müsste nach jedem Beitrag neu berechnet werden und würde trotzdem nur Bruchstücke liefern. Mehr zum Rahmen, in dem diese Routine läuft, steht im Beitrag KI-Harness: Was der Rahmen um das Sprachmodell leisten muss.
Die Entscheidungsregel
Welcher Weg passt, hängt weniger von der Technik ab als von Ihrem Wissensbestand und den Fragen, die der Agent beantworten soll:
| Merkmal | Gegliederte Dokumente | Vektorsuche, kombiniert mit Stichwortsuche |
|---|---|---|
| Umfang | Überschaubar, von einem Team pflegbar | Groß, aus vielen Quellen |
| Ordnung | Klare Überschriften, wenige Fassungen | Uneinheitlich, E-Mails, Tickets, Protokolle |
| Typische Fragen | Nach genauen Bezeichnungen und Regeln | In Alltagssprache, mit wechselnden Begriffen |
| Änderungen | Häufig, müssen sofort gelten | Selten, Index kann regelmäßig neu laufen |
Als Faustregel gilt: Beginnen Sie mit gegliederten Dokumenten und einem Inhaltsverzeichnis. Eine Vektorsuche lohnt sich erst, wenn Messungen an echten Fragen zeigen, dass der Agent relevante Stellen nicht findet, weil der Bestand zu groß oder zu ungeordnet ist. Dann wird sie als zusätzliches Werkzeug ergänzt, nicht als Ersatz für die Gliederung.
- Fragen sammelnEchte Fragen mit bekannter richtiger Antwort
- GliedernEin Thema pro Dokument, klare Überschriften
- Verzeichnis anlegenListe aller Dokumente mit kurzem Inhalt
- MessenFindet der Agent die richtigen Stellen?
- ErgänzenVektorsuche nur bei nachgewiesenen Lücken
Grafik verwenden? Gern, mit Quelle Wundrig und Link auf diesen Beitrag. Hinweise
Was Sie vor dem Aufbau tun sollten
Unabhängig vom gewählten Weg entscheidet die Qualität des Wissens über die Qualität der Antworten:
- Echte Fragen sammeln. Notieren Sie typische Fragen, die der Agent beantworten soll, mit der richtigen Antwort und der Fundstelle. An dieser Sammlung messen Sie jede Änderung. Wie eine solche Sammlung aufgebaut wird, beschreibt KI-Agenten: echte Arbeit oder nur eine Demo?.
- Eine gültige Fassung festlegen. Wenn drei Versionen der Preisliste existieren, liest der Agent womöglich die falsche. Alte Fassungen gehören in ein Archiv, auf das er keinen Zugriff hat.
- Dokumente in sich verständlich machen. Jedes Dokument nennt am Anfang, worum es geht, für wen es gilt und seit wann.
- Zuständigkeiten klären. Für jedes Dokument ist eine Person verantwortlich, die es aktuell hält. Wer dem Agenten erlaubt, selbst Wissen abzulegen, sollte die Regeln aus Das Gedächtnis von KI-Agenten: Wer darf hineinschreiben? beachten.
- Fundstellen anzeigen lassen. Der Agent nennt zu jeder Antwort das Dokument, aus dem sie stammt. So lässt sich jede Antwort prüfen.
Wie wir diese Schritte in Projekten umsetzen und welche Werkzeuge ein Agent dafür bekommt, beschreibt unsere Seite zu KI-Agenten.
Fazit
Ein KI-Agent ist nur so gut wie das Wissen, das er im richtigen Moment findet. Die Vektorsuche ist ein brauchbares Werkzeug für große, ungeordnete Bestände, verliert aber Zusammenhänge, übersieht genaue Bezeichnungen und kann veralten. Für viele Unternehmensaufgaben genügen gegliederte Dokumente mit Inhaltsverzeichnis, die der Agent selbst durchsucht. Beginnen Sie mit diesem einfacheren Weg, messen Sie an echten Fragen und ergänzen Sie eine Vektorsuche erst dort, wo die Messung eine Lücke zeigt.
Häufige Fragen
Was ist RAG bei KI-Agenten?
RAG steht für Retrieval-Augmented Generation. Vor der Antwort werden passende Textstellen aus einem Wissensbestand gesucht und dem Sprachmodell mitgegeben, damit es auf Grundlage dieser Stellen antwortet. Meist geschieht die Suche über eine Vektordatenbank, sie kann aber auch über eine Stichwortsuche oder über Werkzeuge laufen, mit denen der Agent Dokumente selbst öffnet.
Braucht ein KI-Agent eine Vektordatenbank?
Nicht zwingend. Bei einem überschaubaren, gut gegliederten Bestand kann der Agent Dokumente über ein Inhaltsverzeichnis und eine Wortsuche selbst finden und ganz lesen. Eine Vektordatenbank lohnt sich, wenn der Bestand groß und ungeordnet ist und Messungen zeigen, dass der Agent relevante Stellen sonst nicht findet.
Wie halte ich das Wissen eines KI-Agenten aktuell?
Legen Sie für jedes Dokument eine gültige Fassung und eine verantwortliche Person fest und entfernen Sie alte Fassungen aus dem Zugriff des Agenten. Arbeitet der Agent mit einer Vektordatenbank, muss der Index nach jeder Änderung zuverlässig neu aufgebaut werden. Liest er die Dokumente selbst, gilt eine Änderung sofort.