Das Dokument ist in der Datenbank. Warum sieht der Chat es nicht?
Ein Kunde fragt nach einem Umtausch. Der Chat nennt die Bedingungen aus der alten Anleitung, obwohl die neue Regelung schon in der Datenbank liegt. Der erste Impuls: das Modell wechseln. Aber warten wir kurz. Vielleicht hat es den falschen Ausschnitt bekommen? Dann übernimmt ein besseres Modell womöglich genau dasselbe Problem.
Hier liegt ein wichtiges Detail von RAG. Das Programm sucht zuerst Material und gibt erst danach ausgewählte Stücke an das Modell, das daraus eine Antwort formuliert. Schauen wir deshalb auf beide Teile. Anthropic weist bei Contextual Retrieval unter anderem darauf hin, dass Ausschnitte beim Herauslösen ihren Kontext verlieren können. Dass eine Datei in der Datenbank liegt, zeigt noch nicht, was das Modell gelesen hat.
Trennen wir zwei Fragen
Sammle Fragen deiner Kollegen. Ordne jeder das richtige Dokument, die passende Stelle und den erwarteten Inhalt der Antwort zu. Ergänze eine Frage mit Produktcode, eine, die zwei Quellen verbindet, und eine ohne Antwort im Bestand. Nur einfache Sätze wiederzufinden verrät uns zu wenig.
Die erste Bewertungsspalte lautet: Wurde das richtige Material gefunden? Die zweite: Hat die Antwort dessen Bedeutung bewahrt? Taucht die Regelung gar nicht in den Treffern auf, kümmern wir uns um die Suche. Taucht sie auf, wird aber verdreht, betrachten wir die Antworterstellung. Die folgende Vorlage erhält diese Trennung auch dann, wenn mehrere Menschen an Korrekturen arbeiten.
Was bedeutet eine Zahl ohne Tabellenüberschrift?
Öffne den aus der PDF gelesenen Text. Schau besonders auf Tabellen. Eine Zahl kann ohne Überschrift ihre Einheit verlieren. „Oben“ verweist vielleicht auf eine Bedingung in einem ganz anderen Ausschnitt. Daraus lässt sich schwer eine ordentliche Antwort bauen, selbst wenn der einzelne Satz tadellos klingt.
Prüfe danach die Dokumentversionen. Vergleiche bei Produktcodes die Suche nach genauen Wörtern mit einer Suche nach ähnlicher Bedeutung. Tauchen der richtige Code, Name oder das Datum überhaupt in den Treffern auf? Das zeigt dir, ob du die Dokumentvorbereitung, die Suche oder die Modellanweisung verbessern solltest. Eine Methode muss nicht zu jedem Bestand passen.
Zeigen wir, worauf die Antwort beruht
Füge der Antwort die Quelle bei und benenne, was sich feststellen ließ. Widersprechen sich Dokumente, zeig die Daten und den Unterschied. Ein geglätteter Absatz sollte nicht so tun, als wäre der Konflikt verschwunden. Fehlt Material, muss die Antwort das deutlich sagen.
Kehre nach einer Korrektur zu denselben Fragen zurück. Notiere behobene Fälle ebenso wie neue Fehler. Der Durchschnitt allein erklärt nicht, warum die alte Regelung manchmal weiter vor der neuen landet. Prüfe auch Konten mit unterschiedlichen Berechtigungen: Ein Quellenverweis soll zum Dokument führen, darf es aber niemandem ohne Zugriffsrecht offenlegen.
Quellen und weiterführende Links
Die Quellen zu diesem Artikel. Anleitungen und Beispielszenarien sind Vorschläge unserer Redaktion.