Dokument jest w bazie. Dlaczego czat go nie widzi?
Klient pyta o wymianę produktu. Czat odpowiada warunkami ze starej instrukcji, chociaż nowy regulamin leży już w bazie. Pierwszy odruch: zmienić model. Ale poczekajmy — może dostał do przeczytania niewłaściwy fragment? Wtedy lepszy model może odziedziczyć dokładnie ten sam problem.
Na tym polega ważny szczegół RAG. Program najpierw wyszukuje materiały, a dopiero potem przekazuje wybrane kawałki modelowi, który układa odpowiedź. Spójrzmy więc na obie części. Anthropic w opisie Contextual Retrieval zwraca uwagę między innymi na fragmenty tracące kontekst po wycięciu z dokumentu. Sam fakt, że plik jest w bazie, jeszcze nie pokazuje, co przeczytał model.
Rozdzielmy dwa pytania
Zbierzcie pytania pracowników. Przy każdym wskażcie właściwy dokument, fragment i oczekiwany sens odpowiedzi. Dodajcie pytanie z kodem produktu, takie wymagające połączenia dwóch źródeł i takie, na które w bazie nie ma odpowiedzi. Samo odnajdywanie łatwych zdań da nam za mało informacji.
Pierwsza kolumna oceny: czy znaleziono dobry materiał? Druga: czy odpowiedź zachowała jego sens? Jeśli regulamin nie trafił do wyników, zajmujemy się wyszukiwaniem. Jeśli trafił, ale model go przekręcił, patrzymy na pisanie odpowiedzi. Poniższa karta pozwala zachować ten podział również wtedy, gdy poprawkami zajmuje się kilka osób.
Co znaczy liczba bez nagłówka tabeli?
Otwórzcie tekst odczytany z PDF-u. Szczególnie tabele. Liczba po odłączeniu od nagłówka może zgubić jednostkę. „Powyżej” może wskazywać warunek, który został w zupełnie innym fragmencie. Z takiego materiału trudno ułożyć porządną odpowiedź, nawet jeśli samo zdanie brzmi bez zarzutu.
Potem sprawdźcie wersje dokumentów. Przy kodach produktów porównajcie wyszukiwanie dokładnych słów z szukaniem podobnego znaczenia. Czy właściwy kod, nazwa albo data w ogóle pojawia się w wynikach? To podpowie, czy poprawiać przygotowanie dokumentów, wyszukiwanie, czy instrukcję modelu. Jedna metoda nie musi pasować do każdego zbioru.
Pokażmy użytkownikowi, na czym stoi odpowiedź
Do odpowiedzi dołączcie źródło i zaznaczcie, co udało się ustalić. Gdy dokumenty sobie przeczą, pokażcie daty i różnicę. Wygładzony akapit nie powinien udawać, że konflikt zniknął. Jeśli materiału brakuje, odpowiedź powinna wprost o tym mówić.
Po poprawce wróćcie do tych samych pytań. Zapiszcie zarówno naprawione przypadki, jak i nowe błędy. Sama średnia nie wyjaśni, dlaczego stary regulamin nadal czasem wygrywa z nowym. Sprawdźcie też konta o różnych uprawnieniach: cytowanie ma pomóc dotrzeć do dokumentu, ale nie może go odsłonić osobie bez dostępu.
Źródła i dalsza lektura
Materiały, na których opiera się ten tekst. Instrukcje i przykładowe scenariusze są propozycjami redakcji.
- Anthropic: Contextual Retrieval (otwiera nową kartę)anthropic.com