Czym jest chatbot RAG i jak odpowiada na podstawie Twoich dokumentów

Chatbot RAG to bot, który najpierw szuka w Twoich dokumentach fragmentów pasujących do pytania, a dopiero potem pisze odpowiedź na podstawie tego, co znalazł. Jeśli więc klient pyta o zwroty, odpowiedź powinna pochodzić z Twojego regulaminu zwrotów. A nie z tego, co model mgliście pamięta o zwrotach w ogóle.

Czym jest chatbot RAG?

Chatbot RAG to asystent, który wyszukuje informacje w zestawie tekstów, które mu przekażesz, a potem model językowy zamienia znalezione fragmenty w czytelną odpowiedź. Retrieval oznacza wyszukanie informacji. Generation oznacza, że model pisze odpowiedź. I właściwie na tym ten skrót się kończy. Pierwotna praca o retrieval-augmented generation opisuje tę technikę jako połączenie wiedzy, którą model zdobył podczas treningu, z zewnętrznym zbiorem tekstów, przeszukiwanym za każdym razem, gdy pojawia się pytanie.

Jeśli prowadzisz firmę, ta różnica ma bardzo praktyczne znaczenie. Odpowiedź ma się opierać na Twoich treściach (regulaminach, stronach produktów, FAQ), a nie na tym, co model akurat wchłonął z całego internetu.

Co się dzieje między pytaniem a odpowiedzią

Bot znajduje fragmenty pasujące do pytania, a potem na ich podstawie pisze odpowiedź. Typowy chatbot odpowiadający z dokumentów przechodzi przez takie kroki:

1. Odwiedzający wpisuje pytanie w okno czatu.
2. System ustala, o co tak naprawdę chodzi w pytaniu. Jeśli chcesz poznać szczegóły, osobny poradnik wyjaśnia, jak boty rozumieją pytania.
3. Przeszukuje bazę wiedzy w poszukiwaniu fragmentów najbliższych znaczeniowo pytaniu.
4. Te fragmenty trafiają do modelu językowego razem z pytaniem.
5. Model pisze odpowiedź na podstawie otrzymanych fragmentów.
6. Odpowiedź pojawia się w czacie.

Każdy z tych kroków da się zbudować na kilkanaście sposobów. Kolejność jednak się nie zmienia: najpierw wyszukanie, potem pisanie.

Przykładowa rozmowa: od pytania klienta do odpowiedzi opartej na źródłach

Poniższy przykład jest zmyślony. Wyobraź sobie fikcyjny sklep internetowy, który wgrał swój regulamin zwrotów i FAQ dotyczące wysyłki. Żaden prawdziwy klient nie brał w tym udziału.

Odwiedzający: „Czy mogę odesłać słuchawki, które już rozpakowałem?”
Bot: „Tak. Otwarte produkty można zwrócić w okresie zwrotu, jeśli są kompletne i nieuszkodzone. Prosimy dołączyć wszystkie oryginalne akcesoria.”

Co się wydarzyło za kulisami? Wyszukiwanie wyciągnęło akapit regulaminu o otwartych produktach. Model przeformułował go i nie dodał niczego, czego nie ma w regulaminie. Nudne, i właśnie o to chodzi.

Odwiedzający: „Czy wysyłacie na Islandię?”
Bot: „Nie mam informacji o wysyłce na Islandię. Prosimy o bezpośredni kontakt ze sklepem, żeby to potwierdzić.”

Żaden z dokumentów nie wspomina o Islandii, więc dobrze skonfigurowany bot przyznaje, że nie wie, zamiast zgadywać. Moim zdaniem to najważniejsze zachowanie, jakie trzeba przetestować. Bot, który z pewnością siebie wymyśla opcje wysyłki, jest gorszy niż brak bota.

Jak chatbot z bazą wiedzy znajduje właściwy fragment

Chatbot z bazą wiedzy znajduje odpowiedzi, dopasowując znaczenie pytania do znaczenia fragmentów w Twoich dokumentach, a nie tylko szukając tych samych słów kluczowych. Pytanie „Czy mogę odzyskać pieniądze?” powinno więc trafić do sekcji „Refundacje”, choć oba teksty nie mają ani jednego wspólnego słowa. Nasz poradnik o tym, czym są podstawy przetwarzania języka naturalnego, wyjaśnia, jak oprogramowanie radzi sobie ze znaczeniem.

I tu jest haczyk. Jakość odpowiedzi zależy od jakości dokumentów. Nieaktualne pliki dają nieaktualne odpowiedzi. Sprzeczne pliki dają niespójne odpowiedzi. Mętne teksty, mętne odpowiedzi. Wyszukiwanie może oddać tylko to, co mu dałeś (śmieci na wejściu, śmieci na wyjściu, jak zawsze).

RAG czy fine-tuning w firmie: co utrzymuje aktualne odpowiedzi?

Fine-tuning zmienia sam model, a RAG zostawia model w spokoju i przy każdym pytaniu podaje mu Twoje dokumenty. Ma to największe znaczenie wtedy, gdy Twoje informacje się zmieniają. Przy wyszukiwaniu aktualizacja wiedzy bota oznacza edycję albo podmianę pliku. Bez ponownego trenowania.

Wyszukiwanie ułatwia też sprawdzenie, z którego fragmentu pochodzi odpowiedź. Badania stojące za tą metodą wskazują dwa nierozwiązane problemy modeli, które opierają się wyłącznie na wbudowanej wiedzy: pokazanie, skąd wzięła się odpowiedź, i utrzymanie tej wiedzy w aktualności. RAG bierze się za oba. Więcej o tych kompromisach znajdziesz w naszych artykułach o AI w biznesie.

Zanim chatbot RAG zacznie rozmawiać z klientami

Przetestuj bota na prawdziwych pytaniach i na dokumentach, które już uporządkowałeś. Oto krótka lista kontrolna, przez którą bym przeszedł:

• Usuń stare wersje tego samego regulaminu, żeby została tylko jedna.
• Sprawdź, czy dokumenty odpowiadają na pytania, które klienci naprawdę zadają, a nie na te, które chciałbyś, żeby zadawali.
• Zadaj pytania, na które dokumenty nie znają odpowiedzi, i upewnij się, że bot niczego nie wymyśla.
• Czytaj odpowiedzi obok tekstu źródłowego.
• Aktualizuj dokumenty za każdym razem, gdy zmieniają się ceny albo zasady.

Botino działa właśnie w ten sposób. Odpowiada na podstawie treści firmy w widżecie na stronie, który dodajesz jednym skryptem, a strona funkcji wyjaśnia, jak wykorzystywane są przesłane pliki. Jak podaje lista z odpowiedziami na częste pytania, silnik działa na OpenAI i innych usługach zewnętrznych.

Niezależnie od wybranego narzędzia chatbot RAG jest tak wiarygodny, jak dokumenty, na których się opiera. Dbaj więc o porządek w tych dokumentach. To daje więcej niż dłubanie w jakimkolwiek ustawieniu.

FAQ