Jak działa rozliczanie chatbota za tokeny i od czego zależy rachunek

Przy rozliczaniu chatbota za tokeny płacisz za tekst, który model czyta i pisze, liczony w małych jednostkach zwanych tokenami. Rachunek zależy więc od tego, jak długie i szczegółowe są rozmowy, a nie od tego, ile ich prowadzisz. I tu zaczyna się prawdziwy kłopot z planowaniem. Plan podaje miesięczny limit tokenów, a ty chcesz wiedzieć coś prostszego: ile rozmów z odwiedzającymi ten limit pokryje? Poniżej wyjaśniam, jak działają tokeny, przez co ich przybywa i jak zamienić limit w budżet rozmów, na którym naprawdę można polegać.

Czym jest token w AI i dlaczego chatboty rozliczają się za tokeny?

Token to fragment tekstu, często część słowa, który model traktuje jako jedną jednostkę. Modele językowe nie czytają całych słów. Pojedynczych liter też nie. Czytają kawałki, na które tekst potnie ich tokenizer, a każdy kawałek kosztuje moc obliczeniową - dlatego dostawcy liczą opłaty za token, a nie za wiadomość.

Tokenizery dzielą tekst na fragmenty mniejsze od słów metodami takimi jak BPE, WordPiece i Unigram, co wyjaśnia opis tokenizerów w Hugging Face. Popularne słowa zwykle mieszczą się w jednym tokenie. Rzadkie słowa, nazwy produktów i żargon techniczny? Te są cięte na kilka części. GPT-2 na przykład używa BPE na poziomie bajtów ze słownikiem 50 257 tokenów, więc zakoduje dowolny tekst, ale wszystko, czego nie zna, rozbija na wiele małych kawałków.

Co to oznacza w praktyce? Tokeny to nie słowa. Nie są też znakami. Liczba słów daje w najlepszym razie przybliżenie.

Jak rozliczanie za tokeny liczy jedną rozmowę z chatbotem

Każda odpowiedź kosztuje tokeny, które model czyta (wejście), plus tokeny, które pisze (wyjście). Liczą się obie strony. I często mają osobne ceny.

Wejście to jednak coś więcej niż pytanie odwiedzającego. Obejmuje też instrukcje bota, fragmenty treści firmy pobrane po to, by oprzeć na nich odpowiedź, oraz wszystkie wcześniejsze wymiany w rozmowie. Wyjście to sama odpowiedź - więc długa, wyczerpująca odpowiedź kosztuje więcej niż krótka. Oczywiste, jasne, ale łatwo o tym zapomnieć, gdy czyta się cennik.

Jest jeszcze element, który zaskakuje wielu kupujących. Każda nowa wymiana zwykle wysyła ponownie całą historię rozmowy, przez co piąta wiadomość w czacie kosztuje więcej niż pierwsza. Chcesz poznać dokładne zasady konkretnego narzędzia? Zanim zaczniesz porównywać plany, sprawdź u dostawcy, jak liczone są tokeny.

Co podnosi koszty działania chatbota?

Rachunek rośnie wraz z długością rozmowy, długością odpowiedzi i ilością treści źródłowej dołączanej do każdego pytania. Żaden z tych czynników nie ma stałej ceny za wiadomość. Ale każdy przesuwa koszty w przewidywalnym kierunku:

• Długie rozmowy z wieloma wymianami, bo rosnąca historia jest wysyłana ponownie przy każdej odpowiedzi.
• Rozwlekłe odpowiedzi, które powtarzają pytanie albo zapychają miejsce zbędnymi słowami.
• Duże lub zdublowane fragmenty treści źródłowej pobierane do każdego pytania.
• Języki i specjalistyczne słownictwo, które dzielą się na więcej tokenów na słowo.
• Rozmowy nie na temat, na które bot i tak odpowiada w pełnej długości (tak, ktoś na pewno poprosi go o wiersz).
• Powtarzające się pytania, które mogłaby załatwić czytelniejsza strona w twoim serwisie.

Dobra wiadomość: na większość z tych rzeczy masz wpływ. To bardzo się przydaje, gdy zaczynasz szacować.

Jak oszacować zużycie tokenów przez chatbota przed wyborem planu

Weź próbkę prawdziwych lub realistycznych rozmów, zmierz ich tokeny i przeskaluj średnią do swojego miesięcznego ruchu. Nudne? Trochę. Ale bije zgadywanie na głowę:

1. Zbierz od dziesięciu do dwudziestu typowych pytań ze skrzynki odbiorczej, maili albo wyszukiwarki na stronie.
2. Przepuść je przez bota w wersji próbnej albo rozpisz odpowiedzi, jakich się spodziewasz.
3. Policz tokeny dla całej wymiany, wejścia i wyjścia, tokenizerem dostawcy albo w jego panelu zużycia.
4. Uśrednij wynik na rozmowę, trzymając krótkie i długie czaty w osobnych grupach.
5. Pomnóż przez liczbę rozmów, których spodziewasz się co miesiąc.
6. Dodaj zapas na skoki ruchu i nowo dodane treści.

Potem zestaw swój wynik z miesięcznymi limitami tokenów w planach i wybierz pakiet, który pokrywa go z zapasem. Jednego bym unikał: szacowania wyłącznie na podstawie liczby słów. Tokenizacja, pobrane fragmenty i ponownie wysyłana historia mogą wypchnąć rzeczywistą sumę daleko poza to, co sugerują same słowa.

Praktyczne sposoby na mniejsze zużycie tokenów przez chatbota

Większość oszczędności bierze się z uporządkowanej treści źródłowej i krótszych, bardziej rzeczowych odpowiedzi. Nie z racjonowania odwiedzających. Zacznij od bazy wiedzy - usuń zdublowane i nieaktualne strony, a do każdej odpowiedzi trafi mniej nieistotnych fragmentów.

Następnie w instrukcjach każ botowi odpowiadać zwięźle i trzymaj jego zakres wąsko przy twoich tematach, żeby nie przepalał tokenów na niezwiązane prośby. Warto też zajrzeć do logów rozmów. Przyjrzenie się temu, co pokazuje analityka rozmów, ujawnia, które pytania wciąż wracają, a poprawienie strony, która za nimi stoi, skraca przyszłe czaty.

Warto też sprawdzić, czy bot faktycznie sam rozwiązuje sprawy. Możesz zmierzyć wskaźnik rozwiązań bez konsultanta, żeby mieć to na oku. Botino odpowiada na podstawie treści twojej firmy w widżecie na stronie, więc takie poprawki treści i instrukcji to twoje główne dźwignie.

Jak zamienić limit tokenów w budżet rozmów

Podziel limit przez średnią liczbę tokenów na rozmowę. Otrzymasz roboczy miesięczny szacunek, ile czatów pokryje. To jednak punkt wyjścia, a nie obietnica.

Po pierwszym miesiącu prawdziwego ruchu sprawdź średnią ponownie i dostosuj albo plan, albo treść, która ją zawyża. Prawdziwi odwiedzający nigdy nie pytają dokładnie o to samo co twój zestaw testowy (po prostu nie), a różnica zwykle wychodzi w ciągu kilku tygodni. Więcej pomysłów na to, jak utrzymać narzędzia w ryzach, znajdziesz w naszych wpisach o efektywności biznesowej.

Rozliczanie chatbota za tokeny staje się przewidywalne, gdy zmierzysz własne rozmowy. Moim zdaniem solidna metoda szacowania mówi więcej niż jakakolwiek cena za wiadomość podawana przez dostawcę, bo odzwierciedla twoje treści, twoich odwiedzających i twój język.

FAQ