Dlaczego zrezygnowaliśmy z klasyfikatorów intencji

Jedno z najczęściej zadawanych nam pytań przez potencjalnych klientów i użytkowników brzmi: „Gdzie są wasze klasyfikatory intencji?”

Nie mamy ich. I tak, to zamierzone.

Botpress wykorzystuje LLM-y do rozpoznawania intencji użytkownika. Dlaczego? Jeśli budujesz chatbota lub agenta AI, to rozwiązanie jest znacznie lepsze zarówno dla twórców, jak i użytkowników.

Mamy mocne przekonanie co do tego podejścia, dlatego chciałbym poświęcić chwilę na wyjaśnienie, dlaczego nie stosujemy klasyfikatorów intencji.

W skrócie: łatwiej się buduje, jest dokładniejsze i prostsze w utrzymaniu.

Dawne czasy (przed LLM)

(Jeśli wiesz już, czym są klasyfikatory intencji i jak działają, możesz pominąć tę część.)

Klasyfikator intencji to narzędzie, które przypisuje wypowiedzi użytkownika do zdefiniowanych wcześniej intencji na podstawie danych treningowych.

Deweloperzy muszą przygotować i oznaczyć niezliczone przykłady dla każdej możliwej intencji, licząc na to, że system dopasuje wypowiedzi użytkowników do tych przykładów.

Na przykład w przypadku chatbota e-commerce deweloperzy mogą zdefiniować intencję „TrackOrder”. Przykładowe wypowiedzi to: „Gdzie jest moja paczka?”, „Śledź moje zamówienie” i „Czy możesz sprawdzić status dostawy?”

W praktyce uczą agenta AI rozpoznawania intencji użytkownika poprzez podawanie przykładów. I tak, wszystkie te przykłady trzeba wprowadzić ręcznie.

Na szczęście potrzeba ręcznego przypisywania wypowiedzi do intencji niemal zniknęła wraz z rozwojem LLM-ów.

Mimo to wiele platform konwersacyjnych AI nadal z nich korzysta. Dlaczego? O tym za chwilę.

4 wady klasyfikatorów intencji

To nie tylko dłuższy proces – klasyfikatory intencji mają wiele wad. Oto kilka z nich:

1. Zależność od danych

Klasyfikatory intencji potrzebują ogromnych, reprezentatywnych zbiorów danych z przykładami użytkowników dla każdej intencji, by działać poprawnie. Bez tego mają trudności z prawidłową klasyfikacją wypowiedzi.

Tworzenie takich zbiorów danych to żmudna praca. Deweloperzy spędzają mnóstwo czasu na zbieraniu i oznaczaniu przykładów, co zdecydowanie nie jest najlepszym wykorzystaniem ich czasu.

2. Ograniczona skalowalność

Klasyfikatory intencji nie są stworzone do łatwego skalowania. Dodanie nowej intencji oznacza konieczność zebrania kolejnych danych i ponownego trenowania modelu, co szybko staje się wąskim gardłem. Do tego dochodzą problemy z utrzymaniem – bo wraz ze zmianami w języku zmieniają się też wypowiedzi.

3. Słabe rozumienie języka

Klasyfikatory intencji nie rozumieją języka w pełni. Mają trudności z różnorodnością wypowiedzi, takimi jak:

• Synonimy
• Parafrazy
• Niejasne sformułowania
• Literówki
• Nieznane wyrażenia potoczne
• Fragmentaryczne wypowiedzi

Zazwyczaj analizują każdą wypowiedź osobno, przez co nie potrafią utrzymać kontekstu rozmowy.

4. Nadmierne dopasowanie

Klasyfikatory intencji mają tendencję do nadmiernego dopasowania, czyli zapamiętywania przykładów zamiast uczenia się ogólnych wzorców.

To oznacza, że dobrze radzą sobie tylko z dokładnie znanymi frazami, a mają problem z nowymi lub zmienionymi wypowiedziami. Przez to są znacznie mniej odporne, niż wymaga tego profesjonalne zastosowanie.

6 powodów, dla których LLM-y są lepsze

LLM-y praktycznie rozwiązały te problemy. Rozumieją kontekst i niuanse, a deweloperzy nie muszą ich zasilać danymi treningowymi, by zacząć. Agent oparty na LLM może rozpocząć rozmowę od razu po utworzeniu.

1. Umiejętność uczenia się bez przykładów

LLM-y nie potrzebują przykładów, by się uczyć. Dzięki szerokiemu treningowi już rozumieją kontekst, niuanse i intencje bez konieczności podawania im konkretnych przykładów przez deweloperów.

2. Coś takiego jak niuans

LLM-y radzą sobie tam, gdzie klasyfikatory intencji zawodzą. Potrafią interpretować idiomy, sarkazm i niejednoznaczny język bez problemu.

Dzięki treningowi na zróżnicowanych zbiorach danych rozumieją subtelne niuanse ludzkiej komunikacji, które klasyfikatory intencji często pomijają.

3. Lepszy kontekst

LLM-y nie tracą wątku rozmowy. Pamiętają, co zostało powiedziane wcześniej, dzięki czemu interakcje są płynne i spójne.

Ten kontekst pomaga im też rozwiewać niejasności. Nawet jeśli wypowiedź jest nieprecyzyjna lub złożona, potrafią ją zrozumieć, analizując całą rozmowę.

4. Skalowalność

LLM-y są o wiele lepsze w skalowaniu. Nie wymagają ponownego trenowania, by obsłużyć nowe tematy, dzięki szerokiemu rozumieniu języka.

To sprawia, że są gotowe do obsługi niemal każdego przypadku użycia od razu. W przypadku systemów wieloagentowych wybór LLM zamiast klasyfikatora intencji jest oczywisty.

5. Elastyczność

LLM-y nie opierają się na sztywnych szablonach. Ich elastyczność sprawia, że odpowiedzi są naturalne, zróżnicowane i idealnie dopasowane do rozmowy. To znacznie lepsze doświadczenie dla użytkowników niż sztywne klasyfikatory intencji.

6. Mniej danych treningowych

LLM-y nie potrzebują specjalnie oznaczonych danych, by działać skutecznie. Ich siła wynika z ogromnego treningu na różnorodnych tekstach, więc nie są uzależnione od żmudnie przygotowywanych zbiorów danych.

W razie potrzeby deweloperzy mogą zawsze dostosować LLM do swojego projektu. Na przykład LLM-y można dostroić przy użyciu minimalnej ilości danych, dzięki czemu szybko adaptują się do specjalistycznych zastosowań lub branż.

Dlaczego inne firmy korzystają z klasyfikatorów intencji?

Dobre pytanie. Skoro LLM-y są znacznie lepsze w klasyfikowaniu intencji, to dlaczego tak wiele firm wciąż używa klasyfikatorów intencji?

Odpowiedź nie jest zbyt przyjemna i trudno ją ująć dyplomatycznie: to kwestia przestarzałej technologii.

Większość firm ma interes w korzystaniu z klasyfikatorów intencji. Zbudowały na nich ogromne bazy użytkowników i nie mają powodu, by przekonywać ich do zmiany systemu.

Ale Botpress stawia na LLM-y

LLM-y znacznie lepiej rozpoznają intencje niż przestarzałe klasyfikatory. Dlatego w 2020 roku napisaliśmy wszystko od nowa, stawiając na LLM-y.

Wiedzieliśmy, że pojawiła się lepsza technologia, więc zamiast trzymać się starego rozwiązania, postawiliśmy na rozwój.

Czy dodamy klasyfikatory intencji?

Nie. Zbyt zależy nam na doświadczeniu naszych twórców i ich użytkowników.

Przyszłość rozpoznawania intencji

Klasyfikatory intencji to narzędzie przeszłości. Dlatego postawiliśmy w pełni na LLM-y.

Wraz z rozwojem LLM-ów będą się rozwijać także agenci AI budowani na Botpress. Jesteśmy gotowi i podekscytowani, by dalej podnosić poprzeczkę dla konwersacyjnej AI.

Jeśli chcesz tworzyć elastycznych agentów AI opartych na LLM-ach, możesz zacząć budować na Botpress. To nic nie kosztuje.