Perché abbiamo eliminato i classificatori di intenti

Una delle domande più frequenti che riceviamo da potenziali clienti e utenti è: “Dove sono i vostri classificatori di intenti?”

Non ne abbiamo. E sì, è voluto.

Botpress utilizza LLM per identificare l’intento dell’utente. Perché? Se stai costruendo un chatbot o un agente AI, è molto meglio sia per chi sviluppa che per chi utilizza.

Abbiamo una posizione chiara su questo punto, quindi vorrei spiegare perché non usiamo classificatori di intenti.

In breve: è più facile da costruire, più preciso e più semplice da mantenere.

I vecchi tempi (prima degli LLM)

(Se sai già cosa sono i classificatori di intenti e a cosa servono, puoi saltare questa sezione.)

Un classificatore di intenti è uno strumento che categorizza gli input degli utenti in intenti predefiniti sulla base dei dati di addestramento.

Gli sviluppatori devono selezionare e etichettare innumerevoli esempi per ogni possibile intento, sperando che il sistema riesca ad associare gli input degli utenti a questi esempi.

Ad esempio, con un chatbot e-commerce, gli sviluppatori potrebbero definire un’intenzione come "TracciaOrdine". Gli esempi di frasi potrebbero includere: "Dov’è il mio pacco?", "Traccia il mio ordine" e "Puoi controllare lo stato della consegna per me?"

In pratica, stanno addestrando l'agente AI a riconoscere l'intento dell'utente fornendo degli esempi. E sì, devono inserirli tutti manualmente.

Fortunatamente, la necessità di mappare manualmente tutte le possibili espressioni a un intento è quasi scomparsa con l’avanzare degli LLM.

Ma molte piattaforme di AI conversazionale le usano ancora. Perché? Lo vedremo tra poco.

4 svantaggi dei classificatori di intenti

Non è solo una questione di processo più lungo: i classificatori di intenti sono problematici per molti motivi. Eccone alcuni:

1. Dipendenza dai dati

I classificatori di intenti hanno bisogno di molti dati. Serve un dataset ampio e rappresentativo di esempi utente per ogni intento, altrimenti fanno fatica a classificare correttamente gli input.

E costruire questi dataset è un lavoro lungo. Gli sviluppatori passano ore a raccogliere ed etichettare esempi, il che – senza dubbio – non è un buon uso del loro tempo.

2. Scalabilità limitata

Anche i classificatori di intenti non sono pensati per scalare. Aggiungere nuovi intenti richiede la raccolta di altri dati e il riaddestramento del modello, diventando rapidamente un collo di bottiglia per lo sviluppo. Inoltre, possono essere difficili da mantenere: con l’evoluzione del linguaggio, cambiano anche le espressioni degli utenti.

3. Scarsa comprensione del linguaggio

I classificatori di intenti non comprendono davvero il linguaggio. Hanno difficoltà con le variazioni, come:

• Sinonimi
• Parafrasi
• Formulazione ambigua
• Errori di battitura
• Espressioni colloquiali poco conosciute
• Input frammentati

Inoltre, di solito elaborano ogni frase isolatamente, il che significa che non riescono a mantenere il contesto durante una conversazione.

4. Overfitting

I classificatori di intenti tendono a sovradattarsi, memorizzando gli esempi di addestramento invece di apprendere schemi generali.

Questo significa che funzionano bene su frasi esatte già viste, ma hanno difficoltà con input nuovi o variati. Per questo sono molto più fragili di quanto sia accettabile in un contesto professionale.

6 motivi per cui gli LLM sono migliori

Gli LLM hanno praticamente risolto questi problemi. Comprendono il contesto e le sfumature, e gli sviluppatori non devono riempirli di dati di addestramento per iniziare. Un agente basato su LLM può iniziare a conversare dal momento in cui viene creato.

1. Capacità di apprendimento zero-shot

Gli LLM non hanno bisogno di esempi per apprendere. Grazie all’ampio pre-addestramento, comprendono già contesto, sfumature e intenzioni senza che gli sviluppatori debbano fornire esempi specifici.

2. Una cosa chiamata sfumatura

Gli LLM eccellono dove i classificatori di intenti falliscono. Riescono a interpretare facilmente idiomi, sarcasmo e linguaggio ambiguo.

L’ampia formazione su dataset diversificati consente loro di cogliere le sfumature della comunicazione umana che spesso sfuggono ai classificatori di intenti.

3. Miglior contesto

Gli LLM non perdono il filo della conversazione. Ricordano cosa è stato detto prima, rendendo le interazioni più naturali e coerenti.

Questo contesto li aiuta anche a chiarire le ambiguità. Anche se l’input è vago o complesso, riescono a ricostruirlo considerando l’intera conversazione.

4. Scalabilità

Gli LLM sono molto più scalabili. Non hanno bisogno di essere riaddestrati per affrontare nuovi argomenti, grazie alla loro ampia comprensione del linguaggio.

Questo li rende pronti a gestire praticamente qualsiasi caso d'uso fin da subito. Per i sistemi multi-agente, è ovvio usare un LLM invece di un classificatore di intenti.

5. Flessibilità

Gli LLM non si basano su template rigidi. La loro flessibilità rende le risposte naturali, varie e perfettamente adattate alla conversazione. Offrono un’esperienza molto migliore rispetto ai classificatori di intenti rigidi.

6. Meno dati di addestramento

Gli LLM non hanno bisogno di dati etichettati specifici per il compito da svolgere. La loro forza deriva dal pretraining su grandi quantità di testo vario, quindi non dipendono da dataset annotati manualmente.

Se necessario, gli sviluppatori possono sempre personalizzare un LLM per il proprio progetto. Ad esempio, gli LLM possono essere adattati con pochi dati per rispondere rapidamente a casi d’uso o settori specifici.

Perché altre aziende usano i classificatori di intenti?

Ottima domanda. Se i LLM sono così superiori nel classificare gli intenti, perché così tante aziende continuano a usare i classificatori di intenti?

La risposta non è piacevole, e non è la più diplomatica da dire: è un problema di tecnologia legacy.

La maggior parte delle aziende ha interesse a utilizzare classificatori di intenti. Hanno costruito grandi basi installate che li utilizzano. Non hanno motivo di scoraggiare gli utenti dal sistema che hanno creato.

Ma Botpress è LLM-first

Gli LLM sono molto più efficaci nell’identificare le intenzioni rispetto ai vecchi classificatori di intenti. Ecco perché abbiamo riscritto tutto da zero per essere LLM-first nel 2020.

Sapevamo che era arrivata una tecnologia migliore e, invece di restare legati al passato, abbiamo investito nel cambiamento.

Aggiungeremo i classificatori di intenti?

No. Ci teniamo troppo all’esperienza dei nostri builder e dei loro utenti.

Il futuro della classificazione delle intenzioni

I classificatori di intenti appartengono al passato. Ecco perché abbiamo puntato tutto sugli LLM.

Man mano che gli LLM migliorano, miglioreranno anche gli agenti AI basati su Botpress. Siamo pronti ed entusiasti di continuare a innalzare il livello di ciò che l’AI conversazionale può fare.

Se vuoi creare agenti AI flessibili alimentati da LLM, sentiti libero di iniziare a costruire su Botpress. È gratis.