Lingue
Lingue
Un chatbot arabo è un programma in grado di comprendere e analizzare contenuti in arabo. Oggi possiamo simulare e gestire conversazioni umane in arabo tra un computer e una persona.
I recenti progressi nella tecnologia di elaborazione del linguaggio naturale (NLP) rendono semplice creare chatbot arabi. La nuova tecnologia dei chatbot arabi con intelligenza artificiale utilizza il machine learning per capire la struttura della lingua e il significato delle parole.
L'arabo è la quarta lingua più parlata su internet, ma è una delle più difficili da imparare per chi non è madrelingua.
Questo perché si differenzia dalla maggior parte delle lingue in diversi aspetti.
Oltre a quanto sopra, esistono molte forme e dialetti dell’arabo. Questi dialetti sono collegati tra loro ma non si sovrappongono. In effetti, un dialetto può risultare incomprensibile a chi parla un altro dialetto; a tutti gli effetti, sono lingue diverse.
Tutti questi fattori rendono l’arabo più difficile da imparare per le persone.
Ma questo significa che è anche più difficile da apprendere per le macchine? Non sorprende che la risposta sia sì.
Tutto ciò crea delle sfide per l’elaborazione del linguaggio naturale (NLP) in arabo. Il primo passo di qualsiasi algoritmo NLP è comprendere la lingua, cioè suddividere le frasi in unità di significato distinte. Questo processo si chiama tokenizzazione, poiché ogni unità di significato viene chiamata token.
Più una lingua è sistematica e ordinata, più è facile tokenizzarla.
Le stesse difficoltà che rendono l’arabo difficile da imparare per le persone, lo rendono anche difficile da tokenizzare rispetto ad altre lingue comuni.
Prima di capire l’importanza degli ultimi progressi, bisogna comprendere come veniva creato in passato un modello linguistico per l’NLP.
Il compito di tokenizzare la lingua richiedeva molta attività manuale da parte dei ricercatori NLP. Ogni lingua doveva essere tokenizzata separatamente e praticamente a mano.
Questo lavoro era particolarmente difficile per i bot arabi, come si può immaginare.
Una volta tokenizzata la lingua, si potevano applicare gli algoritmi di intelligenza artificiale per comprenderla, cioè costruire una mappa dei significati e delle relazioni tra le parole.
Questo passaggio poteva essere automatizzato solo se la tokenizzazione era affidabile. Tuttavia, la tokenizzazione dell’arabo era complicata e quindi anche gli algoritmi di comprensione dovevano essere configurati manualmente insieme alla tokenizzazione.
Il risultato finale non era soddisfacente. Il livello di comprensione dell’arabo, rispetto ad esempio all’inglese, era scarso. Ovviamente, la ricerca si è sempre concentrata molto di più sull’inglese che sull’arabo, ma la difficoltà della lingua rendeva quasi impossibile ottenere buoni risultati.
Come spesso accade nella ricerca AI, ci si è chiesti se la tokenizzazione potesse essere affidata al machine learning. Questo avrebbe permesso agli algoritmi di tokenizzazione e comprensione di essere indipendenti dalla lingua di base (detto language agnostic), rendendo l’addestramento dell’AI su una lingua molto più rapido ed efficace.
Ed è proprio qui che è avvenuta la svolta, alla fine del 2018. L’AI poteva essere addestrata in arabo senza intervento manuale e, di conseguenza, le prestazioni dell’NLP sono migliorate notevolmente.
Le piattaforme di chatbot arabi sono diventate subito molto più efficaci e la comprensione dell’arabo da parte dei chatbot ha raggiunto livelli simili a quelli ottenuti con altre lingue.
Il fatto che questa svolta sia avvenuta non significa però che la qualità dei chatbot arabi sia migliorata istantaneamente.
Perché i clienti potessero beneficiare di questi vantaggi, il primo passo era che le piattaforme di AI per chatbot aggiornassero i loro algoritmi con la nuova tecnologia. Considerando gli investimenti fatti nella tecnologia precedente, questo passaggio non è stato immediato.
Inoltre, le piattaforme devono implementare molte funzionalità per garantire che i chatbot arabi offrano una buona esperienza agli utenti finali. Ad esempio, le interfacce utente devono essere adattate all’arabo. Può essere sufficiente assicurarsi che l’allineamento della chat sia corretto e che i pulsanti siano visualizzati nell’ordine giusto.
Gestire più lingue su diverse piattaforme può essere complicato. Alcune piattaforme richiedono di creare bot separati per ogni lingua, il che è chiaramente molto inefficiente.
Una buona piattaforma deve essere davvero multilingue e permettere quindi più traduzioni di tutti i contenuti all’interno dell’interfaccia utente.
Inoltre, la lingua deve essere tracciata come variabile della conversazione, così che l’AI possa rilevarla con precisione e i designer possano costruire logiche basate sulla lingua.
Oltre alle funzionalità specifiche per la lingua, per creare un ottimo chatbot è fondamentale che la piattaforma abbia funzionalità generali eccellenti. Ci sono due categorie di funzionalità importanti.
In definitiva, la qualità dell’esperienza chatbot per l’utente finale è direttamente collegata alla potenza dello strumento utilizzato per crearlo, dalla comprensione linguistica alle interfacce grafiche.
Spesso, soprattutto nel mondo arabo, le aziende richiedono un chatbot arabo on-premise. Questo è ovviamente un aspetto da considerare nella scelta della piattaforma. Un chatbot arabo on-premise deve essere costruito con una piattaforma on-premise che non solo offra un’interfaccia utente on-premise, ma ospiti anche l’intero motore NLU e il modello linguistico addestrato localmente.
Anche con una buona piattaforma, ci sono ancora delle sfide nel creare un ottimo chatbot in arabo. Nel mondo dell’AI ci sono pochi parlanti arabi, quindi può essere difficile trovare le risorse giuste per lavorare al progetto. Anche se non è necessario trovare risorse per scrivere gli algoritmi NLU di base, poiché sono già forniti, può essere difficile trovare designer competenti che parlino tutte le lingue o dialetti supportati dal chatbot. È quindi importante che la piattaforma permetta di aggiornare e gestire facilmente i contenuti e le traduzioni anche a persone non tecniche, dato che il designer potrebbe non parlare tutte le lingue supportate.
Ovviamente, il fatto che chatbot arabi di alta qualità siano ora disponibili significa che l’adozione di questa tecnologia aumenterà. Questa crescente adozione aiuterà a risolvere i problemi di risorse e permetterà ai potenziali acquirenti di capire quali sono le migliori pratiche da seguire.
I progressi nella tecnologia NLP non riguardano solo i chatbot arabi, ma anche altre applicazioni AI. Oggi vediamo sistemi multifunzionali che utilizzano l’AI araba in vari modi: dall’analisi del sentiment nelle notizie al riassunto o generazione di testi che prima potevano essere realizzati solo da esseri umani. Spesso un chatbot viene utilizzato come interfaccia utente non solo per diverse tecnologie AI, ma anche per aiutare gli utenti a utilizzare schermate di altri sistemi, come siti web o web app.
Naturalmente, anche se c’è stato un grande salto nella potenza della NLU araba, si può sempre migliorare. La ricerca continua a rendere i motori NLU ancora più efficaci e sicuramente arriveranno nuovi progressi. Finché la NLU non raggiungerà il livello umano, ci sarà sempre lavoro da fare.
Il prossimo passo per tutti i motori NLU, indipendentemente dalla lingua, è migliorare la gestione dei dialoghi multi-turn. Questo significa permettere a una persona di avere una conversazione articolata con il bot su un argomento specifico, invece di limitarsi a comandi o domande singole. E il passo successivo per le piattaforme chatbot è rendere facile la creazione di dialoghi multi-turn.
I dialoghi multi-turn sono particolarmente importanti per le interfacce vocali come Alexa.
Se finora abbiamo parlato dei progressi nella tokenizzazione tramite machine learning e delle implicazioni per l’NLP arabo, un tema correlato è la trascrizione da voce a testo in arabo. La trascrizione vocale in arabo è ancora indietro rispetto ad altre lingue, ma confidiamo che i progressi nell’NLP descritti qui aiutino a colmare il divario nel prossimo futuro.
Crea esperienze straordinarie con agenti AI.
