Cos’è il Text-to-Speech (TTS)?

ChatGPT olandese parla con accento tedesco (a volte). Se è intenzionale, è una cattiveria. Se non lo è, allora è affascinante.

In ogni caso, è chiaro che gli assistenti vocali AI hanno fatto molta strada dai tempi di Sam di Microsoft. In realtà, sono progrediti molto anche rispetto a quando studiavo la tecnologia vocale qualche anno fa.

E sono qui per raccontarti dove siamo arrivati.

Mitizziamo la voce sintetizzata almeno dal 1968, dall’apparizione di HAL il robot in 2001: Odissea nello spazio.

Lungi dall’essere prestigiosa e futuristica, è ormai diventata la norma: l’89% dei consumatori sceglie il dispositivo anche in base alla presenza o meno del supporto vocale.

In altre parole, “Non aiutarmi soltanto; parlami”.

In questo articolo parlerò del text-to-speech, ovvero la conversione del testo in audio parlato. Spiegherò cosa succede dietro le quinte e i diversi modi in cui questa tecnologia viene utilizzata nei vari settori.

Cos’è il Text-to-Speech?

TTS è il processo di conversione del testo in audio parlato sintetizzato. Le prime versioni si basavano su approssimazioni meccaniche dell’apparato vocale umano e sul montaggio di registrazioni audio. Oggi i sistemi TTS utilizzano algoritmi di deep neural network per produrre voci dinamiche e naturali.

Esistono modelli diversi a seconda del caso d’uso, come la generazione in tempo reale per modelli conversazionali, l’espressione controllabile e la capacità di replicare una voce.

Come funziona il Text-to-Speech?

Il TTS si basa su 3 passaggi chiave: prima il testo viene elaborato per espandere simboli, espressioni e abbreviazioni. Il testo elaborato passa poi attraverso reti neurali che lo trasformano in una rappresentazione acustica (spettrogramma). Infine, questa rappresentazione viene convertita in voce.

Come accennato, i ricercatori hanno sperimentato diversi approcci al TTS. Quello su cui ci siamo fermati (e che probabilmente resterà per un po’) utilizza la sintesi vocale basata su reti neurali.

Modellare i livelli dei fenomeni linguistici che influenzano un enunciato – pronuncia, velocità, intonazione – è un compito complesso.

Anche con le capacità quasi magiche e opache delle reti neurali, un sistema TTS si basa su diversi componenti per avvicinarsi alla riproduzione della voce umana.

È difficile definire una pipeline precisa; nuove tecnologie emergono continuamente, rischiando di rendere obsolete le precedenti.

Esistono alcuni componenti generali che si trovano nella maggior parte dei sistemi TTS, in una forma o nell’altra.

1. Elaborazione del testo

L’elaborazione del testo è la fase in cui il sistema TTS determina quali parole verranno pronunciate. Abbreviazioni, date e simboli di valuta vengono esplicitati e la punteggiatura viene eliminata.

Non è sempre banale. “Dr.” significa dottore o drive? E CAD? Dollaro canadese o progettazione assistita da computer?

L’elaborazione del linguaggio naturale (NLP) può essere utilizzata nell’analisi del testo per aiutare a prevedere l’interpretazione corretta in base al contesto. Valuta come il termine ambiguo (ad esempio, “Dr.”) si inserisce nell’intera frase, quindi nell’espressione “Dr. Perron ha sconsigliato”, la NLP interpreterebbe dr. come dottore.

2. Analisi linguistica

Una volta elaborato il testo, il modello passa da “Cosa devo dire?” a “Come devo dirlo?”

L’analisi linguistica è la parte della sintesi vocale (TTS) che interpreta come una frase deve essere pronunciata in termini di intonazione, tono e durata. In altre parole:

• Quanto deve durare ogni suono, sillaba o parola?
• L’intonazione deve salire? Scendere?
• Quale parola viene enfatizzata?
• Come può la variazione del volume riflettere l’emozione desiderata?

Perché la prosodia è importante

Racconto: ho fatto una breve consulenza per un team che sviluppava modelli TTS. È diventato subito chiaro quanto la prosodia sia fondamentale per la comprensibilità di una frase. Ti mostro cosa intendo.

Di seguito sono riportate 3 versioni della frase “Whoa, te lo aspettavi?”

La prima è ottima. La pausa dopo “Whoa”, l’intonazione crescente sulla seconda sillaba di “expecting” (ex-PEC-ting). 10/10.

La seconda versione coglie appena la qualità della domanda, alzando il tono sull'ultima parola (“... aspettando QUELLO”). A parte questo, il resto delle sillabe ha più o meno la stessa lunghezza, senza variazioni di volume o intonazione. Direi ai miei clienti di “tornare al tavolo da disegno”.

L’ultimo è un caso interessante: Il “whoah” è intenso – forte, lungo e con una caduta finale. L’inflessione crescente della domanda avviene durante “were you”, e mantiene praticamente lo stesso tono per tutta la durata.

Molti sistemi TTS intermedi si fermano qui: abbastanza semplici, con una resa plausibile. Il punto è che non è come lo diresti tu – almeno non nella maggior parte dei contesti.

Nei sistemi più vecchi, queste caratteristiche venivano previste da componenti separati: un modello calcolava la durata di ogni suono, un altro gestiva l’andamento dell’intonazione.

Oggi la situazione è più sfumata.

Le reti neurali tendono a imparare questi schemi autonomamente, interiorizzando le sottili sfumature di enormi set di dati di addestramento.

3. Modellazione acustica

La modellazione acustica è il processo in cui il testo normalizzato (e le eventuali caratteristiche linguistiche previste) viene elaborato da una rete neurale che produce una rappresentazione intermedia.

Spettrogrammi e rappresentazioni vocali

La rappresentazione intermedia è solitamente un spettrogramma – cioè la rappresentazione della frequenza in funzione del tempo di un segnale audio – anche se questo sta cambiando.

Ecco la rappresentazione generata da un modello TTS dal nostro testo di input “Whoa, te lo aspettavi?”:

‍

Questa immagine bidimensionale è in realtà composta da 146 sezioni verticali, ciascuna con 80 frequenze. Le frequenze più forti sono più luminose, quelle più deboli sono scure.

Ecco come appare il decimo passo temporale (o colonna), ruotato di 90 gradi verso destra:

Puoi vedere le singole frequenze e le loro energie.

A prima vista lo spettrogramma non sembra molto, ma qui sono presenti alcuni fenomeni linguistici evidenti:

• Quelle onde ben definite rappresentano vocali o suoni simili alle vocali come /w/, /r/ e /l/.
• Le zone scure rappresentano silenzi. Potrebbero essere pause per la punteggiatura.
• Le concentrazioni di energia in alto rappresentano il rumore, come quello che si sente nei suoni /s/, /sh/ e /f/

In effetti, puoi anche allineare le parole nello spettrogramma se osservi attentamente.

Gli spettrogrammi, nelle loro varie forme, sono rappresentazioni ampiamente utilizzate nella tecnologia vocale perché costituiscono un ottimo intermediario tra il parlato grezzo e il testo.

Due registrazioni della stessa frase pronunciate da speaker diversi avranno forme d’onda molto diverse, ma spettrogrammi molto simili.

4. Sintesi audio (Vocoding)

La fase di sintesi è quella in cui lo spettrogramma viene convertito in audio.

La tecnologia che effettua questa conversione si chiama vocoder. Sono modelli di rete neurale addestrati a ricostruire segnali vocali a partire dalle loro rappresentazioni spettrali.

Il motivo per cui la rappresentazione e la modellazione del segnale vocale sono suddivise in moduli separati riguarda il controllo: il primo si occupa di riprodurre accuratamente la pronuncia e l’esecuzione delle parole, il secondo dello stile e della naturalezza dell’intonazione.

Con uno spettrogramma possiamo distinguere tra /s/ e /sh/, o /ee/ (come in heat) e /ih/ (come in hit), ma lo stile e la personalità derivano dai dettagli fini prodotti dal vocoder.

Ecco un confronto tra combinazioni di diversi modelli acustici e vocoder. Mostra come i ricercatori combinano modelli acustici e vocoder per ottimizzare il risultato complessivo.

Ma, come per gli altri componenti, anche gli spettrogrammi stanno lasciando il posto a modelli all-in-one.

Quali sono i casi d’uso della sintesi vocale (TTS)?

La capacità di generare linguaggio parlato dinamico è uno strumento essenziale in molti settori.

Non si tratta solo di sofisticati robot servitori – ci aiuta a raggiungere efficienza, accessibilità e sicurezza.

Chatbot e Assistenti Vocali

Sapevi che l’avrei detto 😉

Tra il comprendere i tuoi comandi, aggiornare le liste della spesa e fissare appuntamenti, è facile dare per scontata la sofisticazione – e l’importanza – della voce sintetizzata negli agenti IA.

Un buon agente (cioè uno usabile) deve avere una voce adatta: abbastanza accogliente da invitare all’interazione e sufficientemente umana da far credere all’utente di poter soddisfare le sue richieste.

C’è molta ricerca e ingegneria dietro la conquista degli utenti nel brevissimo tempo in cui decidono se un assistente IA “suona” naturale.

Dal lato business: il tuo chatbot rappresenta il tuo brand. I miglioramenti nella tecnologia TTS offrono opzioni per un’identità vocale più efficace e un servizio clienti migliore.

Navigazione e trasporti

Nulla ti farà capire l’importanza di un buon TTS come sentire il tuo GPS pronunciare in modo incomprensibile il nome di una via mentre stai guidando.

La navigazione GPS è un ottimo esempio di dove il TTS è fondamentale: abbiamo gli occhi occupati e ricevere informazioni vocali non è solo una questione di comodità, ma anche di sicurezza.

Questo vale anche per aeroporti e sistemi di trasporto pubblico. Per sistemi complessi e ad alto volume come stazioni ferroviarie e terminal aeroportuali, la sintesi vocale è fondamentale.

Senza TTS, ci affidiamo ad annunci dal vivo, spesso frettolosi e poco comprensibili, oppure a registrazioni assemblate di nomi, terminal, orari, ecc., che francamente sono difficili da ascoltare.

Con studi che mostrano un forte legame tra naturalezza e intelligibilità, un TTS di alta qualità è fondamentale per un settore dei trasporti solido.

Intrattenimento e Media

La narrazione e i media multilingue sono diventati più accessibili grazie ai progressi nella tecnologia della sintesi vocale.

Piuttosto che sostituire il talento, la tecnologia vocale aiuta a valorizzare le performance artistiche.

Val Kilmer, dopo aver perso la voce a causa di un cancro alla gola, ha offerto una performance toccante con la sua voce originale in Top Gun: Maverick (2022) grazie all’AI.

TTS consente anche agli sviluppatori di videogiochi di dare voci diverse ed espressive ai personaggi non giocanti (NPC), cosa altrimenti irrealizzabile.

Sanità

I miglioramenti nel TTS portano a una maggiore accessibilità per tutti.

Le tecnologie per l’assistenza agli anziani affrontano insieme il tema della compagnia e dell’aiuto. Questa tecnologia si basa sulla personalizzazione offerta dal TTS: toni compassionevoli, velocità variabili e intonazione curata sono tutti elementi per offrire un’assistenza efficace e dignitosa.

Il TTS viene usato anche per migliorare l’accessibilità tra i più giovani.

Acapela Group sviluppa, tra le altre cose, tecnologie per bambini con disturbi della produzione del linguaggio. La sintesi vocale aumenta le loro capacità espressive e l’autonomia, mantenendo le caratteristiche della loro voce.

Istruzione e apprendimento inclusivo

Abbiamo già incontrato la voce sintetica nelle app per l’apprendimento delle lingue. Ma questa è solo la punta dell’iceberg.

Ad esempio, una barriera all’apprendimento autonomo è la capacità di leggere. Per bambini, persone con disabilità visive e alcuni disturbi dell’apprendimento, ciò non è sempre possibile. Questo carica di responsabilità insegnanti già sovraccarichi in classi troppo numerose.

Un distretto scolastico in California ha implementato il TTS per creare un ambiente di apprendimento più inclusivo per studenti con bisogni speciali.

Come nell’assistenza agli anziani, la tecnologia educativa si basa su voci empatiche, chiare e ben scandite. Parametri modificabili permettono agli insegnanti di integrare queste tecnologie nelle lezioni, aiutando gli studenti a sentirsi più inclusi.

Trova il miglior TTS per le tue esigenze

Qualunque sia il tuo settore, è chiaro che la voce AI è rilevante. E il TTS che scegli rappresenta letteralmente la tua azienda, quindi deve essere affidabile e personalizzabile.

Botpress ti permette di creare bot potenti e altamente personalizzabili, con una suite di integrazioni e distribuzione su tutti i principali canali di comunicazione. Il tuo agente vocale non solo stupirà, ma funzionerà davvero.

Inizia a costruire oggi. È gratis.

Domande frequenti

Ci sono lingue o dialetti che i sistemi TTS faticano a supportare?

Sì, esistono lingue e dialetti che i sistemi TTS faticano a supportare, soprattutto le lingue poco diffuse che non dispongono di grandi dataset di parlato e testo registrato. Variazioni come dialetti regionali, lingue tonali e lingue indigene spesso rappresentano una sfida perché richiedono regole di pronuncia e prosodia sfumate che i modelli standard non hanno appreso. Anche per le lingue più diffuse, le differenze dialettali possono portare a pronunce errate o a una voce poco naturale.

Quanto sono personalizzabili le voci TTS in termini di tono, velocità ed emozione?

Le voci TTS oggi sono altamente personalizzabili in tono, velocità ed emozione, grazie alle moderne architetture di reti neurali che permettono un controllo dettagliato di prosodia e stile. Molti sistemi TTS commerciali consentono di regolare velocità di parlato, intonazione, volume e tono espressivo per adattarsi a diversi contesti, come narrazione calma, annunci entusiasti o dialoghi empatici. Tuttavia, il livello di controllo varia a seconda del fornitore: alcuni offrono solo slider di base per velocità e tono, altri permettono la regolazione dettagliata di espressione emotiva e timbro vocale.

Quanto sono sicuri i dati vocali elaborati dai sistemi TTS?

La sicurezza dei dati vocali trattati dai sistemi TTS dipende molto dal fornitore e dal metodo di distribuzione. I servizi TTS cloud di solito criptano i dati in transito e a riposo, ma inviare informazioni sensibili a server esterni può comunque comportare rischi per la privacy se non sono in atto accordi e misure di conformità come GDPR o HIPAA. Le soluzioni on-premise o edge offrono maggiore sicurezza perché audio e testo non lasciano mai l’infrastruttura dell’organizzazione, riducendo l’esposizione a terzi.

Quanto costa implementare soluzioni TTS di alta qualità per le aziende?

Implementare soluzioni TTS di alta qualità per le aziende può variare da poche centinaia di dollari al mese per API cloud con utilizzo moderato, fino a decine o centinaia di migliaia per lo sviluppo di voci personalizzate o implementazioni aziendali on-premises. I costi includono generalmente licenze, tariffe a carattere o a minuto, costi di integrazione e sviluppo, e talvolta compensi per voci personalizzate. Le piccole imprese spesso iniziano con servizi in abbonamento, mentre le grandi aziende possono investire in soluzioni su misura per coerenza del brand e privacy.

Quanti dati di addestramento servono per creare una voce TTS di alta qualità?

Per costruire una voce TTS di alta qualità servono di solito da alcune a decine di ore di registrazioni pulite e professionali, idealmente dallo stesso speaker e in condizioni di registrazione coerenti. I moderni sistemi TTS neurali come Tacotron o FastSpeech possono ottenere una qualità decente anche con sole 2–5 ore di dati, ma per voci molto naturali, espressive e robuste spesso servono 10–20 ore o più. Per il voice cloning o voci particolarmente espressive, sono necessari dataset ancora più grandi e registrazioni che coprano vari stili, emozioni e contesti.