Ano ang Text-to-Speech (TTS)?

Ang Dutch ChatGPT ay nagsasalita na parang may German accent (minsan). Kung sinasadya, medyo malupit. Kung hindi, nakakatuwang pagmasdan.

Sa kahit anong paraan, malinaw na malayo na ang narating ng AI voice assistants mula kay Microsoft Sam. Sa totoo lang, napakalayo na rin ng inabot nila mula noong pinag-aralan ko ang teknolohiya ng pagsasalita ilang taon na ang nakalipas.

At narito ako para ikuwento kung saan na kami nakarating.

Matagal na nating pinapangarap ang synthesized speech mula pa noong 1968, simula nang lumabas si HAL the robot sa 2001: A Space Odyssey.

Malayo na sa pagiging prestihiyoso at makabago, naging karaniwan na ito: 89% ng mga consumer ay nagpapasya batay kung may voice support ang kanilang device.

Sa madaling salita, “Huwag lang akong tulungan; kausapin mo ako”.

Sa artikulong ito, tatalakayin ko ang text-to-speech—ang pag-convert ng teksto tungo sa sinasalitang audio. Pag-uusapan ko kung paano ito gumagana sa likod ng teknolohiya, at ang iba’t ibang paraan ng paggamit nito sa iba’t ibang industriya.

Ano ang Text-to-Speech?

Ang TTS ay proseso ng pagpapalit ng teksto tungo sa synthesized na sinasalitang audio. Ang mga unang bersyon ay batay sa mekanikal na paggaya sa boses ng tao at pagdugtong-dugtong ng mga audio recording. Sa ngayon, gumagamit na ang mga TTS system ng deep neural network algorithms para makapagbigay ng dynamic at parang totoong pagsasalita.

May iba’t ibang modelo depende sa gamit, gaya ng real-time generation para sa conversational models, kontroladong ekspresyon, at kakayahang tularan ang isang boses.

Paano gumagana ang Text-to-Speech?

May tatlong pangunahing hakbang ang TTS: una, pinoproseso ang input na teksto para isulat nang buo ang mga simbolo, ekspresyon, at daglat. Pagkatapos, pinapadaan ito sa mga neural network para gawing akustikong representasyon (spectrogram). Sa huli, ang representasyong ito ay ginagawang pagsasalita.

Tulad ng nabanggit ko, maraming sinubukang paraan ang mga researcher para sa TTS. Ang ginagamit natin ngayon (at mukhang dito na tayo magtatagal) ay neural network-based speech synthesis.

Ang pagmomodelo ng mga antas ng lingguwistikong penomena na nakaaapekto sa isang pahayag—pagbigkas, bilis, intonasyon—ay isang masalimuot na gawain.

Kahit na parang mahiwaga ang kakayahan ng neural networks, umaasa pa rin ang TTS system sa maraming bahagi para mapalapit sa totoong pagsasalita.

Mahirap tukuyin ang eksaktong proseso; may mga bagong teknolohiya na lumilitaw halos araw-araw, na nagbabanta sa mga nauna.

May ilang pangkalahatang bahagi na karaniwan sa karamihan ng TTS system, sa iba’t ibang anyo.

1. Pagproseso ng Teksto

Ang mga daglat, petsa, at simbolo ng pera ay isinusulat nang buo, at inaalis ang mga bantas.

Hindi ito laging madali. Ang “Dr.” ba ay doktor o drive? Paano naman ang CAD? Canadian dollar o computer-aided design?

Maaaring gamitin ang natural language processing (NLP) sa pagproseso ng teksto para matulungan ang tamang interpretasyon batay sa konteksto. Sinusuri nito kung paano ang malabong termino (halimbawa, “Dr.”) ay umaangkop sa buong pangungusap, kaya sa pariralang “Dr. Perron advised against it”, malulutas ng NLP ang dr. bilang doktor.

2. Lingguwistikong Pagsusuri

Kapag naproseso na ang teksto, lumilipat ang modelo mula sa “Ano ang dapat kong sabihin?” patungo sa “Paano ko ito sasabihin?”

Ang linguistic analysis ang bahagi ng TTS na nag-iinterpret kung paano dapat bigkasin ang isang pangungusap—tulad ng tono, taas ng boses, at tagal. Sa madaling salita:

• Gaano katagal dapat ang bawat tunog, pantig, o salita?
• Dapat bang tumaas ang intonasyon? Bumaba?
• Aling salita ang binibigyang-diin?
• Paano maipapakita ng pagbabago sa lakas ng tunog ang nais ipahiwatig na damdamin?

Bakit Mahalaga ang Prosody

Kuwento: Nagkaroon ako ng maikling trabaho bilang consultant para sa isang team na gumagawa ng TTS models. Napansin ko kung gaano kahalaga ang prosodiya sa pagiging malinaw ng isang pangungusap. Ipapakita ko sa iyo ang ibig kong sabihin.

Narito ang 3 bersyon ng pangungusap na “Whoa, were you expecting that?”

Maganda ang una. Ang paghinto pagkatapos ng “Whoa”, ang pataas na bigkas sa pangalawang pantig ng “expecting” (ex-PEC-ting). 10/10.

Ang pangalawa ay bahagya lang na naipapakita ang kalidad ng tanong sa pamamagitan ng pagtaas ng tono sa huling salita (“... expecting THAT”). Bukod doon, halos pare-pareho ang haba ng ibang pantig, walang pagbabago sa lakas o tono. Sasabihin ko sa mga kliyente ko na “balikan ang plano”.

Ang huli ay isang kawili-wiling halimbawa: Ang “whoah” ay mahusay– malakas, mahaba, at may pababang tono. Ang pataas na intonasyon ng tanong ay nangyayari sa “were you”, at halos pantay ang tono sa kabuuan.

Dito humihinto ang maraming karaniwang TTS system: simple lang at mukhang natural ang pagkakabigkas. Pero hindi ito ang paraan ng pagsasalita mo—lalo na sa karamihan ng mga sitwasyon.

Sa mga lumang sistema, magkakahiwalay na bahagi ang nagtataya ng mga katangiang ito: may modelong tumutukoy kung gaano katagal ang bawat tunog, at may iba pang nagmamapa kung paano tataas o bababa ang tono.

Ngayon, mas malabo na ang mga bagay-bagay.

Karaniwan, natututuhan ng mga neural network ang mga pattern na ito sa sarili nila sa pamamagitan ng pagsasaloob ng mga pinong detalye mula sa napakalaking mga dataset ng pagsasanay.

3. Acoustic Modelling

Sa acoustic modelling, ang normalized na teksto (at anumang predicted linguistic features) ay ipinapadaan sa neural network na nagbibigay ng intermediate na representasyon.

Mga spectrogram at representasyon ng pagsasalita

Karaniwan, ang intermediate representation ay isang spectrogram—ang frequency-over-time na representasyon ng audio signal—bagamat nagbabago na ito ngayon.

Narito ang representasyon na nilikha ng TTS model mula sa ating input na teksto na “Whoa, inaasahan mo ba iyon?”:

‍

Ang 2-dimensional na larawang ito ay binubuo ng 146 patayong hiwa, bawat isa ay may 80 frequency. Ang mas malalakas na frequency ay mas maliwanag, at ang mas mahihina ay madilim.

Ganito ang itsura ng ika-10 hakbang ng oras (o kolum), inikot ng 90 degrees pakanan:

Makikita mo ang bawat frequency at ang kani-kanilang lakas.

Sa unang tingin, parang walang gaanong makikita sa spectrogram, pero may ilang malinaw na lingguwistikong pattern dito:

• Ang mga alon na ‘yan na malinaw ang hugis ay mga patinig o tunog na parang patinig gaya ng /w/, /r/, at /l/.
• Ang madidilim na bahagi ay nagpapakita ng katahimikan. Maaaring ito ay mga paghinto para sa bantas.
• Ang mga kumpol ng enerhiya sa itaas ay kumakatawan sa ingay, tulad ng naririnig sa /s/, /sh/, at /f/

Sa katunayan, puwede mong ihanay ang mga salita sa spectrogram kung titingnan mong mabuti.

Malawakang ginagamit ang iba’t ibang anyo ng spectrogram sa speech technology dahil ito ay mahusay na tulay sa pagitan ng raw speech at text.

Dalawang recording ng parehong pangungusap mula sa magkaibang tagapagsalita ay magkakaiba ang waveforms, pero halos magkapareho ang spectrograms.

4. Pagsasama-sama ng Audio (Vocoding)

Sa yugto ng synthesis, ang spectrogram ay ginagawang tunog.

Ang teknolohiyang gumagawa ng pagbabagong ito ay tinatawag na vocoder. Mga neural network model ito na sinanay upang muling buuin ang tunog ng pagsasalita batay sa kanilang representasyong spectrogram.

Ang dahilan kung bakit pinaghiwalay ang pagmomodelo ng representasyon at ng signal ng pagsasalita ay para sa kontrol: ang una ay tungkol sa tamang pagbigkas at paghahatid ng mga salita, at ang kasunod ay tungkol sa istilo at pagiging makatotohanan ng pagkakabigkas.

Sa spectrogram, makikita natin ang pagkakaiba ng /s/ at /sh/, o /ee/ (gaya ng sa heat) at /ih/ (gaya ng sa hit), ngunit ang istilo at personalidad ay mula sa maliliit na detalye na nililikha ng vocoder.

Narito ang isang paghahambing ng mga kombinasyon ng iba’t ibang acoustic model at vocoder. Ipinapakita nito kung paano pinaghalo-halo ng mga mananaliksik ang acoustic model at vocoder para makuha ang pinakamainam na resulta.

Pero tulad ng ibang bahagi, unti-unti nang pinapalitan ang spectrograms ng mga all-in-one na modelo.

Ano ang mga Gamit ng TTS?

Ang kakayahang bumuo ng dinamikong sinasalitang wika ay mahalaga sa iba’t ibang industriya.

Hindi lang ito tungkol sa mga sopistikadong robot na tagapaglingkod – tumutulong din ito para maging mas episyente, mas abot-kaya, at mas ligtas ang mga gawain.

Mga Chatbot at Voice Assistant

Alam mong sasabihin ko ito 😉

Sa pagitan ng pag-unawa sa iyong utos, pag-update ng grocery list, at pag-set ng appointment, madalas nating hindi napapansin ang husay—at halaga—ng synthesized speech sa AI agents.

Ang mahusay na agent (ibig sabihin, magagamit) ay dapat may tinig na akma: sapat na magiliw para tumanggap ng utos, at sapat na makatao para paniwalaan ng user na kaya nitong gawin ang mga ito.

Maraming pananaliksik at inhenyeriya ang kinakailangan para mapabilib ang mga gumagamit sa ilang saglit na pagpapasya kung ang isang AI assistant ay tunog “tama”.

Sa panig ng negosyo: ang chatbot mo ang kumakatawan sa iyong brand. Dahil sa pag-unlad ng TTS technology, mas may opsyon para sa mas mahusay na voice branding at mas epektibong customer service.

Nabigasyon at Transportasyon

Walang mas makakapagpapatunay sa halaga ng mahusay na TTS kaysa marinig mong mali-mali ang bigkas ng GPS mo sa pangalan ng kalsada habang nagmamaneho ka.

Ang GPS navigation ay mahusay na halimbawa kung saan namamayani ang TTS: abala ang ating mga mata, at ang pagbibigay ng impormasyong naririnig ay hindi lang para sa kaginhawaan kundi para rin sa kaligtasan.

Totoo rin ito sa mga paliparan at pampublikong transportasyon. Para sa mga masalimuot at mataas ang dami ng tao tulad ng istasyon ng tren at terminal ng paliparan, mahalaga ang synthesized na pagsasalita.

Kung walang TTS, umaasa tayo sa live na anunsyo na madalas ay minamadali at mahirap maintindihan, o pinagtagpi-tagping recording ng pangalan, terminal, oras, atbp., na prangkang mahirap pakinggan.

Dahil ipinapakita ng mga pag-aaral ang matibay na ugnayan sa pagitan ng naturalidad at pagkaunawa, mahalaga ang mataas na kalidad ng TTS para sa matatag na industriya ng transportasyon.

Libangan at Media

Mas naging abot-kamay ang pagsasalaysay at multilingguwal na media dahil sa pag-unlad ng teknolohiyang synthetic speech.

Sa halip na palitan ang talento, tumutulong ang teknolohiyang pang-boses na dagdagan ang husay ng mga pagtatanghal.

Si Val Kilmer, na nawala ang kanyang boses dahil sa kanser sa lalamunan, ay nakapagbigay ng taos-pusong pagganap gamit ang kanyang orihinal na boses sa Top Gun: Maverick (2022) salamat sa AI.

Pinapayagan din ng TTS ang mga game developer na bigyan ng iba't ibang, mas makabuluhang pagsasalita at ekspresyon ang mga hindi-nalalarong tauhan (NPC), isang bagay na halos imposibleng gawin kung manu-mano.

Pangkalusugan

Ang mga pag-unlad sa TTS ay nagdudulot ng mas malawak na accessibility para sa lahat.

Sabay na tinutugunan ng mga teknolohiya para sa matatanda ang pangangailangan sa kasama at tulong. Umaasa ang teknolohiyang ito sa kakayahang iakma ng TTS: mahinahong tono, iba't ibang bilis, at maingat na pagbigkas—lahat ito ay bahagi ng pagbibigay ng epektibo at marangal na tulong.

Ginagamit din ang TTS para mapabuti ang accessibility lalo na sa mga kabataan.

Ang Acapela Group ay gumagawa, bukod sa iba pa, ng mga teknolohiya para sa mga batang may suliranin sa pagsasalita. Pinapalawak ng synthetic speech ang kanilang kakayahang magpahayag at maging mas malaya, habang napapanatili ang kanilang natatanging tinig.

Edukasyon at Inklusibong Pagkatuto

Nakita na natin ang synthetic speech sa mga language learning app. Pero iyon ay maliit na bahagi pa lang ng kabuuan.

Halimbawa, ang isa sa mga hadlang sa independent learning ay ang kakayahang magbasa. Para sa mga bata, taong may kapansanan sa paningin, at ilang may learning disability, hindi ito laging posible. Nagdudulot ito ng dagdag na pasanin sa mga guro na labis na ang trabaho sa masisikip na klase.

Isang school district sa California ang gumamit ng TTS para makalikha ng mas inklusibong kapaligiran sa pagkatuto para sa mga estudyanteng may espesyal na pangangailangan.

Katulad ng sa eldercare, umaasa ang educational technology sa mahinahong boses na malinaw at may diin. Dahil napapalitan ang mga parameter, nagiging posible para sa mga guro na isama ang mga teknolohiyang ito sa kanilang mga aralin, kaya mas nararamdaman ng mga estudyante na kabilang sila.

Kunin ang Pinakamainam na TTS para sa Iyong Pangangailangan

Anuman ang iyong industriya, masasabi nating mahalaga ang voice AI. At ang TTS na gagamitin mo ay literal na magsasalita para sa negosyo mo, kaya dapat itong mapagkakatiwalaan at madaling iakma.

Pinapahintulutan ka ng Botpress na bumuo ng makapangyarihan at lubos na nako-customize na mga bot gamit ang hanay ng mga integration at deployment sa lahat ng karaniwang daluyan ng komunikasyon. Hindi lang kahanga-hanga ang iyong voice agent, gumagana pa ito.

‍Simulan ang paggawa ngayon. Libre ito.

FAQs

Mayroon bang mga wika o diyalekto na nahihirapan suportahan ng mga TTS system?

Oo, may mga wika at diyalekto na nahihirapan ang mga TTS system na suportahan, lalo na ang mga wikang kulang sa malalaking dataset ng naitalang pagsasalita at teksto. Ang mga baryasyon tulad ng rehiyonal na diyalekto, tonal na wika, at katutubong wika ay madalas na hamon dahil nangangailangan ito ng mas detalyadong tuntunin sa bigkas at ritmo na hindi pa natutunan ng karaniwang modelo. Kahit sa malalawak na wika, ang pagkakaiba sa diyalekto ay maaaring magdulot ng maling bigkas o hindi natural na tunog.

Gaano nako-customize ang mga boses ng TTS pagdating sa taas ng tono, bilis, at damdamin?

Ngayon, napaka-naiiba na ng mga boses ng TTS—maaari nang baguhin ang tono, bilis, at damdamin dahil sa makabagong neural network na nagbibigay ng kontrol sa paraan ng pagsasalita at istilo. Maraming TTS system ang nagpapahintulot sa mga gumagamit na ayusin ang bilis ng pagsasalita, intonasyon, lakas ng tunog, at ekspresyon depende sa sitwasyon, tulad ng kalmadong pagsasalaysay, masiglang anunsyo, o may malasakit na usapan. Pero nagkakaiba-iba ang antas ng kontrol depende sa provider—may ilan na basic lang ang pagpipilian, habang ang iba ay may detalyadong settings para sa emosyon at tunog ng boses.

Gaano ka-secure ang voice data na pinoproseso ng mga TTS system?

Ang seguridad ng voice data na pinoproseso ng TTS system ay nakadepende sa provider at paraan ng deployment. Karaniwan, ang cloud-based na TTS services ay nag-e-encrypt ng data habang ipinapadala at nakaimbak, ngunit ang pagpapadala ng sensitibong impormasyon sa panlabas na server ay maaaring magdulot pa rin ng panganib sa privacy kung walang tamang kasunduan at pagsunod tulad ng GDPR o HIPAA. Mas mataas ang seguridad ng on-premises o edge deployment dahil hindi umaalis sa imprastraktura ng organisasyon ang audio at teksto, kaya nababawasan ang exposure sa ikatlong partido.

Gaano kamahal ang pagpapatupad ng dekalidad na TTS solutions para sa mga negosyo?

Ang pagpapatupad ng de-kalidad na mga solusyon sa TTS para sa mga negosyo ay maaaring magsimula sa ilang daang dolyar bawat buwan para sa cloud-based na API na may katamtamang paggamit, hanggang sa sampu o daan-daang libo para sa pasadyang pagbuo ng boses o on-premises na enterprise deployment. Karaniwan, kasama sa gastos ang bayad sa lisensya, bayad bawat karakter o minuto ng paggamit, gastos sa integrasyon at pag-develop, at posibleng bayad sa voice talent kung gagawa ng pasadyang boses. Madalas magsimula ang maliliit na negosyo sa mga serbisyong batay sa subscription, habang ang malalaking kumpanya ay maaaring mag-invest sa sariling solusyon para sa pagkakapare-pareho ng tatak at privacy.

Gaano karaming training data ang kailangan para makabuo ng de-kalidad na TTS na boses?

Karaniwan, ang paggawa ng de-kalidad na TTS na boses ay nangangailangan ng ilang oras hanggang dose-dosenang oras ng malinis at propesyonal na naitalang pagsasalita, mas mainam kung mula sa iisang tagapagsalita at pare-pareho ang recording conditions. Ang mga modernong neural TTS system tulad ng Tacotron o FastSpeech ay nakakamit ng disenteng kalidad kahit 2–5 oras lang ng datos, ngunit para sa tunay na natural, expressive, at matibay na boses, kadalasan ay kailangan ng 10–20 oras o higit pa. Para sa voice cloning o napaka-expressive na boses, mas malalaking dataset at mas sari-saring recording na sumasaklaw sa iba't ibang estilo, emosyon, at konteksto ang kailangan.