Czym jest synteza mowy (TTS)?

Holenderski ChatGPT mówi z niemieckim akcentem (czasami). Jeśli to celowe, to nieładnie. Jeśli nie, to fascynujące.

Tak czy inaczej, można śmiało powiedzieć, że asystenci głosowi AI przeszli długą drogę od Microsoft Sam. W rzeczywistości przeszli ogromną drogę nawet od czasu, gdy kilka lat temu studiowałem technologię mowy.

I właśnie o tym chcę dziś opowiedzieć.

Mitologizujemy syntezę mowy co najmniej od 1968 roku, od pojawienia się robota HAL w filmie 2001: Odyseja kosmiczna.

Zamiast być czymś prestiżowym i futurystycznym, synteza mowy stała się standardem: 89% konsumentów uzależnia wybór urządzenia od tego, czy obsługuje ono głos.

Innymi słowy: „Nie tylko mi pomóż; porozmawiaj ze mną”.

W tym artykule opowiem o syntezie mowy – czyli o zamianie tekstu na mowę. Wyjaśnię, jak działa ta technologia i jak jest wykorzystywana w różnych branżach.

Czym jest synteza mowy?

TTS to proces zamiany tekstu na wygenerowaną mowę. Wczesne wersje opierały się na mechanicznym odwzorowaniu ludzkiego aparatu mowy i łączeniu nagrań. Obecnie systemy TTS wykorzystują głębokie sieci neuronowe, by generować dynamiczne, naturalnie brzmiące wypowiedzi.

Istnieją różne modele, w zależności od zastosowania – np. generowanie w czasie rzeczywistym dla modeli konwersacyjnych, kontrola ekspresji czy możliwość odwzorowania konkretnego głosu.

Jak działa synteza mowy?

TTS składa się z 3 głównych etapów: najpierw tekst wejściowy jest przetwarzany, aby rozwinąć symbole, wyrażenia i skróty. Następnie przetworzony tekst trafia do sieci neuronowych, które zamieniają go w reprezentację akustyczną (spektrogram). Na końcu ta reprezentacja jest przekształcana w mowę.

Jak wspomniałem, badacze testowali różne podejścia do TTS. Obecnie dominuje (i pewnie jeszcze długo pozostanie) synteza mowy oparta na sieciach neuronowych.

Modelowanie warstw zjawisk językowych wpływających na wypowiedź – wymowa, tempo, intonacja – to złożone zadanie.

Nawet przy niemal magicznych możliwościach sieci neuronowych, system TTS opiera się na wielu elementach, by jak najlepiej odwzorować mowę.

Trudno wskazać jeden uniwersalny schemat działania; nowe technologie pojawiają się bardzo szybko, wypierając poprzednie rozwiązania.

Istnieje jednak kilka ogólnych komponentów, które występują w większości systemów TTS w takiej czy innej formie.

1. Przetwarzanie tekstu

Przetwarzanie tekstu to etap, w którym system TTS ustala, jakie słowa mają zostać wypowiedziane. Skróty, daty i symbole walut są rozwijane, a znaki interpunkcyjne usuwane.

To nie zawsze jest proste. Czy „Dr.” oznacza doktora czy ulicę? A CAD? dolar kanadyjski czy projektowanie wspomagane komputerowo?

Do przetwarzania tekstu można wykorzystać przetwarzanie języka naturalnego (NLP), by przewidzieć właściwe znaczenie na podstawie kontekstu. Analizuje ono, jak niejednoznaczny termin (np. „Dr.”) pasuje do całego zdania, więc w wyrażeniu „Dr. Perron odradził to”, NLP rozpozna dr. jako doktora.

2. Analiza językowa

Po przetworzeniu tekstu model przechodzi od „Co powiedzieć?” do „Jak to powiedzieć?”

Analiza językowa to część TTS odpowiedzialna za interpretację, jak zdanie powinno być wypowiedziane pod względem wysokości, tonu i długości dźwięków. Innymi słowy:

• Jak długo powinien trwać każdy dźwięk, sylaba lub słowo?
• Czy intonacja powinna rosnąć? Opadać?
• Które słowo jest akcentowane?
• Jak zmiana głośności może oddać zamierzoną emocję?

Dlaczego prozodia jest ważna

Z życia: przez krótki czas doradzałem zespołowi budującemu modele TTS. Szybko się przekonałem, jak bardzo prozodia wpływa na zrozumiałość zdania. Zaraz pokażę, o co chodzi.

Oto 3 sposoby wypowiedzenia zdania „Whoa, spodziewałeś się tego?”

Pierwszy jest świetny. Pauza po „Whoa”, podniesienie tonu na drugiej sylabie „expecting” (ex-PEC-ting). 10/10.

Drugi ledwo oddaje charakter pytania, podnosząc ton tylko na ostatnim słowie („... expecting THAT”). Poza tym reszta sylab jest mniej więcej tej samej długości, bez zmian w głośności czy tonie. Powiedziałbym klientom, żeby „wrócili do deski kreślarskiej”.

Ostatni przypadek jest ciekawy: „whoah” brzmi świetnie – głośno, długo i z opadającą melodią. Wzrost intonacji pytania pojawia się na „were you” i utrzymuje się na stałym poziomie.

Na tym etapie zatrzymuje się wiele przeciętnych systemów TTS: prosta, poprawna realizacja. Ale to nie tak, jak powiedziałby to człowiek – przynajmniej w większości sytuacji.

W starszych systemach te cechy przewidywały osobne moduły: jeden określał długość dźwięków, inny rozkład wysokości tonu.

Obecnie granice się zacierają.

Sieci neuronowe same uczą się tych wzorców, przyswajając subtelności z ogromnych zbiorów danych.

3. Modelowanie akustyczne

Modelowanie akustyczne to etap, w którym znormalizowany tekst (i przewidziane cechy językowe, jeśli są) trafia do sieci neuronowej, która generuje reprezentację pośrednią.

Spektrogramy i reprezentacje mowy

Reprezentacją pośrednią jest zazwyczaj spektrogram – czyli obraz pokazujący częstotliwości w czasie – choć to się zmienia.

Oto reprezentacja wygenerowana przez model TTS na podstawie tekstu „Whoa, were you expecting that?”:

‍

Ten dwuwymiarowy obraz to w rzeczywistości 146 pionowych pasków, z których każdy zawiera 80 częstotliwości. Jaśniejsze miejsca to silniejsze częstotliwości, ciemniejsze – słabsze.

Tak wygląda dziesiąty krok czasowy (lub kolumna), obrócony o 90 stopni w prawo:

Widać tu poszczególne częstotliwości i ich energie.

Na pierwszy rzut oka spektrogram nie wygląda imponująco, ale można tu dostrzec wyraźne zjawiska językowe:

• Te wyraźnie zarysowane linie to samogłoski lub dźwięki podobne do samogłosek, takie jak /w/, /r/ i /l/.
• Ciemne miejsca oznaczają ciszę. Mogą to być pauzy na przecinki czy kropki.
• Skupiska energii wysoko to szumy, jak te słyszane w /s/, /sh/ i /f/

W rzeczywistości, jeśli się przyjrzeć, można nawet dopasować słowa do spektrogramu.

Spektrogramy, w różnych wariantach, są szeroko stosowane w technologii mowy, bo stanowią świetne ogniwo pośrednie między surową mową a tekstem.

Dwa nagrania tego samego zdania, wypowiedziane przez różnych mówców, będą miały zupełnie inne przebiegi falowe, ale bardzo podobne spektrogramy.

4. Synteza dźwięku (wokodowanie)

Etap syntezy to moment, w którym spektrogram zamieniany jest na dźwięk.

Technologia odpowiedzialna za tę konwersję nazywa się wokoderem. To modele sieci neuronowych, które uczą się odtwarzać sygnał mowy na podstawie jej reprezentacji spektrogramowej.

Powód, dla którego rozdziela się modelowanie reprezentacji i sygnału mowy na osobne moduły, to kwestia kontroli: pierwszy odpowiada za precyzyjne odwzorowanie wymowy i realizacji słów, a drugi za styl i realizm wypowiedzi.

Dzięki spektrogramowi możemy rozróżnić np. /s/ od /sh/ czy /ee/ (jak w heat) od /ih/ (jak w hit), ale to wokoder odpowiada za szczegóły stylu i osobowości głosu.

Oto porównanie różnych kombinacji modeli akustycznych i wokoderów. Pokazuje ono, jak badacze łączą różne modele akustyczne i wokodery, by uzyskać jak najlepszy efekt końcowy.

Ale, podobnie jak w przypadku innych komponentów, obserwujemy odchodzenie od spektrogramów na rzecz modeli typu all-in-one.

Jakie są zastosowania TTS?

Możliwość generowania dynamicznej mowy to kluczowe narzędzie w wielu branżach.

Nie chodzi tylko o zaawansowane roboty – TTS pozwala zwiększyć efektywność, dostępność i bezpieczeństwo.

Chatboty i asystenci głosowi

Wiedziałeś, że to powiem 😉

Między rozumieniem poleceń, aktualizowaniem list zakupów a ustawianiem spotkań łatwo zapomnieć, jak zaawansowana – i istotna – jest synteza mowy w agentach AI.

Dobry agent (czyli użyteczny) musi mieć głos, który pasuje do roli: na tyle przyjazny, by zachęcać do wydawania poleceń, i na tyle ludzki, by użytkownik uwierzył, że je wykona.

Wiele badań i pracy inżynierskiej poświęca się temu, by w ułamku sekundy przekonać użytkownika, że asystent AI brzmi „właściwie”.

Z biznesowego punktu widzenia: Twój chatbot reprezentuje Twoją markę. Postęp w technologii TTS to szansa na lepszy branding głosowy i skuteczniejszą obsługę klienta.

Nawigacja i transport

Nic tak nie uświadamia znaczenia dobrego TTS, jak GPS, który podczas jazdy nieczytelnie przekręca nazwę ulicy.

Nawigacja GPS to świetny przykład, gdzie TTS się sprawdza: gdy wzrok jest zajęty, przekaz głosowy to nie tylko wygoda, ale i kwestia bezpieczeństwa.

To samo dotyczy lotnisk i transportu publicznego. W złożonych, zatłoczonych systemach, takich jak dworce czy terminale, synteza mowy jest niezbędna.

Bez TTS polegamy na żywych zapowiedziach, które często są pośpieszne i niezrozumiałe, albo na poskładanych nagraniach nazw, terminali, godzin itp., które trudno się odbierać.

Badania pokazują silny związek między naturalnością a zrozumiałością – wysokiej jakości TTS to podstawa w nowoczesnym transporcie.

Rozrywka i media

Narracja i wielojęzyczne treści stały się bardziej dostępne dzięki rozwojowi syntezy mowy.

Technologia mowy nie zastępuje aktorów, lecz wzmacnia ich możliwości wyrazu.

Val Kilmer, który stracił głos z powodu raka krtani, wystąpił w Top Gun: Maverick (2022) dzięki AI, używając swojego oryginalnego głosu.

TTS pozwala też twórcom gier nadawać postaciom niezależnym (NPC) różnorodne, ekspresyjne wypowiedzi, co wcześniej było praktycznie niemożliwe.

Opieka zdrowotna

Postęp w TTS to także lepsza dostępność dla wszystkich.

Technologie dla seniorów łączą funkcje towarzyskie i pomocowe. Kluczowa jest tu możliwość dostosowania TTS: empatyczny ton, zmienna prędkość i staranna intonacja pozwalają zapewnić skuteczną i godną pomoc.

TTS poprawia też dostępność dla młodszych użytkowników.

Acapela Group opracowuje m.in. technologie dla dzieci z zaburzeniami mowy. Synteza mowy wspiera ich ekspresję i samodzielność, zachowując indywidualne cechy głosu.

Edukacja i nauka włączająca

Syntezę mowy spotykamy w aplikacjach do nauki języków – ale to dopiero początek możliwości.

Przykładowo, barierą w samodzielnej nauce bywa umiejętność czytania. Dla dzieci, osób z wadami wzroku czy niektórymi trudnościami w uczeniu się, to nie zawsze możliwe. To dodatkowe obciążenie dla nauczycieli w przepełnionych klasach.

Okręg szkolny w Kalifornii wdrożył TTS, by stworzyć bardziej inkluzywne środowisko dla uczniów ze specjalnymi potrzebami.

Podobnie jak w opiece nad seniorami, technologie edukacyjne opierają się na empatycznych głosach, które mówią wyraźnie i z odpowiednim akcentem. Możliwość dostosowania parametrów pozwala nauczycielom lepiej włączać te narzędzia do lekcji i wspierać uczniów.

Wybierz najlepszy TTS dla swoich potrzeb

Niezależnie od branży, można śmiało powiedzieć, że AI głosowe ma znaczenie. A TTS, który wdrożysz, dosłownie przemawia w imieniu Twojej firmy – musi być niezawodny i elastyczny.

Botpress umożliwia budowanie zaawansowanych, w pełni konfigurowalnych botów z szeroką gamą integracji i wdrożeń na wszystkich popularnych kanałach komunikacji. Twój agent głosowy nie tylko zrobi wrażenie – po prostu zadziała.

Zacznij budować już dziś. To nic nie kosztuje.

Najczęstsze pytania

Czy są języki lub dialekty, z którymi systemy TTS mają trudności?

Tak, istnieją języki i dialekty, które sprawiają systemom TTS trudność, zwłaszcza te rzadziej używane, dla których brakuje dużych zbiorów nagrań i tekstów. Odmiany regionalne, języki tonalne czy rdzenne wymagają niuansów w wymowie i prozodii, których standardowe modele nie uczą się podczas treningu. Nawet w popularnych językach różnice dialektalne mogą prowadzić do błędnej wymowy lub nienaturalnego brzmienia.

Na ile można dostosować głosy TTS pod względem wysokości, szybkości i emocji?

Współczesne głosy TTS są bardzo elastyczne pod względem wysokości, tempa i wyrażania emocji, dzięki nowoczesnym architekturom sieci neuronowych umożliwiającym precyzyjną kontrolę prozodii i stylu. Wiele komercyjnych systemów TTS pozwala regulować tempo mówienia, intonację, głośność czy ton ekspresji – od spokojnej narracji, przez entuzjastyczne ogłoszenia, po empatyczny dialog. Zakres kontroli zależy jednak od dostawcy – niektórzy oferują tylko podstawowe suwaki, inni umożliwiają szczegółowe ustawienia emocji i barwy głosu.

Jak bezpieczne są dane głosowe przetwarzane przez systemy TTS?

Bezpieczeństwo danych głosowych w systemach TTS zależy głównie od dostawcy i sposobu wdrożenia. Usługi chmurowe zazwyczaj szyfrują dane w trakcie przesyłania i przechowywania, ale przesyłanie wrażliwych informacji na zewnętrzne serwery wiąże się z ryzykiem naruszenia prywatności, jeśli nie są spełnione odpowiednie wymogi, np. RODO czy HIPAA. Wdrożenia lokalne lub na brzegu sieci zapewniają wyższy poziom bezpieczeństwa, bo nagrania i teksty nie opuszczają infrastruktury organizacji, ograniczając dostęp osób trzecich.

Jak kosztowne jest wdrożenie wysokiej jakości rozwiązań TTS dla firm?

Wdrożenie wysokiej jakości TTS w firmie może kosztować od kilkuset dolarów miesięcznie za chmurowe API przy umiarkowanym użyciu, do dziesiątek lub setek tysięcy za opracowanie własnego głosu lub wdrożenie lokalne na poziomie korporacyjnym. Koszty obejmują licencje, opłaty za znaki lub minuty, integrację i prace deweloperskie, a w przypadku własnego głosu także honoraria lektorskie. Małe firmy zwykle zaczynają od subskrypcji, a większe inwestują w rozwiązania szyte na miarę dla spójności marki i ochrony danych.

Ile danych treningowych potrzeba, by stworzyć wysokiej jakości głos TTS?

Stworzenie wysokiej jakości głosu TTS wymaga zazwyczaj od kilku do kilkudziesięciu godzin czystych, profesjonalnych nagrań tej samej osoby, w stałych warunkach. Nowoczesne systemy neuronowe, jak Tacotron czy FastSpeech, osiągają przyzwoitą jakość już przy 2–5 godzinach materiału, ale by uzyskać naturalny, ekspresyjny i odporny na błędy głos, potrzeba zwykle 10–20 godzin lub więcej. Do klonowania głosu czy uzyskania bardzo ekspresyjnych efektów niezbędne są jeszcze większe i bardziej zróżnicowane zbiory nagrań obejmujące różne style, emocje i konteksty.