Taal met één hand

Taal met één hand
Een spraaksyntheseproject
Taal- en spraaktechnologie: groepsproject
Benno Kruit, Sjoerd Dost,
Gwendolijn Schropp, Rick Sen
Deel 1: Grapheem naar Foneem
• Omzetten van monosyllabe woorden naar
foneemnotatie
• ±5500 woorden
• Voornamelijk Nederlandse woorden
• Enkele honderden leenwoorden uit Engels,
Frans, Duits en Joods
• Aparte transducers voor onset, coda, nucleus
+ eindcheck + uitzonderingen
Deel 1: Resultaat
• Code voor onset en coda gebaseerd op lengte
• Code voor nucleus gebaseerd op drieklank,
lange klank of korte klank
• Ongeveer 300 uitzonderingen
– Leenwoorden
– Ch als in ‘chijl’, ch als ‘chef’. Kleinere deel wordt
uitzonderingen.
Deel 2: Duren en Intonatie
• Doel: gegeven code aanpassen en verbeteren:
foneemnotatie omzetten tot klanken met
behulp van MBROLA.
• Vervolgens code deel 1 en 2 achter elkaar
plakken.
Deel 2: Resultaat
• Gegeven code in goede staat: er hoefde maar
weinig aangepast te worden om een
werkende foneem-MBROLA-transducer te
krijgen.
• Toevoeging van klankparen:
– ‘R’ gevolgd door ‘t’ geeft beide duur van 60 ms.
• Daarnaast verbetering van duur van enkele
klanken: ‘I’ iets korter, ‘A’ iets langer.
Deel 2: Duren en Intonatie
• Een voorbeeld:
http://www.phil.uu.nl/~sen/output2.wav
Deel 3: Zinssynthese
• Opdracht: omzetten van monosyllabentekst
tot natuurlijke spraak
• We maken gebruik van grafeem-foneemomzetter
• Grafeen-MBROLA-omzetter:
– Duren kunnen we gebruiken
– Toonhoogteregeling moet anders voor een zin
Deel 3: Zinssynthese (poging 1)
• Eerste stap: invoer opbreken in werkbare
“zinnen”; opdelen bij komma, punt, etc.
• Ons eerste doel: bereken toonhoogte woord
n.a.v. aantal woorden in de “zin”:
– Woorden tellen
– Rekenen
• Blijkt lastig in macro-omgeving.
• Andere oplossing…
Deel 3: Zinssynthese (poging 2)
• Wanneer mens begint aan spraak, weet hij
ook niet altijd wanneer hij klaar zal zijn.
Oplossing:
– Hoog beginnen
– Elk woord aantal Hertz lager
– Speciale woorden benadrukken
• Voorbeeld hier:
http://www.phil.uu.nl/~sen/output.wav
Pitchcontour van de zin: “Het viel mij op dat het soms lijkt op de stijl van Piet Grijs”
Machine
Mens