O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Pyž, Gražina „Lietuviškų fonemų dinaminių modelių analizė ir sintezė“

584 visualizações

Publicada em

Pranešimas XVI kompiuterininkų konferencijos sekcijoje „Lietuvių kalba kompiuterinėse technologijose“,
„Kompiuterininkų dienos – 2013“, Šiauliai 2013-09-21

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Pyž, Gražina „Lietuviškų fonemų dinaminių modelių analizė ir sintezė“

  1. 1. Kompiuterininkų dienos 2013, Šiauliai Lietuviškų fonemų dinaminių modelių analizė ir sintezė Gražina Pyž1 Virginija Šimonytė2 Vytautas Slivinskas2 1 VU Matematikos ir informatikos institutas 2 Lietuvos edukologijos universitetas
  2. 2. 2 Tyrimų sritis Kalbos sintezės metodai: • Konkatenacinė sintezė • Formantinė sintezė Konkatenacinė sintezė remiasi į duomenų bazę įrašytais natūralios kalbos segmentais, kurie sintezės metu yra jungiami į žodžius. Formantinėje sintezėje šnekos išėjimas yra sukuriamas naudojant adityvią sintezę ir akustinį modelį.
  3. 3. 3 Aktualios problemos Garsai, sintezuoti formantinės sintezės metodu, skamba nenatūraliai (panašiai kaip roboto šneka). Siekiant sumažinti sintetinį skambėjimą, būtina kurti naujus kalbos garsų matematinius modelius, kurie gali būti naudojami kaip sintezatoriaus bazė.
  4. 4. 4 Darbo tyrimo objektas Darbo tyrimo objektas yra dinaminiai lietuviškos šnekos balsių ir pusbalsių fonemų modeliai.
  5. 5. 5 Tyrimo metodika • Skaitmeninis signalų apdorojimas, • sistemų teorija, • optimizavimo metodai, • matricų teorija, • matematinė statistika, • programavimas Matlab aplinkoje, • programavimas C # kalba.
  6. 6. 6 Praktinė darbo reikšmė Pasiūlyti balsių ir pusbalsių fonemų dinaminiai modeliai gali būti panaudoti kuriant formantinį kalbos sintezatorių. Fonemų modeliai taip pat gali būti pritaikyti kitoms problemoms spręsti, pavyzdžiui, gydant kalbos sutrikimus, mokantis užsienio kalbų ar taisyklingo žodžių tarimo.
  7. 7. 7 Lietuvių kalbos fonemos
  8. 8. 8 Balsių fonemos • Trumpas nekirčiuotas balsis (mama) • Trumpas kirčiuotas balsis (lazda) • Ilgas nekirčiuotas balsis (drąsa) • Ilgas balsis kirčiuotas dešininiu kirčio ženklu (k rdas) • Ilgas balsis kirčiuotas riestiniu kirčio ženklu ( čiū)
  9. 9. 9 Balsių fonemų pagrindinio tono kitimo tendencijos Pagrindinis tonas [Hz] 270 250 230 210 190 170 150 "a" "e" "ė" "i" "o" "u" Trumpas nekirčiuotas balsis Trumpas kirčiuotas balsis Ilgas nekirčiuotas balsis Ilgas balsis kirčiuotas dešininiu kirčio ženklu Ilgas balsis kirčiuotas riestiniu kirčio ženklu
  10. 10. 10 Pusbalsių fonemos • Nekirčiuotas pusbalsis ( lsas) • Kirčiuotas pusbalsis (vi kas) • Minkštas nekirčiuotas pusbalsis (valia) • Minkštas kirčiuotas pusbalsis (gu ti)
  11. 11. 11 Pagrindinis tonas [Hz] Pusbalsių fonemų pagrindinio tono kitimo tendencijos 210 190 170 150 "j" "l" "m" "n" "r" "v" Nekirčiuotas pusbalsis Kirčiuotas pusbalsis Minkštas nekirčiuotas pusbalsis Minkštas kirčiuotas pusbalsis
  12. 12. 12 Balsiai ir pusbalsiai – periodiniai signalai B a l s i s /a/ P u s b a l s i s /m/
  13. 13. 13 Siūlomi sintezės metodai • Harmoninis Fonemos signalas išskaidomas į harmonikas • Formantinis Fonemos signalas išskaidomas į formantes
  14. 14. 14 Fonemos signalo padalinimas į harmonikas •
  15. 15. 15 Amplitudė [vnt.] Amplitudinės dažnuminės charakteristikos padalinimas į dažnių juostas (1) Dažnis [Hz] 15
  16. 16. 16 16
  17. 17. 17 Amplitudė [vnt.] Amplitudinės dažnuminės charakteristikos padalinimas į dažnių juostas (2) 17 Dažnis [Hz]
  18. 18. 18 Pirmosios trys fonemos /a:˜/ harmonikos 18
  19. 19. 19 Amplitudė [dB] Fonemos signalo padalinimas į formantes Dažnis [Hz] Formantės – spektro gaubtinės maksimumai
  20. 20. 20 Pirmosios trys fonemos /a:˜/ formantės 20
  21. 21. 21 Fonemos signalo modelio diagrama
  22. 22. 22 Impulsinės charakteristikos modelis
  23. 23. 23 Signalo išskaidymas į bazinių signalų matricą ir koeficientų vektorių (1) y N y ( 0 ), y (1), , y ( 2 ), y(N 1) T fonemos signalo atskaitos N Vektorius y gali būti išreikštas kaip matricos Ψ ir vektoriaus α sandauga: y čia α αk A k 1 sin( k1 ), A k 1 cos( Ψ( ) θ T N T Ψ( ) α T T [α 1 α 2  α K ] k1 ), A k 2 sin( k2 koeficientų vektorius ), bazinių signalų matrica 1 , 1 , , A k 2 cos( k2 ), k k A k 3 sin( 2 , K ), A k 3 cos( fk t, k t, Ak 1 K k3 ak1, Ak 2 ak 2 t, Ak 3 ak 3 t , 2 k 1, ..., K . k3 ) T
  24. 24. 24 Signalo išskaidymas į bazinių signalų matricą ir koeficientų vektorių (2) Prielaida: impulsinė charakteristika užgęsta po trijų periodų y M y ( 0 ), y (1), y ( 2 ), y , M y(M 1) Φ (θ ) α T vieno fonemos periodo atskaitos e
  25. 25. 25 Charakteringojo periodo išrinkimas (1) Periodas, kurio amplitudė didžiausia, laikomas charakteringuoju periodu
  26. 26. 26 Amplitudė [vnt.] Charakteringojo periodo išrinkimas (2) Laikas [s]
  27. 27. 27 Impulsinės charakteristikos parametrų įvertinimas r2 θ PΦ θ M PΦ Φ Φ Φ θ y 1 M Φ 2 , ΙM ΦΦ . 27
  28. 28. 28 Levenbergo-Markvarto metodas (Levenberg, 1944; Marquardt, 1963) , Iteracinė parametrų įvertinimo lygtis: θ l 1 θ l V θ Vθ T l l čia V θ cl D PΦ θ y, cl I 2 K D b θ 0 .001 , 1 V θ bθ , l T l θ PΦ θ l 0 , 1,  , y. G. Golub, V. Pereyra parodė, kad: D PΦ θ PΦ θ D Φ B ( PΦ θ D Φ B) T
  29. 29. 29 Impulsinių charakteristikų parametrų įvertinimo algoritmas 29
  30. 30. 30 Vieno-įėjimo ir vieno-išėjimo sistema su vienetinių impulsų įėjimais Jei į sistemos įėjimą paduosime vienetinius impulsus vienodais laiko tarpais, išėjime gausime signalą su identiškais periodais
  31. 31. 31 Fonemos signalo modelio diagrama
  32. 32. 32 Amplitudė [vnt.] Sistemos įėjimų parinkimas Laikas [s] 1) 2) 3) Fonemos signalas dalinamas į periodus ir užfiksuojami padalinimo taškai Fonemos signalo komponentės dalinamos į periodus Perioduose surandami lokalūs maksimumo taškai
  33. 33. 33 Pirmų trijų fonemos /a:˜/ MISO sistemos kanalų įėjimai
  34. 34. 34 Amplitudė [vnt.] Bendra įėjimų kreivė Laikas [s]
  35. 35. 35 Eksperimentiniai tyrimai Eksperimentuose naudojamos realių garsų atskaitos Garso formato parametrai: PCM 48 kHz, 16 bitų; stereo
  36. 36. 36 Balsių ir pusbalsių modeliavimas harmoniniu ir formantiniu metodais 28 balsių fonemos 19 pusbalsių fonemų
  37. 37. 37 Fonemos /a/ tikro ir modelinio signalų spektrai
  38. 38. 38 Balsių modeliavimo tikslumas Formantinis metodas Harmoninis metodas
  39. 39. 39 Pusbalsių modeliavimo tikslumas Formantinis metodas Harmoninis metodas
  40. 40. 40 Rezultatai ir išvados 1. Lietuvių kalboje yra devyniasdešimt dvi fonemos. Dvidešimt aštuonios iš jų yra balsių fonemos, devyniolika – pusbalsių fonemos. Balsiai ir pusbalsiai yra periodiniai signalai. 2. Nekirčiuotų balsių ir pusbalsių fonemų pagrindiniai tonai yra didesni už tų pačių kirčiuotų balsių ir pusbalsių fonemų pagrindinius tonus. 3. Harmoninis metodas naudoja aukštesnės eilės modelius su didesniu parametrų skaičiumi palyginus su formantiniu metodu, tačiau garsai sintezuoti harmoniniu metodu skamba natūraliau. Visų vyriškų ir moteriškų balsių signalų spektrų vidutinių kvadratinių paklaidų vidurkis yra lygus 13.9 % formantinio metodo atveju ir 12.4 % harmoninio metodo atveju. Visų vyriškų ir moteriškų pusbalsių signalų spektrų vidutinių kvadratinių paklaidų vidurkis yra lygus 19.9 % formantinio metodo atveju ir 16.7 % harmoninio metodo atveju.
  41. 41. Ačiū už dėmesį

×