Fala e Movimentação Facial
em Avatares
Alexandre Magno Maciel
magnomaciel@hotmail.com
Ricardo de Oliveira Schmidt
schmidt@...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Módulo Text-To-Speech
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Definição: “Geração au...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Processo de síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Processo de síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Processo de síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Processo de síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Processo de síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Geração do áudio:
– Sí...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Geração do áudio:
– Sí...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Trabalhos realizados:
...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Trabalhos realizados:
...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Trabalhos realizados:
...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Trabalhos realizados:
...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Síntese de voz
• Aplicações Comerciais
...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Módulo Extração de Fonemas
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
• Processo de reconhecimento de padrões...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Extração de Parâm...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Extração de Parâm...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Extração de Parâm...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Comparação dos Pa...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Trabalhos Realiza...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Extração de Fonemas
• Trabalhos Realiza...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Interpretação de Visemas
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Interpretação de Visemas
• Associação e...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Etapa de Animação
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Etapa de Animação
• Construção da anima...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Aminação Facial
• Parametrização ideal ...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Aminação Facial
• Facilidade de uso
– N...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Aminação Facial
• Abstração de alto-nív...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Aminação Facial
• Portabilidade
– Troca...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Trabalhos
1. Um sistema para Síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Trabalhos
1. Um sistema para Síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
• Parâmetros pré-calculados
– ...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
• Busca pelas respectivas FAPs...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
• Algoritmo de deformação
– In...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Offline
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Módulos da
Análise fonética
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Animação
Padrão
MPEG-4
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Trabalhos
1. Um sistema para Síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Java e Virtual Reality Mode...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Dividido em 2 módulos:
– Cr...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
O que é Entrada Saída
Express...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Cada expressão criada indiv...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Biblioteca básica de expres...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
Ahh Ohh esquerda direita
Dúvi...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
Expressões básicas
Expressões...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Ações
– Piscar, falar um fo...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
InterFace
• Exemplos de grupos de ações...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Trabalhos
1. Um sistema para Síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Objetivos
• Definição de representações...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Movimentação Facial
• Idéia de pontos d...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Movimentação Facial
• Articulação tempo...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Movimentação Facial
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Trabalhos
1. Um sistema para Síntese de...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Objetivos
• Sistema para geração de exp...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Sistema
• VeeM (Virtual emotion-to-expr...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Sistema
• DynaFeX (Dynamic Facial eXpre...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Familias de emoção
Robert Plutchik
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
VeeM
Alegria-Tristeza
combinada com
Med...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
VeeM
Alegria-Tristeza
combinada com
Con...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
VeeM e Parametrização Ideal
• VeeM em r...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
MPEG-4
• MPEG-4 para especificação de u...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
MPEG-4
• A partir de Feature Points (po...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
MPEG-4
• Visemas e Lip-Sync no MPEG-4
–...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
MPEG-4
• Combinação de visemas
– Cuidan...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
DynaFeX
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Referências
1. TATHAM, M., “Development...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Referências
4. FECHINE, J.M. “Reconheci...
Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br}
Referências
7. WEY, J. “InterFace: Um S...
Fala e Movimentação Facial
em Avatares
Alexandre Magno Maciel
magnomaciel@hotmail.com
Ricardo de Oliveira Schmidt
schmidt@...
Próximos SlideShares
Carregando em…5
×

Fala e Movimentação Facial em Avatares

281 visualizações

Publicada em

Fala e Movimentação Facial em Avatares
Alexandre Magno Maciel
Ricardo de Oliveira Schmidt

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
281
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
5
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Fala e Movimentação Facial em Avatares

  1. 1. Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br
  2. 2. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Módulo Text-To-Speech
  3. 3. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Definição: “Geração automática pelo computador de formas de onda de voz” [TAH05] • Outras denominações: Sistema de resposta vocal ou Text-To-Speech (TTS) • Dilema: Produção X Reprodução
  4. 4. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Processo de síntese de voz: Pré-processamento Conversão ortográfico-fonética Processamento prosódico SínteseTexto Sinal de voz Baixo nível Alto nível
  5. 5. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Processo de síntese de voz: – Normalização: encontrar equivalentes “por extenso” ex: símbolos ($ %), datas, pontuação (, .) Pré-processamento Conversão ortográfico-fonética Processamento prosódico SínteseTexto Sinal de voz
  6. 6. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Processo de síntese de voz: – Conversão ortográfico-fonética: encontrar seqüência correta de fonemas ex: letra “x” -> xumbo, exame, tórax “o piloto morreu”; “eu piloto bem” Pré-processamento Conversão ortográfico-fonética Processamento prosódico SínteseTexto Sinal de voz
  7. 7. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Processo de síntese de voz: – Cálculo de intensidade e duração ex: pausas entre palavras, entonação (sentenças declarativas, imperativas e interrogativas) Pré-processamento Conversão ortográfico-fonética Processamento prosódico SínteseTexto Sinal de voz
  8. 8. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Processo de síntese de voz: – Geração do áudio – Estratégias: concatenativa formantes articulatória Pré-processamento Conversão ortográfico-fonética Processamento prosódico SínteseTexto Sinal de voz
  9. 9. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Geração do áudio: – Síntese concatenativa : segmentos de áudio pré-gravadas a partir de um inventário de unidades previamente construído. – Tamanho das unidades: • Palavras • Silabas (Demissílabas) • Fones (Difones)
  10. 10. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Geração do áudio: – Síntese de formantes: modelo acústico que forma o áudio de acordo com uma série de parâmetros – Síntese articulatória: gera o sinal de voz através da modelação das características físicas, anatômicas e fisiológicas do aparelho humano produtor de voz
  11. 11. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Trabalhos realizados: – Simões, 1999 (dissertação - UNICAMP) • Dicionário de 2450 unidades • Síntese concatenativa • Voz masculina
  12. 12. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Trabalhos realizados: – Carvalho, 2005 (INESC) • DIXI • Síntese concatenativa • Dicionário de 4000 unidades • Vozes masculina e feminina
  13. 13. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Trabalhos realizados: – DOSVOX (UFRJ) ... 2008 • Auxílio deficientes físicos • Software livre
  14. 14. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Trabalhos realizados: – MATRACA (UFCG) ... 2008 • Auxílio deficientes físicos • Software livre
  15. 15. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Síntese de voz • Aplicações Comerciais – IBM ViaVoice 8.0 – NUANCE Dragon Systems – Jaws for Windows
  16. 16. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Módulo Extração de Fonemas
  17. 17. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} • Processo de reconhecimento de padrões Extração de Fonemas [FEC02]
  18. 18. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Extração de Parâmetros: – Dar representatividade – Compactar (redução dimensionalidade) – Simplicidade computacional • Principais Parâmetros: – Energia por segmento; – Taxa cruzamento por zero; – Número total e diferença entre picos; – Coeficiente de Correlação Normalizado. [FEC02]
  19. 19. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Extração de Parâmetros – Pré-Processamento: • Pré-ênfase (filter) • Segmentação (frames) • Janelamento (stationary) Palavra “zero” após pré-ênfase Segmento Janelamento [FEC02]
  20. 20. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Extração de Parâmetros: – Principais técnicas: [DIM06] • Mel Frequency Cepstral Coding (MFCC) • Linear Predictive Coding (LPC) • Perceptual Linear Predictive (PLP) – Experimentos: • Comparador: HMM • Base de dados: – 11 locutores(7 MS,4 WS); – Treino: 3300 locuções; – Teste: 880 locuções; – Frases: 300
  21. 21. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Comparação dos Padrões: – Determinísticas: • Dynamic Time Warping; • Quantização Vetorial; • Redes Neurais. – Estatísticas • Função Densidade Probabilidade; • Modelos de Markov Escondidos.
  22. 22. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Trabalhos Realizados – Fechine, 2002 (UFCG) • Reconhecimento de Locutor • Independente do Texto • Base própria, 20 locutores • 20 sentenças por locutor • Parâmetros LPC (12) • Híbrido (QV + HMM)
  23. 23. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Extração de Fonemas • Trabalhos Realizados – Rustein, 1998 (UNICAMP) • Reconhecimento de fala • Independente de Locutor • Base própria, 30 locutores • 10 sentenças por locutor • Parâmetros diversos • Redes Neurais Backpropagation Kohonen Quantização Vetorial
  24. 24. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Interpretação de Visemas
  25. 25. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Interpretação de Visemas • Associação entre fonemas/vogais e seus respectivos visemas • Parâmetros emocionais • Energia • Parâmetros de animação
  26. 26. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Etapa de Animação
  27. 27. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Etapa de Animação • Construção da animação • Síntese de video ou técnicas de keyframing • Parâmetros ao modelo da face associados ao áudio
  28. 28. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Aminação Facial • Parametrização ideal para os sistemas de animação facial • Satisfazer todos os requisitos para um sistema de animação facial não é fácil
  29. 29. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Aminação Facial • Facilidade de uso – Número de parâmetros, complexidade e intuitividade – Maior a flexibilidade, maior a complexidade • Sutileza – Movimentos suaves
  30. 30. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Aminação Facial • Abstração de alto-nível – Controlar a face com alto-nível de abstração – Textos com marcações • Previsibilidade – O resultado da combinação de parâmetros deve ser previsível
  31. 31. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Aminação Facial • Portabilidade – Troca fácil de modelos faciais – Reuso de conjuntos de parâmetros • Medição dos parâmetros – Descritos em unidades físicas que possam ser visualmente medidas na face • Eficiência – Comunicação através da rede
  32. 32. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Trabalhos 1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
  33. 33. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Trabalhos 1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
  34. 34. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação • Parâmetros pré-calculados – Qualquer modelo possa ser animado – Usados pelo algoritmo de deformação – Definidos offline (antes da execução em tempo real) – Captura de pontos através de ferramentas • Feature Points • Vértices vizinhos (pesos)
  35. 35. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação
  36. 36. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação
  37. 37. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação • Busca pelas respectivas FAPs – Facial Animation Parameters – Por exemplo: • Instrução para abrir a boca
  38. 38. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação • Algoritmo de deformação – Integração dos elementos do processo
  39. 39. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação
  40. 40. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação Offline
  41. 41. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação Módulos da Análise fonética
  42. 42. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação
  43. 43. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Animação Padrão MPEG-4
  44. 44. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Trabalhos 1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
  45. 45. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Java e Virtual Reality Modeling Language • Sistema interativo para criação de diferentes expressões faciais • Animação entre as expressões – Técnicas de composição digital de imagens
  46. 46. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Dividido em 2 módulos: – Criação de Expressões • Suporte para a criação das ações – Animação Facial • Simulação do ator virtual através das 3 camadas
  47. 47. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace O que é Entrada Saída Expressões Biblioteca básica ou modeladas Qual expressão e intensidade Modificação do rosto virtual Ações Ações definidas (olhos, lábios, etc) Quais ações executar Expressões e intensidades à camada de expressões Inteligência Quais ações realizar Usuário, roteiro, I.A., síntese de voz Quais ações realizar à camada de ações
  48. 48. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Cada expressão criada individualmente – Objetos que compõe o rosto • Expressão neutra • Biblioteca básica de expressões
  49. 49. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Biblioteca básica de expressões – Conjunto de expressões simples – Nem muitas, nem poucas – Combinadas para criar expressões complexas • Vetor de diferenças • Valores de intensidade
  50. 50. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace Ahh Ohh esquerda direita Dúvida X Y Z Rotação
  51. 51. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace Expressões básicas Expressões combinadas
  52. 52. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Ações – Piscar, falar um fonema, cantar, chorar, dormir, espirrar, ... – Construídas através das expressões • Valores de intensidade – Grupos de ações • Duas ações de um mesmo grupo podem ser executadas ao mesmo tempo
  53. 53. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} InterFace • Exemplos de grupos de ações – Não intencionais • Respirar ou piscar os olhos – Emoções • Chorar, sorrir ou dormir – Sincronismo de movimentos labiais
  54. 54. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Trabalhos 1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
  55. 55. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Objetivos • Definição de representações para os padrões visuais de movimentação articulatória – Ou seja, visemas • Visemas dependentes do contexto fonético • Modelos para movimentação temporomandibular e do tecido dos lábios – Elevação, depressão, protrusão e retração – Deformações
  56. 56. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Movimentação Facial • Idéia de pontos de interesse e referência • Gerados através da captura de video
  57. 57. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Movimentação Facial • Articulação temporomandibular
  58. 58. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Movimentação Facial
  59. 59. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Trabalhos 1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
  60. 60. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Objetivos • Sistema para geração de expressões faciais dinâmicas – Variações ao longo do tempo – Ligadas à emoções, fala e fenômenos afetivos – Sincronismo com fala – Face tridimensional realista
  61. 61. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Sistema • VeeM (Virtual emotion-to-expression Model) – Modelo de emoção para personagens virtuais falantes – Conceito de hipercubo emocional no espaço canônico do R4 • Combinação de expressões básicas para gerar emoções derivadas
  62. 62. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Sistema • DynaFeX (Dynamic Facial eXpression) – Para validação do VeeM – Autoria e apresentação de animações faciais – Processo de fala para sincronismo entre fonemas e visemas – Malha poligonal tridimensional (baseada no modelo de animação MPEG-4)
  63. 63. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Familias de emoção Robert Plutchik
  64. 64. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} VeeM Alegria-Tristeza combinada com Medo-Raiva
  65. 65. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} VeeM Alegria-Tristeza combinada com Confiança- Abominação
  66. 66. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} VeeM e Parametrização Ideal • VeeM em relação à parametrização ideal – Combinação de emoções – Emoções mapeadas em uma expressão única – Manipulação do hipercubo emocional é fácil e direta – Representação da expressão pode ser mapeada para uma descrição de alto-nível – VeeM é independente de face
  67. 67. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} MPEG-4 • MPEG-4 para especificação de uma face – Definição de parâmetros (face neutra) • Olhar na direção do eixo z • Músculos da face relaxados • Pálpebras tangentes à íris • Pupila medindo um terço do diâmetro da íris • Lábios em contato (com linha na altura dos cantos) • Boca fechada com dentes se tocando • Língua plana na horizontal com ponta tocando o limite dos dentes
  68. 68. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} MPEG-4 • A partir de Feature Points (pontos chaves) – Parâmetros de Animação Facial (FAPs) • Animação de pontos chaves característicos • Representação de visemas e emoções
  69. 69. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} MPEG-4 • Visemas e Lip-Sync no MPEG-4 – Transição de um visema para outro é através da combinação (blending) com um peso associado a cada um deles – Variação da intensidade de 0 a 63 Visema final = visema1 x (blend/63) + visema2 x (blend/63)
  70. 70. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} MPEG-4 • Combinação de visemas – Cuidando as propriedades das FPs
  71. 71. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} DynaFeX
  72. 72. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Referências 1. TATHAM, M., “Developments in Speech Systems” Editora Wiley, 2005. 2. SIMÕES, F.O., “Implementação de um Sistema de Conversão Texto-Fala para o Português do Brasil”. Dissertação de Mestrado, UNICAMP, 1999. 3. DIMITRU, C.O., et al. “A Comparative Study of Feature Extraction Methods Applied to Continuous Speech Recognition in Romanian Language”. ELMAR, 2006.
  73. 73. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Referências 4. FECHINE, J.M. “Reconhecimento Automático de Identidade Vocal Utilizando Modelagem Híbrida: Paramétrica e Estatística”, UFCG, 2002. 5. RUSTEIN, F.O. “Sistema de Reconhecimento de Fala Baseado em Redes Neurais Artificiais” Tese de doutorado,UNICAMP, 1998. 6. FIUZA, M.; Monteiro, M.; Dourato, C.; Soares, J.; Barroso, G. “Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis,” III CONNEPI, 2008.
  74. 74. Alexandre Maciel e Ricardo Schmidt {magnomaciel@hotmail.com; schmidt@gprt.ufpe.br} Referências 7. WEY, J. “InterFace: Um Sistema de Animação Interativa de Rostos Humanos,” Dissertação de mestrado, Escola Politécnica, USP, 1999. 8. MARTINO, J. de. “Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil,” Tese de doutorado, DCA/FEEC UNICAMP, 2005. 9. RODRIGUES, P. “Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala,” Tese de doutorado, Departamento de Informática, PUC-RJ, 2007.
  75. 75. Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br

×