O documento descreve a construção e avaliação de um sistema tutor inteligente com reconhecimento de voz. O sistema foi desenvolvido para reconhecer e sintetizar voz, e foi avaliado quanto à precisão e tempo de treinamento dos classificadores de voz. O documento apresenta os fundamentos teóricos, trabalhos relacionados, metodologia e resultados obtidos com o sistema.

1. Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Mestrando: Leinylson Fontinele Pereira
Orientador: Jorge Luiz de Castro e Silva
Dissertação Apresentada ao Curso de Mestrado Acadêmico em Ciência da Computação da
Universidade Estadual do Ceará (UECE) - Fortaleza, 28 de agosto de 2015.

2. Roteiro
 Introdução
 Fundamentação Teórica
 Trabalhos Relacionados
 Metodologia e Cenário do STI
 Análise dos Resultados
 Considerações Finais
11:07
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

3. Introdução
11:07 3
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

4. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Motivação da Pesquisa
 A linguagem é o meio de comunicação mais importante para o homem e o ato de
falar é o modo mais natural de comunicação entre as pessoas.
 Acessibilidade computacional por meio da IHC
 integrar socialmente deficientes visuais/motores.
 Reconhecimento de voz
 Habilidade que uma máquina ou programa possui, para adquirir e interpretar o ditado, ou
ainda, compreender e executar comandos falados.
 Síntese de voz
 Produção artificial da fala humana, diminuindo a dependência do uso de arquivos de voz.
11:07 4
Introdução
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

5. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Objetivos da Pesquisa
 Objetivo geral
 Construir um Sistema Tutor Inteligente que realize o reconhecimento automático da fala e
síntese de voz e avaliar o desempenho das técnicas utilizadas conforme os níveis de acurácia e
tempo necessário para o treinamento e classificação dos sinais.
 Objetivos específicos
 Implementar um STI que faça o reconhecimento e síntese de voz.
 Construir uma base de locuções das palavras a serem utilizadas nos testes.
 Demonstrar a usabilidade do STI através de casos de uso.
 Medir e analisar a acurácia dos classificadores implementados.
 Medir e comparar o tempo necessário para treinar e classificar as palavras.
11:07 5
Introdução
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

6. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
O Que é um STI
 “Os STI’s são programas de software que dão suporte às
atividades da aprendizagem”.
 “Os Sistemas Tutores Inteligentes são sistemas instrucionais
baseados em computador com modelos de conteúdo
instrucional que especificam o ‘que’ ensinar, e estratégias de
ensino que especificam ‘como’ ensinar”.
11:07 6
FundamentaçãoTeórica
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

7. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Arquitetura do Modelo Clássico
Um STI é constituído de quatro módulos principais que inter-relacionam-se.
11:07 7
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica
Regras de
ensino
Rede de
conhecimento
Conhecimento
do aprendiz
Interação de
informações

8. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Extração das Características
 Na fase de extração de características, o sinal é processado e são gerados os dados
que serão utilizados para a modelagem da palavra ou para se efetuar a comparação
com algum modelo armazenado na base.
 Para a análise em frequência do sinal, foi utilizada a Transformada de Fourier.
11:07 8
𝑋 𝑘 =
1
𝑁
𝑛=0
𝑁−1
𝑥 𝑛 𝑒
𝑖2𝜋𝑘𝑛
𝑁
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica

9. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Transformada de Fourier de Tempo Curto (STFT)
 A STFT foi utilizada na extração de características do classificador DTW
 Extrai-se as características do sinal usando a STFT, gerando um espectrograma.
11:07 9
𝑆𝑇𝐹𝑇 𝜏, 𝑓 =
−∞
∞
𝑥 𝑡 . 𝑔 𝑡 − 𝜏 . 𝑒−𝑗2𝜋𝑓𝑡 𝑑𝑡 ,
𝑤𝑖 = 0.54 − 0.46 ∗ cos
2𝜋𝑖
𝑁
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica

10. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
A Classificação dos Padrões
 A classificação dos padrões ocorreu de 4 modos:
 1. ErroMédio: foram somados todos os valores dos sinais e dividido pelo tamanho da população.
 2. DesvioPadrão: representando a dispersão da população em torno da média.
 3. Covariância: medida não padronizada do grau no qual as séries movem-se juntas.
 4. DTW: construir uma matriz de pontuações locais utilizando a Distância Cosseno entre as
magnitudes STFT, possibilitando a obtenção do caminho de menor custo na matriz.
11:07 10
𝜇 =
𝑖=1
𝑁
𝑋𝑖 𝑁
𝜎 =
𝑖=1
𝑁
(𝑋𝑖− 𝜇)² /𝑁
𝜎 𝑥𝑦 =
𝑖=1
𝑁
(𝑋𝑖 − 𝜇 𝑥). (𝑌𝑖 − 𝜇 𝑦)
𝑛 − 1
𝑆𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑑𝑎𝑑𝑒 = cos 𝜃 =
𝐴 . 𝐵
‖𝐴‖‖𝐵‖
=
𝑖=1
𝑛
𝐴𝑖 x 𝐵𝑖
𝑖=1
𝑛
𝑥𝑖
2 x 𝑖=1
𝑛
𝑦𝑖
2
D i, j = min D i − 1, j − 1 , D i − 1, j , D i, j − 1 + d i, j
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica

11. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Hidden Markov Model (HMM)
 Uma Cadeia de Markov é um processo
que consiste num número de estados de
probabilidades associadas às transições
entre os estados.
 A Cadeia de Markov Oculta é um
método para modelar sistemas com
comportamentos discretos e
dependentes do tempo.
11:07 11
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica

12. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Hidden Markov Model (HMM)
11:07 12
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
FundamentaçãoTeórica

13. Trabalhos Relacionados
11:07 13
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

14. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Trabalhos Realiza Síntese Reconhece a Fala Caso de Uso
Disponibiliza
Base de Dados
Disponibiliza
Código Fonte
Tipo de Ambiente
Michael e
Lawrence, 1982
-  - - - Não se aplica
Juang, 1984 -  - - - Não se aplica
Rabiner, 1989 -  - Não se aplica Não se aplica Não se aplica
Ynoguti, 1999 -    - Não se aplica
Bresolin, 2003
(Parlato)
-   - -
Reativo com
interações
Lee, Chen e Jang,
2005
-  - - - Não se aplica
Ravinder, 2010 -  - - - Não se aplica
Santos,2013  -  - -
Reativo com
interações
STI DeVoice
2015
    
Reativo com
interações
Sumário de Trabalhos Relacionados
11:07 14
TrabalhosRelacionadas
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

15. Metodologia e Cenário do STI
11:07 15
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

16. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
A Arquitetura Utilizada
11:07 16
 Sistema de RI capaz de responder às solicitações submetidas ao motor de busca.
 Emitir respostas audíveis referentes ao conteúdo retornado.
 Notificar o usuário (quando necessário) durante o diálogo.
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

17. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Características do Sistema
 A interface projetada foi batizada de “DeVoice”.
 A separação das palavras é feita por pausas entre as locuções.
 O processamento ocorre a cada palavra pronunciada, atuando como
um sistema de palavras conectadas por meio da concatenação.
11:07 17
Metodologiae Cenáriodo STI
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

18. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Confecção da Base de Dados
 Base de Conhecimento Cognitivo: corresponde à ciência que o STI possui
sobre o significado denotativo das palavras.
 Base de Corpus: constituída pelas palavras a serem utilizadas como padrões de
referência no processo de classificação.
 Escolha das palavras: as palavras e frases foram escolhidas segundo uma
análise visando um balanceamento das mesmas.
 Gravação das locuções: realizadas em ambiente relativamente silencioso, com
tamanho mantido constante com duração de dois segundos.
11:07 18
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

19. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Fluxo do Treinamento
11:07 19
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

20. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Reconhecimento por Menor Erro
11:07 20
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

21. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Reconhecimento por Caminho de Menor Custo
11:07 21
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

22. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Desenvolvimento do Ator Sintético: Dando Voz ao STI
 O sistema de diálogo é uma parte do sistema destinado a conversar com um
humano de forma coerente.
 A iniciativa do diálogo pode ser tomada pelo humano ou pelo Ator Sintético.
 O Ator Sintético afeta emocionalmente o usuário, aumentando sua motivação
e engajamento, por meio de respostas rápidas, consistentes e de fácil
compreensão.
11:07 22
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente
Metodologiae Cenáriodo STI

23. Análise dos Resultados
11:07 23
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

24. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Demonstraçãoda Usabilidade: Modo 1 (Web)
11:07 24
AnálisedosResultados
“Qual significado de livro?” “Defina humano.”
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

25. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Demonstração da Usabilidade: Modo2 (verbose)
Processamento da Sentença: “Álex, qual significado de computação?”
11:07 25
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

26. Avaliação dos Classificadores
11:07 26
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

27. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Análise de Acurácia Global
11:07 27
 A acurácia global é expressa pela razão entre o número total de amostras e o
número total de palavras corretamente classificadas.
 Proporção de predições corretas, desconsiderando o que é positivo ou negativo:
𝐴𝑐 𝑇𝑜𝑡𝑎𝑙 =
𝑖=1
𝑁
𝑋𝑖𝑖 𝑁
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

28. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Análise de Integridade
11:07 28
 O coeficiente kappa leva em conta os erros de omissão e comissão.
 Mais abrangente e utilizado, corrigindo por concordância o acaso:
𝑘𝑖 =
𝑁. 𝑋𝑖𝑖 − 𝑋𝑖+ + 𝑋+𝑖
𝑁. 𝑋𝑖+ − 𝑋𝑖+ + 𝑋+𝑖
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

29. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Análise de Desempenho do Mecanismo de Reconhecimento
11:07 29
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

30. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Matriz de Contingência (Grupo A)
11:07 30
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

31. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Matriz de Contingência (Grupo B)
11:07 31
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

32. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Matriz de Contingência (Grupo C)
11:07 32
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

33. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Matriz de Contingência (Grupo D)
11:07 33
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

34. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Palavra)
11:07 34
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

35. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Palavra)
11:07 35
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

36. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Coeficiente Kappa (Palavra)
11:07 36
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

37. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Coeficiente Kappa (Palavra)
11:07 37
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

38. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Frases)
11:07 38
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

39. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Frases)
11:07 39
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

40. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Frases)
11:07 40
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

41. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Frases)
11:07 41
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

42. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Comparativo de Acurácia Global (Frases)
11:07 42
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

43. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Custo Computacional de Treinamento
11:07 43
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

44. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Custo Computacional por Amostra
11:07 44
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

45. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Análise de Custo Computacional
11:07 45
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

46. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Custo Computacional de Reconhecimento
11:07 46
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

47. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Custo Computacional de Reconhecimento
11:07 47
AnálisedosResultados
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

48. Considerações Finais
11:07 48
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

49. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Algumas Contribuições
 Nesta dissertação foi avaliado o desempenho dos classificadores utilizados no
reconhecimento dos sinais da fala por meio de uma análise de custo computacional
e estimativa do nível de acurácia para cada grupo de palavras da base;
 Disponibilização de uma ferramenta capaz de “dialogar” com o usuário devido à
sua característica de tornar a interação mais natural;
11:07 49
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

50. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Algumas Contribuições
 Fornecimento de uma pesquisa descritiva e aplicação dos conceitos e teorias
envolvidas no processo de reconhecimento da voz, observando todas as etapas,
desde a gravação e transcrição da base de dados, até a aquisição, treinamento e
reconhecimento do sinal;
 Confecção e disponibilização da base de locuções de palavras utilizadas.
11:07 50
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

51. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Algumas Limitações
 A habilidade de aprendizagem de novas palavras pelo STI fica sujeita à
informação desta pelo usuário via teclado;
 Aquisição de uma base de locuções padronizada, que propicie aos
pesquisadores confrontar metodologias e resultados;
 A interdisciplinaridade de um sistema de reconhecimento de voz, a larga
variedade de conhecimentos necessários e sua complexidade de
implementação, implicam que é indispensável o empenho de uma equipe de
pesquisadores com ciência nas mais diversas áreas, além de investimentos na
aquisição de equipamentos de qualidade.
11:07 51
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

52. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Trabalhos Futuros
 Utilização de outros métodos para extração, como os MFCC’s e para a mensuração do
vetor de características, as variações do DTW e a wavelet daubechies de 10 níveis;
 Adaptação e ampliação da base de dados para diferentes ambientes e locutores;
 Utilizar diferentes configurações nos reconhecedores, como por exemplo, mudando o
número de estados nas HMM’s;
 Aumentar o número de amostras utilizadas no treinamento;
11:07 52
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

53. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Trabalhos Futuros
 Realizar uma análise mais minuciosa dos valores
escolhidos como limiares de aceite ou recusa da locução;
 Aprimorar a imersão do usuário no ambiente do STI por
meio da modelagem de um avatar em duas dimensões
com aspecto tridimensional;
11:07 53
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

54. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Trabalhos Futuros
 Simular um ambiente inteligente (Domótica) para acionamento de
dispositivos eletrônicos;
 Cadastro e identificação de usuário por meio de pronúncia de senha;
 Controle de um veículo robô construído sobre a plataforma Arduíno;
 Assistente virtual apta a execução de mídias online, previsão do tempo,
fornecimento de notícias e horário local, impressão de documentos,
envio de e-mails e acesso à Web.
11:07 54
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

55. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Conclusões
11:07 55
 Com relação ao desempenho dos classificadores, verificou-se que o
classificador por erro médio apresentou melhor acurácia de uma forma
geral, tanto para o reconhecimento de palavras isoladas, bem como de
palavras conectadas, quando combinado com as HMM’;
 As classificações por desvio padrão e por covariância apresentaram
resultados idênticos, diferenciando-se apenas quanto ao custo
computacional;
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

56. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Conclusões
11:07 56
 O mecanismo de reconhecimento automático de voz alcançou
resultados satisfatórios, atendendo fortemente a expectativa;
 Para evitar uma degradação do desempenho, deve-se aplicar filtros
supressores de ruídos visando sua redução ou eliminação, e também,
gravar a base de dados no mesmo local onde vai ser utilizado o sistema
ou nas condições mais próximas possíveis;
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

57. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Conclusões
 O enfoque adotado, além de resultar em um bom embasamento teórico e prático na
área de reconhecimento de voz, de forma contextualizada, possibilitou o
desenvolvimento de uma plataforma inicial sobre a qual pesquisas e desenvolvimentos
posteriores possam ser mais facilmente realizados;
 O STI possibilita a geração de gráficos para uma análise mais profunda dos espectros,
magnitudes e similaridades entre os sinais de cada uma das palavras;
11:07 57
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

58. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Conclusões
11:07 58
 Constatou-se que palavras de menor porte foram melhor classificadas
quando utilizou-se os classificadores por erro médio, desvio padrão e
covariância;
 Por outro lado, às locuções de maior tamanho foram melhor
reconhecidas pelo classificador DTW, que por sinal, obteve o maior
custo computacional tanto para o treinamento como reconhecimento
das locuções, isto se deve em grande parte ao tempo e memória
necessários para a gerar e processar espectrogramas;
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

59. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Conclusões
11:07 59
 Um STI baseado em voz para sistemas de RI segundo o modelo exposto e
implementado como subsídio para a pesquisa, corrobora ser viável em
termos de uma aplicação real;
 O STI encontra-se apto ao reconhecimento de palavras, retornando o
significado, sinônimos, antônimos, definições gramaticais,
contextualização da palavra em uma frase e ilustrações de cada termo
reconhecido.
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

60. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Referencial Bibliográfico
 ADAMI, A. G. Sistema de Reconhecimento de Locutor Utilizando Redes Neurais Artificiais. (Dissertação de Mestrado). Curso de Pós-Graduação em Ciência da
Computação (CPGCC) - Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, 1997.
 BAKER, J. K. TheDragonSystem- anOverview. IEEE Transactions on Acoustics, Speech and Signal Processing - ASSP, Fev., 1975.
 BRESOLIN, A. D. A. Estudo do Reconhecimento de Voz para o Acionamento de Equipamentos Elétricos via Comandos em Português. Programa de Pós-Graduação em
Automação Industrial (PGAI) Universidade do Estado de Santa Catarina (UDESC)
 BRESOLIN, A. D. A. Reconhecimento de voz Através de Unidades Menores do que a Palavra, Utilizando Wavelet Packet e SVM, em uma Nova Estrutura Hierárquica de
Decisão. (Tese de Doutorado). Programa de Pós-Graduação em Engenharia Elétrica - Universidade Federal do Rio Grande do Norte - Centro de Tecnologia, Natal, 2008.
 CAMPBELL, J. P. Speakerrecognition:a tutorial.Proceedings of the IEEE. p. 1437-1462, 1997.
 CLANCEY, W. J. FromGUIDONtoNEOMYCINandHERACLESinTwentyShortLessons:ORNFinalReport1979-1985.AI Magazine, v. 7, 1986.
 COHEN, F. M. et al. WaveletsandtheirApplicationsinComputerGraphics.ACM: SIGGRAPH 95 Conference, 1995.
 COOLEY, J. W.; TUKEY, J. W. An Algorithm for the Machine Calculation of Complex Fourier Series. In: Mathematics of Computation. v. 19. COSTA, R. J. M. Sistemas
TutoresInteligentes.Mestrado de Informática Aplicada à Educação- Universidade Federal do Rio de Janeiro (UFRJ),
 DELLER , J. R.; PROAKIS, J. G.; HANSEN, J. H. L. Discrete-timeProcessingofSpeechSignals.New York: Macmillan, 1993.
 FISCHETTI, E.; GISOLFI, A. FromComputer-AidedInstructiontoIntelligent,1990.
 FURUI, S. DigitalSpeechProcessing,SynthesisandRecognition. Marcel Dekker, Inc., 1989.
 GAMBOA, H.; ANA, F. DesigningInteliggentTutoringSystem: aBayesianApproach. 3rd International Conference on Enterprise Information Systems (ICEIS), 2001.
 GROSSI C. V., T. et al. Avaliação de Classificadores Automáticos no Mapeamento de Áreas Cafeeiras da Região de Guaxupé, Minas Gerais. VI Simpósio de Pesquisa dos
Cafés do Brasil, Vitória,2009.
11:07
ConsideraçõesFinais

61. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Referencial Bibliográfico
 JANG, J. S. R. DTWforSpeechRecognition. MIR Lab. National Taiwan University, Taiwan, 2005.
 JUANG, B. H. On the hidden Markov model and dynamic time warping for speech recognition - A unified view. AT&T Bell Laboratories Technical Journal. [S.l.]: Alcatel-
Lucent. p. 1213-1243, 1984.
 KAPLAN, R.; ROCK, D. NewDirectionsforIntelligentTutoringSystems.AI Expert, 1995.
 KEARSLEY, G. ArtificialIntelligenceandInstruction- ApplicationsandMethods.[S.l.]: Addison Wesley, 1987.
 LEE, H.-R.; CHEN, C.; JANG, R. J. S. Approximate Lower-Bounding Functions for the Speedup of DTW for Melody Recognition. Computer Science Department, National
Tsing Hua University. Taiwan: IEEE. p. 178-181, 2005
 LESTER, J.; BRATING, K.; MOTT, B. “ConversationalAgents”. The Practical Handbook of Internet Computing, 2004.
 LINO, N. D. L.; TEDESCO, P.; ROUSY, D. Modelode PercepçãodeAgentesBaseadosemEmoções.Universidade Federal de Pernambuco, Recife.
 MICHAEL, K. B.; LAWRENCE, R. R. An Adaptive, Ordered, Graph Search Technique for Dynamic Time Warping for Isolated Word Recognition. IEEE Transactions on
Acoustics, Speech, and Signal Processing, 1982.
 MILLER, J. R. FoundationsofIntelligentTutoringSystemsInteractingwithComputersSeries. [S.l.]: Psychology Press, 1982.
 NEJAT, A. DigitalSpeechProcessing,SpeechCoding,SynthesisandRecognition, 1992.
 RABINER, L. R. A TutorialonHiddenMarkovModelsandSelectedApplicationsinSpeechRecognition. Proceedings. IEEE, v. 77, n. 2, 1989.
 RATZKA, A. Explorative studies on multimodal interaction in a PDA- and desktop-based scenario. Proceedings of the 10th international conference on Multimodal
interfaces (ICMI '08). New York: [s.n.]. p. 121-128, 2008.
 RAVINDER, K. Comparison of HMM and DTW for Isolated Word Recognition System of Punjabi Language. Progress in Pattern Recognition, Image Analysis, Computer
Vision, and Applications. [S.l.]: Springer Berlin Heidelberg. p. 244-252, 2010.
11:07
ConsideraçõesFinais

62. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Referencial Bibliográfico
 RIOUL, O.; VETTERLI, M. Waveletandsignalprocessing.IEEE Signal Processing Magazine, v. 8, n. 4, Out., 1991.
 SANCHES, I. J. CompressãoSemPerdasdeProjeçõesdeTomografiaComputadorizadaUsandoa TransformadaWavelet.(Dissertação de Mestrado).
 SANTOS, M. A. D. Interface Multimodal de Interação Humano-Computador em Sistema de Recuperação de Informação Baseado em Voz e Texto em Português.
(Dissertação de Mestrado). Pós-Graduação em Ciência da Informação,2013.
 SCHROEDER, M. A briefhistoryofsyntheticspeech.Speech Communication.p. 231-237, 1993.
 SHAUGHNESSY, D. O. SpeechCommunications,Humanandmachine. New York: IEEE Press, 2000.
 SHNEIDERMAN, B.; PLAISANT, C. DesigningtheUserInterface: Strategies for Effective Human-Computer Interaction. 15. ed. Addison-Wesley, 2010.
 SILVA, A. G. D. ReconhecimentodeVozparaPalavrasIsoladas. Graduação em Engenharia da Computação- Universidade Federal de Pernambuco (UFPE).
 SILVA, S. M. Biometriade Voz: AspectosTeóricose Práticos.Londrina, Paraná, 2010.
 SMITH, J. O. I. MathematicsoftheDiscreteFourierTransform(DFT):withAudioApplications.W3K Publishing, California,2007. ISBN-10: 097456074x.
 SMITH, S. W. TheScientistandEngineer'sGuidetoDigitalSignalProcessing.1. ed. California Technical, 1997. ISBN-13: 978-0966017632.
 TERMAN, L. M. The Measurement of Intelligence An Explanation of and a Complete Guide for the Use of the Stanford Revision and Extension of the Binet-Simon
IntelligenceScale, 1916. Disponível em: <http://www.gutenberg.org/files/20662/20662-h/20662-h.htm>. Acesso em: 22 mar. 2015.
 TSIPORKOVA, E. An IntegrativeDTW-BasedImputationMethodforGeneExpressionTimeSeriesData.Intelligent Systems (IS) - IEEE International Conference.
 VINTSYUK, T. K. SpeechDiscriminationbyDynamicProgramming,n.1, p. 81-88, 1968.
 WEEKS, M. ProcessamentoDigitalde Sinais:UtilizandoMatlabe Wavelets.Traduçãode Edson Tanaka. 2ª. ed. Rio de Janeiro: LTC, 2012.
 WENGER, E. ArtificialIntelligenceandTutoringSystems:ComputationalandCognitiveApproachestotheCommunicationsofKnowledge.Los Altos, CA, 1987.
 YNOGUTI, C. A. Reconhecimentode FalaContínuaUsandoModelosOcultosde Markov.(Tese de Doutorado). Universidade Estadual de Campinas.
11:07
ConsideraçõesFinais

63. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Produções Resultantes
1. PEREIRA, L. F., SILVEIRA, A. de S., SILVA, J. L. C., “A Multimodal Interface HCI to Intelligent Tutoring Systems”
In: The Tenth International Conference on Systems (ICONS). International Academy, Research, and Industry
Association (IARIA), Barcelona – Espanha, 2015. (short paperaceitop/ publicação)
2. PEREIRA, L. F., SILVEIRA, A. de S., SILVA, J. L. C., "DeVoice: Um Tutor Inteligente Para Interação Humano-
Computador Multimodal Visando a Acessibilidade Computacional". In: InfoBrasil TI & Telecom, 2014, Fortaleza -
Ceará. Anais - VII Congresso Tecnológico, 2014. v. XII. pp. 357-361. (artigopublicado)
11:07 63
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente

64. Introdução FundamentaçãoTeórica TrabalhosRelacionados Metodologiae Cenáriodo STI AnálisedosResultados ConsideraçõesFinais
Dúvidas?
11:07
Muito Obrigado!
Fale-me e eu esqueço. Mostre-me e eu lembro. Envolva-me e eu entendo.
Provérbio chinês.
leinylson@gmail.com
ConsideraçõesFinais
Desenvolvimento e Avaliação de Desempenho do Mecanismo de
Reconhecimento Automático de Voz de um Sistema Tutor Inteligente