1. Adilmar Coelho Dantas | Mestrando em Ciência da Computação
Sistema de Reconhecimento de
Emoções Usando Plataforma OpenWeb
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO | UNIVERSIDADE FEDERAL DE UBERLÂNDIA – UFU
FACULDADE DE COMPUTAÇÃO - FACOM/UFU
3. Introdução
Objetivo do artigo
• Propor um modelo para o reconhecimento de emoções através da teoria FACS
(Movimento dos Músculos), implementado em ambiente computacional Web.
Solução Apresentada
Utilização Haar Cascade para detecção da face
Utilização da teoria FACS para determinação das UA’S
Fluxo óptico para rastreamento dos pontos
Estrutura de decisão para classificação
4. Introdução
• Expressões faciais e a Inteligência Artificial
• A utilização de sistemas não verbais é considerado um gran
de avanço para a interação homem e máquina, a face além
de emoções fornecem informações extremamente importan
tes para outros estudos como: sexo, idade.
• Analisar a face é apresentado como uma boa proposta pelo
fato de ser um método não invasivo ou menos invasivo se
comparado com outras técnicas.
5. Fundamentação teórica
• FACS ( Relembrando)
O FACS consiste de 46 Unidades de Ação que são divididos em
duas regiões faciais, a primeira contendo olhos, sobrancelhas e
testa e a segunda por bochechas, queixo, nariz e boca.
6. Fundamentação teórica
• FACS ( Relembrando)
A combinação de duas ou mais Unidades de Ação (UA) repres
entam uma determinada emoção.
Ex: UA6+UA12 = Alegria
7. Fundamentação teórica
• Detecção da face
• Utilização do algoritmo Vaiola and Jones
• É classificador que aprende caraterísticas de um objeto
• Aplicado em imagens estáticas e em tempo real
• Etapas do Viola and Jones
• Integral da imagem
• Adabosst
• Árvore ( cascata de classificador)
8. Materiais e Métodos
• Detecção da face
Todos os rostos humanos compartilham algumas pro
priedades semelhantes. Este conhecimento é usado
para construir certas características conhecidas como
características Haar.
• As propriedades que são semelhantes para um rosto humano são as
seguintes.
• A região dos olhos é mais escura do que as bochechas superiores.
• A região da ponta do nariz é mais brilhante do que os olhos.
10. Materiais e Métodos
Regiões de interesse
Aplica-se o filtro Sobel para a detecção dos
contornos presentes na imagem.
Para a localização das regiões dos olhos, so
brancelhas, nariz e boca.
O filtro Sobel calcula o gradiente da intensi
dade da imagem em cada ponto, dando a
direção da maior variação de claro para
escuro e a quantidade de variação nessa
direção.
Assim, obtém-se uma noção de como varia
a luminosidade em cada ponto, de forma
mais suave.
11. Materiais e Métodos
• Localização dos pontos
Para que fosse possível localizar estas UA’S na face utilizou-se
de 20 pontos de leitura na face que podem se mover em 8
direções diferentes, divididos em ângulos de 45º.
12. Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
• Para o rastreamento dos pontos Lukas-Kanade propôs um modelo piramidal
que permite a análise de movimentos em regiões do vídeo utilizando
fluxo óptico.
• Neste modelo cria-se uma pirâmide Gaussiana onde no topo se encontra
a parte com menos detalhes equanto a base contém a imagem com
mais riqueza de detalhes.
13. Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
Calcula-se o fluxo óptico no
primeiro nível, para que este
sirva de base para o cálculo
do nível seguinte.
Esta técnica permite capturar
com mais precisão estes
movimentos.
14. Materiais e Métodos
Pontos e emoções
A tabela apresenta a estrutura de decisão, dada
vinte pontos de leitura (1a a 10b), considerando-se
oito possíveis direções de movimento de cada
ponto para as emoções felicidade (H), nojo (Di),
surpresa (Su), raiva (A), tristeza (Sa) e medo (F).
*O autor não deixou esclarecida esta estrutura
de Decisão utilizada.
16. Implementação
O sistema foi implementado utilizando plataforma WEB aberta, tecnologias
Utilizadas:
- GetUserMedia ( WebCam )
- HTML5
- OpenCv
- ECMAScript - suporte opencv
17. Implementação
Opencv
É uma biblioteca totalmente livre para desenvolvimento acadêmico, empresari
al de aplicativos de visão computacional.
Algumas funcionalidades
Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise
estrutural e outros. O seu processamento é em tempo real de imagens.
18. Experimentos e Resultados
• Testes
O sistema foi testado com 16 voluntários do sexo masculino e feminino, com
idades entre 10 e 60 anos de nacionalidades Brasileira e Chinesa.
Foi realizado dois tipos de testes
• Emoções não espontâneas
• Emoções espontâneas
19. Experimentos e Resultados
• Primeiro Teste
• Voluntários que expressaram emoção não espontânea felic
idade (H), Nojo (di),surpresa (Su), raiva (A), tristeza (Sa) e m
edo (F) duas vezes consecutivas.
76.60%
20. Experimentos e Resultados
• Segundo Teste
No segundo teste os voluntários foram submetidos a dois testes
com vídeos:
• O primeiro que contém uma cena engraçada de uma criança
que assustada faz uma careta.
• O segundo contendo uma cena que repele as pessoas, onde
uma pessoa agride um cão.
21. Experimentos e Resultados
• Segundo Teste
Podemos observar que para o primeiro vídeo a
emoção alegria foi detectada 100%.
Considerando que as reações esperadas foram nojo
, surpresa, raiva e tristeza pode-se dizer que o
sistema atingiu 84,4% de acurácia.
22. Conclusões
O trabalho demostrou que sistemas computacionais com o apoio de algoritm
os de aprendizagem de máquinas são capazes de identificar pessoas e
características diversas.
Mesmo com uma estrutura simples o trabalho é funcional em sistemas Web,
um ambiente que poderia ser um fator limitante para solução do problema.
É possível a partir desses resultados analisar se uma pessoas se encontra em
algum estado de desconforto com uma determinada situação.
23. Conclusões
Os autores não exploraram bem os testes.
Não utilizou-se nenhuma base de dados para explorar esses
testes e talvez obter resultados melhores.
A técnica de classificação ou a lógica da estrutura de condição
utilizada foi omitida.
24. Trabalhos futuros
Desenvolvimento de um sistema OpenWeb para
detecção das emoções, utilizando técnicas de inteli
gência artificial e tecnologias mais avançadas.
Integração em ambientes educacionais (Moodle) e
ambientes virtuais de aprendizagem (AVA).