SlideShare uma empresa Scribd logo
1 de 55
Baixar para ler offline
Roteiro Apresentação Mestrado
1/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
2/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
3/54
Cenário Mundial
4/54
Cenário Brasileiro
5/54
Tipos de Deficiência
Figura 1 – Tipos de deficiência no Brasil. Fonte: IBGE, 2010.
6/54
Motivação e Objetivo
7/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
8/54
JoyFace
Figura 2 – Arquitetura do sistema JoyFace.
9/54
JoyFace
Figura 3– JoyFace: Habilitando e desabilitando os menus,
através do sorriso do usuário.
10/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
11/54
Metodologia
O desenvolvimento do projeto ocorreu em sete fases:
1. Revisão Bibliográfica;
2. Análise do estado da arte;
3. Definição das funcionalidades do sistema;
4. Definição de expressões faciais a serem utilizadas;
5. Implementação da solução em software;
6. Realizações de experimentos com os módulos
desenvolvidos;
7. Análise dos resultados obtidos.
12/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
13/54
Revisão Bibliográfica
Figura 4 - Qual dispositivos os usuários com tetraplegia
preferem controlar ou já controlam?
Fonte: Caltenco, 2011
14/54
Controles Alternativos para Cadeira de Rodas
Figura 5 – Controles para navegação de cadeira de rodas.
1. Controle com Voz: Chauhan, 2016.
2. Controle com língua: Kim, 2013
3. Navegação Wheelie: Pinheiro, 2017.
15/54
Controles Alternativos para Mouse
Figura 6 – Controles para navegação de mouse.
1. Eye Tracking: Cantoni, 2014.
2. ACAT: Denman, 2016
3. Controle Emotiv Epoc: Huang, 2017.
16/54
Controles Alternativos para Smart Homes
Figura 7 – Controles para Smart Home disponíveis no mercado.
1. Google Home, 2016.
2. Amazon Alexa, 2014.
17/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
18/54
Implementação do Sistema JoyFace
• Utiliza uma web cam convencional, de baixo custo.
• Desenvolvido em Python.
• Baseado na biblioteca OpenCV.
Figura 8 – Primeira versão do sistema Joyface desenvolvido.
19/54
Figura 9 – Processo de detecção de faces, a partir de
classificadores desenvolvidos por Viola-Jones, disponíveis na
biblioteca OpenCV. Fonte: Padilla et al., 2012.
Implementação do Sistema JoyFace
20/54
Figura 10 – Cálculo do centróide do rosto do usuário, calculado
em tempo real (ponto verde).
Implementação do Sistema JoyFace
21/54
Módulo: Cadeira de Rodas
Figura 11 – JoyFace: Visão geral da cadeira de rodas
robotizada utilizada no trabalho.
Fonte: Adaptado de (Nascimento Júnior, 2016)
22/54
Módulo: Cadeira de Rodas
Figura 12 – Resumo da arquitetura da cadeira. De baixo para
cima estão representadas as camadas 1 baixo nível, 2 nível
intermediário e 3 alto nível, respectivamente.
Fonte: Adaptado de (Nascimento Júnior, 2016)
23/54
Módulo: Smart Home
Figura 13 – Visão geral da plataforma domótica desenvolvida,
onde o sistema JoyFace, envia comandos para o Broker MQTT,
responsável por controlar os dispositivos reais e em ambiente
simulado.
24/54
Módulo: Smart Home
Figura 14 – Interação com os módulo de Smart Home,
controlando a Iluminação e portas do ambiente, a partir do
affordance do interruptor.
25/54
Módulo: Mouse
Figura 15 – Interação com os módulo de mouse, com a região de
interesse demarcada para análise do piscar de olhos.
26/54
Módulo: Mouse
Figura 16 – Cálculo da região de aspecto dos olhos. Visualização dos pontos de
referência dos olhos quando o olho está aberto/fechado e a relação do EAR
calculado em cada situação.
27/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
28/54
Experimento: Cadeira de Rodas
• Realizado com 10 voluntários, sem nenhum tipo de
deficiência.
• Análise comparativa das abordagens de navegação de cadeira
de rodas: Joyface x Wheelie.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com as interfaces
Joyface/Wheelie.
2. Navegação para coleta de dados quantitativos.
3. Questionário para coleta de dados qualitativos (demanda
mental, demanda física, segurança e facilidade de uso).
29/54
Experimento: Cadeira de Rodas
Figura 17 – Percurso realizado no experimento com cadeira de
rodas. Trajeto percorrido pelos voluntários durante o
experimento.
30/54
Experimento: Cadeira de Rodas
Figura 18 – Expressões faciais para controle da cadeira de
rodas, utilizando o sistema de navegação Wheelie.
31/54
Resultados Quantitativos
Tabela 1 – Tempos de volta (em minutos) e quantidade de paradas de
emergência, que os participantes tiveram que realizar, devido a iminência de
colisões ou até mesmo pânico durante a navegação.
32/54
Resultados Qualitativos
Figura 19 – Comparativo da experiência do usuário ao
utilizar as interfaces Joyface e Wheelie.
33/54
Resultados JoyFace x Wheelie
Após os experimentos comparativos, entre as
abordagens JoyFace e Wheelie.
O sistema JoyFace ofereceu ao usuário:
Segurança;
Facilidade de uso;
Menor esforço mental;
x Maior esforço físico.
34/54
Experimento: Smart Home
Figura 20 – Simulação da Smart Home desenvolvida no
ambiente V-REP, utilizada no experimento.
35/54
Experimento: Smart Home
• O experimento de avaliação de usabilidade.
• Foi realizado com 12 voluntários, sem nenhum tipo de
deficiência.
• Tarefa A: Ligar e desligar luzes do ambiente.
• Tarefa B: Abrir e fechar portas do ambiente.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com a interface Joyface.
2. Realização das Tarefas A para controlar luzes e B para
controlar as portas do ambiente.
3. Questionário a respeito da experiência de uso (nível de
dificuldade, lembrança de comandos e índice de erros) .
36/54
Resultados: Smart Home
Figura 21 – Avaliação do nível de dificuldade na realização
da tarefa A, de controle de luzes.
37/54
Resultados: Smart Home
Figura 22 – Avaliação do nível de dificuldade na realização da
tarefa B, de controle de portas.
38/54
Resultados: Smart Home
Figura 23 – Erros inesperados ocorridos na execução da tarefa A,
de controle de luzes.
39/54
Resultados: Smart Home
Figura 24 – Erros inesperados ocorridos na execução da tarefa B,
de controle de portas.
40/54
Experimento: NASA – TLX com Mouse
• Experimento baseado na metodologia NASA Task Load.
• Avalia a carga de trabalho na realização de tarefas.
• Foi realizado com 10 voluntários, sem nenhum tipo de
deficiência.
• Comparativo entre o software Joyface e ACAT.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com os softwares Joyface e
ACAT.
2. Realização das duas etapas da tarefa: navegação do mouse e
navegação e clique com o mouse
3. Questionário do NASA-TLX.
41/54
Experimento: NASA – TLX com Mouse
Figura 25 – Ambiente de software utilizado na realização da
tarefa de controle de mouse do experimento.
42/54
Experimento: NASA – TLX com Mouse
Figura 26 – Software de emulação de mouse ACAT, utilizado no
experimento.
43/54
Resultado Quantitativo: NASA – TLX com Mouse
Tabela 2 - Tempo de realização (em minutos) da etapa da tarefa,
relacionada à navegação do mouse.
44/54
Resultado Quantitativo: NASA – TLX com Mouse
Tabela 3 - Tempo de realização (em minutos) da etapa da tarefa,
relacionada ao clique do mouse.
45/54
Resultado Qualitativo: NASA – TLX com Mouse
46/54
Resultado Qualitativo: NASA – TLX com Mouse
47/54
Resultado Qualitativo: NASA – TLX com Mouse
48/54
Resultado Qualitativo: NASA – TLX com Mouse
49/54
Resultado Qualitativo: NASA – TLX com Mouse
Figura 29 – Classificações Médias das demandas (0 - 100)
avaliadas pelos voluntários na utilização dos software JoyFace e
ACAT, em comparativo.
50/54
Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
51/54
Conclusão
A interface Joyface se mostrou:
Segura;
Fácil de usar;
Baixo esforço mental;
Baixa taxas de erros;
Baixa frustração na utilização da interface;
Baixa carga de trabalho.
Pontos a serem melhorados:
 Influência à luminosidade externa;
 Falsos-positivos e falsos negativos;
52/54
Trabalhos Futuros
• Adicionar um botão físico de emergência, que
possa ser acionado através do queixo ou sip and
puff, para ser utilizado em situações de perda de
controle.
• Implementar o sistema JoyFace em uma
plataforma embarcada.
53/54
Contribuições Científicas
1. Human-Computer Interface using Facial Expressions: a
Solution for People with Motor Disabilities. 4th BRAINN
Congress, Journal of Epilepsy and Clinical Neurophysiology,
2017.
2. Comparison of Human Machine Interfaces to control a
Robotized Wheelchair, XIII Simpósio Brasileiro de
Automação Inteligente – SBAI, 2017.
3. Joyface: Desenvolvimento e Avaliação de uma Interface
Humano-Computador para Smart-Home dedicada à
Pessoas com Deficiência, X Simpósio de Informática do
IFNMG - Campus Januária, 2018.
4. Smart Home control using Facial Expressions, BRAINN
Congress, 2019.
54/54
Demonstração
54/54
https://www.youtube.com/watch?v=Bt3zQ5y-gVQ

Mais conteúdo relacionado

Semelhante a Interface humano-computador baseada em Visão Computacional: uma solução para pessoas com tetraplegia

Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do Censo
Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do CensoPalestra - Usabilidade - A Experiência do Usuário no Aplicativo do Censo
Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do CensoLuiz Agner
 
Ergonomia e Interação Humano-Computador
Ergonomia e Interação Humano-ComputadorErgonomia e Interação Humano-Computador
Ergonomia e Interação Humano-ComputadorRobson Santos
 
Teste para dispositivos móveis apresentação pra ufam -eliane
Teste para dispositivos móveis   apresentação pra ufam -elianeTeste para dispositivos móveis   apresentação pra ufam -eliane
Teste para dispositivos móveis apresentação pra ufam -elianeEliane Collins
 
Teste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesTeste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesLuiz Agner
 
Métodos de Avaliação de IHC
Métodos de Avaliação de IHCMétodos de Avaliação de IHC
Métodos de Avaliação de IHCGeorgiaCruz7
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAndré Constantino da Silva
 
Qual aula_04__teste_e_inspecao_de_usabilidade
Qual  aula_04__teste_e_inspecao_de_usabilidadeQual  aula_04__teste_e_inspecao_de_usabilidade
Qual aula_04__teste_e_inspecao_de_usabilidadeRafael Lima
 
Teste de Software - Bluesoft Labs
Teste de Software - Bluesoft Labs Teste de Software - Bluesoft Labs
Teste de Software - Bluesoft Labs Ricardo Machado
 
Introdução à utilização de openFrameworks para o desenvolvimento de aplicaçõ...
Introdução à utilização de openFrameworks para  o desenvolvimento de aplicaçõ...Introdução à utilização de openFrameworks para  o desenvolvimento de aplicaçõ...
Introdução à utilização de openFrameworks para o desenvolvimento de aplicaçõ...Christopher Cerqueira
 
Pocket Talk - Mob programming
Pocket Talk - Mob programmingPocket Talk - Mob programming
Pocket Talk - Mob programmingLucas Aquiles
 
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...Jesimar Arantes
 
Pontos por função
Pontos por funçãoPontos por função
Pontos por funçãolipe_assis
 
Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Oziel Moreira Neto
 
Palestra - Testes de Usabilidade
Palestra - Testes de UsabilidadePalestra - Testes de Usabilidade
Palestra - Testes de UsabilidadeLuiz Agner
 
Usabilidade Curso Digital
Usabilidade Curso DigitalUsabilidade Curso Digital
Usabilidade Curso Digitalguestca350
 

Semelhante a Interface humano-computador baseada em Visão Computacional: uma solução para pessoas com tetraplegia (20)

Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do Censo
Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do CensoPalestra - Usabilidade - A Experiência do Usuário no Aplicativo do Censo
Palestra - Usabilidade - A Experiência do Usuário no Aplicativo do Censo
 
Ergonomia e Interação Humano-Computador
Ergonomia e Interação Humano-ComputadorErgonomia e Interação Humano-Computador
Ergonomia e Interação Humano-Computador
 
08 percurso cognitivo
08 percurso cognitivo08 percurso cognitivo
08 percurso cognitivo
 
Teste para dispositivos móveis apresentação pra ufam -eliane
Teste para dispositivos móveis   apresentação pra ufam -elianeTeste para dispositivos móveis   apresentação pra ufam -eliane
Teste para dispositivos móveis apresentação pra ufam -eliane
 
Teste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesTeste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testes
 
Métodos de Avaliação de IHC
Métodos de Avaliação de IHCMétodos de Avaliação de IHC
Métodos de Avaliação de IHC
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
 
Qual aula_04__teste_e_inspecao_de_usabilidade
Qual  aula_04__teste_e_inspecao_de_usabilidadeQual  aula_04__teste_e_inspecao_de_usabilidade
Qual aula_04__teste_e_inspecao_de_usabilidade
 
Teste de Software - Bluesoft Labs
Teste de Software - Bluesoft Labs Teste de Software - Bluesoft Labs
Teste de Software - Bluesoft Labs
 
Analise sistemas 05
Analise sistemas 05Analise sistemas 05
Analise sistemas 05
 
Introdução à utilização de openFrameworks para o desenvolvimento de aplicaçõ...
Introdução à utilização de openFrameworks para  o desenvolvimento de aplicaçõ...Introdução à utilização de openFrameworks para  o desenvolvimento de aplicaçõ...
Introdução à utilização de openFrameworks para o desenvolvimento de aplicaçõ...
 
Aula 4 - Avaliação de Interface - Parte 1
Aula 4 -  Avaliação de Interface - Parte 1Aula 4 -  Avaliação de Interface - Parte 1
Aula 4 - Avaliação de Interface - Parte 1
 
Pocket Talk - Mob programming
Pocket Talk - Mob programmingPocket Talk - Mob programming
Pocket Talk - Mob programming
 
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...
Apresentação: Utilizando Robótica Evolutiva para o Desenvolvimento da Morfolo...
 
Pontos por função
Pontos por funçãoPontos por função
Pontos por função
 
apresentação
apresentaçãoapresentação
apresentação
 
Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2
 
Palestra - Testes de Usabilidade
Palestra - Testes de UsabilidadePalestra - Testes de Usabilidade
Palestra - Testes de Usabilidade
 
Questionário de automação industrial
Questionário de automação industrialQuestionário de automação industrial
Questionário de automação industrial
 
Usabilidade Curso Digital
Usabilidade Curso DigitalUsabilidade Curso Digital
Usabilidade Curso Digital
 

Mais de Suzana Viana Mota

exercicio-Organização e estrutura de Computadores
exercicio-Organização e estrutura de Computadoresexercicio-Organização e estrutura de Computadores
exercicio-Organização e estrutura de ComputadoresSuzana Viana Mota
 
Organizacao e estrutura de Computadores
Organizacao e estrutura de ComputadoresOrganizacao e estrutura de Computadores
Organizacao e estrutura de ComputadoresSuzana Viana Mota
 
Visão Computacional - Meetup AIGirls
Visão Computacional - Meetup AIGirlsVisão Computacional - Meetup AIGirls
Visão Computacional - Meetup AIGirlsSuzana Viana Mota
 
Atividades de Sistemas Binários
Atividades de Sistemas BináriosAtividades de Sistemas Binários
Atividades de Sistemas BináriosSuzana Viana Mota
 
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus Januária
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus JanuáriaLista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus Januária
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus JanuáriaSuzana Viana Mota
 
Mundo 4.0 - O que esperar do futuro
Mundo 4.0 - O que esperar do futuroMundo 4.0 - O que esperar do futuro
Mundo 4.0 - O que esperar do futuroSuzana Viana Mota
 
Atalhos e dicas - Como se tornar um expert em Computadores
Atalhos e dicas - Como se tornar um expert em ComputadoresAtalhos e dicas - Como se tornar um expert em Computadores
Atalhos e dicas - Como se tornar um expert em ComputadoresSuzana Viana Mota
 
Aula Inaugural - Curso Técnico em Informática para Internet
Aula Inaugural - Curso Técnico em Informática para InternetAula Inaugural - Curso Técnico em Informática para Internet
Aula Inaugural - Curso Técnico em Informática para InternetSuzana Viana Mota
 
Exercicio - Introdução a Hardware Revisão
Exercicio - Introdução a Hardware RevisãoExercicio - Introdução a Hardware Revisão
Exercicio - Introdução a Hardware RevisãoSuzana Viana Mota
 
Desenvolvimento de software dedicado a pessoa com deficiência
Desenvolvimento de software dedicado a pessoa com deficiênciaDesenvolvimento de software dedicado a pessoa com deficiência
Desenvolvimento de software dedicado a pessoa com deficiênciaSuzana Viana Mota
 
Comparison of Human Machine Interfaces to control a Robotized Wheelchair
Comparison of Human Machine Interfaces to control a Robotized WheelchairComparison of Human Machine Interfaces to control a Robotized Wheelchair
Comparison of Human Machine Interfaces to control a Robotized WheelchairSuzana Viana Mota
 
Formatei o computador e agora?
Formatei o computador e agora?Formatei o computador e agora?
Formatei o computador e agora?Suzana Viana Mota
 
Aula 09 - Gerenciamento de Recursos Humanos
Aula 09 - Gerenciamento de Recursos HumanosAula 09 - Gerenciamento de Recursos Humanos
Aula 09 - Gerenciamento de Recursos HumanosSuzana Viana Mota
 
Aula 08 - Gerenciamento da Qualidade
Aula 08 - Gerenciamento da QualidadeAula 08 - Gerenciamento da Qualidade
Aula 08 - Gerenciamento da QualidadeSuzana Viana Mota
 
Como tornar seu site atraente
Como tornar seu site atraenteComo tornar seu site atraente
Como tornar seu site atraenteSuzana Viana Mota
 
Sistemas Digitais - Inspirações de Projetos IoT
Sistemas Digitais - Inspirações de Projetos IoTSistemas Digitais - Inspirações de Projetos IoT
Sistemas Digitais - Inspirações de Projetos IoTSuzana Viana Mota
 

Mais de Suzana Viana Mota (20)

Exercicios - Redes Móveis
Exercicios - Redes MóveisExercicios - Redes Móveis
Exercicios - Redes Móveis
 
exercicio-Organização e estrutura de Computadores
exercicio-Organização e estrutura de Computadoresexercicio-Organização e estrutura de Computadores
exercicio-Organização e estrutura de Computadores
 
Organizacao e estrutura de Computadores
Organizacao e estrutura de ComputadoresOrganizacao e estrutura de Computadores
Organizacao e estrutura de Computadores
 
Visão Computacional - Meetup AIGirls
Visão Computacional - Meetup AIGirlsVisão Computacional - Meetup AIGirls
Visão Computacional - Meetup AIGirls
 
Atividades de Sistemas Binários
Atividades de Sistemas BináriosAtividades de Sistemas Binários
Atividades de Sistemas Binários
 
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus Januária
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus JanuáriaLista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus Januária
Lista de Exerícios - Manutenção e Redes de Computadores IFNMG - Campus Januária
 
Mundo 4.0 - O que esperar do futuro
Mundo 4.0 - O que esperar do futuroMundo 4.0 - O que esperar do futuro
Mundo 4.0 - O que esperar do futuro
 
Como estudar melhor
Como estudar melhor Como estudar melhor
Como estudar melhor
 
Atalhos e dicas - Como se tornar um expert em Computadores
Atalhos e dicas - Como se tornar um expert em ComputadoresAtalhos e dicas - Como se tornar um expert em Computadores
Atalhos e dicas - Como se tornar um expert em Computadores
 
Aula Inaugural - Curso Técnico em Informática para Internet
Aula Inaugural - Curso Técnico em Informática para InternetAula Inaugural - Curso Técnico em Informática para Internet
Aula Inaugural - Curso Técnico em Informática para Internet
 
Criptografia e Privacidade
Criptografia e PrivacidadeCriptografia e Privacidade
Criptografia e Privacidade
 
Exercicio - Introdução a Hardware Revisão
Exercicio - Introdução a Hardware RevisãoExercicio - Introdução a Hardware Revisão
Exercicio - Introdução a Hardware Revisão
 
Desenvolvimento de software dedicado a pessoa com deficiência
Desenvolvimento de software dedicado a pessoa com deficiênciaDesenvolvimento de software dedicado a pessoa com deficiência
Desenvolvimento de software dedicado a pessoa com deficiência
 
Comparison of Human Machine Interfaces to control a Robotized Wheelchair
Comparison of Human Machine Interfaces to control a Robotized WheelchairComparison of Human Machine Interfaces to control a Robotized Wheelchair
Comparison of Human Machine Interfaces to control a Robotized Wheelchair
 
Formatei o computador e agora?
Formatei o computador e agora?Formatei o computador e agora?
Formatei o computador e agora?
 
Formatando o computador
Formatando o computadorFormatando o computador
Formatando o computador
 
Aula 09 - Gerenciamento de Recursos Humanos
Aula 09 - Gerenciamento de Recursos HumanosAula 09 - Gerenciamento de Recursos Humanos
Aula 09 - Gerenciamento de Recursos Humanos
 
Aula 08 - Gerenciamento da Qualidade
Aula 08 - Gerenciamento da QualidadeAula 08 - Gerenciamento da Qualidade
Aula 08 - Gerenciamento da Qualidade
 
Como tornar seu site atraente
Como tornar seu site atraenteComo tornar seu site atraente
Como tornar seu site atraente
 
Sistemas Digitais - Inspirações de Projetos IoT
Sistemas Digitais - Inspirações de Projetos IoTSistemas Digitais - Inspirações de Projetos IoT
Sistemas Digitais - Inspirações de Projetos IoT
 

Último

CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADE
CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADECONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADE
CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADEssusercc9a5f
 
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdf
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdfATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdf
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdftatebib346
 
ST 2024 Apresentação Comercial - VF.ppsx
ST 2024 Apresentação Comercial - VF.ppsxST 2024 Apresentação Comercial - VF.ppsx
ST 2024 Apresentação Comercial - VF.ppsxmarketing18485
 
Normas Técnicas para aparelho de solda oxi-acetileno.pdf
Normas Técnicas para aparelho de solda oxi-acetileno.pdfNormas Técnicas para aparelho de solda oxi-acetileno.pdf
Normas Técnicas para aparelho de solda oxi-acetileno.pdfAlexsandroRocha22
 
pgr programa de gerenciamento de risco posto de gasolina
pgr programa de gerenciamento de risco posto  de gasolinapgr programa de gerenciamento de risco posto  de gasolina
pgr programa de gerenciamento de risco posto de gasolinamikhaelbaptista
 
apostila de eletricidade básica Werther serralheiro
apostila de eletricidade básica Werther serralheiroapostila de eletricidade básica Werther serralheiro
apostila de eletricidade básica Werther serralheirossuserd390f8
 
Planejamento e controle da Produção_Lustosa.pdf
Planejamento e controle da Produção_Lustosa.pdfPlanejamento e controle da Produção_Lustosa.pdf
Planejamento e controle da Produção_Lustosa.pdfssusercc9a5f
 
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptx
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptxSEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptx
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptxavaseg
 

Último (8)

CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADE
CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADECONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADE
CONCEITOS BÁSICOS DE CONFIABILIDADE COM EMBASAMENTO DE QUALIDADE
 
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdf
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdfATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdf
ATIVIDADE 1 - FSCE - FORMAÇÃO SOCIOCULTURAL E ÉTICA II - 52_2024.pdf
 
ST 2024 Apresentação Comercial - VF.ppsx
ST 2024 Apresentação Comercial - VF.ppsxST 2024 Apresentação Comercial - VF.ppsx
ST 2024 Apresentação Comercial - VF.ppsx
 
Normas Técnicas para aparelho de solda oxi-acetileno.pdf
Normas Técnicas para aparelho de solda oxi-acetileno.pdfNormas Técnicas para aparelho de solda oxi-acetileno.pdf
Normas Técnicas para aparelho de solda oxi-acetileno.pdf
 
pgr programa de gerenciamento de risco posto de gasolina
pgr programa de gerenciamento de risco posto  de gasolinapgr programa de gerenciamento de risco posto  de gasolina
pgr programa de gerenciamento de risco posto de gasolina
 
apostila de eletricidade básica Werther serralheiro
apostila de eletricidade básica Werther serralheiroapostila de eletricidade básica Werther serralheiro
apostila de eletricidade básica Werther serralheiro
 
Planejamento e controle da Produção_Lustosa.pdf
Planejamento e controle da Produção_Lustosa.pdfPlanejamento e controle da Produção_Lustosa.pdf
Planejamento e controle da Produção_Lustosa.pdf
 
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptx
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptxSEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptx
SEG NR 18 - SEGURANÇA E SAÚDE O TRABALHO NA INDUSTRIA DA COSTRUÇÃO CIVIL.pptx
 

Interface humano-computador baseada em Visão Computacional: uma solução para pessoas com tetraplegia

  • 2. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 2/54
  • 3. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 3/54
  • 6. Tipos de Deficiência Figura 1 – Tipos de deficiência no Brasil. Fonte: IBGE, 2010. 6/54
  • 8. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 8/54
  • 9. JoyFace Figura 2 – Arquitetura do sistema JoyFace. 9/54
  • 10. JoyFace Figura 3– JoyFace: Habilitando e desabilitando os menus, através do sorriso do usuário. 10/54
  • 11. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 11/54
  • 12. Metodologia O desenvolvimento do projeto ocorreu em sete fases: 1. Revisão Bibliográfica; 2. Análise do estado da arte; 3. Definição das funcionalidades do sistema; 4. Definição de expressões faciais a serem utilizadas; 5. Implementação da solução em software; 6. Realizações de experimentos com os módulos desenvolvidos; 7. Análise dos resultados obtidos. 12/54
  • 13. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 13/54
  • 14. Revisão Bibliográfica Figura 4 - Qual dispositivos os usuários com tetraplegia preferem controlar ou já controlam? Fonte: Caltenco, 2011 14/54
  • 15. Controles Alternativos para Cadeira de Rodas Figura 5 – Controles para navegação de cadeira de rodas. 1. Controle com Voz: Chauhan, 2016. 2. Controle com língua: Kim, 2013 3. Navegação Wheelie: Pinheiro, 2017. 15/54
  • 16. Controles Alternativos para Mouse Figura 6 – Controles para navegação de mouse. 1. Eye Tracking: Cantoni, 2014. 2. ACAT: Denman, 2016 3. Controle Emotiv Epoc: Huang, 2017. 16/54
  • 17. Controles Alternativos para Smart Homes Figura 7 – Controles para Smart Home disponíveis no mercado. 1. Google Home, 2016. 2. Amazon Alexa, 2014. 17/54
  • 18. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 18/54
  • 19. Implementação do Sistema JoyFace • Utiliza uma web cam convencional, de baixo custo. • Desenvolvido em Python. • Baseado na biblioteca OpenCV. Figura 8 – Primeira versão do sistema Joyface desenvolvido. 19/54
  • 20. Figura 9 – Processo de detecção de faces, a partir de classificadores desenvolvidos por Viola-Jones, disponíveis na biblioteca OpenCV. Fonte: Padilla et al., 2012. Implementação do Sistema JoyFace 20/54
  • 21. Figura 10 – Cálculo do centróide do rosto do usuário, calculado em tempo real (ponto verde). Implementação do Sistema JoyFace 21/54
  • 22. Módulo: Cadeira de Rodas Figura 11 – JoyFace: Visão geral da cadeira de rodas robotizada utilizada no trabalho. Fonte: Adaptado de (Nascimento Júnior, 2016) 22/54
  • 23. Módulo: Cadeira de Rodas Figura 12 – Resumo da arquitetura da cadeira. De baixo para cima estão representadas as camadas 1 baixo nível, 2 nível intermediário e 3 alto nível, respectivamente. Fonte: Adaptado de (Nascimento Júnior, 2016) 23/54
  • 24. Módulo: Smart Home Figura 13 – Visão geral da plataforma domótica desenvolvida, onde o sistema JoyFace, envia comandos para o Broker MQTT, responsável por controlar os dispositivos reais e em ambiente simulado. 24/54
  • 25. Módulo: Smart Home Figura 14 – Interação com os módulo de Smart Home, controlando a Iluminação e portas do ambiente, a partir do affordance do interruptor. 25/54
  • 26. Módulo: Mouse Figura 15 – Interação com os módulo de mouse, com a região de interesse demarcada para análise do piscar de olhos. 26/54
  • 27. Módulo: Mouse Figura 16 – Cálculo da região de aspecto dos olhos. Visualização dos pontos de referência dos olhos quando o olho está aberto/fechado e a relação do EAR calculado em cada situação. 27/54
  • 28. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 28/54
  • 29. Experimento: Cadeira de Rodas • Realizado com 10 voluntários, sem nenhum tipo de deficiência. • Análise comparativa das abordagens de navegação de cadeira de rodas: Joyface x Wheelie. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com as interfaces Joyface/Wheelie. 2. Navegação para coleta de dados quantitativos. 3. Questionário para coleta de dados qualitativos (demanda mental, demanda física, segurança e facilidade de uso). 29/54
  • 30. Experimento: Cadeira de Rodas Figura 17 – Percurso realizado no experimento com cadeira de rodas. Trajeto percorrido pelos voluntários durante o experimento. 30/54
  • 31. Experimento: Cadeira de Rodas Figura 18 – Expressões faciais para controle da cadeira de rodas, utilizando o sistema de navegação Wheelie. 31/54
  • 32. Resultados Quantitativos Tabela 1 – Tempos de volta (em minutos) e quantidade de paradas de emergência, que os participantes tiveram que realizar, devido a iminência de colisões ou até mesmo pânico durante a navegação. 32/54
  • 33. Resultados Qualitativos Figura 19 – Comparativo da experiência do usuário ao utilizar as interfaces Joyface e Wheelie. 33/54
  • 34. Resultados JoyFace x Wheelie Após os experimentos comparativos, entre as abordagens JoyFace e Wheelie. O sistema JoyFace ofereceu ao usuário: Segurança; Facilidade de uso; Menor esforço mental; x Maior esforço físico. 34/54
  • 35. Experimento: Smart Home Figura 20 – Simulação da Smart Home desenvolvida no ambiente V-REP, utilizada no experimento. 35/54
  • 36. Experimento: Smart Home • O experimento de avaliação de usabilidade. • Foi realizado com 12 voluntários, sem nenhum tipo de deficiência. • Tarefa A: Ligar e desligar luzes do ambiente. • Tarefa B: Abrir e fechar portas do ambiente. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com a interface Joyface. 2. Realização das Tarefas A para controlar luzes e B para controlar as portas do ambiente. 3. Questionário a respeito da experiência de uso (nível de dificuldade, lembrança de comandos e índice de erros) . 36/54
  • 37. Resultados: Smart Home Figura 21 – Avaliação do nível de dificuldade na realização da tarefa A, de controle de luzes. 37/54
  • 38. Resultados: Smart Home Figura 22 – Avaliação do nível de dificuldade na realização da tarefa B, de controle de portas. 38/54
  • 39. Resultados: Smart Home Figura 23 – Erros inesperados ocorridos na execução da tarefa A, de controle de luzes. 39/54
  • 40. Resultados: Smart Home Figura 24 – Erros inesperados ocorridos na execução da tarefa B, de controle de portas. 40/54
  • 41. Experimento: NASA – TLX com Mouse • Experimento baseado na metodologia NASA Task Load. • Avalia a carga de trabalho na realização de tarefas. • Foi realizado com 10 voluntários, sem nenhum tipo de deficiência. • Comparativo entre o software Joyface e ACAT. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com os softwares Joyface e ACAT. 2. Realização das duas etapas da tarefa: navegação do mouse e navegação e clique com o mouse 3. Questionário do NASA-TLX. 41/54
  • 42. Experimento: NASA – TLX com Mouse Figura 25 – Ambiente de software utilizado na realização da tarefa de controle de mouse do experimento. 42/54
  • 43. Experimento: NASA – TLX com Mouse Figura 26 – Software de emulação de mouse ACAT, utilizado no experimento. 43/54
  • 44. Resultado Quantitativo: NASA – TLX com Mouse Tabela 2 - Tempo de realização (em minutos) da etapa da tarefa, relacionada à navegação do mouse. 44/54
  • 45. Resultado Quantitativo: NASA – TLX com Mouse Tabela 3 - Tempo de realização (em minutos) da etapa da tarefa, relacionada ao clique do mouse. 45/54
  • 46. Resultado Qualitativo: NASA – TLX com Mouse 46/54
  • 47. Resultado Qualitativo: NASA – TLX com Mouse 47/54
  • 48. Resultado Qualitativo: NASA – TLX com Mouse 48/54
  • 49. Resultado Qualitativo: NASA – TLX com Mouse 49/54
  • 50. Resultado Qualitativo: NASA – TLX com Mouse Figura 29 – Classificações Médias das demandas (0 - 100) avaliadas pelos voluntários na utilização dos software JoyFace e ACAT, em comparativo. 50/54
  • 51. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 51/54
  • 52. Conclusão A interface Joyface se mostrou: Segura; Fácil de usar; Baixo esforço mental; Baixa taxas de erros; Baixa frustração na utilização da interface; Baixa carga de trabalho. Pontos a serem melhorados:  Influência à luminosidade externa;  Falsos-positivos e falsos negativos; 52/54
  • 53. Trabalhos Futuros • Adicionar um botão físico de emergência, que possa ser acionado através do queixo ou sip and puff, para ser utilizado em situações de perda de controle. • Implementar o sistema JoyFace em uma plataforma embarcada. 53/54
  • 54. Contribuições Científicas 1. Human-Computer Interface using Facial Expressions: a Solution for People with Motor Disabilities. 4th BRAINN Congress, Journal of Epilepsy and Clinical Neurophysiology, 2017. 2. Comparison of Human Machine Interfaces to control a Robotized Wheelchair, XIII Simpósio Brasileiro de Automação Inteligente – SBAI, 2017. 3. Joyface: Desenvolvimento e Avaliação de uma Interface Humano-Computador para Smart-Home dedicada à Pessoas com Deficiência, X Simpósio de Informática do IFNMG - Campus Januária, 2018. 4. Smart Home control using Facial Expressions, BRAINN Congress, 2019. 54/54