Este documento descreve o desenvolvimento e avaliação de um sistema multimodal e multiusuário de navegação na web chamado BrowserVox. O sistema possui interfaces de voz e gráfica que permitem a interação por meio da fala ou do mouse de forma independente para cada usuário. O documento apresenta as tecnologias de reconhecimento e síntese de voz utilizadas e descreve a gramática projetada para o sistema. Por fim, é realizada uma avaliação da usabilidade da interface com base em testes de desempenho e satisfação dos usuários.
Sistematização de revisões bibliográficas em pesquisas da área de IHCElizabete Munzlinger
Elizabete Munzlinger
Fabricio Batista Narcizo
José Eustáquio Rangel de Queiroz
Departamento de Sistemas e Computação (DSC)
Universidade Federal de Campina Grande (UFCG)
RESUMO
Durante o desenvolvimento de uma pesquisa científica na área de Interação Humano-Computador (IHC) é necessário identificar, ler, analisar e interpretar publicações relevantes sobre determinado tema ou assunto. Tal tarefa resulta usualmente em extensos volumes de dados bibliográficos, os quais devem ser integrados em um único documento, com o objetivo de facilitar a avaliação da robustez da evidência em questão. Não obstante, isto não constitui uma tarefa fácil de realizar. As revisões sistemáticas têm o papel de preencher tal lacuna, provendo sínteses abrangentes, confiáveis e imparciais de uma pesquisa sobre um tema específico, integrando em um único relatório grandes volumes de estudos individuais, proporcionando a melhor evidência para a tomada de decisões e também auxiliando a identificar novos nichos de pesquisa.
Mouse+Teclado x Toque+Caneta: as modalidades de interação em contextos educac...André Constantino da Silva
Slides da apresentação realizada para o Seminário do NIED em 14/08/2015.
Explorar a rápida evolução tecnológica é um desafio da Interação Humano-Computador; ao desenvolver um sistemas interativos para computador desktop, considera-se o mouse e o teclado os dispositivos de entrada a serem utilizados. Com a variedade de dispositivos computacionais atuais, em especial, dispositivos móveis como celulares inteligentes e tablets, cuja entrada de dados é por meio de toque e/ou caneta, torna-se necessário estudar como a diversidade de dispositivos e de modalidades de interação pode trazer benefícios aos usuários. Cada modalidade tem suas peculiaridades e, portanto, diferentes potenciais de uso, inclusive no contexto educacional. Esta palestra visa expor a investigação de diferentes modalidades, em especial, a caneta e o toque, por meio da exposição do tema considerando os fundamentos de modalidade e multimodalidade definidos na área de Interação Humano-Computador e dos trabalhos realizados pelos palestrantes.
Mais informação em: http://www.nied.unicamp.br/?q=content/mouseteclado-x-toquecaneta-modalidades-de-intera%C3%A7%C3%A3o-em-contextos-educacionais
Revisão Sistemática é uma metodologia de estudo secundário que visa estabelecer um levantamento formal do estado da arte, de forma robusta e consistente, a partir de um planejamento e execução criteriosos. O processo de pesquisa é conduzido segundo uma série metodologicamente bem definida de etapas, de acordo com um protocolo de estudo previamente planejado.
Sistematização de revisões bibliográficas em pesquisas da área de IHCElizabete Munzlinger
Elizabete Munzlinger
Fabricio Batista Narcizo
José Eustáquio Rangel de Queiroz
Departamento de Sistemas e Computação (DSC)
Universidade Federal de Campina Grande (UFCG)
RESUMO
Durante o desenvolvimento de uma pesquisa científica na área de Interação Humano-Computador (IHC) é necessário identificar, ler, analisar e interpretar publicações relevantes sobre determinado tema ou assunto. Tal tarefa resulta usualmente em extensos volumes de dados bibliográficos, os quais devem ser integrados em um único documento, com o objetivo de facilitar a avaliação da robustez da evidência em questão. Não obstante, isto não constitui uma tarefa fácil de realizar. As revisões sistemáticas têm o papel de preencher tal lacuna, provendo sínteses abrangentes, confiáveis e imparciais de uma pesquisa sobre um tema específico, integrando em um único relatório grandes volumes de estudos individuais, proporcionando a melhor evidência para a tomada de decisões e também auxiliando a identificar novos nichos de pesquisa.
Mouse+Teclado x Toque+Caneta: as modalidades de interação em contextos educac...André Constantino da Silva
Slides da apresentação realizada para o Seminário do NIED em 14/08/2015.
Explorar a rápida evolução tecnológica é um desafio da Interação Humano-Computador; ao desenvolver um sistemas interativos para computador desktop, considera-se o mouse e o teclado os dispositivos de entrada a serem utilizados. Com a variedade de dispositivos computacionais atuais, em especial, dispositivos móveis como celulares inteligentes e tablets, cuja entrada de dados é por meio de toque e/ou caneta, torna-se necessário estudar como a diversidade de dispositivos e de modalidades de interação pode trazer benefícios aos usuários. Cada modalidade tem suas peculiaridades e, portanto, diferentes potenciais de uso, inclusive no contexto educacional. Esta palestra visa expor a investigação de diferentes modalidades, em especial, a caneta e o toque, por meio da exposição do tema considerando os fundamentos de modalidade e multimodalidade definidos na área de Interação Humano-Computador e dos trabalhos realizados pelos palestrantes.
Mais informação em: http://www.nied.unicamp.br/?q=content/mouseteclado-x-toquecaneta-modalidades-de-intera%C3%A7%C3%A3o-em-contextos-educacionais
Revisão Sistemática é uma metodologia de estudo secundário que visa estabelecer um levantamento formal do estado da arte, de forma robusta e consistente, a partir de um planejamento e execução criteriosos. O processo de pesquisa é conduzido segundo uma série metodologicamente bem definida de etapas, de acordo com um protocolo de estudo previamente planejado.
Slide da disciplina de Introdução aos Padrões Web e Tecnologias para o Ambiente Digital, ministrada pelo professor Thiago Prado Campos - Aula 02 - 28/05/2011
O objetivo deste slide é apresentar tecnologias web que permitem a criação de aplicativos móveis multiplataforma e compará-las às formas tradicionais de desenvolvimento
Desenvolvimento de Aplicações com Zend Framework e Yahoo! User InterfaceDomingos Teruel
Apresentação feita durante a 2ª PHP-SC Conference 2009 - Itajaí - SC
Sobre desenvolvimento de aplicações usando Zend Framework e Yahoo! User Interface, Y!UI
Aula 2 - POO: Fundamentos da linguagem JavaDaniel Brandão
Aula 2 da disciplina Programação Orientada a Objetos, onde é apresentando o conceito inicial da linguagem JAVA, que será a base da aplicação prática na disciplina.
Slide da disciplina de Introdução aos Padrões Web e Tecnologias para o Ambiente Digital, ministrada pelo professor Thiago Prado Campos - Aula 02 - 28/05/2011
O objetivo deste slide é apresentar tecnologias web que permitem a criação de aplicativos móveis multiplataforma e compará-las às formas tradicionais de desenvolvimento
Desenvolvimento de Aplicações com Zend Framework e Yahoo! User InterfaceDomingos Teruel
Apresentação feita durante a 2ª PHP-SC Conference 2009 - Itajaí - SC
Sobre desenvolvimento de aplicações usando Zend Framework e Yahoo! User Interface, Y!UI
Aula 2 - POO: Fundamentos da linguagem JavaDaniel Brandão
Aula 2 da disciplina Programação Orientada a Objetos, onde é apresentando o conceito inicial da linguagem JAVA, que será a base da aplicação prática na disciplina.
Desenvolvimento e Avaliação de um Sistema Multimodal e Multiusuário de Navegação Web
1. Desenvolvimento e Avaliação
de um Sistema Multimodal e
Multiusuário de Navegação Web
Elizabete Munzlinger
& Carlos Henrique Q. Forster
ITA – Instituto Tecnológico de Aeronáutica
EEC-I – Engenharia Eletrônica e Computação – Informática
Divisão de Ciência da Computação
2. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
3. Introdução
Motivação
Interação através da fala
Tecnologias de fala – ASR e TTS
Interface de Voz
Interface Multimodal
Interface Multiusuário
Objetivo do trabalho:
Avaliar o desempenho e a viabilidade de um sistema de
navegação web multimodal e multiusuário
4. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
5. BrowserVox
Características do navegador
Interface Multimodal
Interface Gráfica (mouse)
Interface de Voz (voz)
Interface Multiusuário
Independente de usuário e de treinamento
Variação de comandos
Gramática com palavras complementares
6. BrowserVox
Sistema
Arquitetura
Interface Application
Interface Gráfica
Interface de Voz
Sistema de registro (log)
Geração das Gramáticas JSGF e JSML (Transcoding)
Speech Plataform
Reconhecimento de Fala e Síntese de Texto
Componentes ASR, TTS (IBM Via Voice) e JSAPI
9. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
10. Interfaces
Interface Gráfica (GUI)
Características:
Interação com sistema através de dispositivos onde ocorre a
manipulação de elementos visuais (manipulação direta)
Mais utilizada atualmente
Representar elementos do mundo real
11. Interfaces
Interface de Voz (VUI)
Características:
Interação com sistema exclusivamente por fala
Disseminado em diversos domínios:
Dispositivos móveis
Sistemas desktop de escritório, médicas, empresariais, educativas e
militares
Automação residencial e controle industrial
Serviços de telecomunicações
Ferramenta de transformação de interfaces monomodais em
multimodais
12. Interfaces
Interface Multimodal
Características:
Interface em que ocorre a combinação de dois ou mais
modos/estilos de interação com sistema. Ex:
Mouse e teclado + luvas táteis
Mouse e teclado + reconhecimento de gestos
Tela sensível ao toque + reconhecimento de fala
Mouse e teclado + reconhecimento de fala
Oferece nova experiência ao usuário
13. Interfaces
Interface Multiusuário
Características:
Pode ser utilizada por qualquer usuário a qualquer
momento sem que para isso necessite uma configuração
particular dependente do usuário ou de um processo de
treinamento para gerar essa configuração
Necessidade em sistemas multimodais
Desejável em sistemas com Interface de Voz
15. Tecnologias de Fala
Tecnologias
Reconhecimento automático de fala (ASR)
Receba um comando de voz e imediatamente o converta em
texto desde que reconhecido de acordo com as regras da
linguagem (IBM ViaVoice, Português-Brasileiro)
Síntese de texto (TTS)
Converte a representação digital de um texto, em fala
sintetizada (IBM ViaVoice, Português-Brasileiro)
Biblioteca de acesso ao Engine IBM
JSAPI (Java Speech Application Programming Interface)
16. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
17. Gramáticas
JSGF e JSML
Gramática de Reconhecimento
Java Speech Grammar Format (JSGF)
Gramática de Síntese
Java Speech Makup Language (JSML)
21. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
22. Avaliação da Interface
Avaliação de usabilidade
Avaliação empírica com testes através da técnica de
Engenharia de Usabilidade com os cinco critérios
introduzidos por Nielsen (1993):
1. Intuitividade
2. Eficiência
3. Memorização
4. Erro
5. Satisfação
23. Avaliação da Interface
Preparação da avaliação de usabilidade
Lista de quatro tarefas
Um questionário
Os critérios 1 a 4 (Intuitividade, Eficiência, Memorização, Erro)
foram avaliados basicamente através de observação e
medição de dados coletados durante as tarefas (executadas
2 vezes pelos usuários).
O critério 5 (Satisfação) através de questionário objetivo com
pontuação para itens específicos
25. Avaliação da Interface
Preparação da avaliação de usabilidade
Usuários:
Os usuários selecionados para essa avaliação pertencem às
categorias de iniciantes e avançados, com número de
participantes igual a 10
26. Avaliação da Interface
Preparação da avaliação de usabilidade
O questionário objetivo:
Aborda características prioritárias e valores quantitativos para
o critério 5, onde o usuário deverá pontuar de 1 a 5 os
tópicos de acordo com a sua satisfação
29. Avaliação da Interface
Avaliação dos resultados
Satisfatório
Sistema em fase de protótipo
O tempo de realização das 4 tarefas pelos 10 usuários
estiveram dentro do tempo esperado, para a 1ª e 2ª execução.
A pontuação do questionário também atendeu às expectativas
Sistema é aplicável
Grande chance de aceitação e uso por usuários de diferentes níveis de
formação
Fatores de ordem subjetiva
Nível de qualificação do usuário, tipo e complexidade de aplicação,
capacidade de aprendizagem, aceitação, domínio da tarefa, entre
outros.
30. Roteiro
Introdução
BrowserVox
Interface de Voz e Interface Multimodal
Tecnologias ASR e TTS
Gramática
Avaliação da Interface
Conclusão
31. Conclusão
Conclusão
Viabilidade da aplicação de voz depende de diversos
fatores:
Ordem subjetiva (usuário: peculiaridades de ordem social,
cultural)
Problemas tecnológicos (despadronização dos sites)
Linguagem ampla (símbolos, abreviauras, termos
estrangeiros)
Vantagens:
Interface multiusuário e multimodal
Gramáticas
32. Obrigada!
[proibido perguntas ]
Instituto Tecnológico de Aeronáutica
Divisão de Ciência da Computação – IEC
Programa de Pós-Graduação em Engenharia Eletrônica e Computação
Área de Informática – PG/EEC-I