Teste de Usabilidade <ul><li>Pós-graduação lato-sensu - CCE - PUC Rio </li></ul><ul><li>Ergodesign, Usabilidade e Arquitet...
Identifying Web Usability Problems from Eye-Tracking Data <ul><li>Apresentação do artigo </li></ul>de Claudia Ehmke e Step...
Introdução <ul><li>O uso frequente da internet na rotina das pessoas faz com que elas esperem uma evolução constante das i...
Introdução <ul><li>Os olhos nunca se mantém em uma mesma posição por muito tempo, se movem muitas vezes por segundo, em mo...
Introdução Eye Tracker
Introdução Gaze plot Mapa de calor Fixations: Olhar fixo Saccades: Movimentos rápidos (involuntários) Gaze plot: O gráfico...
Dados <ul><li>Histórico: </li></ul><ul><li>Apesar de ser uma nova técnica na área de U s abilidade, o eye-tracking já é ut...
Dados Pesquisas relacionadas: No artigo são citadas rapidamente outras pesquisas relacionadas a esta que serviram de backg...
Dados Pesquisas relacionadas (continuação):
Dados Pesquisas relacionadas (continuação):
Dados Jacob e Karn fizeram um overview dos estudos sobre eye-tracking e métricas em HCI. Foram analisados 24 estudos entre...
Conclusão Quanto aos Dados Vários estudos comparam os resultados da avaliação de usabilidade tradicional a diferentes métr...
Eye-Tracking: Método - O moderador deve ter as tarefas para ser realizadas em um ou dois sites diferentes. - O usuário dev...
Método do Teste Foram analisados dois sites – BBC e The Train Line com uma tarefa específica para cada um dos sites. Todos...
Tarefas BBC (bbc.com) - Encontrar as condições para o surfe no País de Gales Para avaliar os elementos de navegação e o es...
Participantes 19 participantes (9 mulheres e 10 homens) - Alguns usavam lentes ou óculos mas isso não foi um impedimento. ...
Procedimentos do Teste <ul><li>Breve questionário quanto a dados demográficos. </li></ul><ul><li>Eye-tracker calibrado par...
Extração dos Problemas de Usabilidade 1- Foram extraídos problemas de usabilidade dos dados brutos (raw data) das observaç...
Extração dos Problemas de Usabilidade No total, foram identificados 74 ocorrência de problemas de usabilidade no BBC, e 75...
Correlação entre Problemas de Usabilidade e os Padrões do Eye-Tracking Problemas que ocorreram com mais frequência:
Limitações do Método <ul><li>Um único moderador torna a compilação mais consistente, porém, fica restrito a UMA única inte...
Problemas com o Esquema de Correlação <ul><li>T ratamento e harmonização de padrões para os diferentes participantes. </li...
Conclusão <ul><li>Foi provada a correlação dos problemas de usabilidade com os padrões identificados pelo eye-tracking. </...
Próximos SlideShares
Carregando em…5
×

10. Identificando os problemas de usabilidade com eye tracking

4.914 visualizações

Publicada em

Apresentação dos alunos da Pós-Graduação em Ergodesign de Interfaces e Arquitetura de Informação da PUC-RIO (CEE) - edição 2011.
Prof. Luiz Agner
Disciplina: Testes Formais de Usabilidade
Baseado no livro HandBook of Usability Testing, de J. RUBIN.

Publicada em: Design
  • Seja o primeiro a comentar

10. Identificando os problemas de usabilidade com eye tracking

  1. 1. Teste de Usabilidade <ul><li>Pós-graduação lato-sensu - CCE - PUC Rio </li></ul><ul><li>Ergodesign, Usabilidade e Arquitetura da Informação </li></ul>Leonardo Caetano | Luciana Albuquerque
  2. 2. Identifying Web Usability Problems from Eye-Tracking Data <ul><li>Apresentação do artigo </li></ul>de Claudia Ehmke e Stephanie Wilson Centre for HCI Design - City Universe - London UK
  3. 3. Introdução <ul><li>O uso frequente da internet na rotina das pessoas faz com que elas esperem uma evolução constante das interfaces, e qualquer experiência de navegação tem que ser positiva. </li></ul>Poor usability is not tolerated by users who simply choose to go elsewhere “ Por consequência, analisar a usabilidade dos sites e realizar alguns testes têm se tornado muito comum. Entre as diversas formas de avaliar uma interface, existe o eye-tracking.
  4. 4. Introdução <ul><li>Os olhos nunca se mantém em uma mesma posição por muito tempo, se movem muitas vezes por segundo, em movimentos curtos passando por alguns pixels ou em movimentos longos. </li></ul>O eye-tracker é um aparelho captura os movimentos dos olhos. Resultado: um gráfico indicando o caminho que os olhos dos usuários seguiram, onde ele passou mais ou menos tempo olhando, tentando entender a tomada de decisão do usuário, seu modelo mental e estímulos. Comparando-se mais de um usuário, tenta-se encontrar comportamento padrão. Um estudo feito Just e Carpenter assume que o local para onde você está olhando indica onde está prestando atenção ou no que está pensando sobre. O artigo relaciona o resultado do eye-tracking com a existência de problemas de usabilidade.
  5. 5. Introdução Eye Tracker
  6. 6. Introdução Gaze plot Mapa de calor Fixations: Olhar fixo Saccades: Movimentos rápidos (involuntários) Gaze plot: O gráfico de resultados do eye-tracker
  7. 7. Dados <ul><li>Histórico: </li></ul><ul><li>Apesar de ser uma nova técnica na área de U s abilidade, o eye-tracking já é utilizado em outras displinas como a Psicologia há pelo menos 60 anos. </li></ul><ul><li>Sobre o Eye-Tracking e a Usabilidade: </li></ul><ul><li>Entre referências estudadas, uma pesquisa realizada por Amitage em 2006 propõe algumas interpretações básicas sobre o movimento dos olhos: </li></ul><ul><li>long fixations (confusão ou interesse) </li></ul><ul><li>back-track saccade (possivel confusão) </li></ul><ul><li>back and forth between two objects (escolha/comparação ou distração) </li></ul><ul><li>reading headings and subheadings but no more (desinteresse) </li></ul><ul><li>entre outras... </li></ul>
  8. 8. Dados Pesquisas relacionadas: No artigo são citadas rapidamente outras pesquisas relacionadas a esta que serviram de background para a formulação do artigo:
  9. 9. Dados Pesquisas relacionadas (continuação):
  10. 10. Dados Pesquisas relacionadas (continuação):
  11. 11. Dados Jacob e Karn fizeram um overview dos estudos sobre eye-tracking e métricas em HCI. Foram analisados 24 estudos entre 1950 e 2002. Identificando 6 métricas mais comuns: - Total de pontos de fixação (11 estudos) - Gaze em cada área de interesse (7 estudos) - Média de duração das fixações (6 estudos) - Fixação em cada área de interesse (6 estudos) - Duração média do gaze em cada área de interesse (5 estudos) - Taxa de fixação - em geral (5 estudos) Eles também ressaltam que essas métricas às vezes não são as mais adequadas e indicam algumas outras, incluindo Scan Path (caminho que os olhos seguem pela página) e Probabilidade de transições entre áreas de interesse para avaliar organização dos elementos no layout.
  12. 12. Conclusão Quanto aos Dados Vários estudos comparam os resultados da avaliação de usabilidade tradicional a diferentes métricas de eye-tracking. A maior referência é o estudo feito por Goldberg e Kotval que continuamente vem sendo acrescido de novas métricas. No entanto, avaliações de especialistas e medidas de desempenho só podem dar uma visão geral do problema, não estabelecendo ligações diretas entre métricas e problemas de usabilidade. O artigo investiga a correlação entre os padrões de usuários definidos pelo eye-tracking e os problemas de usabilidade específicos de diferentes contextos.
  13. 13. Eye-Tracking: Método - O moderador deve ter as tarefas para ser realizadas em um ou dois sites diferentes. - O usuário deve falar enquanto faz as tarefas (think-aloud) - Pode-se fazer perguntas sobre a percepção do usuário depois da realização das tarefas, (retrospective protocols) - O moderador deve observar o usuário realizando as tarefas. - O eye-tracker vai capturar o movimento dos olhos - Depois deve-se analizar todos os dados e fazer uma correlação entre eles.
  14. 14. Método do Teste Foram analisados dois sites – BBC e The Train Line com uma tarefa específica para cada um dos sites. Todos os participantes deveriam testar os dois sites se o tempo disponível permitisse. Alguns usuários seriam incentivados a falar enquanto realizavam a tarefa e outros não. Outros usuários participariam de uma entrevista pós-teste analisando as filmagens e explicando o que estava vendo ou pensando naquele momento. Foram coletados protocolos verbais (think-aloud), dados de observação e das entrevistas pós-teste para identificar problemas de usabilidade, bem como dados de rastreamento ocular fornecidos pelo eye-tracker. As correlações entre os dois foram então analisados.
  15. 15. Tarefas BBC (bbc.com) - Encontrar as condições para o surfe no País de Gales Para avaliar os elementos de navegação e o escaneamento das imagens, textos e outros elementos na tela. The Train Line (thetrainline.com) - Encontrar uma jornada específica de um trem Para avaliar inserção de texto e o escaneamento das informações.
  16. 16. Participantes 19 participantes (9 mulheres e 10 homens) - Alguns usavam lentes ou óculos mas isso não foi um impedimento. - 9 deles tinham algum conhecimento em HCI, mas nenhum tinha participado de testes antes - Idade entre 22 e 55 anos, sabendo que só dois tinham mais que 36. - Inglês era língua nativa de menos da metade, mas todos vivem em londres e falam inglês fluentemente. - Todos lidam com internet diariamente - Todos conheciam o site da BBC - Somente dois conheciam o site thetrainline.com
  17. 17. Procedimentos do Teste <ul><li>Breve questionário quanto a dados demográficos. </li></ul><ul><li>Eye-tracker calibrado para o participante, as tarefas foram explicadas e inicia-se o teste. </li></ul><ul><ul><li>Realizar as tarefas para os dois sites dependia de limitações de tempo dos participantes </li></ul></ul><ul><li>Alguns participantes foram incentivados a pensar em voz alta (think-aloud) e outros não – um dos objetivos do teste era correlacionar este dado também. </li></ul><ul><li>Após o teste, alguns participantes tiveram suas gravações mostradas a eles mesmos e foram solicitados a descrever porque tinham feito determinada coisa ou o que estava chamando sua atenção. </li></ul>
  18. 18. Extração dos Problemas de Usabilidade 1- Foram extraídos problemas de usabilidade dos dados brutos (raw data) das observações, do think-aloud e da conversa depois da tarefa (retroscpective protocol) 2- Procurou-se comportamentos comuns a todos os usuários (onde mais de um usuário teve o mesmo problema) 3- Comparou-se os problemas entre os sites para identificar problemas únicos em cada site / tarefa.
  19. 19. Extração dos Problemas de Usabilidade No total, foram identificados 74 ocorrência de problemas de usabilidade no BBC, e 75 no The Train Line (alguns duplicados, obviamente). Estes problemas foram divididos entre “ site problem ” e “ page problem ” . Depois esse número foi compilado:
  20. 20. Correlação entre Problemas de Usabilidade e os Padrões do Eye-Tracking Problemas que ocorreram com mais frequência:
  21. 21. Limitações do Método <ul><li>Um único moderador torna a compilação mais consistente, porém, fica restrito a UMA única interpretação. </li></ul><ul><li>O eye-tracker identifica onde pode estar um problema, mas não o explica. </li></ul><ul><li>Não havia métricas anteriores para fazer comparações. </li></ul><ul><li>O software e suas limitações e o tempo de realização da pesquisa. </li></ul>
  22. 22. Problemas com o Esquema de Correlação <ul><li>T ratamento e harmonização de padrões para os diferentes participantes. </li></ul><ul><li>Limitações das métricas para a combinação de resultados, pois não eram suficientemente claras. </li></ul><ul><li>A identificação de amplos padrões de rastreamento ocular e limitações de tempo não permitiram verificar se o padrão era confiável. </li></ul><ul><li>Alguns padrões só foram identificados com o think-aloud e não pela ferramenta. </li></ul>
  23. 23. Conclusão <ul><li>Foi provada a correlação dos problemas de usabilidade com os padrões identificados pelo eye-tracking. </li></ul><ul><li>Foram criadas novas métricas que enriquecem a literatura sobre o assunto. </li></ul><ul><li>Comprovado que é possível usar o eye-tracking como uma fonte segura de dados, porém seus padões devem ser estudados com mais profundidade. </li></ul><ul><li>Sérios problemas técnicos foram experimentados com a configuração do eye-tracker que afetou o estudo. É necessária uma análise mais abrangente dos dados com outra abordagem para investigar essas e outras correlações. </li></ul>

×