O documento descreve um estudo que correlacionou dados de rastreamento ocular com problemas de usabilidade encontrados em dois sites. 19 participantes realizaram tarefas nos sites enquanto seus olhos eram rastreados. Problemas de usabilidade foram identificados e correlacionados com padrões comuns de rastreamento ocular entre usuários, como fixações prolongadas em áreas problemáticas. O estudo mostrou que o rastreamento ocular pode identificar problemas de usabilidade, embora novas métricas e abordagens sejam necessárias.

1. Teste de Usabilidade Pós-graduação lato-sensu - CCE - PUC Rio Ergodesign, Usabilidade e Arquitetura da Informação Leonardo Caetano | Luciana Albuquerque

2. Identifying Web Usability Problems from Eye-Tracking Data Apresentação do artigo de Claudia Ehmke e Stephanie Wilson Centre for HCI Design - City Universe - London UK

3. Introdução O uso frequente da internet na rotina das pessoas faz com que elas esperem uma evolução constante das interfaces, e qualquer experiência de navegação tem que ser positiva. Poor usability is not tolerated by users who simply choose to go elsewhere “ Por consequência, analisar a usabilidade dos sites e realizar alguns testes têm se tornado muito comum. Entre as diversas formas de avaliar uma interface, existe o eye-tracking.

4. Introdução Os olhos nunca se mantém em uma mesma posição por muito tempo, se movem muitas vezes por segundo, em movimentos curtos passando por alguns pixels ou em movimentos longos. O eye-tracker é um aparelho captura os movimentos dos olhos. Resultado: um gráfico indicando o caminho que os olhos dos usuários seguiram, onde ele passou mais ou menos tempo olhando, tentando entender a tomada de decisão do usuário, seu modelo mental e estímulos. Comparando-se mais de um usuário, tenta-se encontrar comportamento padrão. Um estudo feito Just e Carpenter assume que o local para onde você está olhando indica onde está prestando atenção ou no que está pensando sobre. O artigo relaciona o resultado do eye-tracking com a existência de problemas de usabilidade.

5. Introdução Eye Tracker

6. Introdução Gaze plot Mapa de calor Fixations: Olhar fixo Saccades: Movimentos rápidos (involuntários) Gaze plot: O gráfico de resultados do eye-tracker

7. Dados Histórico: Apesar de ser uma nova técnica na área de U s abilidade, o eye-tracking já é utilizado em outras displinas como a Psicologia há pelo menos 60 anos. Sobre o Eye-Tracking e a Usabilidade: Entre referências estudadas, uma pesquisa realizada por Amitage em 2006 propõe algumas interpretações básicas sobre o movimento dos olhos: long fixations (confusão ou interesse) back-track saccade (possivel confusão) back and forth between two objects (escolha/comparação ou distração) reading headings and subheadings but no more (desinteresse) entre outras...

8. Dados Pesquisas relacionadas: No artigo são citadas rapidamente outras pesquisas relacionadas a esta que serviram de background para a formulação do artigo:

9. Dados Pesquisas relacionadas (continuação):

10. Dados Pesquisas relacionadas (continuação):

11. Dados Jacob e Karn fizeram um overview dos estudos sobre eye-tracking e métricas em HCI. Foram analisados 24 estudos entre 1950 e 2002. Identificando 6 métricas mais comuns: - Total de pontos de fixação (11 estudos) - Gaze em cada área de interesse (7 estudos) - Média de duração das fixações (6 estudos) - Fixação em cada área de interesse (6 estudos) - Duração média do gaze em cada área de interesse (5 estudos) - Taxa de fixação - em geral (5 estudos) Eles também ressaltam que essas métricas às vezes não são as mais adequadas e indicam algumas outras, incluindo Scan Path (caminho que os olhos seguem pela página) e Probabilidade de transições entre áreas de interesse para avaliar organização dos elementos no layout.

12. Conclusão Quanto aos Dados Vários estudos comparam os resultados da avaliação de usabilidade tradicional a diferentes métricas de eye-tracking. A maior referência é o estudo feito por Goldberg e Kotval que continuamente vem sendo acrescido de novas métricas. No entanto, avaliações de especialistas e medidas de desempenho só podem dar uma visão geral do problema, não estabelecendo ligações diretas entre métricas e problemas de usabilidade. O artigo investiga a correlação entre os padrões de usuários definidos pelo eye-tracking e os problemas de usabilidade específicos de diferentes contextos.

13. Eye-Tracking: Método - O moderador deve ter as tarefas para ser realizadas em um ou dois sites diferentes. - O usuário deve falar enquanto faz as tarefas (think-aloud) - Pode-se fazer perguntas sobre a percepção do usuário depois da realização das tarefas, (retrospective protocols) - O moderador deve observar o usuário realizando as tarefas. - O eye-tracker vai capturar o movimento dos olhos - Depois deve-se analizar todos os dados e fazer uma correlação entre eles.

14. Método do Teste Foram analisados dois sites – BBC e The Train Line com uma tarefa específica para cada um dos sites. Todos os participantes deveriam testar os dois sites se o tempo disponível permitisse. Alguns usuários seriam incentivados a falar enquanto realizavam a tarefa e outros não. Outros usuários participariam de uma entrevista pós-teste analisando as filmagens e explicando o que estava vendo ou pensando naquele momento. Foram coletados protocolos verbais (think-aloud), dados de observação e das entrevistas pós-teste para identificar problemas de usabilidade, bem como dados de rastreamento ocular fornecidos pelo eye-tracker. As correlações entre os dois foram então analisados.

15. Tarefas BBC (bbc.com) - Encontrar as condições para o surfe no País de Gales Para avaliar os elementos de navegação e o escaneamento das imagens, textos e outros elementos na tela. The Train Line (thetrainline.com) - Encontrar uma jornada específica de um trem Para avaliar inserção de texto e o escaneamento das informações.

16. Participantes 19 participantes (9 mulheres e 10 homens) - Alguns usavam lentes ou óculos mas isso não foi um impedimento. - 9 deles tinham algum conhecimento em HCI, mas nenhum tinha participado de testes antes - Idade entre 22 e 55 anos, sabendo que só dois tinham mais que 36. - Inglês era língua nativa de menos da metade, mas todos vivem em londres e falam inglês fluentemente. - Todos lidam com internet diariamente - Todos conheciam o site da BBC - Somente dois conheciam o site thetrainline.com

17. Procedimentos do Teste Breve questionário quanto a dados demográficos. Eye-tracker calibrado para o participante, as tarefas foram explicadas e inicia-se o teste. Realizar as tarefas para os dois sites dependia de limitações de tempo dos participantes Alguns participantes foram incentivados a pensar em voz alta (think-aloud) e outros não – um dos objetivos do teste era correlacionar este dado também. Após o teste, alguns participantes tiveram suas gravações mostradas a eles mesmos e foram solicitados a descrever porque tinham feito determinada coisa ou o que estava chamando sua atenção.

18. Extração dos Problemas de Usabilidade 1- Foram extraídos problemas de usabilidade dos dados brutos (raw data) das observações, do think-aloud e da conversa depois da tarefa (retroscpective protocol) 2- Procurou-se comportamentos comuns a todos os usuários (onde mais de um usuário teve o mesmo problema) 3- Comparou-se os problemas entre os sites para identificar problemas únicos em cada site / tarefa.

19. Extração dos Problemas de Usabilidade No total, foram identificados 74 ocorrência de problemas de usabilidade no BBC, e 75 no The Train Line (alguns duplicados, obviamente). Estes problemas foram divididos entre “ site problem ” e “ page problem ” . Depois esse número foi compilado:

20. Correlação entre Problemas de Usabilidade e os Padrões do Eye-Tracking Problemas que ocorreram com mais frequência:

21. Limitações do Método Um único moderador torna a compilação mais consistente, porém, fica restrito a UMA única interpretação. O eye-tracker identifica onde pode estar um problema, mas não o explica. Não havia métricas anteriores para fazer comparações. O software e suas limitações e o tempo de realização da pesquisa.

22. Problemas com o Esquema de Correlação T ratamento e harmonização de padrões para os diferentes participantes. Limitações das métricas para a combinação de resultados, pois não eram suficientemente claras. A identificação de amplos padrões de rastreamento ocular e limitações de tempo não permitiram verificar se o padrão era confiável. Alguns padrões só foram identificados com o think-aloud e não pela ferramenta.

23. Conclusão Foi provada a correlação dos problemas de usabilidade com os padrões identificados pelo eye-tracking. Foram criadas novas métricas que enriquecem a literatura sobre o assunto. Comprovado que é possível usar o eye-tracking como uma fonte segura de dados, porém seus padões devem ser estudados com mais profundidade. Sérios problemas técnicos foram experimentados com a configuração do eye-tracker que afetou o estudo. É necessária uma análise mais abrangente dos dados com outra abordagem para investigar essas e outras correlações.