Heuristic evaluation:         Comparing ways of finding andx         reporting usability problems                        ...
Introdução         Objetivo:         Aperfeiçoar um relatório de pesquisa para comparar e contrastar os         métodos de...
Introdução                                                                                                               ...
Heurísticas de Nielsen (1993)                            1 – Visibilidade do status do sistema                            ...
Princípios cognitivos de Gerhardt-Powalse (1996)                           1 – Automatizar carga de trabalho não desejada;...
Avaliação heurística                    Fatores podem influenciar o desempenho da avaliação heurística:         x x     ...
Papel x Software                         • Estudos empíricos anteriores constatam que relatos em                         ...
Papel x Software                            • Facilita a pesquisa, revisão, modificação das descrições de                 ...
Questões levantadas                            • A utilização de um software para os registros dos testes de      x      ...
Materiais e Métodos         • 2 experimentos         • Avaliação do e-learning EducaNext.orgHeuristic evaluation: Comparin...
EducaNext 2011Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar   10/22
Materiais e Métodos                                                                                             x   Expe...
Materiais e Métodos                                                                                             x       ...
Materiais e Métodos                                                                  x                                  ...
Materiais e MétodosHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar   14/22
Materiais e Métodos                                                                                             x       ...
Materiais e Métodos                    Especialista em usabilidade (E1), altamente conhecedor do sistema                  ...
Materiais e Métodos   Experimento 2   • 10 participantes para realizar as tarefas.   • Funcionários da universidade, profs...
Resultados                             Experimento 1             x              A utilização do software teve uma pequena...
Resultados                             Experimento 1                             No entanto, um participante (software e G...
Resultados                             Experimento 2                             Cruzando os problemas apontados pelos ava...
Considerações finais     • Embora os avaliadores tenham recebido “material de estudo”, a inexperiência     pode ter compro...
Considerações finais     • Tanto o número médio de problemas , quanto o desvio padrão de Gerhardt-     Powals foram superi...
Referências     Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding     and ...
Hvannberg, E., Law, E., & Lárusdóttir, M.  x                                                 (2007) “Heuristic Evaluation...
Próximos SlideShares
Carregando em…5
×

Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems

939 visualizações

Publicada em

Por Victor Nassar, Mestrando em Design-UFPR.

Referência do artigo:

Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240

Publicada em: Design
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
939
No SlideShare
0
A partir de incorporações
0
Número de incorporações
0
Ações
Compartilhamentos
0
Downloads
17
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems

  1. 1. Heuristic evaluation: Comparing ways of finding andx reporting usability problems Ebba Thora Hvannberg Effie Lai-Chong Law Marta Kristín Lárusdóttir 2007  x Victor Nassar Mestrando em Design – UFPR victornassar07@hotmail.com
  2. 2. Introdução Objetivo: Aperfeiçoar um relatório de pesquisa para comparar e contrastar os métodos de avaliação heurística. Método Empírico: Compara dois conjuntos de heurísticas (heurísticas de Nielsen e os princípios de Gerhardt-Powalse) e dois meios de relatar problemas de usabilidade (software ou papel). Resultados comparados com testes de usuários.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 1/22
  3. 3. Introdução  x X  xHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 2/22
  4. 4. Heurísticas de Nielsen (1993) 1 – Visibilidade do status do sistema 2 – Compatibilidade do sistema com o mundo real 3 – Controle do usuário e liberdade  4 – Consistência e padrões 5 – Prevenção de erros x 6 – Reconhecimento ao invés de relembrança 7 – Flexibilidade e eficiência de uso 8 – Estética e design minimalista 9 – Gestão de erros 10 – Help e documentaçãoHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 3/22
  5. 5. Princípios cognitivos de Gerhardt-Powalse (1996) 1 – Automatizar carga de trabalho não desejada; 2 – Reduzir incertezas; 3 – Reduzir carga cognitiva combinando dados de baixo-nível em uma adição de alto-nível  4 – Agrupar dados de constantes modos significativos para diminuir tempo de procura; x 5 – Nomes utilizados devem estar relacionados para funcionar conceitualmente; 6 – Dados presentes permitem aliviar o tempo de processo; 7 – Inclua só a informação que um usuário precisa em um determinado momento.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 4/22
  6. 6. Avaliação heurística Fatores podem influenciar o desempenho da avaliação heurística:  x x • A formação do avaliador; • O conhecimento do avaliador sobre a aplicação; • Dificuldades de descrição, fusão dos dados, etc. Métodos misturam tipos de avaliação: • Protótipos de papel. • Avaliação heurística. • Avaliações de especialistas. • Testes com usuários.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 5/22
  7. 7. Papel x Software  • Estudos empíricos anteriores constatam que relatos em papel eram complexos e demorados. xHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 6/22
  8. 8. Papel x Software • Facilita a pesquisa, revisão, modificação das descrições de problemas e link para assuntos relevantes (Gladwell, 2002).  x • Entrada mais rápida dos problemas de usabilidade. • Fusão de conjuntos de problemas de diferentes avaliadores para obter um único conjunto de problemas. • Priorizar os problemas de usabilidade de acordo com o impacto, por ex. gravidade e custo da remoção.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 7/22
  9. 9. Questões levantadas • A utilização de um software para os registros dos testes de x usabilidade é superior ao uso de registros em papel em  relação à descoberta de reais problemas, em um curto x intervalo de tempo? • Seriam os princípios de Gerhardt-Powals mais eficientes do que as heurísticas de usabilidade de Nielsen para possibilitar aos avaliadores identificarem um maior nº de problemas de usabilidade em um intervalo menor de tempo?Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 8/22
  10. 10. Materiais e Métodos • 2 experimentos • Avaliação do e-learning EducaNext.orgHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 9/22
  11. 11. EducaNext 2011Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 10/22
  12. 12. Materiais e Métodos  x Experimento 1 x • 19 são estudantes de Ciências da A C Computação e 1 formado. Todos tem bom conhecimento em avaliação de usabilidade, mas pouca prática. B DHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 11/22
  13. 13. Materiais e Métodos  x xReceberam um questionário pré-avaliação,um questionário de pós-avaliação e ummaterial de introdução com: A C(a) Orientações do processo de avaliação;(b) Introdução da avaliação heurística;(c) Introdução ao sistema EducaNext ;(d) Introdução para o relato dos problemasde usabilidade. B DHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 12/22
  14. 14. Materiais e Métodos  x x A B C D Relatório estruturado adaptado de Cockton e Woolrych (2001) para relatar 7 atributos de cada problema: 1. Um identificador numérico do problema. 2. Uma breve descrição do problema. 3. Provavelmente dificuldades p/ o usuário. 4. Contexto específico (o local do problema na interface). 5. As possíveis causas do problema (o que está errado no projeto). 6. A heurística utilizada. 7. A taxa de gravidade, contendo três níveis: grave, moderado e leve.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 13/22
  15. 15. Materiais e MétodosHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 14/22
  16. 16. Materiais e Métodos  x x No questionário de pós-avaliação deveriam relatar o tempo despendido e A C uma lista de facilidades e dificuldades do método de avaliação heurística que eles tinham aplicado. B DHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 15/22
  17. 17. Materiais e Métodos Especialista em usabilidade (E1), altamente conhecedor do sistema testado, examinou os problemas relatados e definiu 8 tarefas. Após isso, outro especialista (E2) avaliou as tarefas propostas em relação aos problemas relatados. Tarefa 1: Criar uma conta de usuário EducaNext. Tarefa 2: Fazer login e editar as preferências do usuário. Tarefa 3: Navegar no Catálogo do EducaNext. Tarefa 4: Busca Básica. Tarefa 5: Pesquisa Avançada. Tarefa 6: Verificar o histórico de busca. Tarefa 7: Criar e participar de uma comunidade EducaNext. Tarefa 8: Fornecer e oferecer material educativo.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 16/22
  18. 18. Materiais e Métodos Experimento 2 • 10 participantes para realizar as tarefas. • Funcionários da universidade, profs ou adm. • cinco homens e cinco mulheres. • Bom contato com softwares de e-learning. Objetivo: descobrir se muitos dos problemas previstos pelos avaliadores utilizando a avaliação heurística foram relatados pelos usuários. Este método foi adotado para aumentar a validade dos problemas de usabilidade previstos no experimento 1.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 17/22
  19. 19. Resultados Experimento 1 x A utilização do software teve uma pequena vantagem sobre a utilização de papel na quantidade de problemas detectados. Sem diferença na quantidade de problemas, nem na gravidade desses problemas, entre as heurísticas de Nielsen e os princípios de Gerhardt-Powals.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 18/22
  20. 20. Resultados Experimento 1 No entanto, um participante (software e Gerhardt) não havia relatado nenhum problema na avaliação. Quando foi retirado da amostra, observou-se uma diferença significativa na média da quantidade de problemas que indicou uma vantagem a Gerhardt-Powals. Sem diferença no tempo gasto para a avaliação entre Nielsen e Gerhardt.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 19/22
  21. 21. Resultados Experimento 2 Cruzando os problemas apontados pelos avaliadores com  os detectados pelos usuários. “Alarme falsos”: problemas x x apontados pelo avaliador que não são detectados pelos usuários. Sem diferenças estatisticamente significativas entre o software e o papel, nem entre Nielsen e Gerhardt.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 20/22
  22. 22. Considerações finais • Embora os avaliadores tenham recebido “material de estudo”, a inexperiência pode ter comprometido o teste. Assim como o baixo conhecimento do EducaNext. • O software pode apresentar vantagem no tempo pela facilidade de digitação. • Esforço cognitivo pela presença de 2 materiais digitais (EducaNext e o software desenvolvido) • Designers tem relatado que acham papel mais rápido, mais fácil e portátil, no início de projetos (Cook e Bailey, 2005).Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 21/22
  23. 23. Considerações finais • Tanto o número médio de problemas , quanto o desvio padrão de Gerhardt- Powals foram superiores aos de Nielsen. Isso indica que os princípios de Gerhardt-Powals poderiam ainda ser explorados, mas os avaliadores precisariam de mais treinamento. • Embora não haja diferença entre o software e o papel, a utilização de um software para a avaliação pode ser recomendada para uma avaliação feita a distância. • Software: facilita acesso e gestão dos dados. • Próxima pesquisa seria mais proveitosa se houvesse uma relação de heurísticas específicas com a aplicação (e-learning) a ser analisada.Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 22/22
  24. 24. Referências Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240 Cockton, G., Woolrych, A., 2001. Understanding inspection methods: lessons from an assessment of heuristic evaluation. In: Blandford, A., Vanderdonckt, J., Gray, P.D. (Eds.), People and Computers XV. Springer-Verlag, Lille, France, pp. 171–182. Cook, D.J., Bailey, B.P., 2005. Designers’ use of paper and the implications for informal tools. In: OZCHI 2005, vol. 122, ACM, Canberra, Australia, pp. 1–10. Gladwell, M., 2002. The social life of paper. In: The New Yorker, The New Yorker Magazine , Newyork, NY, pp. 92–96. Gerhardt-Powals, J., 1996. Cognitive engineering principles for enhancing human-computer performance. International Journal of Human-Computer Interaction 8, 189–211. Nielsen, J., 1993. Usability Engineering. Academic Press, New YorkHeuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar
  25. 25. Hvannberg, E., Law, E., & Lárusdóttir, M. x (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240  Obrigado! x Victor Nassar Mestrando em Design – UFPR victornassar07@hotmail.comHeuristic evaluation: Comparing ways of finding and reporting usability problems.

×