1) O documento discute avaliação heurística, um método para avaliar a usabilidade de interfaces. 2) Apresenta o framework D.E.C.I.D.E para planejamento de avaliações e detalha cada etapa. 3) Discutem características e metodologia da avaliação heurística, incluindo as 10 heurísticas propostas por Jakob Nielsen.

1. ALAN VASCONCELOS
DESIGN DE INTERAÇÃO
/ MÉTODOS E TÉCNICAS
DE AVALIAÇÃO
Avaliação Heurística
ALAN VASCONCELOS

2. REVISÃO

3. Framework D.E.C.I.D.E.
O PASSO-A-PASSO
Determine the goals the evaluation addresses
Determinar as metas do teste
Explore the specific questions to be answered
Explorar as questões a serem respondidas
Choose the evaluation paradigm and techniques to answer the questions
Escolher o paradigma (orientação) e técnicas para o teste
Identify the practical issues
Identificar as questões práticas
Decide how to deal with the ethical issues
Decidir como lidar com questões éticas
Evaluate, interpret and present the data
Avaliar, analisar e apresentar os dados

4. Framework D.E.C.I.D.E.
1- DETERMINAR AS METAS DO TESTE
• Em alto nível, quais são os objetivos da avaliação?
• Avaliar a metáfora de um design;
• Contribuir com a usabilidade/acessibilidade de um produto;
• Avaliar o impacto de uma tecnologia na prática de um trabalho;
• Antever como deveria ser a interface da próxima versão de um produto;
• Verificar se os requisitos de uso foram atendidos.
• A quem pode interessar os resultados da avaliação? (stakeholders, personas, comunidade)
• As metas irão influenciar na escolha do paradigma de avaliação.

5. Framework D.E.C.I.D.E.
2- EXPLORAR AS QUESTÕES A SEREM RESPONDIDAS
• É, basicamente, o que se pretende saber com o teste. Ex:
• Será que as pessoas usam mais a bilheteria, justamente por não confiarem nos
terminais automáticos?
• Será que é por causa da usabilidade ruim do terminal?
• As resenhas dos filmes são confiáveis? Elas geram engajamento?
• O que faz com que as pessoas fiquem perdidas ao localizarem suas poltronas?
• (...)
• Uma boa tática é imaginar que você está preparando um checklist para guiar outra pessoa
na avaliação.

6. Framework D.E.C.I.D.E.
3- ESCOLHER O PARADIGMA (ORIENTAÇÃO) E TÉCNICAS PARA O TESTE
• Como dito anteriormente, as metas podem determinar o paradigma que, por sua vez,
determina as técnicas.
• Questões de ordem prática/técnica, econômica e, até mesmo, ética podem interferir na
escolha.
• É possível combinar paradigmas (nós faremos isso) a fim de obter resultados diferentes;

7. Framework D.E.C.I.D.E.
4- IDENTIFICAR AS QUESTÕES PRÁTICAS
• Identificar questões como:
• Usuários:
• Escolha e “recrutamento” de usuários que possuam algum conhecimento no domínio
(idade, sexo, nível de conhecimento, etc...);
• Definição de tarefas que sejam factíveis para os usuários escolhidos;
• Quais “agrados” serão propiciados aos usuários?
• Em caso de usuários deficientes, facilitar o deslocamento se necessário. Além disso, o
tempo de execução da tarefa não pode ser alto.
• (...)
• Equipamentos e infraestrutura:
• Computadores, laboratório, câmeras, papel, gravador, pilhas, etc;
• Reserva e preparação do ambiente de teste;
• (...)
• Restrições de cronograma e orçamento:
• Gastos com deslocamento;
• Valor da hora do especialista;
• Compra de material
• (...)
• Conhecimento especializado:
• Será preciso treinar a equipe de apoio?
• Para a análise dos dados, será necessário contratar um estatístico?
• (...)

8. Framework D.E.C.I.D.E.
5- DECIDIR COMO LIDAR COM QUESTÕES ÉTICAS
• Garantir o anonimato dos participantes.
• Em testes de usabilidade, os usuários devem assinar o termo de participação.
• No Brasil, os testes devem ser voluntários;
• Garantir a segurança e destruição dos arquivos em vídeo;
• Os usuários devem saber como e o que está sendo testado (mostrar os equipamentos,
salas, apresentar a equipe);
• Deixe claro que o usuário pode abandonar o teste quando quiser;
• Não zombar das peronas (é sério!!!).

9. Framework D.E.C.I.D.E.
6- AVALIAR, ANALISAR E APRESENTAR OS DADOS
• É a realização do teste propriamente dito.
• Em estudos de campo, fazer o levantamento e cruzamento de dados coletados;
• Em caso de testes de usabilidade, anotar os incidentes e colocá-los em relatório;
• Em caso de avaliação heurística, anotar os problemas em uma planilha e atribuir a
severidade (após a consolidação das planilhas de cada avaliador).
• Identificação das melhorias sugeridas após o teste.

10. ATIVIDADE
Preparação para a avaliação, segundo
o framework D.E.C.I.D.E

11. AVALIAÇÃO
HEURÍSTICA
A palavra heurística vem da palavra grega Heuriskein, que
significa descobrir (e que deu origem também ao termo Eureca).

12. RECAPITULANDO

13. AVALIANDO A USABILIDADE
Quando?
As avaliações podem ser aplicadas em diversos momentos do ciclo de vida de um produto.
Avaliações formativas
(ocorrem em cada ciclo de sprint)
Avaliações somativas
(ocorrem no final do ciclo, ou mesmo depois)

14. AVALIAÇÃO HEURÍSTICA
Jakob Nielsen (1993), em seu livro Usability engineering, propõe um conjunto de dez
heurísticas de usabilidade:
1. visibilidade e reconhecimento do estado ou contexto atual do sistema;
2. compatibilidade com o mundo real;
3. controle e liberdade do usuário;
4. consistência e padrões;
5. prevenção de erros;
6. reconhecimento ao invés de memorização;
7. flexibilidade e eficiência de uso;
8. projeto estético minimalista;
9. diagnóstico e correção de erros; e
10. ajuda e documentação.
As heurísticas, neste caso, são um conjunto de regras e métodos
que levam à descoberta e à resolução* de problemas (NIELSEN, 1993).
*Leva à resolução, mas não aplica/implementa a resolução dos problemas encontrados.

15. AVALIAÇÃO HEURÍSTICA
Características:
1. É um método rápido e barato para analisar a usabilidade de um
produto/website/sistema. (NIELSEN, 2005a; 2005b);
2. Destaca-se pela eficiência no levantamento precoce de
problemas de usabilidade;
3. Dispensa o uso de um laboratório específico e não envolve
usuários.
4. Recomenda-se que a análise seja realizada por especialistas em
usabilidade, porém nada impede que usuários estudem os
critérios de avaliação e realizem a análise. (NIELSEN, 2005a;
2005b)
5. Nielsen (2005a) diz que o melhor custo benefício para a
aplicação desta análise é utilizando entre 3 e 5 avaliadores.

16. AVALIAÇÃO HEURÍSTICA
1- visibilidade e reconhecimento do estado ou contexto
atual do sistema: feedback
O sistema deve sempre informar ao usuário o que está acontecendo,
deixando sempre visível o status do sistema a fim de evitar que o
usuário fique se sinta perdido.
2- compatibilidade com o mundo real: linguagem adequada
O sistema deve utilizar uma linguagem familiar ao usuário e não
focada em linguagem técnica de difícil compreensão pra os usuários.

17. AVALIAÇÃO HEURÍSTICA
3- controle e liberdade do usuário: direitos e deveres
O usuário deve ter controles sobre o processamento do sistema com a
possibilidade de interromper, cancelar ou continuar as tarefas que
estão sendo realizadas. Estas ações devem ser antecipadas e as opções
possíveis no momento devem ser oferecidas ao usuário.
4- consistência e padrões: coerência
Os elementos de uma interface são melhores reconhecidos,
localizados e utilizados quando sua localização, formato e estética são
iguais ou similares em diversas telas de um sistema. BASTIEN; SCAPIN
(1993)

18. AVALIAÇÃO HEURÍSTICA
5- prevenção de erros: restrições e avisos
Deve ser feito o máximo para evitar ou reduzir o número de erros
ocorridos no uso de uma interface e quando eles ocorrerem deve a
recuperação do sistema deve ser facilitada. (BASTIEN; SCAPIN, 1993)
Se o usuário não pode ou não deve realizar uma ação deve ser feito o
maior esforço possível para que ele não consiga fazê-lo.
6- reconhecimento ao invés de memorização;
Minimizar a sobrecarga de memória do usuário tornando visíveis
objetos, ações e opções. Informações sobre a utilização do sistema
devem estar visíveis ou ser facilmente recuperáveis.

19. AVALIAÇÃO HEURÍSTICA
7- flexibilidade e eficiência de uso;
Oferecer aos usuários mais experientes, aceleradores que permitam
que as tarefas sejam realizadas mais rapidamente.
8- projeto (design) estético minimalista;
Evitar a utilização de informações irrelevantes ou pouco necessárias;
Nielsen (2003a) ressalta a importância da estética na percepção e conforto
do usuário ao utilizar a interface.

20. AVALIAÇÃO HEURÍSTICA
8- projeto (design) estético (?) minimalista;
@#$%¨&*

21. AVALIAÇÃO HEURÍSTICA
9- diagnóstico e correção de erros;
Ajudar os usuários a reconhecer, diagnosticar e recuperar-se de erros.
Ex.: undo e redo
10- ajuda e documentação.
A documentação pode ser utilizada para melhorar a eficiência de um
usuário porém não deve ser necessária para a utilização da interface,
pelo menos em suas funções principais (NIELSEN, 2003a, p. 148).
Revisão
Para ver mais detalhes sobre cada heurística, acesse a apresentação
sobre este tema exibida na disciplina Usabilidade:
http://www.slideshare.net/alandbh/usabilidade-aula05-processos-heuristicas

22. AVALIAÇÃO
HEURÍSTICA
Metodologia

23. AVALIAÇÃO HEURÍSTICA - METODOLOGIA
Aplicação
Cada avaliador deverá realizar a análise sem contato com os outros
avaliadores, evitando que um avaliador influencie a análise do outro.
Os relatos do avaliador podem ser feitos através de relato escrito dos
problemas encontrados (usa-se uma planilha do Excel para isso).
O avaliador deve também ter conhecimento sobre o produto e seus
usuários, podendo assim avaliar como a interface atinge ou tenta
atingir as expectativas dos usuários.
A avaliação pode ser acompanhada ou não por um observador, que
poderá retirar dúvidas dos avaliadores, explicar sobre o
funcionamento do sistema e sugerir a realização de algumas tarefas.

24. AVALIAÇÃO HEURÍSTICA - METODOLOGIA
Aplicação
Em um primeiro momento o avaliador deverá navegar livremente pelo
produto/sistema/website (browsing) e relatar os erros que encontra.
Sempre que possível o avaliador deve relacionar os erros encontrados
com as heurísticas apresentadas anteriormente.
Pode ser solicitado que o avaliador realize alguma tarefas específicas
na interface, executando ações julgadas importantes para o produto
ou sistema analisado.

25. AVALIAÇÃO HEURÍSTICA - METODOLOGIA
Coleta de dados
O resultado desta primeira etapa da análise será uma lista com todos os
problemas de usabilidade encontrados pelos avaliadores.
Este resultado deve ser organizado na forma de uma planilha.
Esta planilha, contendo os erros encontrados por todos os avaliadores, será
entregue para cada avaliador para que quantifique o nível do problema.

26. AVALIAÇÃO HEURÍSTICA - METODOLOGIA
Fatores
Frequência É um problema comum ou raramente experimentado?
Impacto Será fácil ou difícil para os usuários superar o problema?
Persistência É um problema que só será experimentado uma vez
(usuários conseguem superá-lo uma vez que sabem sobre
ele) ou será problema toda vez que for encontrado?
Impacto de Certos problemas de usabilidade podem ter um efeito
mercado devastador sobre a popularidade do produto, mesmo que
sejam objetivamente fáceis de superar.

27. AVALIAÇÃO HEURÍSTICA - METODOLOGIA
Severidade do problema
É obtida pela média dos fatores citados anteriormente
Não é considerado um problema de usabilidade
0 Problema estético apenas, apenas deve ser reparado se existir
tempo disponível no projeto
1 Problema menor de usabilidade, prioridade baixa.
2 Problema maior de usabilidade, sua solução é importante.
3 Catástrofe de usabilidade, indispensável a solução antes do
lançamento do projeto.
(NIELSEN, 2003a)

28. HEIN?!?!
?

29. VALEU!
ALAN VASCONCELOS – www.alanvasconcelos.com

30. BIBLIOGRAFIA
BASTIEN, J. M. Christian; SCAPIN, Dominique L. Ergonomic criteria for the evaluation of human-computer interfaces. INRIA, 1993.
MCINTIRE, Penny. Visual Design for the Modern Web. New Riders, 2008.
NIELSEN, Jakob. Projetando Websites. Campus, 2000.
NIELSEN, Jakob. Usability Engineering. Academyc Press, 2003a.
NIELSEN, Jakob. 2003b. Use it. Disponível em < http://www.useit.com/alertbox/20030825.html >, Acesso em 12 set. 2008.
NIELSEN, Jakob. Heuristic Evaluation, 2005a. Disponível em < http://www.useit.com/papers/heuristic/ >. Acesso em
Set. 2008.
NIELSEN, Jakob. How to conduct a Heuristic Evaluation. 2005b. Disponível em <
http://www.useit.com/papers/heuristic/heuristic_evaluation.html >. Acesso em Set. 2008.
NIELSEN, Jakob. Heuristics for User Interface Design. 2005c. Disponível em < http://www.useit.com/papers/heuristic/heuristic_list.html
>. Acesso em 12 Out. 2008.
NIELSEN, Jakob e Loranger, Hoa. Prioritizing Web Usability, New Riders, 2006.