Este documento descreve um minicurso sobre avaliação de interfaces. O programa inclui discussões sobre métodos analíticos e empíricos de avaliação no período da manhã e fundamentos de psicologia cognitiva e técnicas de avaliação no período da tarde. Os métodos de avaliação serão classificados e exemplos como recomendações de usabilidade, listas de verificação e avaliação heurística serão detalhados.

1. Avaliação de
Interfaces
Minicurso
Instituto Faber-Ludens de Design de Interação
Frederick van Amstel
Renato Costa
Sofia Ferres

2. Programação
Manhã
❖ Recomendações de usabilidade, listas de
verificação, avaliação de especialista, avaliação
heurística.
Tarde
❖ Fundamentos de psicologia cognitiva,
percurso cognitivo, técnicas de "guerrilha",
avaliação de benchmark.

3. Classificação dos métodos
❖ Formativos ou somativos,
❖ Qualitativos ou quantitativos,
❖ Empíricos ou analíticos.

4. Métodos analíticos
Tipos de análise
❖ Preditiva,
❖ Interpretativa,
❖ Experimental.

5. Métodos analíticos preditivos
Etapas para análise
❖ Análise contextual
❖ Reconhecer o sistema / Conhecer o contexto de uso da interface
(tarefa, usuário, ambiente)
❖ Obter indícios de problemas (Contatar projetistas e usuários)
❖ Avaliação
❖ Definir prioridades para critérios de avaliação (Contatar o cliente)
❖ Realizar uma varredura crítica do sistema

6. Métodos analíticos preditivos
Vantagens
❖ Não envolvem usuários,
❖ Preservam a confidencialidade,
❖ Possuem rapidez de avaliação,
❖ Reduzem custos de execução: também
conhecidos como avaliação econômica.

7. Recomendações
de Usabilidade
❖ São conjuntos de
orientações baseados
em teorias, experiência
e senso comum.
❖ Têm o objetivo de auxiliar
profissionais a explicar e
pensar sobre aspectos de
usabilidade dos seus
projetos.

8. Recomendações de Usabilidade
Terminologia
❖ Alguns termos usados pelos autores da área são:
princípios, regras, heurísticas, diretrizes, critérios,
padrões, metas, conceitos, entre outros.
Autores Alto nível Baixo nível
Preece et al Metas e princípios Princípios e regras
Shneiderman et al Princípios Diretrizes
Baecker et al Princípios e regras Diretrizes

9. Recomendações de Usabilidade
Classificação
❖ As recomendações podem ser de alto ou baixo
nível de orientação, variando entre esse dois
extremos.
Alto Baixo
nível nível

10. Recomendações de Usabilidade
Alto nível
Características
❖ Abordam aspectos mais fundamentais, gerais
❖ São amplamente aplicáveis e mais duradouras
Problema
❖ Esclarecimento é importante para interpretação
correta da orientação

11. Recomendações de Usabilidade de Alto Nível
Exercício Rápido
❖ Escolher uma interface
❖ Como aplicar esta recomendação na interface?
Controle do usuário
Projetar produtos de modo que
o nível de controle do usuário
sobre as ações realizadas pelo
produto e a adequação do seu
estado inicial ao usuário sejam
maximizadas.

12. Recomendações de Usabilidade de Alto Nível
Exemplo
❖ Oito regras de ouro de Ben Shneiderman:
❖ Perseguir a consistência,
❖ Fornecer atalhos,
❖ Fornecer feedback informativo,
❖ Marcar o final dos diálogos,
❖ Fornecer prevenção e manipulação simples de erros,
❖ Permitir o cancelamento das ações,
❖ Fornecer controle e iniciativa ao usuário,
❖ Reduzir a carga de memória de trabalho.

13. Recomendações de Usabilidade
Baixo nível
Características
❖ Melhores práticas, baseadas na experiência
❖ São aplicadas por projeto ou empresa
❖ Ajudam a criar linguagem comum: terminologia,
aparência, interação etc.

14. Recomendações de Usabilidade
Baixo nível
Problemas
❖ Muito específicas e incompletas
❖ Podem estar incorretas
❖ Não levam em conta fatores externos

15. Recomendações de Usabilidade
Diretrizes de Usabilidade
Nielsen e Tahir, 2002
❖ 64: Usar texto com muito contraste e cores de
plano de fundo, para que os caracteres fiquem o
mais legíveis possível.

16. Recomendações de Usabilidade
Contradições
Qual é o mais legível?

17. Recomendações de Usabilidade
Contradições
Qual é o mais legível?

18. Recomendações de Usabilidade
Contradições
Qual é o mais legível?

21. Recomendações de Usabilidade
Contradições
Onde é mais agradável a leitura?

22. Recomendações de Usabilidade de Baixo Nível
Contradições
❖ Critério Presteza da Ergolist
❖ Os títulos de telas, janelas e caixas de diálogo devem estar
no alto, ou centrados ou alinhados e à esquerda.
Mas nas mesmas recomendações encontramos:
❖ Critério Flexibilidade da Ergolist
❖ O usuário deve ter a possibilidade de personalizar o sistema,
em função de crescente compreensão que tem dele.

23. Recomendações de Usabilidade
Exercício
❖ Escolham 4 recomendações e posicione na escala
❖ Indiquem uma situação em que a recomendação
se aplica e outra em que não se aplica
Alto Baixo
nível nível

24. Listas de Verificação
❖ Listas com características
desejadas ou lembretes de
ações a serem executadas
para garantir a usabilidade
de um produto.
❖ A objetividade do
instrumento permite ser
aplicado e comparado por
diferentes avaliadores.

25. Listas de Verificação
Método de Aplicação
❖ Recrutar avaliadores,
❖ Criar lista,
❖ Reunir avaliadores,
❖ Executar avaliação,
❖ Comparar resultados,
❖ Redigir e apresentar relatório.

26. Listas de Verificação
Vantagens
❖ Avaliadores não são necessariamente
especialistas,
❖ Reduzem a subjetividade,
❖ Podem levar direto a soluções,
❖ Podem ser usadas no levantamento de requisitos.

27. Listas de Verificação
Desvantagens
❖ Dependem da competência do criador da lista,
❖ Dependem da interpretação do avaliador,
❖ Depende do ambiente da avaliação,
❖ Dificuldade de priorizar os problemas.

28. Listas de Verificação
Tipos de listas
❖ Verificação de processo
❖ Verificação de critérios subjetivos
❖ Verificação de recursos técnicos

29. Listas de Verificação
Ergolist - LabiUtil UFSC

30. Listas de Verificação
Exercício
❖ Avaliar a interface usando a Ergolist http://
www.labiutil.inf.ufsc.br/ergolist
❖ Verificar apenas os critérios
❖ Presteza
❖ Proteção contra erros
❖ Consistência

31. Avaliação de Especialista
❖ Avaliação feita por especialistas baseada em
critérios subjetivos de experiência pessoal.

32. Avaliação de Especialista
Dois tipos de especialista
❖ Especialista em usabilidade
❖ Pesquisador, designer, engenheiro
❖ Especialista no domínio
❖ Vendedor, gestor
❖ Importante! Para que a avaliação seja imparcial o
avaliador não deve estar envolvido com o
desenvolvimento

33. Avaliação de Especialista
Como fazer
❖ Recrutar especialistas,
❖ Reunir especialistas,
❖ Executar avaliação,
❖ Redigir relatório.

34. Avaliação de Especialista
Relatório
❖ Por áreas
❖ Por tarefas
❖ Livre

35. Avaliação de Especialista
Exemplo

36. Avaliação de Especialista
Exemplo

37. Avaliação de Especialista
Resultado

38. Avaliação de Especialista
Prós e contras
Vantagens
❖ Boa relação custo x benefício.
Desvantagens
❖ Dependem da competência do avaliador,
❖ Incerteza sobre veracidade da previsão.

39. Avaliação de Especialista
Exercício
❖ Eleger uma interface para o instrutor avaliar em
tempo real.

40. Avaliação Heurística
❖ Tipo de avaliação de especialista, na qual
os avaliadores baseiam-se em princípios de
usabilidade próprios ou desenvolvidos por
outros especialistas.

41. Avaliação Heurística
O que é uma heurística
❖ Conhecimento sintetizado
❖ Heurísticas de Nielsen (1994):
❖ 1) Feedback
❖ 2) Falar a linguagem do usuário
❖ 3) Saídas claramente demarcadas
❖ 4) Consistência
❖ 5) Prevenir erros

42. Avaliação Heurística
Como fazer
❖ Recrutar avaliadores,

43. Avaliação Heurística
Como fazer (continuação)
❖ Reunir avaliadores para passar:
❖ Visão do projeto,
❖ Contexto de uso,
❖ Priorização de heurísticas e abordagens.

44. Avaliação Heurística
Como fazer (continuação)
❖ Executar avaliação,
❖ Especialistas trabalham em paralelo,
❖ Anotações ou registro das verbalizações,
❖ Modelo de descrição de problema.

45. Avaliação Heurística
Como fazer (continuação)
❖ Redigir relatório.
❖ Classificar por severidade:
freqüência, impacto e persistência

46. Avaliação Heurística
Abordagens
❖ Por tarefa realizadas pelo usuário,
❖ Pela estrutra do menu,
❖ Pelos elementos da interface,
❖ Pelas qualidades esperadas.

47. Avaliação Heurística
Vantagens
❖ Encontra mais problemas de usabilidade,
❖ Maior gravidade dos problemas encontrados.

48. Avaliação Heurística
Desvantagens
❖ Depende das heurísticas escolhidas,
❖ Depende da competência dos especialistas,
❖ Pode encontrar problemas equivocados,
❖ Pode propor soluções superficiais.

49. Avaliação Heurística
Exercício
❖ Avaliar interface com base nas 10
heurísticas de Nielsen
❖ Comparar identificação de problemas para
priorizar os mais importantes

50. Introdução à
Psicologia Cognitiva
 Estudo de como as pessoas percebem, aprendem,
estruturam, armazenam e usam o conhecimento.
 Cognitivismo defende que grande parte do
comportamento humano pode ser entendida em
termos de como as pessoas pensam.

51. Introdução à
Psicologia Cognitiva
Modelo do processador de informação humano. Card et all (1983)

52. Psicologia Cognitiva
Memória
 É o meio pelo qual mantemos e acessamos nossas
experiências passadas para usar a informação no
presente.
 Existem 3 operações comuns de memória:
codificação, armazenagem e recuperação.
 Capacidade de Recordação < Reconhecimento

54. Psicologia Cognitiva
Memória
 Existe uma distinção entre memória explícita e
implícita.
 Explícita: recordar ou reconhecer palavras, fatos,
imagens de um determinado conjunto de itens.
 Implícita: recordamos algo, mas não temos
consciência de que estamos tentando fazê-lo.

55. Psicologia Cognitiva
Busca cognitiva
 Varredura do ambiente para procurar
características específicas – procurar ativamente
alguma coisa quando não se tem certeza onde ela
está.
 Alarmes falsos podem interferir na busca, assim
como fatores de distração.
 O número de alvos e fatores de distração afeta a
dificuldade de realização da tarefa.

56. Psicologia Cognitiva
Busca cognitiva

57. Psicologia Cognitiva
Exercício
 Abrir uma interface e escrever uma lista de tudo o
que o usuário precisa saber para poder usá-la
 Marcar na lista os itens que a interface ajuda a
lembrar ou ensina

58. Psicologia Cognitiva
Modelos Mentais
Norman, 2006
Modelo de Modelo do
Design Usuário
Designer Usuário
Sistema
Imagem do
Sistema

59. Psicologia Cognitiva
Modelos Mentais

60. Psicologia Cognitiva
Tarefas
 Sequência de ações ordenadas visando um
objetivo.
 Três fases: formulação, execução, avaliação e
correção
 Sua execução depende da experiência prévia
(modelos mentais)
 O que define uma tarefa é seu objetivo
 A eficiência pode ser medida pelo tempo de
execução e taxa de erro

61. Modelo GOMS
 Goals, Operators, Methods,
and Selection rules
 Cálculo de previsão de tempo
para executar uma ação
numa interface baseado em
experimentos de laboratório
 Extremamente artificial

62. Modelo GOMS
Avaliação comparativa
0.5s
0.1s
0.3s
0.3s
0.2s
0.4s
Total 2.3s

63. Modelo GOMS
Avaliação comparativa
0.5s
0.8s
0.3s 0.2s 0.3s
Total 3.4s

64. Análise da Tarefa
 Quebrar a sequência de
ações em etapas organizadas
de forma hierárquica
 Serve para visualizar o
trabalho e identificar gargalos
 Avalia o fluxo sem considerar
a interface

65. Análise da Tarefa
Exemplo do cotidiano

66. Análise da Tarefa
Softwares para Análise
ConcurTaskTree

67. Análise da Tarefa
Análise Sequencial

68. Psicologia Cognitiva
Exercício
 Definir 3 objetivos do usuário ao acessar uma
interface
 Descrever 3 caminhos para se atingir cada objetivo:
 O caminho atual e seus gargalos
 O caminho mais rápido independente dos
demais caminhos
 O caminho mais lógico considerando o contexto

69. Psicologia Cognitiva
Ciclo da Ação
Metas
Intenção Avaliação
Sequência de ações Interpretação
Execução Percepção
Mundo

70. Psicologia Cognitiva
Dúvidas do usuário
Serve?
Que ações são possíveis? Estou no estágio desejado?
Que etapas serão necessárias? Em que etapa estou?
Como executar? Qual o estágio do sistema?
Mundo

71. Psicologia Cognitiva
Lacunas
Serve?
Que ações são possíveis? Estou no estágio desejado?
erro!
Que etapas serão necessárias? Em que etapa estou?
erro!
Como executar? Qual o estágio do sistema?
Mundo

72. Percurso Cognitivo
 É uma forma de avaliação de
especialista, mas não se
baseia só em princípios de
design e usabilidade
 É uma forma de avaliação do
ponto de vista do usuário
 A análise é feita através da
execução das tarefas
propostas na interface

73. Percurso Cognitivo
Como fazer
Procedimento para a avaliação:
 Sobre uma proposta de design, os avaliadores
simulam a execução da tarefa, efetuando uma série
de perguntas sobre cada passo
Anotações são feitas durante a interação, fazendo
capturas de tela ou gravação de filme registrando as
dúvidas e dificuldades que o usuário poderia ter

74. Percurso Cognitivo
Vantagens
❖ Não requer participantes
❖ Rápido para diagnosticar
erros e prescrever
melhorias
❖ Não há análise de dados

75. Percurso Cognitivo
Desvantagens
 Recai sobre o
especialista o julgamento
sobre a interface
 Ele deve ter ótimos
conhecimentos sobre
fatores humanos e
habilidades cognitivas.

76. Percurso Cognitivo
Exercício
 Navegar livremente por uma interface e anotar
problemas e dificuldades que o usuário pode
encontrar

77. Análise de Estatísticas de
Uso
 A maneira mais barata, rápida
e confiável de avaliar uma
interface
 O problema é a interpretação
das estatísticas
 A análise de estatísticas deve
ser cruzada com outros
métodos

78. Análise de Estatísticas de Uso
Google Analystics
 Páginas mais acessadas
 Tempo de permanência
 Acompanhamento de fluxo
 Termos de buscas
 Comparação com
concorrentes reais
 Etc...

79. Benchmarking
 Comparar os produtos em desenvolvimento com
produtos já existentes no mercado (seu desempenho),
e identificar oportunidades de melhoria.

80. Benchmarking

81. Benchmarking
Como fazer
Identificar as empresas
Coletar dados
Determinar os marcos de referência
Verificar o gap de desempenho entre marcas
Estabelecer metas funcionais
Implementar ações específicas
Recalibrar marcos de referência

82. Benchmarking
Como fazer (continuação)
 Recorrer a boas práticas da área
 Pesquisa sobre empresas concorrentes / líderes
 Pesquisar dados específicos do produto

83. Benchmarking
Como fazer (continuação)
recorrer a boas práticas da área.
www.smashingmagazine.com / www.sitepoint.com /
www.welie.com / //interactions.acm.org / //thinkvitamin.com /
www.interaction-design.org / www.thinkflowinteractive.com /
Livros sobre usabilidade e design
pesquisa sobre empresas concorrentes / líderes.
Associações representativas / Estudos “opensource” (ex.
FISTERA) / Pesquisa adquiridas ($)

84. Benchmarking
Exercício
 Escolher duas interfaces equivalentes a serem
comparadas
 Definir critérios de comparação
 Elaborar mini relatório de benchmark

85. Técnica de Guerrilha
❖ Avaliações de usabilidade informais, em razão a
tempo e dinheiro

86. Técnica de Guerrilha
Como fazer
É comum utilizar táticas de guerrilha para tentar
estabelecer a usabilidade num ambiente hostil:
Alertar para a importância da abordagem de
design centrado no usuário;
Lutar pelo orçamento de forma a alocar
profissionais ao "projeto usabilidade“;
Institucionalizar a usabilidade na empresa.

87. Técnica de Guerrilha
Como fazer
Custo em usabilidade [estimativa de Mantei&Teorey] +-$130,000
Uso de protótipos em papel - $2,160
Testes de usabilidade com 3 participantes, não 5 - $11,520
Estudos “thinking aloud” + notas pessoais ao invés de softw. - $5,520
Sem necessidade de sala de observação - $17,600
Apenas 2 focus groups ao invés de 3 pesquisas de mercado - $2,000
Apenas1 focus group ao invés de 3 análises de espec. - $4,000
Especialista de usabilidade para avaliação heurística + $3,000
(…)
Custo da técnica de redução: $65,330

88. Técnica de Guerrilha
Como avançar
❖ Colaborar nos grupos de
pesquisa e de CRM
❖ Contatar call center
❖ [ou seja] Armar-se de dados e
provas
❖ [para] Desenvolver uma forte
argumentação de negócio

89. Técnica de Guerrilha
Prós e contras
Vantagens
❖ Melhor relação custo x benefício.
Desvantagens
❖ Incerteza sobre o comprometimento da avaliação;
❖ Representa apenas um primeiro passo para
política de usabilidade na empresa.

90. Obrigado
❖ Frederick van Amstel
frederick.amstel@faberludens.com.br
www.faberludens.com.br
Para conhecer outros cursos.