Este documento descreve um minicurso sobre avaliação de interfaces. O programa inclui discussões sobre métodos analíticos e empíricos de avaliação no período da manhã e fundamentos de psicologia cognitiva e técnicas de avaliação no período da tarde. Os métodos de avaliação serão classificados e exemplos como recomendações de usabilidade, listas de verificação e avaliação heurística serão detalhados.
2. Programação
Manhã
❖ Recomendações de usabilidade, listas de
verificação, avaliação de especialista, avaliação
heurística.
Tarde
❖ Fundamentos de psicologia cognitiva,
percurso cognitivo, técnicas de "guerrilha",
avaliação de benchmark.
3. Classificação dos métodos
❖ Formativos ou somativos,
❖ Qualitativos ou quantitativos,
❖ Empíricos ou analíticos.
5. Métodos analíticos preditivos
Etapas para análise
❖ Análise contextual
❖ Reconhecer o sistema / Conhecer o contexto de uso da interface
(tarefa, usuário, ambiente)
❖ Obter indícios de problemas (Contatar projetistas e usuários)
❖ Avaliação
❖ Definir prioridades para critérios de avaliação (Contatar o cliente)
❖ Realizar uma varredura crítica do sistema
6. Métodos analíticos preditivos
Vantagens
❖ Não envolvem usuários,
❖ Preservam a confidencialidade,
❖ Possuem rapidez de avaliação,
❖ Reduzem custos de execução: também
conhecidos como avaliação econômica.
7. Recomendações
de Usabilidade
❖ São conjuntos de
orientações baseados
em teorias, experiência
e senso comum.
❖ Têm o objetivo de auxiliar
profissionais a explicar e
pensar sobre aspectos de
usabilidade dos seus
projetos.
8. Recomendações de Usabilidade
Terminologia
❖ Alguns termos usados pelos autores da área são:
princípios, regras, heurísticas, diretrizes, critérios,
padrões, metas, conceitos, entre outros.
Autores Alto nível Baixo nível
Preece et al Metas e princípios Princípios e regras
Shneiderman et al Princípios Diretrizes
Baecker et al Princípios e regras Diretrizes
9. Recomendações de Usabilidade
Classificação
❖ As recomendações podem ser de alto ou baixo
nível de orientação, variando entre esse dois
extremos.
Alto Baixo
nível nível
10. Recomendações de Usabilidade
Alto nível
Características
❖ Abordam aspectos mais fundamentais, gerais
❖ São amplamente aplicáveis e mais duradouras
Problema
❖ Esclarecimento é importante para interpretação
correta da orientação
11. Recomendações de Usabilidade de Alto Nível
Exercício Rápido
❖ Escolher uma interface
❖ Como aplicar esta recomendação na interface?
Controle do usuário
Projetar produtos de modo que
o nível de controle do usuário
sobre as ações realizadas pelo
produto e a adequação do seu
estado inicial ao usuário sejam
maximizadas.
12. Recomendações de Usabilidade de Alto Nível
Exemplo
❖ Oito regras de ouro de Ben Shneiderman:
❖ Perseguir a consistência,
❖ Fornecer atalhos,
❖ Fornecer feedback informativo,
❖ Marcar o final dos diálogos,
❖ Fornecer prevenção e manipulação simples de erros,
❖ Permitir o cancelamento das ações,
❖ Fornecer controle e iniciativa ao usuário,
❖ Reduzir a carga de memória de trabalho.
13. Recomendações de Usabilidade
Baixo nível
Características
❖ Melhores práticas, baseadas na experiência
❖ São aplicadas por projeto ou empresa
❖ Ajudam a criar linguagem comum: terminologia,
aparência, interação etc.
14. Recomendações de Usabilidade
Baixo nível
Problemas
❖ Muito específicas e incompletas
❖ Podem estar incorretas
❖ Não levam em conta fatores externos
15. Recomendações de Usabilidade
Diretrizes de Usabilidade
Nielsen e Tahir, 2002
❖ 64: Usar texto com muito contraste e cores de
plano de fundo, para que os caracteres fiquem o
mais legíveis possível.
22. Recomendações de Usabilidade de Baixo Nível
Contradições
❖ Critério Presteza da Ergolist
❖ Os títulos de telas, janelas e caixas de diálogo devem estar
no alto, ou centrados ou alinhados e à esquerda.
Mas nas mesmas recomendações encontramos:
❖ Critério Flexibilidade da Ergolist
❖ O usuário deve ter a possibilidade de personalizar o sistema,
em função de crescente compreensão que tem dele.
23. Recomendações de Usabilidade
Exercício
❖ Escolham 4 recomendações e posicione na escala
❖ Indiquem uma situação em que a recomendação
se aplica e outra em que não se aplica
Alto Baixo
nível nível
24. Listas de Verificação
❖ Listas com características
desejadas ou lembretes de
ações a serem executadas
para garantir a usabilidade
de um produto.
❖ A objetividade do
instrumento permite ser
aplicado e comparado por
diferentes avaliadores.
25. Listas de Verificação
Método de Aplicação
❖ Recrutar avaliadores,
❖ Criar lista,
❖ Reunir avaliadores,
❖ Executar avaliação,
❖ Comparar resultados,
❖ Redigir e apresentar relatório.
26. Listas de Verificação
Vantagens
❖ Avaliadores não são necessariamente
especialistas,
❖ Reduzem a subjetividade,
❖ Podem levar direto a soluções,
❖ Podem ser usadas no levantamento de requisitos.
27. Listas de Verificação
Desvantagens
❖ Dependem da competência do criador da lista,
❖ Dependem da interpretação do avaliador,
❖ Depende do ambiente da avaliação,
❖ Dificuldade de priorizar os problemas.
28. Listas de Verificação
Tipos de listas
❖ Verificação de processo
❖ Verificação de critérios subjetivos
❖ Verificação de recursos técnicos
30. Listas de Verificação
Exercício
❖ Avaliar a interface usando a Ergolist http://
www.labiutil.inf.ufsc.br/ergolist
❖ Verificar apenas os critérios
❖ Presteza
❖ Proteção contra erros
❖ Consistência
31. Avaliação de Especialista
❖ Avaliação feita por especialistas baseada em
critérios subjetivos de experiência pessoal.
32. Avaliação de Especialista
Dois tipos de especialista
❖ Especialista em usabilidade
❖ Pesquisador, designer, engenheiro
❖ Especialista no domínio
❖ Vendedor, gestor
❖ Importante! Para que a avaliação seja imparcial o
avaliador não deve estar envolvido com o
desenvolvimento
33. Avaliação de Especialista
Como fazer
❖ Recrutar especialistas,
❖ Reunir especialistas,
❖ Executar avaliação,
❖ Redigir relatório.
38. Avaliação de Especialista
Prós e contras
Vantagens
❖ Boa relação custo x benefício.
Desvantagens
❖ Dependem da competência do avaliador,
❖ Incerteza sobre veracidade da previsão.
40. Avaliação Heurística
❖ Tipo de avaliação de especialista, na qual
os avaliadores baseiam-se em princípios de
usabilidade próprios ou desenvolvidos por
outros especialistas.
41. Avaliação Heurística
O que é uma heurística
❖ Conhecimento sintetizado
❖ Heurísticas de Nielsen (1994):
❖ 1) Feedback
❖ 2) Falar a linguagem do usuário
❖ 3) Saídas claramente demarcadas
❖ 4) Consistência
❖ 5) Prevenir erros
43. Avaliação Heurística
Como fazer (continuação)
❖ Reunir avaliadores para passar:
❖ Visão do projeto,
❖ Contexto de uso,
❖ Priorização de heurísticas e abordagens.
44. Avaliação Heurística
Como fazer (continuação)
❖ Executar avaliação,
❖ Especialistas trabalham em paralelo,
❖ Anotações ou registro das verbalizações,
❖ Modelo de descrição de problema.
45. Avaliação Heurística
Como fazer (continuação)
❖ Redigir relatório.
❖ Classificar por severidade:
freqüência, impacto e persistência
46. Avaliação Heurística
Abordagens
❖ Por tarefa realizadas pelo usuário,
❖ Pela estrutra do menu,
❖ Pelos elementos da interface,
❖ Pelas qualidades esperadas.
47. Avaliação Heurística
Vantagens
❖ Encontra mais problemas de usabilidade,
❖ Maior gravidade dos problemas encontrados.
48. Avaliação Heurística
Desvantagens
❖ Depende das heurísticas escolhidas,
❖ Depende da competência dos especialistas,
❖ Pode encontrar problemas equivocados,
❖ Pode propor soluções superficiais.
49. Avaliação Heurística
Exercício
❖ Avaliar interface com base nas 10
heurísticas de Nielsen
❖ Comparar identificação de problemas para
priorizar os mais importantes
50. Introdução à
Psicologia Cognitiva
Estudo de como as pessoas percebem, aprendem,
estruturam, armazenam e usam o conhecimento.
Cognitivismo defende que grande parte do
comportamento humano pode ser entendida em
termos de como as pessoas pensam.
52. Psicologia Cognitiva
Memória
É o meio pelo qual mantemos e acessamos nossas
experiências passadas para usar a informação no
presente.
Existem 3 operações comuns de memória:
codificação, armazenagem e recuperação.
Capacidade de Recordação < Reconhecimento
53.
54. Psicologia Cognitiva
Memória
Existe uma distinção entre memória explícita e
implícita.
Explícita: recordar ou reconhecer palavras, fatos,
imagens de um determinado conjunto de itens.
Implícita: recordamos algo, mas não temos
consciência de que estamos tentando fazê-lo.
55. Psicologia Cognitiva
Busca cognitiva
Varredura do ambiente para procurar
características específicas – procurar ativamente
alguma coisa quando não se tem certeza onde ela
está.
Alarmes falsos podem interferir na busca, assim
como fatores de distração.
O número de alvos e fatores de distração afeta a
dificuldade de realização da tarefa.
57. Psicologia Cognitiva
Exercício
Abrir uma interface e escrever uma lista de tudo o
que o usuário precisa saber para poder usá-la
Marcar na lista os itens que a interface ajuda a
lembrar ou ensina
60. Psicologia Cognitiva
Tarefas
Sequência de ações ordenadas visando um
objetivo.
Três fases: formulação, execução, avaliação e
correção
Sua execução depende da experiência prévia
(modelos mentais)
O que define uma tarefa é seu objetivo
A eficiência pode ser medida pelo tempo de
execução e taxa de erro
61. Modelo GOMS
Goals, Operators, Methods,
and Selection rules
Cálculo de previsão de tempo
para executar uma ação
numa interface baseado em
experimentos de laboratório
Extremamente artificial
64. Análise da Tarefa
Quebrar a sequência de
ações em etapas organizadas
de forma hierárquica
Serve para visualizar o
trabalho e identificar gargalos
Avalia o fluxo sem considerar
a interface
68. Psicologia Cognitiva
Exercício
Definir 3 objetivos do usuário ao acessar uma
interface
Descrever 3 caminhos para se atingir cada objetivo:
O caminho atual e seus gargalos
O caminho mais rápido independente dos
demais caminhos
O caminho mais lógico considerando o contexto
69. Psicologia Cognitiva
Ciclo da Ação
Metas
Intenção Avaliação
Sequência de ações Interpretação
Execução Percepção
Mundo
70. Psicologia Cognitiva
Dúvidas do usuário
Serve?
Que ações são possíveis? Estou no estágio desejado?
Que etapas serão necessárias? Em que etapa estou?
Como executar? Qual o estágio do sistema?
Mundo
71. Psicologia Cognitiva
Lacunas
Serve?
Que ações são possíveis? Estou no estágio desejado?
erro!
Que etapas serão necessárias? Em que etapa estou?
erro!
Como executar? Qual o estágio do sistema?
Mundo
72. Percurso Cognitivo
É uma forma de avaliação de
especialista, mas não se
baseia só em princípios de
design e usabilidade
É uma forma de avaliação do
ponto de vista do usuário
A análise é feita através da
execução das tarefas
propostas na interface
73. Percurso Cognitivo
Como fazer
Procedimento para a avaliação:
Sobre uma proposta de design, os avaliadores
simulam a execução da tarefa, efetuando uma série
de perguntas sobre cada passo
Anotações são feitas durante a interação, fazendo
capturas de tela ou gravação de filme registrando as
dúvidas e dificuldades que o usuário poderia ter
74. Percurso Cognitivo
Vantagens
❖ Não requer participantes
❖ Rápido para diagnosticar
erros e prescrever
melhorias
❖ Não há análise de dados
75. Percurso Cognitivo
Desvantagens
Recai sobre o
especialista o julgamento
sobre a interface
Ele deve ter ótimos
conhecimentos sobre
fatores humanos e
habilidades cognitivas.
76. Percurso Cognitivo
Exercício
Navegar livremente por uma interface e anotar
problemas e dificuldades que o usuário pode
encontrar
77. Análise de Estatísticas de
Uso
A maneira mais barata, rápida
e confiável de avaliar uma
interface
O problema é a interpretação
das estatísticas
A análise de estatísticas deve
ser cruzada com outros
métodos
78. Análise de Estatísticas de Uso
Google Analystics
Páginas mais acessadas
Tempo de permanência
Acompanhamento de fluxo
Termos de buscas
Comparação com
concorrentes reais
Etc...
79. Benchmarking
Comparar os produtos em desenvolvimento com
produtos já existentes no mercado (seu desempenho),
e identificar oportunidades de melhoria.
81. Benchmarking
Como fazer
Identificar as empresas
Coletar dados
Determinar os marcos de referência
Verificar o gap de desempenho entre marcas
Estabelecer metas funcionais
Implementar ações específicas
Recalibrar marcos de referência
82. Benchmarking
Como fazer (continuação)
Recorrer a boas práticas da área
Pesquisa sobre empresas concorrentes / líderes
Pesquisar dados específicos do produto
83. Benchmarking
Como fazer (continuação)
recorrer a boas práticas da área.
www.smashingmagazine.com / www.sitepoint.com /
www.welie.com / //interactions.acm.org / //thinkvitamin.com /
www.interaction-design.org / www.thinkflowinteractive.com /
Livros sobre usabilidade e design
pesquisa sobre empresas concorrentes / líderes.
Associações representativas / Estudos “opensource” (ex.
FISTERA) / Pesquisa adquiridas ($)
84. Benchmarking
Exercício
Escolher duas interfaces equivalentes a serem
comparadas
Definir critérios de comparação
Elaborar mini relatório de benchmark
86. Técnica de Guerrilha
Como fazer
É comum utilizar táticas de guerrilha para tentar
estabelecer a usabilidade num ambiente hostil:
Alertar para a importância da abordagem de
design centrado no usuário;
Lutar pelo orçamento de forma a alocar
profissionais ao "projeto usabilidade“;
Institucionalizar a usabilidade na empresa.
87. Técnica de Guerrilha
Como fazer
Custo em usabilidade [estimativa de Mantei&Teorey] +-$130,000
Uso de protótipos em papel - $2,160
Testes de usabilidade com 3 participantes, não 5 - $11,520
Estudos “thinking aloud” + notas pessoais ao invés de softw. - $5,520
Sem necessidade de sala de observação - $17,600
Apenas 2 focus groups ao invés de 3 pesquisas de mercado - $2,000
Apenas1 focus group ao invés de 3 análises de espec. - $4,000
Especialista de usabilidade para avaliação heurística + $3,000
(…)
Custo da técnica de redução: $65,330
88. Técnica de Guerrilha
Como avançar
❖ Colaborar nos grupos de
pesquisa e de CRM
❖ Contatar call center
❖ [ou seja] Armar-se de dados e
provas
❖ [para] Desenvolver uma forte
argumentação de negócio
89. Técnica de Guerrilha
Prós e contras
Vantagens
❖ Melhor relação custo x benefício.
Desvantagens
❖ Incerteza sobre o comprometimento da avaliação;
❖ Representa apenas um primeiro passo para
política de usabilidade na empresa.
90. Obrigado
❖ Frederick van Amstel
frederick.amstel@faberludens.com.br
www.faberludens.com.br
Para conhecer outros cursos.