Avaliação de
Interfaces:
Heurística e Teste
de Usabilidade
PROF. OZIEL NETO (OZIEL.NETO@GMAIL.COM)
TWITTER: @OZIELNETO
Roteiro
 Parte I
 Considerações Iniciais
 Classificação dos Métodos de Avaliação
 Parte II
 Avaliação Heurística
 Teste de Usabilidade
 Comparativo
 Referências Bibliográficas
2 - 57
Avaliação
 Coletar informações sobre um projeto ou
produto em relação a funcionalidade e
a interação;
 Estimativa do sucesso ou insucesso das
hipóteses do projetista sobre a solução
que está propondo;
 Envolve desde “o que você acha desta
idéia” até avaliações rigorosas
(experimentos em laboratório e
questionários em larga escala).
3 - 57
Avaliação
 Obtenção de interfaces com melhor
usabilidade;
 Garante melhores decisões de
projeto;
 Evita custos de fazer e distribuir
correções;
 Vantagens indiscutíveis: modificação
do projeto nas fases iniciais são
melhores que nas fases finais!
4 - 57
Por quê avaliar?
 Conhecer o que os usuários querem e
problemas que experimentam;
 Verificar se idéias estão de acordo
com as necessidades e os desejos dos
usuários;
 Responder dúvidas que surgem
durante o projeto e desenvolvimento.
5 - 57
Por quê avaliar?
 Verificar o sistema na situação real de
uso;
 Comparar alternativas de design;
 Marketing:
 comparação entre produtos (funcionalidade,
aceitação)
 Adequação a normas:
 produtos estão de acordo com padrões
específicos (exemplo ISO)?
6 - 57
O que avaliar?
 Funcionalidade do sistema
 qualidade da adequação aos problemas
do usuário;
 design permite que usuário efetue as
tarefas pretendidas de modo fácil e
eficiente;
 Usabilidade da interface
 qualidade da interação usuário/sistema;
 fácil aprender usar o sistema, uso
agradável e eficiente.
7 - 57
O que avaliar?
 Comunicabilidade
 qualidade da comunicação
projetista/usuário;
 interface expressa o modelo de
interação previsto pelos projetistas;
 Aprendizado do usuário
 conhecimento do usuário evolui
através da interação.
8 - 57
Quando?
 Deve ocorrer durante o ciclo de vida do sistema:
 resultados utilizados para melhorias gradativas da
interface.
 Nas primeiras fases:
 verificar compreensão dos projetistas sobre as
necessidades dos usuários (estudo de um sistema
existente);
 testar idéias (possibilidades de layout).
 Nas fases finais:
 identificar dificuldades do usuário;
 melhorar produto.
9 - 57
Tipos de Avaliação
 Formativa
 feita durante o processo de projeto e
desenvolvimento;
 permite identificar e consertar um problema de
interação antes que a aplicação seja
implementada ou terminada;
 uso de modelos, protótipos, storyboards.
 Somativa
 avaliar o produto já terminado;
 testar se produto está de acordo com o estilo
padrão da empresa.
10 -
57
Considerações
 Características dos usuários
 experiência, idade, gênero;
 Tipo de atividade a ser realizada
 atividades específicas controladas ou
livres, de acordo com a vontade do
usuário;
11 -
57
Considerações
Ambiente do estudo
laboratório, ambiente natural de trabalho
(estudo de campo);
Natureza do artefato
projeto gráfico não implementado, protótipo
em desenvolvimento, produto terminado.
12 -
57
Métodos e Técnicas de
Avaliação
 Envolvem:
 observação e monitoração das interações do
usuário;
 coleta de opiniões dos usuários;
 experimentos;
 interpretação de interações naturais;
 predição de usabilidade de um produto.
13 -
57
Métodos e Técnicas de
Avaliação
 Classificação (Rocha e Baranaukas, 2000)
 Inspeção de usabilidade
 Teste de usabilidade
 Experimento controlado
 Método interpretativo
14 -
57
Métodos e Técnicas de
Avaliação
 Classificação (Rocha e Baranaukas, 2000)
 Inspeção de usabilidade
 Teste de usabilidade
 Experimento controlado
 Método interpretativo
15 -
57
Inspeção de Usabilidade
 Conjunto de métodos baseados
em se ter avaliadores
inspecionando ou examinando
aspectos de usabilidade de uma
interface;
 Avaliadores:
 especialistas em usabilidade ou em
determinado padrão de interface,
consultores de software, usuários finais.
16 -
57
Inspeção de Usabilidade
 Visa encontrar problemas de
usabilidade no projeto de uma
interface e fazer recomendações
para eliminação destes problemas;
 Utiliza a habilidade e a experiência
de avaliadores;
 Pode ser aplicada em fases iniciais e
finais do projeto e desenvolvimento.
17 -
57
Inspeção de Usabilidade
 Métodos:
 Avaliação Heurística: uso de lista de heurísticas;
 Revisão de Guidelines: verificação da
conformidade com guidelines;
 Inspeção de Consistência: consistência dentro
de uma família de interfaces (terminologia, cores,
layout, formatos entrada/saída);
 Percurso Cognitivo (predição de uso):
análise do “caminho” percorrido na execução de
uma tarefa (modelagem psicológica); especialistas
revisam o sistema para predizer problemas que
usuários podem encontrar.
18 -
57
Métodos e Técnicas de
Avaliação
 Classificação (Rocha e Baranaukas, 2000)
 Inspeção de usabilidade
 Teste de usabilidade
 Experimento controlado
 Método interpretativo
19 -
57
Teste de Usabilidade
 Método centrado no usuário;
 Inclui
 Métodos experimentais ou empíricos;
 Métodos observacionais;
 Técnicas de questionamento.
 Necessária existência de uma
implementação real (simulação,
protótipo básico, cenário, implementação
completa).
20 -
57
Métodos e Técnicas de
Avaliação
 Classificação (Rocha e Baranaukas, 2000)
 Inspeção de usabilidade
 Teste de usabilidade
 Experimento controlado
 Método interpretativo
21 -
57
Experimento Controlado
 Envolve a execução de um bem
projetado experimento de
laboratório;
 Tem-se uma hipótese a ser testada e
variáveis de interesse devem ser
controladas;
 Uso de métodos estatísticos:
necessário conhecimento estatístico
para validação dos resultados.
22 -
57
Experimento Controlado
 Controle de variáveis em interações
complexas envolvendo humanos pode ser
difícil e de validade questionável;
 São feitos em laboratórios especialmente
construídos;
 Coleta de dados através de observação e
monitoramento;
 Avaliação rigorosa e dados coletados
analisados quantitativamente, de modo a
produzir métricas que guiem o projeto.
23 -
57
Experimento Controlado
 No planejamento, observar:
 propósito do experimento;
 o que se mantém constante, o que é alterado;
 hipótese (estabelecida de forma a ser testada);
 quais testes estatísticos e por que?
24 -
57
Experimento Controlado
 Exemplo:
 avaliação da eficiência relativa dos usuários utilizando teclas de
função ou menus num sistema de controle de processos
estabelecida em termos dos elementos comparados, constantes
(experiência dos usuários e tarefa de controle) e medidas de
performance (velocidade na execução dos comandos ou
percentual de erros).
25 -
57
Experimento Controlado
 Exemplo
 Hipótese possível
 Teclas de função são mais eficientes (produzem execução mais
rápida dos comandos);
 Grupos usarão duas interfaces;
 Significância estatística entre as diferenças serão determinadas.
26 -
57
Métodos e Técnicas de
Avaliação
 Classificação (Rocha e Baranauskas, 2000)
 Inspeção de usabilidade
 Teste de usabilidade
 Experimento controlado
 Método interpretativo
27 -
57
Método Interpretativo
 Objetiva proporcionar ao projetista um melhor
entendimento
 das condições naturais de trabalho do usuário;
 de como o uso do sistema se integra as outras
atividades do usuário.
28 -
57
Método Interpretativo
 Coleção de dados é informal
 deve causar pouca interferência ao
trabalho do usuário;
 participação do usuário na coleta,
análise e interpretação dos dados;
 formas de registro como vídeos e áudio
podem ser adotadas.
 Incluem avaliação participativa e
etnográfica (pesquisadores inseridos no
contexto de trabalho).
29 -
57
Qual método utilizar?
 Fatores determinantes:
 o que se deseja avaliar;
 etapa do desenvolvimento;
 disponibilidade de especialistas;
 ambiente e recursos necessários;
 tempo disponíveis para avaliação.
 Técnica ideal: misturar e adaptar
métodos.
30 -
57
Métodos e Técnicas de
Avaliação
Técnicas representativas:
Avaliação Heurística
Teste de Usabilidade
31 -
57
Avaliação Heurística
 Engenharia Econômica de Usabilidade proposta
por Nielsen (1989,1993);
 Envolve pequeno conjunto de avaliadores,
examinando a interface e julgando suas
características em face de reconhecidos
princípios de usabilidade (heurísticas).
32 -
57
Avaliação Heurística
 Heurística: regra geral que
descreve uma propriedade
comum em interfaces usáveis;
 Avaliadores, por experiência,
estudam e observam a interface;
 Não deve ser feita por um único
avaliador (3-5).
33 -
57
Avaliação Heurística
 Metodologia:
 feita, em primeiro momento,
individualmente;
 avaliadores percorrem a interface e
relatam problemas encontrados, junto
as heurísticas violadas;
 posteriormente, as listas de problemas
dos avaliadores são consolidadas;
 discussão final: equipe de
desenvolvimento e sugestões de re-
design.
34 -
57
Avaliação Heurística
 Avaliadores não estarão usando o
sistema de fato: interfaces não
implementadas;
 Resultado: lista de problemas de
usabilidade da interface com referências
aos princípios de usabilidade violados;
 Uso de heurísticas específicas:
derivadas da análise de produtos
similares e de resultados de uso (Ex.:
formulários).
35 -
57
Algumas Heurísticas (Nielsen,
1990/93)
 Diálogo simples e natural;
 Falar na linguagem do usuário;
 Minimizar a carga de memória do usuário;
 Ser consistente;
 Prover feedback;
 Saídas claras marcadas;
 Prover shortcuts;
 Mensagens de erro construtivas e precisas;
 Prevenir erros;
 Help e documentação.
36 -
57
Avaliação Heurística
 Diagnóstico de um problema associado
as heurísticas: possibilidades concretas
de re-design;
 Pode ser usada para avaliar a gravidade
de cada problema: atribuição de graus
de severidade;
 Método básico da engenharia da
usabilidade, relativamente fácil de ser
usado e aprendido.
37 -
57
Avaliação Heurística 38 -
57
Teste de Usabilidade
 Observação da interação de usuários no
mundo real ou sob condições controladas;
 Avaliadores coletam dados e verificam se a
interface suporta as tarefas do usuário;
 Importância do teste: impossibilidade do
projetista em prever o comportamento dos
usuários diante da interface;
 Ferramentas de registro: áudio, vídeo,
software para registro da interação, outras;
 Importante coleta da opinião do usuário.
39 -
57
Teste de Usabilidade
 Resultados práticos: testes têm acelerado
desenvolvimento e produzido redução de
custos;
 Vantagens (Matias, 1995):
 indicar reações dos usuários potenciais;
 mostrar os problemas e falhas no sistema;
 mostrar onde o sistema funciona bem;
 fornecer idéias ao projeto através das sugestões
dos usuários;
 fornecer meios para comparar múltiplos usuários;
 promover a participação do usuário.
40 -
57
Teste de Usabilidade
 Observação dos usuários:
 direta
 usuários podem ser observados diretamente em seu
local de trabalho;
 observador toma nota sobre o comportamento do
usuário, como seqüência de ações (escolher o que é
importante ser anotado);
 usuários podem alterar comportamento pelo fato de
estarem sendo observados;
41 -
57
Teste de Usabilidade
 Observação dos usuários:
 direta
 técnicas de anotação de dados podem ser utilizadas
ou desenvolvidas, do tipo checklist;
 para registro permanente, vídeo, áudio ou logging de
interação é necessário.
42 -
57
Teste de Usabilidade
 Observação dos usuários:
 indireta
 software logging:
coleta é automática e não
interfere no trabalho do usuário;
ferramentas disponíveis para
software logging;
tempo de digitação: grava
seqüência e os intervalos de
tempo.
43 -
57
Teste de Usabilidade
 Observação dos usuários:
 indireta
 vídeo:
 uso de diferentes câmeras;
 usuários têm noção de que estão
sendo filmados;
 reduzir impacto da presença da
câmera: coloca-la dias antes do início
das filmagens;
 análise é difícil e consome tempo;
 podem ser usados para convencer
gerentes e projetistas dos problemas no
sistema.
44 -
57
Teste de Usabilidade
 Coleta da opinião dos usuários:
 além da performance é importante saber
o que ele pensa sobre o uso que faz da
tecnologia;
 impressão dos usuários sobre o software;
 performance pode ser boa, mas usuário
não gostar do sistema;
 detalhes para os projetistas podem ser
desagradáveis ao usuário.
45 -
57
Teste de Usabilidade
 Coleta da opinião dos usuários:
 protocolo verbal: usuários “pensam
em voz alta”;
 usuários podem ver vídeos e
comentar sobre suas ações;
 dois usuários podem testar uma
interface e comentar;
 entrevistas e questionários podem ser
utilizados.
46 -
57
Teste de Usabilidade
 Entrevistas e questionários:
 dados de entrevistas: qualitativos;
 dados de questionários: quantitativos;
 questionários podem ser aplicados a um
grande número de pessoas, possibilitando a
obtenção de resultados estatisticamente
validados;
 questionário deve ser planejado de forma a
garantir que perguntas sejam relevantes às
questões analisadas.
47 -
57
Teste de Usabilidade
 Entrevistas e questionários:
 entrevistas flexíveis podem ser moldadas
se acordo com a reação dos
entrevistados (uso de um plano básico);
 entrevistado deve se sentir seguro e a
vontade: podem ter vergonha de criticar
o sistema;
 entrevistador responsável por criar um
clima agradável de conversação.
48 -
57
Teste de Usabilidade
 Entrevistas e questionários:
 questionários podem conter respostas
fechadas ou abertas;
 fechadas
 checklists (sim, não, não sei);
 escalas (muito útil ... Inútil; concordo
plenamente ... discordo plenamente);
 questionários devem ser breves;
 estudos pilotos: antes de distribuir um
questionário para 500 pessoas, distribuir
um rascunho para 20.
49 -
57
Teste de Usabilidade
 Testes realizados em laboratório;
 Problemas:
 limitações de tempo e de recursos;
 dificuldade em conseguir usuários representativos;
 contexto do trabalho dificilmente consegue ser
reproduzido;
 Saídas:
 testes remotos (tele-conferência);
 testes de campo: ambientes reais de uso (resposta do
usuário, logs, comandos usados, freqüência de acesso
ao help).
50 -
57
Teste de Usabilidade
 Plano detalhado de teste: objetivo, quando e
onde, duração, recursos necessários,
experimentadores, usuários, tarefas a serem
avaliadas;
 Etapas:
 Preparação dos recursos;
 Apresentação usuários as tarefas de teste;
 Teste (evitar auxiliar o usuário);
 Sessão final: usuários convidados a
comentar, sugerir e comentar ou
responder questionário;
51 -
57
Teste de Usabilidade
 Usuários:
 Representativos em relação aos usuários aos reais:
 se não forem usuário reais: características similares
(idade, conhecimento, experiência com sistema,
outras);
 evitar influências:
 Ex.: determinar um conjunto de ícones que é mais
rapidamente reconhecido por crianças entre 7 e 10
anos
 selecionar crianças que cubram todas as
idades;
 número igual de meninos e meninas;
 mesmo nível de experiência;
 notas escolares semelhantes.
52 -
57
Teste de Usabilidade
 Equipe experimentadores:
- conhecimento da aplicação e interface;
- saber lidar com problemas que afetem o teste;
- isenção na avaliação.
53 -
57
Teste de Usabilidade
 Comentar com usuário:
 importância do teste: melhorias na
interface;
 sistema é confidencial e resultados não
serão colocados publicamente;
 participação é voluntária (usuários tem
outras coisas para fazer);
 explicar gravações de vídeo ou áudio;
 informa-los dos objetivos do teste, tarefas
a serem realizadas e que podem ser livres
para abandonar o teste se assim
desejarem.
54 -
57
Comparativo
 Testes de laboratório são caros;
 Abordagem heurística proposta para
oferecer informação de usabilidade de
modo mais rápido e barato
 não substituem os testes: uso em conjunto;
 Avaliação heurística melhor quando
aplicada por especialistas em avaliação;
 permite avaliação global da interface, menor
custo, detecção de erros;
55 -
57
Comparativo
 Testes são mais eficazes, mas caros (50x);
 Avaliação heurística detectou mais
problemas ao custo mais baixo, mas
necessita de pessoas com conhecimento
e experiência para aplica-la (Jeffries);
 Não se pode afirmar qual o melhor
método: cada situação de projeto irá
requerer uma forma de avaliação.
56 -
57
Referências
 Rocha, Heloísa; Baranauskas, Maria. Design e
avaliação de interfaces humano-computador. São
Paulo, IME-USP, 2000 (Escola de Computação, 2000),
242 p.
 Matias, Márcio. Checklist: Uma ferramenta de
suporte à avaliação ergonômica de interfaces.
Florianópolis, 1995 (dissertação de mestrado).
 Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa,
Simone. Projeto de Interfaces de Usuário:
Perspectivas Cognitivas e Semióticas. In: XIX
Congresso Nacional da Sociedade Brasileira de
Computação, 1999, Rio de Janeiro. Anais do XIX
Congresso Nacional da Sociedade Brasileira de
Computação;
 Material disponibilizado pela Profª Renata Vieira.
57 -
57
Avaliação de
Interfaces:
Heurística e Teste
de Usabilidade
PROF. OZIEL NETO (OZIEL.NETO@GMAIL.COM)
TWITTER: @OZIELNETO

Usabilidade de Interfaces - Parte 2

  • 1.
    Avaliação de Interfaces: Heurística eTeste de Usabilidade PROF. OZIEL NETO (OZIEL.NETO@GMAIL.COM) TWITTER: @OZIELNETO
  • 2.
    Roteiro  Parte I Considerações Iniciais  Classificação dos Métodos de Avaliação  Parte II  Avaliação Heurística  Teste de Usabilidade  Comparativo  Referências Bibliográficas 2 - 57
  • 3.
    Avaliação  Coletar informaçõessobre um projeto ou produto em relação a funcionalidade e a interação;  Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo;  Envolve desde “o que você acha desta idéia” até avaliações rigorosas (experimentos em laboratório e questionários em larga escala). 3 - 57
  • 4.
    Avaliação  Obtenção deinterfaces com melhor usabilidade;  Garante melhores decisões de projeto;  Evita custos de fazer e distribuir correções;  Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais! 4 - 57
  • 5.
    Por quê avaliar? Conhecer o que os usuários querem e problemas que experimentam;  Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários;  Responder dúvidas que surgem durante o projeto e desenvolvimento. 5 - 57
  • 6.
    Por quê avaliar? Verificar o sistema na situação real de uso;  Comparar alternativas de design;  Marketing:  comparação entre produtos (funcionalidade, aceitação)  Adequação a normas:  produtos estão de acordo com padrões específicos (exemplo ISO)? 6 - 57
  • 7.
    O que avaliar? Funcionalidade do sistema  qualidade da adequação aos problemas do usuário;  design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente;  Usabilidade da interface  qualidade da interação usuário/sistema;  fácil aprender usar o sistema, uso agradável e eficiente. 7 - 57
  • 8.
    O que avaliar? Comunicabilidade  qualidade da comunicação projetista/usuário;  interface expressa o modelo de interação previsto pelos projetistas;  Aprendizado do usuário  conhecimento do usuário evolui através da interação. 8 - 57
  • 9.
    Quando?  Deve ocorrerdurante o ciclo de vida do sistema:  resultados utilizados para melhorias gradativas da interface.  Nas primeiras fases:  verificar compreensão dos projetistas sobre as necessidades dos usuários (estudo de um sistema existente);  testar idéias (possibilidades de layout).  Nas fases finais:  identificar dificuldades do usuário;  melhorar produto. 9 - 57
  • 10.
    Tipos de Avaliação Formativa  feita durante o processo de projeto e desenvolvimento;  permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada;  uso de modelos, protótipos, storyboards.  Somativa  avaliar o produto já terminado;  testar se produto está de acordo com o estilo padrão da empresa. 10 - 57
  • 11.
    Considerações  Características dosusuários  experiência, idade, gênero;  Tipo de atividade a ser realizada  atividades específicas controladas ou livres, de acordo com a vontade do usuário; 11 - 57
  • 12.
    Considerações Ambiente do estudo laboratório,ambiente natural de trabalho (estudo de campo); Natureza do artefato projeto gráfico não implementado, protótipo em desenvolvimento, produto terminado. 12 - 57
  • 13.
    Métodos e Técnicasde Avaliação  Envolvem:  observação e monitoração das interações do usuário;  coleta de opiniões dos usuários;  experimentos;  interpretação de interações naturais;  predição de usabilidade de um produto. 13 - 57
  • 14.
    Métodos e Técnicasde Avaliação  Classificação (Rocha e Baranaukas, 2000)  Inspeção de usabilidade  Teste de usabilidade  Experimento controlado  Método interpretativo 14 - 57
  • 15.
    Métodos e Técnicasde Avaliação  Classificação (Rocha e Baranaukas, 2000)  Inspeção de usabilidade  Teste de usabilidade  Experimento controlado  Método interpretativo 15 - 57
  • 16.
    Inspeção de Usabilidade Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface;  Avaliadores:  especialistas em usabilidade ou em determinado padrão de interface, consultores de software, usuários finais. 16 - 57
  • 17.
    Inspeção de Usabilidade Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas;  Utiliza a habilidade e a experiência de avaliadores;  Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento. 17 - 57
  • 18.
    Inspeção de Usabilidade Métodos:  Avaliação Heurística: uso de lista de heurísticas;  Revisão de Guidelines: verificação da conformidade com guidelines;  Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída);  Percurso Cognitivo (predição de uso): análise do “caminho” percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar. 18 - 57
  • 19.
    Métodos e Técnicasde Avaliação  Classificação (Rocha e Baranaukas, 2000)  Inspeção de usabilidade  Teste de usabilidade  Experimento controlado  Método interpretativo 19 - 57
  • 20.
    Teste de Usabilidade Método centrado no usuário;  Inclui  Métodos experimentais ou empíricos;  Métodos observacionais;  Técnicas de questionamento.  Necessária existência de uma implementação real (simulação, protótipo básico, cenário, implementação completa). 20 - 57
  • 21.
    Métodos e Técnicasde Avaliação  Classificação (Rocha e Baranaukas, 2000)  Inspeção de usabilidade  Teste de usabilidade  Experimento controlado  Método interpretativo 21 - 57
  • 22.
    Experimento Controlado  Envolvea execução de um bem projetado experimento de laboratório;  Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas;  Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados. 22 - 57
  • 23.
    Experimento Controlado  Controlede variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável;  São feitos em laboratórios especialmente construídos;  Coleta de dados através de observação e monitoramento;  Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto. 23 - 57
  • 24.
    Experimento Controlado  Noplanejamento, observar:  propósito do experimento;  o que se mantém constante, o que é alterado;  hipótese (estabelecida de forma a ser testada);  quais testes estatísticos e por que? 24 - 57
  • 25.
    Experimento Controlado  Exemplo: avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros). 25 - 57
  • 26.
    Experimento Controlado  Exemplo Hipótese possível  Teclas de função são mais eficientes (produzem execução mais rápida dos comandos);  Grupos usarão duas interfaces;  Significância estatística entre as diferenças serão determinadas. 26 - 57
  • 27.
    Métodos e Técnicasde Avaliação  Classificação (Rocha e Baranauskas, 2000)  Inspeção de usabilidade  Teste de usabilidade  Experimento controlado  Método interpretativo 27 - 57
  • 28.
    Método Interpretativo  Objetivaproporcionar ao projetista um melhor entendimento  das condições naturais de trabalho do usuário;  de como o uso do sistema se integra as outras atividades do usuário. 28 - 57
  • 29.
    Método Interpretativo  Coleçãode dados é informal  deve causar pouca interferência ao trabalho do usuário;  participação do usuário na coleta, análise e interpretação dos dados;  formas de registro como vídeos e áudio podem ser adotadas.  Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho). 29 - 57
  • 30.
    Qual método utilizar? Fatores determinantes:  o que se deseja avaliar;  etapa do desenvolvimento;  disponibilidade de especialistas;  ambiente e recursos necessários;  tempo disponíveis para avaliação.  Técnica ideal: misturar e adaptar métodos. 30 - 57
  • 31.
    Métodos e Técnicasde Avaliação Técnicas representativas: Avaliação Heurística Teste de Usabilidade 31 - 57
  • 32.
    Avaliação Heurística  EngenhariaEconômica de Usabilidade proposta por Nielsen (1989,1993);  Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas). 32 - 57
  • 33.
    Avaliação Heurística  Heurística:regra geral que descreve uma propriedade comum em interfaces usáveis;  Avaliadores, por experiência, estudam e observam a interface;  Não deve ser feita por um único avaliador (3-5). 33 - 57
  • 34.
    Avaliação Heurística  Metodologia: feita, em primeiro momento, individualmente;  avaliadores percorrem a interface e relatam problemas encontrados, junto as heurísticas violadas;  posteriormente, as listas de problemas dos avaliadores são consolidadas;  discussão final: equipe de desenvolvimento e sugestões de re- design. 34 - 57
  • 35.
    Avaliação Heurística  Avaliadoresnão estarão usando o sistema de fato: interfaces não implementadas;  Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados;  Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários). 35 - 57
  • 36.
    Algumas Heurísticas (Nielsen, 1990/93) Diálogo simples e natural;  Falar na linguagem do usuário;  Minimizar a carga de memória do usuário;  Ser consistente;  Prover feedback;  Saídas claras marcadas;  Prover shortcuts;  Mensagens de erro construtivas e precisas;  Prevenir erros;  Help e documentação. 36 - 57
  • 37.
    Avaliação Heurística  Diagnósticode um problema associado as heurísticas: possibilidades concretas de re-design;  Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade;  Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido. 37 - 57
  • 38.
  • 39.
    Teste de Usabilidade Observação da interação de usuários no mundo real ou sob condições controladas;  Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário;  Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface;  Ferramentas de registro: áudio, vídeo, software para registro da interação, outras;  Importante coleta da opinião do usuário. 39 - 57
  • 40.
    Teste de Usabilidade Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos;  Vantagens (Matias, 1995):  indicar reações dos usuários potenciais;  mostrar os problemas e falhas no sistema;  mostrar onde o sistema funciona bem;  fornecer idéias ao projeto através das sugestões dos usuários;  fornecer meios para comparar múltiplos usuários;  promover a participação do usuário. 40 - 57
  • 41.
    Teste de Usabilidade Observação dos usuários:  direta  usuários podem ser observados diretamente em seu local de trabalho;  observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado);  usuários podem alterar comportamento pelo fato de estarem sendo observados; 41 - 57
  • 42.
    Teste de Usabilidade Observação dos usuários:  direta  técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist;  para registro permanente, vídeo, áudio ou logging de interação é necessário. 42 - 57
  • 43.
    Teste de Usabilidade Observação dos usuários:  indireta  software logging: coleta é automática e não interfere no trabalho do usuário; ferramentas disponíveis para software logging; tempo de digitação: grava seqüência e os intervalos de tempo. 43 - 57
  • 44.
    Teste de Usabilidade Observação dos usuários:  indireta  vídeo:  uso de diferentes câmeras;  usuários têm noção de que estão sendo filmados;  reduzir impacto da presença da câmera: coloca-la dias antes do início das filmagens;  análise é difícil e consome tempo;  podem ser usados para convencer gerentes e projetistas dos problemas no sistema. 44 - 57
  • 45.
    Teste de Usabilidade Coleta da opinião dos usuários:  além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia;  impressão dos usuários sobre o software;  performance pode ser boa, mas usuário não gostar do sistema;  detalhes para os projetistas podem ser desagradáveis ao usuário. 45 - 57
  • 46.
    Teste de Usabilidade Coleta da opinião dos usuários:  protocolo verbal: usuários “pensam em voz alta”;  usuários podem ver vídeos e comentar sobre suas ações;  dois usuários podem testar uma interface e comentar;  entrevistas e questionários podem ser utilizados. 46 - 57
  • 47.
    Teste de Usabilidade Entrevistas e questionários:  dados de entrevistas: qualitativos;  dados de questionários: quantitativos;  questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados;  questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas. 47 - 57
  • 48.
    Teste de Usabilidade Entrevistas e questionários:  entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico);  entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema;  entrevistador responsável por criar um clima agradável de conversação. 48 - 57
  • 49.
    Teste de Usabilidade Entrevistas e questionários:  questionários podem conter respostas fechadas ou abertas;  fechadas  checklists (sim, não, não sei);  escalas (muito útil ... Inútil; concordo plenamente ... discordo plenamente);  questionários devem ser breves;  estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20. 49 - 57
  • 50.
    Teste de Usabilidade Testes realizados em laboratório;  Problemas:  limitações de tempo e de recursos;  dificuldade em conseguir usuários representativos;  contexto do trabalho dificilmente consegue ser reproduzido;  Saídas:  testes remotos (tele-conferência);  testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help). 50 - 57
  • 51.
    Teste de Usabilidade Plano detalhado de teste: objetivo, quando e onde, duração, recursos necessários, experimentadores, usuários, tarefas a serem avaliadas;  Etapas:  Preparação dos recursos;  Apresentação usuários as tarefas de teste;  Teste (evitar auxiliar o usuário);  Sessão final: usuários convidados a comentar, sugerir e comentar ou responder questionário; 51 - 57
  • 52.
    Teste de Usabilidade Usuários:  Representativos em relação aos usuários aos reais:  se não forem usuário reais: características similares (idade, conhecimento, experiência com sistema, outras);  evitar influências:  Ex.: determinar um conjunto de ícones que é mais rapidamente reconhecido por crianças entre 7 e 10 anos  selecionar crianças que cubram todas as idades;  número igual de meninos e meninas;  mesmo nível de experiência;  notas escolares semelhantes. 52 - 57
  • 53.
    Teste de Usabilidade Equipe experimentadores: - conhecimento da aplicação e interface; - saber lidar com problemas que afetem o teste; - isenção na avaliação. 53 - 57
  • 54.
    Teste de Usabilidade Comentar com usuário:  importância do teste: melhorias na interface;  sistema é confidencial e resultados não serão colocados publicamente;  participação é voluntária (usuários tem outras coisas para fazer);  explicar gravações de vídeo ou áudio;  informa-los dos objetivos do teste, tarefas a serem realizadas e que podem ser livres para abandonar o teste se assim desejarem. 54 - 57
  • 55.
    Comparativo  Testes delaboratório são caros;  Abordagem heurística proposta para oferecer informação de usabilidade de modo mais rápido e barato  não substituem os testes: uso em conjunto;  Avaliação heurística melhor quando aplicada por especialistas em avaliação;  permite avaliação global da interface, menor custo, detecção de erros; 55 - 57
  • 56.
    Comparativo  Testes sãomais eficazes, mas caros (50x);  Avaliação heurística detectou mais problemas ao custo mais baixo, mas necessita de pessoas com conhecimento e experiência para aplica-la (Jeffries);  Não se pode afirmar qual o melhor método: cada situação de projeto irá requerer uma forma de avaliação. 56 - 57
  • 57.
    Referências  Rocha, Heloísa;Baranauskas, Maria. Design e avaliação de interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola de Computação, 2000), 242 p.  Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995 (dissertação de mestrado).  Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In: XIX Congresso Nacional da Sociedade Brasileira de Computação, 1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade Brasileira de Computação;  Material disponibilizado pela Profª Renata Vieira. 57 - 57
  • 58.
    Avaliação de Interfaces: Heurística eTeste de Usabilidade PROF. OZIEL NETO (OZIEL.NETO@GMAIL.COM) TWITTER: @OZIELNETO