Conjunto de slides sobre testes com usuários, explicando como se planejar, executar e avaliar os dados coletados por meio de testes com usuários com foco na usabilidade do sistema

1. Avaliação de Usabilidade
Parte 2
Prof. André Constantino da Silva
IHC
Baseado nos slides da
Prof. Dr. Heloísa Vieira da Rocha

2. • Compreender a importância da avaliação em um
processo de desenvolvimento de interfaces de usuário
• Conhecer e aplicar dois métodos de avaliação de
usabilidade
Objetivo das Aulas

3. Teste de Usabilidade
– Processo empírico que visa avaliar a usabilidade de um
produto observando os usuários durante a sua utilização
– Método fundamental de usabilidade
–Tem o objetivo de aprimorar a usabilidade do produto
–Os participantes do teste devem ser usuários reais,
executando tarefas reais
–Realizado com 4 a 5 usuários representativos, já traz
resultados satisfatórios

4. Teste de Usabilidade – Tipos de Teste
Tipos de Teste:
• Teste de Exploração
• Teste de Avaliação
• Teste de Validação
• Teste de Comparação

5. Teste de Usabilidade – Teste de Exploração
Teste de Exploração
Quando usar: fases iniciais do design. Que funcionalidades incluir?
Objetivo: Explorar o modelo mental do usuário a respeito das tarefas em
questão. Verificar se o usuário aprova as funcionalidades propostas e da
maneira proposta.
Metodologia: Walkthrough. O usuário explora o modelo da interface dando
sugestões para o avaliador.
Exemplo: O usuário é apresentado a um problema concreto e estimulado a
falar sobre suas expectativas suposições e intenções para a resolução do
problema.
http://www.youtube.com/watch?v=0aHGLCAhxYY

6. Teste de Usabilidade – Teste de Avaliação
Teste de Avaliação
Quando usar: nas fases intermediárias do ciclo de design.
Objetivo: Determinar se os modelos conceituais foram implementados
adequadamente. Busca verificar se o usuário consegue realizar as tarefas.
Visa identificar problemas de usabilidade.
Metodologia: O usuários executa tarefas e o avaliador observa sem
interferir. Alguns dados quantitativos de eficiência de uso são anotados
(tempo, quantidade erros, etc), mas é dado mais ênfase ao comportamento
do usuário.
Exemplo: Usuário é solicitado a renovar um livro no sistema on-line da
biblioteca.

7. Teste de Usabilidade – Teste de Validação
Teste de Validação
Quando usar: na fase final, perto do lançamento do produto.
Objetivo: Certificar que o produto está de acordo com o que foi
especificado e se enquadra nos padrões de usabilidade e performance
definidos.
Metodologia: Determinar tempos para as tarefas e verificar se o usuário
consegue realizá-las dentro daquele tempo.
Exemplo: Tarefa: renovar livro na biblioteca (tempo previsto 1 min).
http://www.youtube.com/watch?v=46fdXjLXhw8

8. Teste de Usabilidade – Teste de Comparação
Teste de Comparação
Quando usar: em qualquer estágio do ciclo de design. Nos primeiros
estágios pode ser usado para comparar designs alternativos, nos estágios
intermediários pode ser usado para medir a efetividade de um elemento da
interface e no final pode ser usado para comparar se o produto atinge um
concorrente.
Objetivo: Comparar soluções alternativas entre si e determinar qual delas é
mais fácil de usar.
Metodologia: Um teste exploratório onde diversas soluções são
comparadas entre si. O resultado é um produto que combina o melhor
dessas idéias.
Exemplo: Localize onde se encontra o help nos seguintes sites...

9. Teste de Usabilidade
– Duas maiores preocupações:
• Confiabilidade: grau de certeza de que o mesmo
resultado será obtido se o teste for repetido
• Validade: o fato dos resultados de teste refletirem os
aspectos de usabilidade que se deseja testar
– 2 fases principais:
• Planejamento
• Execução

10. Teste de Usabilidade – Planejamento (i)
– Estabelecer a equipe
• Quem participará da parte de planejamento?
• Quem serão os experimentadores?
– Características e tipo de teste
– Público-alvo
• Quem serão os usuários e como serão conseguidos?
• Quantos usuários são necessários?

11. Teste de Usabilidade – Planejamento (ii)
–Recursos necessários para a realização do teste
• Quando e onde o teste irá acontecer?
• Qual a duração prevista de cada sessão de teste?
• Qual o suporte computacional necessário?
• Quais softwares precisam estar a disposição?
• Qual deverá ser o estado do sistema no início do teste?
– Objetivos e métricas
• O que se deseja obter através do teste?
• Quais dados serão coletados?

12. Teste de Usabilidade – Planejamento (iii)
–Cenários e tarefas
• Quais as tarefas que serão solicitadas aos usuários?
• Quanto o experimentador poderá ajudar o usuário durante o
teste?
– Definição de como será a análise dos resultados
• Como os dados serão analisados uma vez que tenham sido
coletados?
• Qual critério será utilizado para definir que os usuários
terminaram cada tarefa corretamente?
• Qual o critério para determinar que a interface é um sucesso?

13. Teste de Usabilidade – Os experimentadores
– Escolha usuários significativos
– Envolva usuários reais
– Se não for possível, selecione usuários tão próximos quanto
possível
– Idade
– Nível educacional
– Experiência com computadores
– Conhecimento do domínio da tarefa
– Erro comum: interface para público em geral e recrutar
alunos de computação como usuários nos testes

14. – Devem ter conhecimento extenso sobre a aplicação e sobre a
interface
– Não precisam saber como o sistema foi implementado
• Mas devem estar prontos para lidar com problemas que afetam o
teste (sistema ‘travar’)
– Podem ser os designers, desde que mantenham isenção
Teste de Usabilidade – Os usuários

15. Teste de Usabilidade – Métricas
– Tempo de cada tarefa
– Porcentagem de tarefas completadas
– Porcentagem de tarefas não-completadas
– Números de erros
– Tempo de navegação para encontrar uma informação
– Número de passos
– Número de cliques
– Quantidade de informações encontradas
– Número de acessos ao help
– ...

16. Teste de Usabilidade – Dados qualitativos
Dados qualitativos são coletados oralmente, por escrito, por
questionário ou através de perguntas feitas para o usuário
As percepções e a satisfação, apesar de dados qualitativo
(subjetivos) podem ser quantificados usando-se “notas” para:
– Facilidade de uso
– Facilidade de navegação
– Utilidade
– Facilidade de aprendizagem
– Facilidade de se recuperar de um erro
– Help

17. Teste de Usabilidade – Tarefas
– Tarefas mais representativas possíveis
– Cobertura razoável das partes mais significativas da interface
– As tarefas devem poder ser completadas no tempo definido para o teste
– Grau de dificuldade gradativo
– Planejar para que possam ser interrompidas a qualquer momento, caso o
usuário deseje
– Descreva a tarefa da forma mais realista possível
• Evite redigi-las na linguagem do produto, elas devem estar na linguagem
do usuário
• Exemplo: “A partir da página do IBGE na Internet, identifique em que
estado do Brasil reside a maior concentração de pessoas com mais de 60
anos”
– As tarefas devem estar inseridas em um cenário

18. –Questionário de pré-teste: para definir o perfil dos participantes
–Questionário pós-teste: geralmente utilizado para obter a
satisfação do usuário e opinião
–Autorização (termo de consentimento): declaração de que o
usuário está de acordo em participar dos teste e que esses dados
serão utilizados para um determinado fim “X”, mantendo-se o
anonimato das informações
Teste de Usabilidade – Documentos de apoio

19. –Preparação
• Preparar o ambiente e equipamentos
–Introdução
• Explicar que não é o participante e sim a interface que será testada
• Não devem se preocupar em ferir sentimentos dos experimentadores
(designers) com suas observações
• Os resultados do teste servirão para melhorar a interface do usuário
• Relembrar que o sistema é confidencial e não deve ser comentado
com outros (que inclusive podem vir a ser futuros usuários em outros
testes)
• A participação no teste é voluntária e podem parar a qualquer tempo
• Os resultados do teste não serão colocados publicamente e o
anonimato do participante estará garantido
Teste de Usabilidade – Execução (i)

20. –Introdução (cont.)
• Explicar sobre o uso de gravações de vídeo ou áudio que estarão
sendo feitas (o ideal é não gravar a face do usuário)
• Explicar que podem fazer qualquer pergunta durante o teste, mas que
nem sempre o experimentador irá ajudá-los ou responder suas
questões
• Informar ao participante sobre o tempo de duração do teste
• Solicitar a leitura e assinatura do termo de consentimento
• Explicar como o teste vai acontecer
• Explicar a técnica de “thinking aloud” (se for utilizada)
• Perguntar se existem e esclarecer dúvidas
• Solicitar o preenchimento do pré-teste
Teste de Usabilidade – Execução (ii)

21. –Teste
• Apresentar o cenário e as tarefas por escrito
• Iniciar a gravação (se houver) e anotar os tempos
• Lembrar ao usuário sobre “thinking aloud” durante o teste
• Solicitar que o usuário indique quando completar e mudar de tarefa
• evite qualquer tipo de comentário ou expressões sobre a performance
ou observações do usuário
• evite ajudar o usuário, a não ser que ele esteja realmente em
dificuldades muito graves
–Sessão final
• convidados a fazerem comentários ou sugestões gerais, ou a
responderem um questionário específico (questionário de pós-teste)
Teste de Usabilidade – Execução (iii)

22. Thinking aloud (pensando em voz alta):
– Usuário verbaliza seus pensamentos
– Permite observar como o usuário interpreta cada item da
interface
– Não adequado quando se deseja medidas de performance
– Principal objetivo é mostrar o que os usuários estão fazendo e
porque estão fazendo, enquanto estão fazendo, evitando as
racionalizações posteriores
– Torna o teste muito mais difícil de ser realizado
• usuários ficam mais lentos mas cometem menos erros quando
pensam em voz alta
Teste de Usabilidade – Thinking aloud

23. –O avaliador tem que levar o usuário a falar sempre e nunca
interferir no uso do sistema pelo usuário
• O que você está pensando agora?
• O que você acha que essa mensagem significa ? (depois do usuário
notar a mensagem)
–– Se o usuário pergunta se pode fazer alguma coisa:
• O que você acha que vai acontecer se fizer isso?
–– Se o usuário se mostra surpreso:
• Era isso que você esperava que iria acontecer? O que esperava?
Teste de Usabilidade – Thinking aloud

24. Interação construtiva
– 2 ou mais usuários trabalhando conjuntamente
–problema: diferenças de estilo de interação dos usuários
–Indicado: para testar interfaces para crianças
Retrospective testing
– usuário comenta sua ação gravada em vídeo
– todo teste demora pelo menos o dobro do tempo
– não indicado para usuários caros
Coaching Method
– manter o usuário no caminho correto
– focado no usuário novato
–bom para testar help/manual, etc..
Teste de Usabilidade – Thinking aloud -
alternativas

25. Teste de usabilidade - JEMS

26. Atividades
Preparação dos testes
– Seleção dos usuários
– Desenvolvimento das tarefas dos usuários
– Definir critérios da observação/avaliação
– Elaborar formulário dos experimentadores
– Preparação do ambiente de teste
• Execução dos testes
• Análise dos resultados
Teste de usabilidade - JEMS

27. – Análise dos perfis de usuários que utilizam o sistema
• Chair
• Avaliadores de artigos
• Autores de artigos
– Quantos usuários? 7 no total
• 2 Chairs
• 3 avaliadores de artigos
• 3 escritores de artigos
– Por que 8? Por que estas proporções?
Seleção dos Usuários (i)

28. – 7 usuários
• 2 no papel de “Chair”
– um doutorando em Ciência da Computação e outro professor doutor na
mesma área
• 3 no papel de “Avaliadores de artigos”
– Um dos usuários foi o mesmo doutorando que participou dos testes como
usuário-coordenador, os demais foram uma doutoranda em Pedagogia,
que costuma submeter e revisar artigos para congressos e periódicos da
área de informática na educação, e um mestrando em Ciência da
Computação
• 3 no papel de “Autores de artigos”
– três usuários estudantes de graduação em Ciência da Computação,
participantes de projetos de pesquisa, portanto possíveis candidatos à
submissão de artigos para conferências, embora nenhum deles havia
utilizado o JEMS anteriormente
Seleção dos Usuários (ii)

29. Desenvolvimento das tarefas dos usuários
Documento entregue para o
Usuário com a definição
das tarefas

30. Desenvolvimento das tarefas dos usuários
Definição das tarefas a serem
executadas por cada usuário
A definição de um percurso
de execução de cada tarefa
facilitou identificar se o usuário
estava no caminho certo

31. Elaborar formulário dos experimentadores
softwares que capturam em
áudio e vídeo a interação do
usuário
Formulário para ser preenchido
pelos experimentadores

32. • Realizados em um laboratório improvisado, contendo um
computador com acesso à internet, com microfone e programas
para capturar o áudio e o vídeo da interação
O Ambiente

33. 3 experimentadores
• 1 fazendo esclarecimentos, tirando dúvidas, etc
• 2 observando e fazendo anotações
O que foi observado/registrado:
• Completude das tarefas
• Tempo de execução
• Erros (tipos e descrição dos erros)
• Dúvidas, comentários
• Comportamento (navegação)
Métodos Utilizados
• Thinking aloud
• Captura da interação em áudio e vídeo
• Observação
Desenvolvimento dos testes

34. Dados coletados:
• Anotações dos avaliadores (tempo, número de erros, acesso ao help,
solicitação de ajuda e comentários) + Vídeo
Análise:
– Compilação das anotações de cada avaliador identificando os problemas
registrados e comentários dos usuários
– Os vídeos foram observados apenas quando se pretendia resgatar algum
evento específico ocorrido durante os testes
– Elaboração de uma lista de problemas ordenada (mais grave –> menos
grave)
– Unificação da lista
– Elaboração do relatório de problemas
– Sugestões para solução dos problemas
Análise dos Resultados

35. Análise dos Resultados
Um relatório de avaliação
também tem que ter
“boa usabilidade” ?
Quem é o usuário do relatório?

36. Teste Ferramenta Educacional Estúdio de Cinema

37. Atividades
• Preparação do teste:
– Seleção dos usuários;
– Elaboração de uma atividade;
– Elaboração dos questionários;
– Preparação do ambiente (instalação e teste);
– Implementação do log da interação;
• Execução
• Análise dos resultados
Teste Ferramenta Educacional Estúdio de
Cinema

38. Usuários
• Grupo 1 (26 alunos – 6 a 8 anos)
• Grupo 2 (31 alunos – 10 a 12 anos)
• Atividade – 90 minutos para cada grupo.
Métodos e Dados coletados
• Respostas aos questionários;
• Log da interação;
• Observação do avaliador;
• Material produzido pelos alunos;
Teste Ferramenta Educacional Estúdio de
Cinema

39. Teste Ferramenta Educacional Estúdio de Cinema
Emoticons
Linguagem
Escala de valores

40. Análise das Respostas do questionário:
Teste Ferramenta Educacional Estúdio de
Cinema

41. Teste Ferramenta Educacional Estúdio de Cinema
Análise do log

42. Análise Combinada dos três elementos
Teste Ferramenta Educacional Estúdio de
Cinema

43. Teste Ferramenta Educacional Estúdio de Cinema

44. Laboratórios

45. • Avaliação Remota de Usabilidade
• Métodos Síncronos – Usuário e Avaliador (locais diferentes),
testes realizados através de vídeo conferência e
compartilhamento de desktop;
• Métodos Assíncronos – Usuário e Avaliador (local e tempo
diferentes).
• Captura de log da interação – a avaliação do log da interação é feita
posteriormente e pode ser feita “manualmente” pelo avaliador ou de forma
automática/semi-automática com auxílio de ferramentas;
• Envio de Incidentes críticos pelo usuário – o usuário utiliza o sistema e relata
os problemas obtidos; Ex: algo como o Bugzilla.
Novas Abordagens

46. Equipamentos

47. • Estamos lidando com pessoas!
– http://www.youtube.com/watch?v=7vG67i1P
vA4&NR=1
Cuidado!