Apresentação dos alunos da Pós-Graduação em Ergodesign de Interfaces e Arquitetura de Informação da PUC-RIO (CEE) - edição 2011. Prof. Luiz Agner Disciplina: Testes Formais de Usabilidade Baseado no livro HandBook of Usability Testing, de J. RUBIN.

1. PUC-Rio
pós-graduação em ergodesign de interfaces – 2011
análise de dados
e observações
em testes de usabilidade
fernanda marques
marcia berardinelli

2. teste de usabilidade
etapas
plano
seleção
condução
análise
do teste
de participantes
dos testes
de dados
análise preliminar
 para revelar padrões e tendências mais amplas e
identificar rapidamente os hot spots (problemas mais
críticos), agilizando o trabalho dos designers.
 feita logo após a conclusão dos testes, via relatório
escrito ou apresentação verbal.
análise abrangente
 relatório final, que inclui todas as descobertas e análises
derivadas da condução dos testes.
 feita de 2 a 4 semanas após a conclusão dos testes.

3. análise preliminar
passo a passo
a. compilar os dados
 compilação contínua
 organização dos dados brutos
b. resumir os dados
 de performance
precisão da tarefa
tempo de execução da tarefa
 de preferência do usuário
 outras medidas
c. analisar os dados
 tarefas que não alcançaram os critérios de sucesso
 erros e dificuldades do usuário
 fontes de erro
 priorização de problemas
d. elaborar recomendações
e. produzir o relatório final

4. compilar os dados
compilação contínua
o que é?
organizar os dados coletados de modo a facilitar a visualização de padrões.
quando fazer?
logo após as sessões dos testes, enquanto a memória está fresca.
o que fazer?
transcrever anotações (do moderador e dos observadores), fazer backups
de gravações de áudio e vídeo, mantendo um arquivo digital que facilite o
processo de resumo dos dados, realizado adiante.
para quê?
para agilizar o processo de análise e ajudar a verificar se os dados
coletados estão corretos e se relacionam com os problemas formulados no
plano de testes.

5. compilar os dados
organização dos dados brutos
Há várias possibilidades de organizar os dados obtidos na etapa de
condução dos testes.
Listas, matrizes, storyboards, diagramas de fluxos, entre outros.
As planilhas são as mais recomendadas. Por serem versáteis, facilitam a
manipulação de dados numéricos e ajudam a ordenar e filtrar os dados.
O importante é ajudar no reconhecimento de tendências e padrões.

6. resumir os dados
dados de performance
O resumo dos dados serve para obter um retrato do que aconteceu durante os testes.
O pesquisador começa a obter o que precisa para determinar se o teste alcançou seus
objetivos e responder às questões de pesquisa formuladas no plano de teste.
precisão da tarefa
Há vários tipos de estatísticas à disposição:
- quantidade de erros (por tipo ou por tarefa)
- quantidade de participantes que realizaram a tarefa com sucesso
(com ou sem ajuda; dentro ou fora do tempo estipulado no benchmark)
tempo de execução da tarefa
A quantidade de tempo necessário aos participantes para completar cada tarefa.
Algumas das estatísticas mais usadas são:
- média
- mediana
- faixa
- desvio padrão

7. resumir os dados
dados de performance
tempo de execução da tarefa
média
- É a soma dos tempos dos participantes dividida pelo
Média = dos tempos dos participantes
número de participantes.
__________________________
- Indica o desempenho do grupo como um todo.
n de participantes
- Pode mascarar o resultado, caso os tempos de
fórmula da média
execução das tarefas oscilem muito entre si, para
cima ou para baixo.
mediana
- É o tempo que representa exatamente a posição do
meio quando todos os tempos de realização da tarefa são
listados em ordem crescente.
- É um indicativo melhor do que a média, pois não é tão
influenciado pelas discrepâncias.
exemplo de mediana

8. resumir os dados
dados de performance
tempo de execução da tarefa
faixa
- Mostra os tempos mais altos e mais baixos para cada tarefa.
- Pode ser bastante reveladora em casos de grandes diferenças entre os
tempos de realização das tarefas.
desvio padrão
- Medida do grau de variabilidade entre os tempos.
- Mostra o quão próximos os números estão distribuídos em torno da média.
- Por levar em conta os tempos médios e os tempos finais, é um indicador mais
preciso do que os tempos de realização mais curtos ou mais longos.
Um desvio de 0,5 minuto indica que os usuários realizaram a tarefa com tempos
próximos uns dos outros. Já um desvio de 5 minutos mostra que é preciso
analisar por que a tarefa está sendo realizada com tempos tão discrepantes.
x2 = somatório dos quadrados de cada
um dos tempos coletados
x = somatório de cada um dos tempos
coletados
n = total de participantes
fórmula para cálculo do desvio padrão

9. resumir os dados
dados de preferência do usuário
Os dados de preferências dos usuários podem ser derivados de várias fontes, como
pesquisas e questionários e entrevistas de debriefing com os participantes dos testes.
Como organizar estes diferentes tipos de dados?
questões fechadas (de múltipla escolha)
é possível contabilizar as respostas selecionadas em cada uma das
perguntas para descobrir quantos participantes selecionaram cada opção.
questões abertas e comentários
deve-se listar todas as perguntas e agrupar as respostas similares em
categorias que façam sentido para a pesquisa, o que ajuda a perceber
uma indicação geral do número de comentários positivos ou negativos.
entrevistas e debriefing
usar as transcrições das entrevistas para destacar os comentários mais críticos.
O registro por escrito também facilita o acesso de outras pessoas da equipe às
informações.

10. resumir os dados
outras medidas
Há uma série de outras medidas que podem ser úteis à pesquisa e que devem
ser definidas ainda na fase de planejamento do teste de usabilidade:
- quantidade de retornos à navegação principal sem necessidade
- quantidade e tipos de solicitações ou sugestões
- número de vezes que o mapa do site foi acessado
- pontos de hesitação (e duração)
Em casos de testes planejados para incluir mais de um grupo de usuários, é
preciso organizar os dados separadamente, para cada um dos grupos, para
entender as diferenças de performance entre eles.
O mesmo procedimento deve ser seguido se o teste almeja
comparar versões diferentes de produtos ou materiais.

11. analisar os dados
entender o todo
Manter-se orientado às tarefas, nas etapas de organização e análise dos dados,
força o pesquisador a encarar as situações do ponto de vista dos usuários.
Para começar a análise, é preciso identificar as tarefas nas quais os usuários
tiveram mais dificuldade: focar nos piores problemas.
o que fazer?
- Identificar tarefas que não alcançaram o critério de sucesso estipulado
Elas representam a parte vulnerável do produto e devem ser o foco
da análise preliminar. Provêm um retrato das áreas problemáticas.
Usualmente, considera-se 70% o ponto de equilíbrio. Se pelo
menos 70% dos participantes não completam uma tarefa com êxito,
o problema é considerado grave ou difícil.
Identificar as tarefas mais difíceis ajuda a focar nas áreas
problemáticas e a distinguir níveis de performance.

12. analisar os dados
entender o todo
o que fazer?
- Identificar erros e dificuldades do usuário
Após destacar as tarefas que não cumpriram o critério
estipulado, deve-se identificar os erros que causaram os
problemas de performance.
É bastante útil definir previamente o que é considerado
um erro antes de iniciar o teste.

13. analisar os dados
entender o todo
o que fazer?
- Analisar as fontes dos erros
Parte mais intensa do pós-teste.
Identificar a fonte de cada erro, destacando o componente (ou
combinação de componentes) que causou o problema. Idealmente,
isto deve ser feito para cada tarefa executada por cada usuário.
Neste ponto, há a transição de um modelo de análise orientado
à tarefa para outro, orientado ao produto. O objetivo é atribuir uma
razão relacionada ao produto para dificuldades e problemas de
performance do usuário.
Importante levar em conta e consultar as anotações dos testes, o
conhecimento que se tem do produto, o background dos
usuários que cometeram erros.

14. analisar os dados
entender o todo
o que fazer?
- Priorizar problemas por criticidade
Criticidade = severidade + probabilidade de ocorrência
como fazer?
- categorizar os problemas por severidade
1
2
3
4
irritante
moderado
severo
inutilizável
- classificar o problema por frequência de ocorrência estimada
Levar em conta:
- a porcentagem de usuários afetados
- a probabilidade de um usuário daquele grupo afetado
vivenciar o problema
- também é possível perguntar aos participantes quais
foram as situações mais problemáticas para eles.

15. analisar os dados
entender o todo
o que fazer?
- Analisar as diferenças entre grupos ou versões de produto
Na comparação, há muitos tipos de dados para analisar antes da
formulação de conclusões e recomendações sólidas.
Somente por meio do entendimento mais profundo dos tipos e
fontes de erros é possível determinar as melhores performances (no
caso dos grupos) e as melhores versões (dos produtos).

16. analisar os dados
entender o todo
estatística inferencial
As ferramentas de análise apresentadas usavam estatística descritiva
simples, que descrevem as características dos dados de modo a ajudar a
revelar padrões de performance e preferência e encarar problemas de
usabilidade.
Na maioria dos testes, ela é suficiente para a realização de recomendações
úteis.
Ocasionalmente, é usada a estatística inferencial, que ajuda a inferir algo
sobre uma população maior do que a amostra testada.
Para conduzir análises utilizando este tipo de dados estatísticos é preciso
maior rigor e controle na elaboração dos testes e uma amostra maior de
participantes.
Para a grande maioria dos casos, esta técnica não é indicada.

17. obrigada!
para saber mais:
Rubin, J.; Chrisnell D. (2008). Handbook of usability testing: how
to plan, design and conduct effective tests. Indianapolis, IN; Wiley
Publishing, Inc.