Una testes - aula 07 e 08

Testes de Usabilidade / Marcello Cardoso

Observando a experiência
Testes de Usabilidade

Teste e Qualidade de Software
Teste de Usabilidade
Marcello de Campos Cardoso | www.mcardoso.com.br | mcardoso@gmail.com

Friday, March 2, 12


Plano de curso
1ª Apresentação da disciplina e introdução à Testes de Usabilidade -
2ª Metas e princípios de design - Avaliação estratégica 10pts

3ª Perguntando aos usuários: Questionários e entrevistas 15pts

4ª Perguntando a especialistas: As 10 heurísticas de Nielsen 15pts

5ª Avaliando tarefas do sistema com Percurso Cognitivo (PC) 15pts

6ª Método de Inspeção Semiótica (MIS) 15pts

7ª Observando a experiência: Testes de usabilidade (roteiro) 15pts

8ª Observando a experiência: Testes de usabilidade (aplicação) 15pts

Friday, March 2, 12


Ciclo de vida do produto
Story
rking mapping Análise Heurística
chma
Ben

to
jam isa
to

en

o
ne qu

çã
en

lvim

lida
pla pes

vo
sen

va
de

Etnograf Prototipação
digital
ia
s este de Usabilidade
ersona T
P
Friday, March 2, 12


Onde aplicar?
Reunião diária

pode Produto
ser aplicada
Backlog do Backlog do em protótipos ou
potencialmente
produto sprint releases
“entregável”
(lo/hi res)

Friday, March 2, 12


Análise Heurística
vs
Testes com usuários

Friday, March 2, 12


Diferenças
Análise Heurística - preditiva Testes com usuários - empírica
Baseada na experiência/expectativas do Baseada na observação do comportamento
especialista

Friday, March 2, 12


Semelhanças
São técnicas analíticas, não gerativas (ideação) como storymapping ou cardsorting.

Friday, March 2, 12


INTRODUÇÃO

Friday, March 2, 12


Teste com usuários

Friday, March 2, 12


Teste com usuários
A 1a regra do teste com usuários é: Você não fala do teste com usuários.

Friday, March 2, 12


Teste com usuários

Friday, March 2, 12


Teste com usuários
A palavra teste assusta

Friday, March 2, 12


Teste com usuários
é o nome mais popular da técnica no mercado. mas o nome correto é

(para não intimidar o usuário nos referimos como “pesquisa” termo mais comum)

Friday, March 2, 12



O que é um teste de usabilidade?
• Método empírico (envolve usuário)
• Principal objetivo: validar as soluções de interface
• Realizado com participantes com perfil do público-alvo
• Método: observação da interação do usuário com produto
• Resultado: descoberta de padrões e sugestão de melhorias.

Friday, March 2, 12 sequência de uso



Pra que serve?
• Avaliar o entendimento da Interface e dos fluxos projetados (modelos mentais)
• Identificar pontos críticos da interação (ruídos, dúvidas, rupturas)
• Entender a situação real de uso (validar demandas/requisitos)
• Comparar desempenho em produtos diferentes (benchmark/concorrência)




Tipos de Teste de Usabilidade
por etapas do ciclo

Friday, March 2, 12



Testes em protótipos de baixa fidelidade
Servem para testar conceitos e fluxos.

Devem ser feitos preferencialmente em papel
• Fáceis de criar e jogar fora
• Podem (e devem) ser feitos em escala real
• Podem conter anotações no próprio protótipo
("Este botão tinha de estar é aqui!")




Considerações sobre testes em baixa fidelidade
• Verificação limitada de erros
• “Uso” conduzido pelo facilitador
• Limitações de fluxos e navegações
• Rápido e barato (quick and dirty!)




Testes em releases
• Conceito do produto/serviço (elementos visuais dividem a atenção)
• Comparar designs alternativos (caro, melhor teste AB com funcionalidades específicas)
• Fluxo de tarefas
• Compreensão das metáforas visuais
• Satisfação no uso
• Desempenho
• Acessibilidade




Considerações sobre testes em alta fidelidade (releases)
• Demanda tempo para criação
• Custo de produção mais alto (maior risco)
• Uso mais próximo do real
• Mesmo look and feel do produto




Tipos de Teste de Usabilidade
por ambientes

Friday, March 2, 12



No ambiente do usuário (campo)
• "Mais barato"
• Usuário se sente mais à vontade
• Mais próximo do contexto de uso real
• Menor controle dos dados e variáveis
• Dificuldade de envolver o cliente (quem contrata)




Em ambiente controlado (laboratório)
• Permite maior controle dos dados e variáveis
• Mais fácil de envolver o cliente
• Maior custo
• Usuário pode se sentir mais desconfortável
• Mais distante do contexto de uso real



Teste de Usabilidade em laboratório



Teste de usabilidade em campo



Qual o melhor tipo, em campo ou laboratório?



Qual o melhor tipo, em campo ou laboratório?
Depende dos objetivos e recursos disponíveis.




Testes de campo são ideais para:
• Obter feedback rápido dos usuários
• Projetos com recursos reduzidos
• Testar conceitos e interfaces em fases iniciais de design




Testes em laboratório são ideais para:
• Medição de performance (tempo, número de erros...)
• Produção acadêmica (maior rigor científico para artigos, teses e dissertações)
• Estudos permanentes com equipe dedicada (Ex: Globo, Nokia)




PARTE 1 - PLANEJAMENTO




Planejamento (Aula de hoje)
1. Determinar objetivos (do produto, processo: onde quero chegar?)
2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)
3. Definir perfil de participantes e recrutar
4. Definir tarefas e cenários (motivação)
5. Preparar os materiais, equipe, ambiente e ferramentas

+ teste piloto




1º passo: Determinar objetivos
• Qual o objetivo do teste?
Performance, entendimento, comparação, acadêmico...

• O que é preciso avaliar?
Existe um briefing? (demanda do cliente: Quero saber por quê no novo
sistema a efetivação de compra caiu 25%)

Formule questões específicas!




EXEMPLO
1. Os usuários entendem de forma clara o que é e para que serve
a extensão do firefox?

2. Os usuários têm alguma dificuldade para instalar a extensão?

3. Eles sabem onde e como fazer?

4. Completam todas as etapas de instalação corretamente?




TO DO DONE

alunos)!
EM GR UPO (3 para
qualquer
m site
E scolher u
ilidade.
s ua usab
testar teste.
tivos do
inar obje
Determ

0’
t empo: 2




2º passo: Escolher o que medir
A métrica depende do objetivo
• Satisfação geral
• Tempo de execução de tarefa
• Número de passos para conclusão de uma tarefa;
• Quantidade de erros
• Quantidade de tarefas completadas
• Proporção de usuários favoráveis ao sistema em relação ao concorrete




EXEMPLO
Verificar:

1. Erros cometidos nas tarefas (Grau de severidade)

2. Número de passos para completar uma tarefa

3. Entendimento geral em relação ao produto




TO DO DONE

e
tricas d
ina r as mé
Determ ilidade
e de usab
seu test

’
t empo: 5




3º passo: Definir perfil de participantes e recrutar
Quem deve usar este produto?
Quantos participantes escolher? Nielsen sugere:
• 5 (de cada perfil) para qualitativo (quick and dirty! rápido e sujo)
• 20 para quantitativo
Onde encontrar?
• Redes sociais, contatos pessoais, contatos do cliente, usuários atuais,
questionário na web, empresas de recrutamento etc.



3º passo: Definir perfil de participantes e recrutar




EXEMPLO
2 usuários lead e 4 intermediários

Pessoas que procuram ou procuraram imóveis recentemente.

Contatos não fornecidos pelo cliente.



Quick and Dirty!
Sujando as mãos.
Teste realizado com 2 ou 3 usuários quando há restrições de orçamento/cronograma.




TO DO DONE

s
erfis) do
o perfil (p
Definir
ntes.
participa

5’
tempo:




4º passo: Definir tarefas e cenários (motivação)
Tarefas: O que precisa ser testado?
• Quais são as funcionalidades mais críticas?
• Passos esperados em cada tarefa (se for relevante)
• Tempo esperado em cada tarefa (se for relevante)
Um teste nunca deve passar de 2h (ideal é até 1h)

Cenário: Motivação para tarefa (ajuda na compreensão)




EXEMPLO TAREFAS
1. Encontrar um imóvel

2. Alterar filtros

3. verificar IPTU

4. Encontrar informações de contato

5. Salvar nos “favoritos”

6. Encontrar a lista de favoritos




EXEMPLO CENÁRIO
Opção 1: Você se mudou para curitiba e precisa arrumar um local pra alugar.

Como você encontraria este imóvel?

Opção 2: Facilitador: Você procurou um imóvel recentemente? Como foi essa

experiência? Tente encontrar um semelhante nesse site. Usuário: Não encontrei...

Facilitador: Por que você acha que o site não encontrou? Usuário: Deve ser a

faixa de preço que escolhi, foi baixa. Facilitador: Como você alteraria a faixa de

preços?




TO DO DONE

ste
as para o t e
Defin ir taref
ade.
d e usabilid

tempo: 10’




5º passo: Preparar materiais, equipe, ambiente e ferramentas
Redigir, revisar e imprimir
• Roteiro, tarefas, termo de consentimento.

Verificar ambiente
• Nível aceitável de ruídos, privacidade, lanche (se necessário)...

Verificar computador
• Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache)
• Não esquecer mouse e teclado (se necessário)




5º passo: Preparar materiais, equipe, ambiente e ferramentas
Estrutura do Roteiro
• Propósito do teste
• Lembrar que quem é avaliado é o sistema e não usuário
• Que o objetivo é melhorar a interface
• Que a identidade será mantida em sigilo
• Participação é voluntária
• Explicar como será o teste
• Explicar que podem fazer perguntas, mas nem todas poderão ser respondidas
• Small talk, contextualizar
• Explicar as tarefas
• Realizar entrevista semi-estruturada no final




EXEMPLO
Ver PDF anexo.



Teste Piloto
Executar com alguém não envolvido diretamente coma execução do teste.

Adequar tarefas, tempo, equipamento, ambiente...




TO DO DONE

ção
oteiro de aplica
Escrever r
e.
do test

la
st o da au
t empo: re




RESUMO DO PLANEJAMENTO




Planejamento (última aula)
1. Determinar objetivos (do produto, processo: onde quero chegar?)
2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)
3. Definir perfil de participantes e recrutar
4. Definir tarefas e cenários (motivação)
5. Preparar os materiais, equipe, ambiente e ferramentas
+ teste piloto



PARTE 2 - APLICAÇÃO DO TESTE




1) EQUIPE ENVOLVIDA

Orientador/condutor Observador
• Orientar o participante • Registrar interação do usuário
• Fazer com que se sinta a vontade • Não interferir no teste
• Responder perguntas
• Não induzir comportamento (tendenciar)

Opcionais: Recepcionista e co-observadores (clientes e outros membros da equipe)

Friday, March 2, 12



2) PARTICIPANTES (USUÁRIOS)

Posso/devo pagar usuário?
• Na publicação de papers, artigos esta prática não é aceita
• No mercado é comum e há opções alternativas ao dinheiro
(Vale-compra, etc)

Friday, March 2, 12



2) Participantes (usuários)

O que o usuário precisa saber?
• Que está sendo observado
• Que sua identidade será preservada
• Indicar espelhos, câmeras, microfones etc.
• Precisa aceitar o termo de consentimento

Friday, March 2, 12



Teste piloto
Permite testar as condições do teste
• As tarefas foram compreendidas pelos usuários?
• Todas as tarefas foram possíveis de concluir?
• Os equipamentos estão ok?
• O protótipo precisa ser ajustado?
• O questionário está ok?
Envolvidos: 1 a 3 (depende da complexidade do teste, mas normalmente 1 basta)




Escolha um software espião
• Quicktime (http://www.apple.com/quicktime/download/)
• SilverBack (http://silverbackapp.com/)
• CamStudio (http://camstudio.org/)
• Camtasia (http://www.techsmith.com/products/studio/default.asp )
• Morae (http://www.techsmith.com/products/morae/default.asp)
• Ovo Logger (http://www.ovostudios.com/ovologger.asp#during )
• ScreenCam (http://www.smartguyz.com/index.html )
• ZD Soft (http://www.zdsoft.com/downloads.html)




Antes do teste
• Imprima:
• Roteiros
• Fichas de tarefas
• Bloco de notas ou planilha para avaliador
• Questionário
• Prepare o lanche (se necessário)
• Prepare o ambiente físico
• Prepare o computador e equipamentos
• Certifique-se que o local é tranquilo (para teste em campo)
• Execute o teste piloto (ao menos um dia de antecedência)




Planejando o tempo de cada sessão
• Simule o teste e cronometre o tempo
• Estipule o tempo ideal para realização das tarefas
• Estipule o tempo limite para cada tarefa
• Inclua tempo para questionários
• Adicione uma margem de erro para atrasos dos participantes




Como preparar o computador?
• Verifique os requisitos (áudio, navegador, OS, internet, programas etc.)
• Instale um programa espião
• Faça um teste de captura (áudio e vídeo)
• Limpar o sistema de outros testes




Como manter o controle (em laboratório)?
• Procure ler o mesmo texto para todos os participantes
• Procure levantar as dúvidas mais comuns com o teste piloto, para
incorporar no roteiro e evitar “desfavorecer” algum participante
• Tenha uma cópia impressa do roteiro em mãos
• Evite fornecer informações somente para um participante




Como conduzir os testes?
• Escolha somente uma pessoa para falar com o usuário (condutor)
• O observador deve se posicionar de forma a ver a tela e as reações
do usuário
• Leia e entregue a ficha da tarefa
• Comece com tarefas mais simples
• Responda as dúvidas que puder, quando não puder diga que você
não pode responder para não interferir o teste

Friday, March 2, 12



<usuário> Mas isso não é inútil?
Resposta inadequada: "Não."
Resposta adequada: "Por que você acha isso?"




Como observar os testes?
• Procure por padrões de uso e fenômenos
• Não interfira no teste (função do orientador/condutor)
• Marque o tempo inicial (quando medindo o tempo)
• Anote nome dos pesquisadores, data e e local do teste
• Anote pontos de dificuldade
• Anote termos que causaram confusão
• Anote o caminho percorrido
• Anote as sugestões do participante
• Anote se a tarefa foi realizada com sucesso ou não
• Anote frases/depoimentos que exemplifiquem algo importante
• Anote o tempo final




Think aloud - Como funciona o “pensar em voz alta”?
Objetivo: explicitar o processo mental dos participantes
Vantagens
• Ajuda a captar entendimento
• Ajuda a captar sugestões
• Descobrir por que os usuários estão agindo de determinada forma
Desvantagem
• Atrapalha na medição do tempo/performance




Como estimular a falar?
Use perguntas!
• “Em que você está pensando?”
• “Por que optou por clicar aí?”
• “Por que você desistiu de ir por lá?”
• “O que você está entendendo por (termo)?”




Reproduzir exemplo de teste.




TO DO DONE

PO ! uário.
EM GRU do r e u s
observa
Orie ntador,
Definir grupo.
m o u t ro
uário co
Trocar us
este!
Aplicar t

aula
resto da
tempo:


Una testes - aula 07 e 08

Mais conteúdo relacionado

Mais procurados

Semelhante a Una testes - aula 07 e 08

Mais de Marcello Cardoso

Una testes - aula 07 e 08