WUDsp 2010_Workshop de moderação

Workshop
Moderação de
testes de usabilidade
Andressa Vieira e Elisa Volpato
novembro de 2010
1

Primeiro a gente se apresenta
2Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Andressa Vieira
> UPA São Paulo
> Gerente de Experiência do Usuário da Locaweb
> Trabalha há 9 anos com internet, 7 deles com usabilidade
> Try Consultoria, Mapa Digital, Lumens Consultoria e UOL
> Marketing pela Universidade Anhembi Morumbi
> Especialidade: moderação
> Aprendeu a moderar na prática
Elisa Volpato
> UPA São Paulo
> Especialista em Experiência do Usuário na Predicta
> Jornalismo na USP
> Try Consultoria, AgênciaClick e UOL
> Especialidade: análise de resultados, redação do relatório
> Arquitetura de informação e protótipos mirabolantes
> Aprendeu a moderar com a Andressa e na prática
> Se esforçando para melhorar a poker-face

Estrutura deste workshop
1. Teoria
2. Prática
3. Exemplos

O que é um teste de usabilidade?
Método para detectar problemas na
interação do usuário com um produto
Metodologia de avaliação de
usabilidade (apenas uma delas!)

Mas não é só isso!
Testes de usabilidade também servem para:
> Aprender sobre o comportamento do usuário
> Entender como ele se relaciona com o seu
produto
> Te deixar com um “olhar afiado” para problemas
de usabilidade em geral

O que observamos em um teste
> Caminho utilizado
> Reclamações espontâneas
> Expressão facial e gestos
> Tempo de execução da tarefa
> Avaliação do site ao final

Quem faz o quê?
Participante
Moderador
com roteiro
Espelho falso e
câmera Observador
Clientes do
estudo

Participante / testador
Pessoa que está dentro da amostra definida para o estudo.
Geralmente procuramos pessoas que não trabalham com
Internet, design ou áreas relacionadas.
Moderador
Fica dentro da sala com o participante,
passando as tarefas e fazendo perguntas.
Observador
Fica fora da sala, acompanha e dá suporte ao moderador.
Quem faz o quê?

Qual é o papel do moderador?
Moderador é um facilitador
A idéia é facilitar as coisas para que o usuário faça o
que você quer: simular uma situação real de uso
(com naturalidade, sem interferências)

> Explica como vai funcionar a pesquisa
> Lê o enunciado da tarefa (ou fala de cor), no roteiro
que está segurando
> Anota problemas, observações, frases
> Faz perguntas ao final
Qual é o papel do moderador?

Um moderador BOM:
> Nem neutro demais, nem amigo = empatia
> Não tem opinião
> Não entrega a resposta
> Não interrompe (exceção para casos extremos)
> Encaixa perguntas extras (sem interromper)
> Deixa o participante à
vontade sem perder o
controle
> Não ajuda nem dá
ordens
> Não demonstra
frustração (poker face!)
http://img835.imageshack.us/img835/1138/mgf1i.gif

Vamos pular o que vem antes
Como este workshop é de MODERAÇÃO, vamos pular
tudo que você teria feito antes:
> Definição da metodologia (teste de usabilidade)
> Definição dos objetivos e da amostra
> Prototipação / validação do protótipo do teste
> Análise heurística
> Criação do roteiro de tarefas
> Recrutamento dos participantes

Vamos por partes
Uma sessão de testes geralmente passa pelas seguintes
etapas:
0. Preparação da sala de testes
1. Termo de compromisso + perfil
2. Aquecimento
3. Questionário inicial
4. Tarefas
5. Questionário final
6. “Obrigado, aqui está seu incentivo”
PARTICIPANTE CHEGOU! o/

0. Preparação da sala de testes
> Conferir se a sala de testes está em ordem
> Conferir a sala de observação
> Conferir o computador de teste: programa de
gravação, protótipo, links na área de trabalho etc.
> Preparar o lanchinho / água / café para o participante e
para os clientes também
> Imprimir roteiros, ficha de perfil, termo de
compromisso, recibo

> Boas-vindas - receba bem o
testador, agradeça por ele ter vindo,
seja gentil e hospitaleiro, ofereça
uma água ou um café, converse um
pouco com ele
1. Aquecimento
> Introdução - explique como funciona a sala de
pesquisa e o que ele vai fazer ali. Explique que o
seu objetivo é descobrir se o site está fácil de usar.

Site a avaliar
ZAP, site de compra e venda de imóveis
Escopo
Avaliar dois perfis de uso: comprador e vendedor.
Público-alvo (amostra)
> Novos entrantes (gente que nunca utilizou sites do tipo)
> Pessoas que já utilizaram o Zap
> Pessoas que utilizaram outros sites
> Homens e mulheres, experiência com Internet variada, idades
variadas.
Este não é um exemplo de proposta / briefing de teste.

Atividade prática!
voluntário? :D
Receba a <nome do testador>,
participante de um estudo de usabilidade.
Ele já preencheu o termo de compromisso e o
perfil de participante.
> Boas-vindas + Introdução sobre o teste

E aí, como é que foi?
E os demais, o que acharam?
Qual foi a impressão inicial de vocês sobre o
participante?

O que dizer no aquecimento
> “MUITO obrigado por ter vindo. Fique à vontade. O lanchinho é
pra você.”
> Como funciona a pesquisa: questionário e tarefas
> Sala de espelho, vídeo e áudio
> Críticas e elogios
> Pensar em voz alta
> Simular situação real; pode desistir se quiser
> “Você não está sendo testado. Aqui não tem certo nem errado.”
> Dúvidas: “Nem tudo vou poder responder...”
> Indicar quando terminou cada tarefa
> Registro: “Vou anotar aqui...”
> “Alguma dúvida? Podemos começar?”
Observação: Isso pode variar de acordo com cada pesquisa e com o tipo de participante. Não existe regra.

Testador desconfiado
Muitas vezes você não pode revelar para quem é a pesquisa. Diga
que é confidencial. Quanto ao espelho, diga apenas que tem alguém
da sua equipe acompanhando e te ajudando.
> “Olha, o cliente normalmente pede para ser confidencial, para não
influenciar. Não posso te contar. Mas não se preocupe, que seus
dados pessoais não estarão disponíveis para ninguém.”
> “Ali atrás tem uma pessoa da minha equipe ajudando.”
Situações de teste
Mas quem é que tá pedindo
essa pesquisa? Tem alguém
ali atrás do espelho?

Questionário inicial
Serve para três coisas:
> Obter informações úteis sobre o testador
> Aquecer para as tarefas
> Confirmar o perfil do testador - por mais que o
recrutamento tenha sido bem feito, tem gente que acaba
passando. É sua responsabilidade parar o teste e decidir
(com o observador e outras pessoas da equipe) se continua
ou não.

Atividade prática!
voluntário? :D
O participante <nome> já está “aquecido”.
> Questionário inicial

Tarefas
O moderador lê em voz alta (ou fala
de cor) o enunciado da tarefa.
> Entregar materiais de que ele vai precisar para fazer a
tarefa (informações de cadastro, cartão de crédito,
produto)
> Lembrar o participante que ele define quando terminou
a tarefa

> Em azul o que será dito ao participante;
> E em laranja instruções e controles de moderação.
Atividade prática!
voluntário? :D

> O que acharam do comportamento do testador?
> Como a situação poderia ser contornada?

Atividade prática!
voluntário? :D

No início do teste você deve pedir para que o usuário pense alto. Caso
isso não aconteça naturalmente, procure estimular o participante,
encorajando-o a falar o que está pensando ou querendo fazer.
“No que você está pensando?”
“O que você está tentando fazer agora?”
“O que você esperava que acontecesse?”
“O que X ou Y significa para você?”
(…) testador mudo

Você quer que o testador fale, que faça perguntas
sobre o site, mas na maioria das vezes você
não vai responder a ele nem vai dar dicas.
Cada vez que você explicar alguma coisa para o testador estará
perdendo uma oportunidade de descobrir um problema ou uma falha
no site.
Também não vale deixar o testador falando sozinho. É importante
mostrar que você está interessado em tudo o que ele diz.
Agora eu não sei o que
fazer. É pra clicar aqui?
Lembra que eu te falei no
começo do teste que não
poderia responder todas
as perguntas?

> “Você faria isso em uma situação real, usando o site na sua casa?”
> “Faça como você faria em uma situação real.”
> “Pode ficar à vontade para fazer o que quiser.”
> “Você acha que é?”
Evite:
“Aham” - pode parecer que você concorda
... <- ele pode se sentir desprezado ou continuar olhando para a sua
cara, esperando uma resposta.
Agora eu não sei o que
fazer. É pra clicar aqui?

Alguns usuários querem ouvir de você que não é culpa deles e outros
querem apenas a sua cumplicidade. Frases que podem ser úteis em
situações de erro ou dificuldade:
> “Como você acha que poderia melhorar?”
> “É a sua opinião que a gente quer ouvir, mesmo.”
> “Só pra lembrar: estamos testando o site, não você. Se algo está
difícil, provavelmente é algo em que o site poderia melhorar.”
Evite:
> “Esse site tá muito ruim mesmo.”
Ai, tá muito difícil isso! Vou ter que
fazer um curso de informática...

RESISTA! AGUENTE! POKER FACE!
O ideal é fazer algumas perguntas até que ele entenda o que está
acontecendo e consiga se virar sozinho.
“O que você está tentando fazer agora?”
“Qual seria o próximo passo, na sua opinião?”
“Numa situação real, diante desta dificuldade, como você faria?”
Testador fica em loop, clicando em algo
repetidamente, sem prosseguir.

Anote o resultado como “fracasso”.
Se ele desistiu por cansaço, peça para tentar um pouco
mais apenas para prosseguir com o teste. Se ele desistiu
porque não sabe como fazer, indique o caminho para
ele, e aproveite para investigar.
>“Bom, vou anotar que você pararia por aqui. Mas só
pra gente conseguir continuar com a pesquisa, você pode prosseguir?”
>“Então, o link é este aqui. Você tinha visto? Porque acha que não
encontrou o link? Como poderia melhorar?”
Testador desiste, mas para a próxima tarefa
precisamos que ele chegue até o fim.

Testador cheio de opiniões inúteis
Mostre a ele (com elegância) que essa não é a função dele no teste.
Só pergunte a opinião dele quando isso for um ponto do roteiro.
Deixe claro que você entendeu o ponto de vista dele:
> “OK, tomei nota de tudo o que você falou.”
> “Sim, você já mencionou isso anteriormente.” [com um sorriso, é
claro!]
Inclusive eu acho que vocês deveriam
mudar essa cor aqui, porque eu fiz um
curso e eu acho que esse nome desse site
não tem nada a ver...

Atividade prática!
voluntário? :D

A não ser que o perfil do público-alvo do teste seja de pessoas que
não sabem usar computador, é melhor dispensar este participante.
Mas evite falar que ele não faz parte do perfil, porque ele pode se
sentir desprezado, coitado. Tente dar uma enrolada, fazer algumas
perguntas (até fora do roteiro, pra disfarçar), e encerre.
Testador muito leigo, não sabe nem
usar o mouse

O que fazer? Aí depende. Não tem resposta certa.
Algumas opções:
> Dê uma previsão de tempo para terminar o teste, e veja se ele não
pode mesmo ficar.
> Se ainda faltar muito, você pode tentar remarcar outro dia para
continuar.
> Se as tarefas mais importantes tiverem sido realizadas, você pode
dispensar o participante, e considerar o teste como válido.
> Se ainda faltar coisas importantes, talvez seja melhor descartar os
resultados do participante.
Teste está demorando, participante
precisa ir embora

Se o participante fica na dúvida se fez certo ou não ou quer saber
sobre o significado de alguma coisa que surgiu no teste, dê uma
enrolada e deixe para depois.
> “Você acha que é isso?”
> “Então, lembra que eu disse que algumas coisas não poderia
responder? Vamos fazer assim: a gente continua com as tarefas e no
fim do teste eu te conto como funciona, certo?”
Mas o que é esse
PagSeguro aí? É uma
agência de seguros?

Ainda temos tempo? Mais voluntários?
5. Viagens
[ A partir da home]
E se você quiser ir para Salvador? Existe algo neste site para este
caso?
OBJETIVO: avaliar localização do Submarino Viagens no menu.
6. Livros por autor
[ A partir da home]
Seu pai é fã da Agatha Christie. Como você faria para encontrar
todos os livros dela?
OBJETIVO: avaliar se usa busca, se vai pelo “Artistas e autores”. Se
não for ali, obter percepção.

> Cuidado com os termos que utiliza: se você
disser o nome do link relacionado à tarefa,
acaba dando uma dica sem querer.
> Evite ficar muito tempo anotando, sem olhar para o participante.
O observador está pegando as frases pra você.
> Se o participante não come o lanchinho, experimente pegar um
pouco (mas sem falar de boca cheia).
> Se o participante faz uma piadinha, pode rir!

> Se o participante fez um comentário
confuso e você quer ele repita ou conclua de
algum jeito, evite concluir por ele. Prefira
algo do tipo: “Então você achou que...”
(deixando no ar pra ele completar).
vai mais interferir na curva de aprendizado do
site.
> Você pode fazer perguntas extras caso tenha ficado em dúvida
sobre algum ponto.
> Se quiser mostrar a ele algum link ou algum elemento na tela para
perguntar o que ele achou, pense no melhor momento para isso.
Geralmente é no final do teste, quando não vai mais interferir na
curva de aprendizado do site e nas tarefas seguintes.

> Se você precisa extrair do participante se ele
entendeu um texto ou como funciona o site,
peça para ele explicar para uma pessoa
conhecida:
“E se a sua mãe chegasse e quisesse
entender como esse site funciona? Como você
explicaria para a sua mãe?”
> Coloque o roteiro em uma prancheta. Tem testador
que fica com mania de olhar o que você está escrevendo,
e não é legal.

> Quando você tiver um monte de coisas para perguntar, evite
perguntá-las todas de uma vez só. Espere o testador responder cada
uma delas. Se você pergunta várias coisas de uma vez pode
confundir o testador e obter resposta só para a última.
> A tarefa só termina quando o testador diz que terminou.
Em geral, você não deve dizer para o testador quando a tarefa está
concluída. Pode acontecer de o testador achar que ainda precisa
clicar em mais alguma coisa. Se você der a tarefa como encerrada
talvez perca a oportunidade de identificar um problema de
usabilidade: “não fica claro quando o fluxo terminou.”

Esta é pra imprimir e colar no mural:
> Não faça perguntas em que
você coloca palavras na boca
do testador!
Ao fazer isso você elimina qualquer possibilidade
de obter uma resposta sincera. É provável que a pessoa concorde
com você para te agradar.
> Só utilize um adjetivo ou conceito se o participante já falou isso
antes. Assim você não influencia na opinião dele nem na curva de
aprendizado.
Então você
achou que foi
muito difícil,
não é?

> O que eu faço?
> O que você faria?
> Então eu tenho que ir aqui?
> Fique à vontade, você pode explorar qualquer link.
> Eu acho que o vCard é um cartão virtual, destes animados que a
gente recebe em aniversário, datas comemorativas, não é?”
> Você acha que é?
> Sim.
> Por que?
> Pelo nome, blablablá...
> OK.

Treine bastante
> Se der, observe alguns teste antes de aplicar.
> Antes de começar os testes “de verdade”, faça um ou mais pré-
testes com colegas do trabalho. Além de descobrir falhas no roteiro,
você vai adquirir mais segurança para aplicar o teste real.
> Peça para alguém observar você aplicando o teste e depois ouça
atentamente os comentários dessa pessoa sobre a sua atuação.
> Se possível, veja o vídeo do teste que você aplicou.

> Antes de qualquer coisa, peça ao testador para ler e assinar o termo
de compromisso.
> O testador precisa saber que será filmado e que o áudio e o vídeo
serão utilizados apenas para a pesquisa.
> Avise que pode ter alguém assistindo atrás do espelho.
> Você tem a responsabilidade de assegurar que o testador não vai
passar por uma experiência desagradável nem constrangedora.
> Básico, intermediário, avançado – nunca pense no usuário como
burro ou ignorante. Considere que há níveis diferentes de acesso. Esse
será um dado importante para ajudar a tornar o site mais fácil de
usar para o maior número de pessoas.
Ética de pesquisa

Um bom teste de
usabilidade é aquele que
mostra como melhorar um
site através da
colaboração do usuário,
nunca através do seu
sacrifício ou
constrangimento.
Ética de pesquisa

Sobre avaliação de usabilidade em geral
> Observing the User Experience: A Practitioner's Guide to User Research, Mike Kuniavsky
http://www.amazon.com/Observing-User-Experience-Practitioners-Research/dp/1558609237/ref=pd_sim_b_6
> Handbook of Usability Testing: Howto Plan, Design, and Conduct Effective Tests, Jeffrey Rubin and Dana Chisnell
http://www.amazon.com/gp/product/0470185481/ref=pd_lpo_k2_dp_sr_1?pf_rd_p=1278548962&pf_rd_s=lpo-top-stripe-
1&pf_rd_t=201&pf_rd_i=1841500208&pf_rd_m=ATVPDKIKX0DER&pf_rd_r=1822DXD4ASFMG8MY4SBY
> Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems, Steve Krug
http://www.amazon.com/gp/product/0321657292/ref=pd_lpo_k2_dp_sr_3?pf_rd_p=1278548962&pf_rd_s=lpo-top-stripe-
1&pf_rd_t=201&pf_rd_i=1841500208&pf_rd_m=ATVPDKIKX0DER&pf_rd_r=1822DXD4ASFMG8MY4SBY
Moderação em pesquisa de mercado
> Pesquisa Qualitativa com Texto, Imagem e Som: um Manual Prático, Martin W. Bauer
http://www.submarino.com.br/produto/1/181727/pesquisa+qualitativa+com+texto,+imagem+e+som:+um+manual+pratico
> A Abep (Associação Brasileira de Empresas de Pesquisa) também tem bons cursos de moderação de grupos, de
entrevistas e pesquisa qualitativa em geral
http://www.abep.org/novo/Content.aspx?SectionID=29&Others=True
Para se aprofundar no assunto

Dúvidas? :D
andressavieira@gmail.com
elisavolpato@gmail.com

WUDsp 2010_Workshop de moderação

Mais conteúdo relacionado

Mais procurados

Semelhante a WUDsp 2010_Workshop de moderação

Mais de UXPA São Paulo

WUDsp 2010_Workshop de moderação

Notas do Editor