O documento discute as diretrizes e técnicas para debriefing após testes de usabilidade. O debriefing é uma etapa importante para explorar as ações e pensamentos dos participantes do teste. Deve-se fazer perguntas abertas e evitar colocar os participantes na defensiva. É importante revisar com os observadores e chegar a um consenso sobre os principais problemas identificados e prioridades para solução.

1. Debriefing
Caroline Zambon, Denise Silveira e
Thainá Zanotti

2. Introdução
O Debriefing é um estágio do teste de usabilidade em que há a
exploração e análise das ações dos participantes durante o teste de
usabilidade ou após este ter sido finalizado. Ou seja, o debriefing é a
extensão do processo de teste onde o entrevistador observa a
performance dos entrevistados e faz algumas perguntas durante as
tarefas ou após as tarefas tenham sido completadas. Esta sessão do teste
de usabilidade é feita de forma informal com o objetivo de esclarecer
alguns problemas e como eles podem ser corrigidos.

3. Por que rever o teste com participantes
e observadores?
O objetivo de cada teste deveria ser entender cada erro, dificuldade e
omissão que ocorra para cada participante em cada teste. Debriefing com
o participante é a oportunidade final de conseguir esse objetivo antes que
o usuário vá embora.
Pretende-se trazer à tona o pensamento e a racionalização por trás da
ação de cada usuário, principalmente quando não está claro para o
moderador. A tarefa indica o “o que”, e o debriefing o “por que”, ainda
mais quando não tem durante o teste, a técnica do “think aloud”. O
debriefing ajuda a ver por diferentes pontos de vista o que está
acontecendo no teste. Quando os observadores são incluídos no processo,
sentem-se mais engajados.

4. Técnicas para revisar com participantes
— Nunca faça com que o participante se sinta na defensiva sobre suas
ações ou opiniões: o participante não pode se sentir acuado ou pensar
que está respondendo “errado”.
— Enquanto questionar um participante, não reaja às respostas do
participante de forma alguma: quando se tem ligação com o produto,
principalmente, é difícil não reagir a algumas opiniões. Se ele ficar na
defensiva, suas respostas podem ser suspeitas, ele pode responder
para agradar ao moderador. Um bom debriefing vai depender das
competências e experiências do moderador: fazem toda a diferença.
O Debriefing deve acontecer na mesma sala ou em local diferente,
depende do conforto que o participante estiver demonstrando ao final do
teste.

5. Diretrizes básicas do debriefing
As diretrizes básicas consideram as necessidades tanto do moderador
quanto do participante:
— Reunir os seus pensamentos enquanto o participante preenche todos
os questionários pós-teste: Após o teste, aplique em seguida qualquer
questionário, e faça-o saber que está chegando ao final, que tem
apenas mais algumas duvidas para tirar. Aproveite o tempo para
organizar suas dúvidas.
— Reveja o questionário pós-teste: isso pode ser usado como insumo no
debriefing. Se não houver questionário, reveja suas anotações ou as
dos observadores. Procure por respostas inesperadas que possam
beneficiar a exploração.
— Comece deixando o participante falar o que quer que esteja na cabeça
dele: utilizando uma pergunta bem aberta. Primeiro porque permite
que ele revele alguma frustração, e segundo porque ele tende a fala,
dessa forma, sobre o que foi mais importante para ele, ou o que mais
marcou, durante o teste.

6. Diretrizes básicas do debriefing
— Comece suas questões por questões gerais de nível alto: use o
debriefing para te ajudar a lembrar da questão principal do teste,
foque nas questões principais da pesquisa.
— Siga para questões específicas: depois do momento geral, procure
explorar as dúvidas que assinalou durante o teste, que pode ser uma
ação ou comentário do participante.
— Reveja no questionário pós-teste outras questões que tenha marcado
previamente para explorar: Tome seu tempo, e dê tempo paa o
participante pensar nas respostas e nas questões, e como se relaciona
com elas. Fique na questão até ter realmente sanado suas dúvidas.

7. Diretrizes básicas do debriefing
— Foque no entendimento e nas dificuldades dos problemas, e não na
solução do problema. Um erro muito comum no uso do debriefing é
vê-lo como um momento para resolver os problemas descobertos no
teste. Assim, pode deixar de ter soluções assertivas no momento
adequado. Outro erro é solicitar ideias de design do participante: por
não entenderem, algumas ideias são boas, mas impraticáveis. Há
profissionais para isso, e não deve ser o foco do debriefing.
— Termine seus questionamentos completamente antes de conversar
com os observadores: isso deve ocorrer de uma maneira estruturada
que permita que você mantenha o controle do processo. Não se deve
permitir que questionamentos sejam feitos de forma desestruturada
ao participante.
— Se apropriado, deixa a porta aberta para um contato futuro: depois de
terminada a sessão, sugira a possibilidade de entrar em contato para
esclarecer eventuais dúvidas. Agradeça-o, depois presenteio-o com
alguma remuneração antes que ele saia.

8. Diretrizes e técnicas de debriefing
avançadas
Rever o teste de usabilidade
Para ajudar o usuário a relembrar partes do teste que ele deixou de
mencionar. Pode ser manualmente ou por vídeo
• Método manual:
O moderador escolhe um tópico de suas anotações e descreve com
detalhes como o usuário realizou a tarefa. Em seguida, faz as
perguntas necessárias.
Para esta técninca, o moderador precisa ter prestado atenção ao
teste, feito anotações relevantes e ter boa memória.

9. Diretrizes e técnicas de debriefing
avançadas
• Método por vídeo:
O moderador apresenta ao usuário o trecho da gravação do teste
com a tarefa que deseja obter mais informações.
É mais fácil para o usuário relembrar o que aconteceu
Analisar designs alternativos
Nas primeiras etapas de desenvolvimento, o debriefing pode ser
utilizado para apresentar duas ou tres versões alternativas de
design e saber quais as preferências do usuário.

10. Diretrizes e técnicas de debriefing
avançadas
Gravar o áudio da sessão de debriefing
O moderador pode dar mais atenção ao usuário e depois ouvir a
gravação para anotar suas conclusões.
Técnica do “você lembra?”
Para determinar se um elemento específico do design (uma
mensagem de erro, por exemplo) está contribuindo, inibindo ou
não tendo nenhum efeito para o usuário.
Durante o debriefing, mostre ao usuário a página do site com o
elemento em questão tampado ou removido. Pergunte se ele
lembra o que estava naquele ponto.

11. Diretrizes e técnicas de debriefing
avançadas
Técnica do "Advogado do diabo"
O moderador deixa de ser neutro e assume uma opinião contrária aos
comentários do participante, a fim de confirmar se ele está realmente
sendo sincero.
Quando utilizar:
- O usuário ameniza as dificuldades encontradas durante o teste de
usabilidade e parece relutante em criticar o produto.
- É preciso testar uma funcionalidade específica e ter certeza de apontar
todos seus pontos negativos antes do lançamento do produto.

12. Diretrizes e técnicas de debriefing
avançadas
Aplicando a técnica:
Seja discreto e cuidadoso. Você não deve influenciar a opinião do
usuário, apenas deixá-lo mais à vontade para expressar suas reais
críticas e opiniões.
O que pode ser dito ao usuário:
- Interessante você dizer que gostou quando teve tanta dificuldade
no teste
- Engraçado, outros usuários tiveram uma opinião totalmente
diferente
- Você é o primeiro a achar isso

13. Diretrizes e técnicas de debriefing
avançadas
Observações:
Não utilizar esta técnica com participantes facilmente
manipuláveis como pessoas muito jovens ou muito idosas e que
tenham dificuldade para formular conclusões. Tampouco com
aqueles que acham que podem conseguir uma oportunidade de
trabalho se agradarem o moderador.
Avise previamente a equipe de teste que usará esta técnica, para
não pensarem que você está influenciando o usuário.

14. Revisando e alcançando o consenso
com os observadores
No final da sessão é interessante conversar com os observadores.
Pontos positivos:
— Os observadores são mais engajados no teste se eles souberem
que haverá uma conversa sobre o teste de usabilidade;
— O entrevistador ordena os problemas/soluções de acordo com o
que o time considera de alta prioridade, ajudando a ordenar o
relatório final;
— Através da conversa com o time, os problemas tendem a se tornar
mais fáceis de serem solucionados.

15. Revisando e alcançando o consenso
com os observadores
Entre sessões
10 minutos devem ser destinados para conversar com os observadores
sobre como foi o teste e o que surpreendeu a todos. A idéia é
conversar rapidamente sobre as impressões relacionadas ao teste
antes que os observadores se envolvam com outros trabalhos (ler
emails, acessar internet, etc). As idéias e observações são escritas em
um quadro ou papel com o objetivo de criar uma lista de questões a
serem observadas e/ou solucionadas.
Depois de todos terem falado, deve-se voltar às observações feitas e
perguntar tarefa por tarefa quais aquelas que os observadores julgam
mais importantes e descrevê-las. É extremamente importante que
todos entrem em consenso com o que foi anotado.
Na lista de observações, anotar quais usuários disseram cada uma
delas.

16. Revisando e alcançando o consenso
com os observadores
No final do estudo
Quando todas as sessões de testes estiverem sido completadas, é
necessário apenas mais uma sessão de debriefing com os
observadores. A lista de questões deve ser lida novamente para que
todos os observadores façam a última revisão das questões analisadas
e entrem em consenso. Dessa forma, o time ordena as questões em
ordem de prioridade: Essa lista pode ser feita pedindo aos
observadores para falar o "top 10 de itens", através de votação ou são
feitas cartas para os observadores ordenarem de acordo com a
prioridade. É importante que os observadores façam parte do
processo de classificação das prioridades para que não ocorra
nenhuma surpresa com relação ao relatório final.

17. Revisando e alcançando o consenso
com os observadores
No final do estudo
O entrevistador deve parar qualquer conversa que esteja
relacionada a como redesenhar a interface nesta sessão, já que a
maioria dos observadores não viram todas os testes de usabilidade.
Apesar de todos concordarem com as questões abordadas, elas são
somente impressões acumuladas e memórias, não são dados. O
entrevistador deve pensar nos dados coletados e analisá-lo com o
objetivo de sutilmente revelar respostas ou mesmo de conflitos com
as conversas com os observadores.

18. Obrigada J