O documento fornece diretrizes detalhadas para debriefing com participantes e observadores após testes de usabilidade, incluindo: (1) explorar ações e dificuldades dos participantes; (2) entender erros através da perspectiva do participante; (3) envolver observadores para aproveitar suas percepções. Ele também discute técnicas avançadas como revisar projetos alternativos e questionar criticamente os participantes.

1. Cap. 10
Debrief the
Participant and
Observers
Ana Maria Araújo • Marcia Regina • Marcos Schmitt
Prof.: Luiz Agner
PUC - Ergodesign de Interfaces: Usabilidade e Arquitetura da Informação

2. Debrief
●
Explorar e revisar as ações dos participantes durante a parte de desempenho do teste de
usabilidade;
●
O teste de usabilidade descobre e expõe os problemas, mas muitas vezes é o debriefing que
lança luz sobre por que esses problemas ocorreram e como corrigi-los.
Porquê fazer "review" com participantes e observadores?
●
Entender erros, dificuldades e omissões que ocorreram;
●
Última oportunidade antes de deixar os participantes sair pela porta;
●
Explicar as coisas que não foram possível ver durante o teste (o que os usuários estavam
pensando ou de falar as suas preferências pessoais);
●
Iluminar o processo de pensamento e raciocínio quando não “pensou em voz alta”;
●
A tarefa indica o ''o que'' da realização, o debriefing indica o '' porque '' do desempenho;

3. ●
Ao envolver observadores se aproveita as observações destes e os tornam mais propensos a se
sentir com propriedade das questões e comprar as soluções dos problemas encontrados;
●
Tomar a partir de interações com os observadores alguma noção das prioridades das partes
interessadas.
Técnicas de revisão com participantes
●
Nunca faça os participantes se sentirem na defensiva sobre suas ações ou suas opiniões.
A sessão de debriefing deve ter o sabor de uma discussão entre os pares, não deve assumir o
sabor de um réu no banco das testemunhas a ser interrogado.
●
Enquanto interrogar/questionar um participante, não reagir às respostas dos
participantes de uma forma ou de outra. É muito fácil de levar a testemunha, comunicando
através da linguagem corporal e outros meios não-verbais que uma resposta particular é
inerentemente melhor do que outra resposta.

4. Onde realizar a sessão de Debriefing
●
Na mesma área que o teste. O participante se sente mais a vontade por já estar ali.
●
Distante do local de teste. Participante é extremamente tímido, está cansado ou distraído.
Principalmente se a sala é muito grande e está sendo observada por outras pessoas através de
um espelho unidirecional ou a partir de uma sala de observação eletrônica.
Orientações básicas para o Debriefing
1. Reúna seus pensamentos enquanto o participante preenche todos os questionários pós-
teste.
- Decidir quais problemas ainda são nebulosos;
- Revise os tópicos do debriefing. Circule as questões que primordiais. Retire os temas que
não são mais relevantes.

5. 2. Rever o questionário pós-teste.
- Deixe o participante pausar enquanto você revê o questionário que ele acaba de concluir;
- Olhar rapidamente sobre algumas das respostas e avaliações dos participantes no pós-teste
ou folhear suas notas e recolher perguntas dos observadores;
- Procure respostas inesperadas que poderiam se beneficiar da exploração.
3. Comece deixando o participante dizer o que está em sua mente.
- Comece com uma pergunta muito geral em aberto, tais como "Então, o que você acha?" Ou
"Como foi isso?";
- Permite que o participante para desabafar, se ele ou ela está se sentindo muito frustrado;
- Isso significa que o tema que o participante escolhe para falar é normalmente a mais
proeminente a essa pessoa.
4. Comece suas perguntas a partir de questões gerais de alto nível.
- Use o seu debriefing topics guide para ajudar a se lembrar de suas principais preocupações;
- Volte para o que você estava tentando aprender fazendo este estudo de usabilidade.

6. 5. Mover-se para as questões específicas.
- Olhar no formulário de coleta de dados anotação referentes a sondagem;
- Colocar “??” em pontos para exploração debriefing, mas não justificava parar o teste
naquele momento.
6. Analise esses lugares no questionário pós-teste do participante anteriormente marcadas
como áreas para explorar.
- Dê-se uma margem para pensar sobre as questões que você precisa explorar;
- Deixe o participante relaxar para não responder com o primeiro pensamento que vier à
mente.
- Deixe o participante ver suas respostas, para pensar sobre as questões e como essas
questões se relacionam com a utilização do produto no local de trabalho ou em casa.
7. Concentre-se em compreender os problemas e dificuldades, e não na resolução de problemas.
Não vê-las como:
- Um tempo para resolver os problemas descobertos pelo teste. Você não precisa
entender como corrigir o problema.
- Um tempo para solicitar idéias de design do participante. Os participantes conhecem
melhor é se um produto atende às suas necessidades ou não.

7. 8. Termine toda a sua linha de questionamento antes de abrir a palavra para discussão
pelos observadores.
- Defendemos observadores ter oportunidade de fazer perguntas, mas não defendemos
pessoas diferentes disparando perguntas ao participante de forma aleatória;
- Se os observadores estão localizados fora da área de testes, então é melhor se eles
escrevam suas perguntas em um pedaço de papel e você fazer as perguntas;
- Se os observadores estão localizados na sala de prova durante o teste, você ainda pode
pedir-lhes para escrever as suas perguntas;
- Pode até fazer mesa redonda se o participante não se sentir intimidado.
9. Se for o caso, deixe a porta aberta para outro contato.
- Depois de ter concluído a sessão, você pode querer sugerir a possibilidade de entrar em
contato com o participante para esclarecer quaisquer questões que possam surgir;
- Agradecer ao participante e, apresentar ao participante qualquer remuneração.

8. Diretrizes e Técnicas Avançadas
Após o domínio das técnicas básicas, existem outras técnicas e diretrizes que podem ser utilizadas.
Técnica “Repetir o Teste”
Conhecido também com análise retrospectiva;
Serve para ativar a memória do participante. O que permite que ele lembre de pontos importantes que
podem ter sido esquecidos de serem mencionados durante o teste.
Método Manual - Com o auxilio do formulário de coleta de dados o avaliador deverá ter feito anotações
chaves que descreviam o comportamento do usuário para cada cenário.
Prós: O usuário poderá reviver as suas emoções e reações no momento em que ocorreram os eventos.
Contras: O avaliador precisa realmente prestar atenção durante o teste; Ter uma boa memória; Escrever
boas anotações; O teste não poderá ser muito longo pois não será possível lembrar de tudo
Método de Vídeo - Uso de tecnologia para substituir auxiliar a memória e as anotações do avaliador.
Prós: Permite que o usuário veja as suas reações, o que facilitar eles lembrarem as suas emoções.
Contra: Tempo maior;

9. Gravação de Áudio da Sessão de Debriefing
Prós: Notas mais curtas; Maior atenção com o usuário; Mais fácil retirar as observações importantes
após a transcrição.
Contras: Transcrição irá levar um tempo maior.
Revendo projetos alternativos
Indicado para estágios iniciais de desenvolvimento, onde existem versões alternativas. O teste irá
fornecer informações sobre as preferências dos participantes.
Pode ser mostrado 2 ou 3 protótipos e pedir a opinião dos participantes.
Com os protótipos em mãos o usuário poderá dar mais sugestões do que se tivesse quer ideias
partindo do zero.

10. Técnica “O que você lembra”
Utilizada para verificar se um determinado elemento do design contribui, inibi ou não tem nenhum
efeito sobre o participante.
A abordagem deve ser sutil.
Ex.: Caso do Jeff - etiquetas gráficas x etiquetas de texto. O objetivo era verificar se o participante iria
notar um rótulo no cartucho de impressão que o ajudaria a inserir o cartucho corretamente.
Jeff observou o quanto a técnica é valiosa e que muitas vezes os desenvolvedores gastam um tempo
muito grande para detalhes que os usuários não percebem.

11. Técnica “Advogado do Diabo”
Utilizado para averiguar o quanto o usuário está sendo sincero.
Verificar aspectos críticos ou vulneráveis do produto.
O Moderador sai da posição neutra.
● Como implementar a Técnica
Discrição e cautela;
Sugerir que os comentários do participante estão diferentes das suas reações;
Mentira branca;
● Exemplo
“Você não acha um insulto o fabricante fazer com que você realize uma correção que deveria ter sido
resolvida em fábrica?”
Atenção: Não esqueça de avisar a sua equipe com antecedência.

12. Revisar e Chegar a um Consenso com os Observadores
Ao coletar dados e observações no final de uma sessão, após o debriefing com os participantes, antes
de ir para a próxima sessão ou começar analisar os dados do estudo:
●
Trabalhe com os observadores para torná-los co-pesquisadores.
Porque Rever com os Observadores?
Ao incluir observadores como “co-pesquisadores”, há grandes benefícios:
●
Você tem outras pessoas para conversar sobre o que aconteceu em cada sessão;
●
Observadores se tornam mais engajados numa discussão com o objetivo de chegar a um
consenso sobre questões de usabilidade;
●
O que a equipe considera de alta prioridade, indica o que incluir nos relatórios;
●
Equipe chega a um acordo sobre quais são os problemas e como descrevê-los.

13. Entre Sessões
●
Debriefing com os observadores entre as sessões de teste;
●
Comece perguntando: “O que você achou?”;
●
Mantenha os observadores juntos por apenas 10 minutos para chegar as suas impressões
sobre o que aconteceu na sessão;
●
Faça anotações de cada uma das questões que os observadores listaram;
●
Agrupe as observações e percepções;
●
Chegue a um consenso sobre os principais problemas e como descrevê-los. Pergunte se
todos concordam com os itens levantados; Se não, peça ao autor para esclarecer até que
haja um consenso geral;
●
Documente o item em algo visível e acessível para os observadores;
●
Em cada questão, relacione o problema ao participante; Ao se referir aos participantes, utilize
números, em vez de nomes, para proteger a privacidade;
●
A lista de problemas irá ajudar ao entregar relatórios, que são breves resumos.

14. Ao Final do Estudo
Após a conclusão de todas as sessões, tenha uma última sessão de debriefing com os observadores.
Peça aos observadores para revisarem as questões de consenso e estabeleça prioridades.
Existem maneiras de classificar as questões em ordem de prioridade:
●
Peça aos observadores para votar. Os itens com o maior número de votos são as principais
prioridades;
●
Escrever as questões em notas e cartões para que os observadores possam classificá-los em listas
de prioridades.
É importante que os observadores participem do exercício de classificação, para garantir que não haja
surpresas no relatório final.
Evite discutir sobre como resolver questões, sobre possíveis soluções.

15. Referências Bibliográficas
RUBIN Jeff; CHISNELL Dana. Handbook of Usability Testing: How to Plan,
Design, and Conduct Effective Tests. Wiley, Second Edition. Chapter 10:
Debrief the Participant and Observers.