SlideShare uma empresa Scribd logo
1 de 18
Baixar para ler offline
Debriefing

Caroline Zambon, Denise Silveira e
          Thainá Zanotti
Introdução



O Debriefing é um estágio do teste de usabilidade em que há a
exploração e análise das ações dos participantes durante o teste de
usabilidade ou após este ter sido finalizado. Ou seja, o debriefing é a
extensão do processo de teste onde o entrevistador observa a
performance dos entrevistados e faz algumas perguntas durante as
tarefas ou após as tarefas tenham sido completadas. Esta sessão do teste
de usabilidade é feita de forma informal com o objetivo de esclarecer
alguns problemas e como eles podem ser corrigidos.
Por que rever o teste com participantes
e observadores?

O objetivo de cada teste deveria ser entender cada erro, dificuldade e
omissão que ocorra para cada participante em cada teste. Debriefing com
o participante é a oportunidade final de conseguir esse objetivo antes que
o usuário vá embora.

Pretende-se trazer à tona o pensamento e a racionalização por trás da
ação de cada usuário, principalmente quando não está claro para o
moderador. A tarefa indica o “o que”, e o debriefing o “por que”, ainda
mais quando não tem durante o teste, a técnica do “think aloud”. O
debriefing ajuda a ver por diferentes pontos de vista o que está
acontecendo no teste. Quando os observadores são incluídos no processo,
sentem-se mais engajados.
Técnicas para revisar com participantes

—  Nunca faça com que o participante se sinta na defensiva sobre suas
  ações ou opiniões: o participante não pode se sentir acuado ou pensar
  que está respondendo “errado”.

—  Enquanto questionar um participante, não reaja às respostas do
  participante de forma alguma: quando se tem ligação com o produto,
  principalmente, é difícil não reagir a algumas opiniões. Se ele ficar na
  defensiva, suas respostas podem ser suspeitas, ele pode responder
  para agradar ao moderador. Um bom debriefing vai depender das
  competências e experiências do moderador: fazem toda a diferença.

O Debriefing deve acontecer na mesma sala ou em local diferente,
depende do conforto que o participante estiver demonstrando ao final do
teste.
Diretrizes básicas do debriefing
As diretrizes básicas consideram as necessidades tanto do moderador
quanto do participante:

—  Reunir os seus pensamentos enquanto o participante preenche todos
  os questionários pós-teste: Após o teste, aplique em seguida qualquer
  questionário, e faça-o saber que está chegando ao final, que tem
  apenas mais algumas duvidas para tirar. Aproveite o tempo para
  organizar suas dúvidas.

—  Reveja o questionário pós-teste: isso pode ser usado como insumo no
  debriefing. Se não houver questionário, reveja suas anotações ou as
  dos observadores. Procure por respostas inesperadas que possam
  beneficiar a exploração.

—  Comece deixando o participante falar o que quer que esteja na cabeça
  dele: utilizando uma pergunta bem aberta. Primeiro porque permite
  que ele revele alguma frustração, e segundo porque ele tende a fala,
  dessa forma, sobre o que foi mais importante para ele, ou o que mais
  marcou, durante o teste.
Diretrizes básicas do debriefing

—  Comece suas questões por questões gerais de nível alto: use o
  debriefing para te ajudar a lembrar da questão principal do teste,
  foque nas questões principais da pesquisa.

—  Siga para questões específicas: depois do momento geral, procure
  explorar as dúvidas que assinalou durante o teste, que pode ser uma
  ação ou comentário do participante.

—  Reveja no questionário pós-teste outras questões que tenha marcado
  previamente para explorar: Tome seu tempo, e dê tempo paa o
  participante pensar nas respostas e nas questões, e como se relaciona
  com elas. Fique na questão até ter realmente sanado suas dúvidas.
Diretrizes básicas do debriefing

—  Foque no entendimento e nas dificuldades dos problemas, e não na
  solução do problema. Um erro muito comum no uso do debriefing é
  vê-lo como um momento para resolver os problemas descobertos no
  teste. Assim, pode deixar de ter soluções assertivas no momento
  adequado. Outro erro é solicitar ideias de design do participante: por
  não entenderem, algumas ideias são boas, mas impraticáveis. Há
  profissionais para isso, e não deve ser o foco do debriefing.

—  Termine seus questionamentos completamente antes de conversar
  com os observadores: isso deve ocorrer de uma maneira estruturada
  que permita que você mantenha o controle do processo. Não se deve
  permitir que questionamentos sejam feitos de forma desestruturada
  ao participante.

—  Se apropriado, deixa a porta aberta para um contato futuro: depois de
  terminada a sessão, sugira a possibilidade de entrar em contato para
  esclarecer eventuais dúvidas. Agradeça-o, depois presenteio-o com
  alguma remuneração antes que ele saia.
Diretrizes e técnicas de debriefing
avançadas

Rever o teste de usabilidade

  Para ajudar o usuário a relembrar partes do teste que ele deixou de
  mencionar. Pode ser manualmente ou por vídeo

• Método manual:

  O moderador escolhe um tópico de suas anotações e descreve com
  detalhes como o usuário realizou a tarefa. Em seguida, faz as
  perguntas necessárias.

  Para esta técninca, o moderador precisa ter prestado atenção ao
  teste, feito anotações relevantes e ter boa memória.
Diretrizes e técnicas de debriefing
avançadas

• Método por vídeo:

  O moderador apresenta ao usuário o trecho da gravação do teste
  com a tarefa que deseja obter mais informações.

  É mais fácil para o usuário relembrar o que aconteceu

Analisar designs alternativos

  Nas primeiras etapas de desenvolvimento, o debriefing pode ser
  utilizado para apresentar duas ou tres versões alternativas de
  design e saber quais as preferências do usuário.
Diretrizes e técnicas de debriefing
avançadas

Gravar o áudio da sessão de debriefing

  O moderador pode dar mais atenção ao usuário e depois ouvir a
  gravação para anotar suas conclusões.

Técnica do “você lembra?”

  Para determinar se um elemento específico do design (uma
  mensagem de erro, por exemplo) está contribuindo, inibindo ou
  não tendo nenhum efeito para o usuário.

  Durante o debriefing, mostre ao usuário a página do site com o
  elemento em questão tampado ou removido. Pergunte se ele
  lembra o que estava naquele ponto.
Diretrizes e técnicas de debriefing
avançadas

Técnica do "Advogado do diabo"

  O moderador deixa de ser neutro e assume uma opinião contrária aos
  comentários do participante, a fim de confirmar se ele está realmente
  sendo sincero.

Quando utilizar:

- O usuário ameniza as dificuldades encontradas durante o teste de
   usabilidade e parece relutante em criticar o produto.

- É preciso testar uma funcionalidade específica e ter certeza de apontar
   todos seus pontos negativos antes do lançamento do produto.
Diretrizes e técnicas de debriefing
avançadas

Aplicando a técnica:

  Seja discreto e cuidadoso. Você não deve influenciar a opinião do
  usuário, apenas deixá-lo mais à vontade para expressar suas reais
  críticas e opiniões.

O que pode ser dito ao usuário:

- Interessante você dizer que gostou quando teve tanta dificuldade
   no teste

- Engraçado, outros usuários tiveram uma opinião totalmente
   diferente

- Você é o primeiro a achar isso
Diretrizes e técnicas de debriefing
avançadas

Observações:

  Não utilizar esta técnica com participantes facilmente
  manipuláveis como pessoas muito jovens ou muito idosas e que
  tenham dificuldade para formular conclusões. Tampouco com
  aqueles que acham que podem conseguir uma oportunidade de
  trabalho se agradarem o moderador.




  Avise previamente a equipe de teste que usará esta técnica, para
  não pensarem que você está influenciando o usuário.
Revisando e alcançando o consenso
com os observadores

No final da sessão é interessante conversar com os observadores.

Pontos positivos:

—  Os observadores são mais engajados no teste se eles souberem
  que haverá uma conversa sobre o teste de usabilidade;

—  O entrevistador ordena os problemas/soluções de acordo com o
  que o time considera de alta prioridade, ajudando a ordenar o
  relatório final;

—  Através da conversa com o time, os problemas tendem a se tornar
  mais fáceis de serem solucionados.
Revisando e alcançando o consenso
com os observadores

Entre sessões

  10 minutos devem ser destinados para conversar com os observadores
  sobre como foi o teste e o que surpreendeu a todos. A idéia é
  conversar rapidamente sobre as impressões relacionadas ao teste
  antes que os observadores se envolvam com outros trabalhos (ler
  emails, acessar internet, etc). As idéias e observações são escritas em
  um quadro ou papel com o objetivo de criar uma lista de questões a
  serem observadas e/ou solucionadas.

  Depois de todos terem falado, deve-se voltar às observações feitas e
  perguntar tarefa por tarefa quais aquelas que os observadores julgam
  mais importantes e descrevê-las. É extremamente importante que
  todos entrem em consenso com o que foi anotado.

  Na lista de observações, anotar quais usuários disseram cada uma
  delas.
Revisando e alcançando o consenso
com os observadores

No final do estudo

  Quando todas as sessões de testes estiverem sido completadas, é
  necessário apenas mais uma sessão de debriefing com os
  observadores. A lista de questões deve ser lida novamente para que
  todos os observadores façam a última revisão das questões analisadas
  e entrem em consenso. Dessa forma, o time ordena as questões em
  ordem de prioridade: Essa lista pode ser feita pedindo aos
  observadores para falar o "top 10 de itens", através de votação ou são
  feitas cartas para os observadores ordenarem de acordo com a
  prioridade. É importante que os observadores façam parte do
  processo de classificação das prioridades para que não ocorra
  nenhuma surpresa com relação ao relatório final.
Revisando e alcançando o consenso
com os observadores

No final do estudo

  O entrevistador deve parar qualquer conversa que esteja
  relacionada a como redesenhar a interface nesta sessão, já que a
  maioria dos observadores não viram todas os testes de usabilidade.
  Apesar de todos concordarem com as questões abordadas, elas são
  somente impressões acumuladas e memórias, não são dados. O
  entrevistador deve pensar nos dados coletados e analisá-lo com o
  objetivo de sutilmente revelar respostas ou mesmo de conflitos com
  as conversas com os observadores.
Obrigada J

Mais conteúdo relacionado

Mais procurados

4. Debriefing em testes de usabilidade
4. Debriefing  em testes de usabilidade4. Debriefing  em testes de usabilidade
4. Debriefing em testes de usabilidadeLuiz Agner
 
Cap. 13 variações no método básico
Cap. 13   variações no método básicoCap. 13   variações no método básico
Cap. 13 variações no método básicoLuiz Agner
 
5. Análise de dados em testes de usabilidade
5. Análise de dados em testes de usabilidade5. Análise de dados em testes de usabilidade
5. Análise de dados em testes de usabilidadeLuiz Agner
 
10. Identificando os problemas de usabilidade com eye tracking
10. Identificando os problemas de usabilidade com eye tracking10. Identificando os problemas de usabilidade com eye tracking
10. Identificando os problemas de usabilidade com eye trackingLuiz Agner
 
2. Preparando materiais para testes de usabilidade
2. Preparando materiais para testes de usabilidade2. Preparando materiais para testes de usabilidade
2. Preparando materiais para testes de usabilidadeLuiz Agner
 
1. Ambientes para testes de usabilidade
1. Ambientes para testes de usabilidade1. Ambientes para testes de usabilidade
1. Ambientes para testes de usabilidadeLuiz Agner
 
Testes remotos de usabilidade
Testes remotos de usabilidadeTestes remotos de usabilidade
Testes remotos de usabilidadeLuiz Agner
 
6. Testes de usabilidade apresentando as conclusoes
6. Testes de usabilidade   apresentando as conclusoes6. Testes de usabilidade   apresentando as conclusoes
6. Testes de usabilidade apresentando as conclusoesLuiz Agner
 
9. Ferramentas de testes online user zoom
9. Ferramentas de testes online user zoom9. Ferramentas de testes online user zoom
9. Ferramentas de testes online user zoomLuiz Agner
 
Teste de usabilidade - Configurando o seu ambiente de testes
Teste de usabilidade - Configurando o seu ambiente de testesTeste de usabilidade - Configurando o seu ambiente de testes
Teste de usabilidade - Configurando o seu ambiente de testesLuiz Agner
 
3. Conduzindo sessões de testes de usabilidade
3. Conduzindo sessões de testes de usabilidade3. Conduzindo sessões de testes de usabilidade
3. Conduzindo sessões de testes de usabilidadeLuiz Agner
 
Como fazer testes de usabilidade
Como fazer testes de usabilidadeComo fazer testes de usabilidade
Como fazer testes de usabilidadeUTFPR
 
7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidadeLuiz Agner
 
Minicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesMinicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesUTFPR
 
Teste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesTeste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesLuiz Agner
 
Mta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEMta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEAlan Vasconcelos
 
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e Chsinell
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e ChsinellCAPÍTULO 12 - Handbook of Usability Testing” de Rubin e Chsinell
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e ChsinellFernanda Sarmento
 
Palestra - Testes de Usabilidade
Palestra - Testes de UsabilidadePalestra - Testes de Usabilidade
Palestra - Testes de UsabilidadeLuiz Agner
 

Mais procurados (20)

4. Debriefing em testes de usabilidade
4. Debriefing  em testes de usabilidade4. Debriefing  em testes de usabilidade
4. Debriefing em testes de usabilidade
 
Cap. 13 variações no método básico
Cap. 13   variações no método básicoCap. 13   variações no método básico
Cap. 13 variações no método básico
 
5. Análise de dados em testes de usabilidade
5. Análise de dados em testes de usabilidade5. Análise de dados em testes de usabilidade
5. Análise de dados em testes de usabilidade
 
10. Identificando os problemas de usabilidade com eye tracking
10. Identificando os problemas de usabilidade com eye tracking10. Identificando os problemas de usabilidade com eye tracking
10. Identificando os problemas de usabilidade com eye tracking
 
2. Preparando materiais para testes de usabilidade
2. Preparando materiais para testes de usabilidade2. Preparando materiais para testes de usabilidade
2. Preparando materiais para testes de usabilidade
 
1. Ambientes para testes de usabilidade
1. Ambientes para testes de usabilidade1. Ambientes para testes de usabilidade
1. Ambientes para testes de usabilidade
 
Testes remotos de usabilidade
Testes remotos de usabilidadeTestes remotos de usabilidade
Testes remotos de usabilidade
 
6. Testes de usabilidade apresentando as conclusoes
6. Testes de usabilidade   apresentando as conclusoes6. Testes de usabilidade   apresentando as conclusoes
6. Testes de usabilidade apresentando as conclusoes
 
9. Ferramentas de testes online user zoom
9. Ferramentas de testes online user zoom9. Ferramentas de testes online user zoom
9. Ferramentas de testes online user zoom
 
Teste de usabilidade - Configurando o seu ambiente de testes
Teste de usabilidade - Configurando o seu ambiente de testesTeste de usabilidade - Configurando o seu ambiente de testes
Teste de usabilidade - Configurando o seu ambiente de testes
 
3. Conduzindo sessões de testes de usabilidade
3. Conduzindo sessões de testes de usabilidade3. Conduzindo sessões de testes de usabilidade
3. Conduzindo sessões de testes de usabilidade
 
Como fazer testes de usabilidade
Como fazer testes de usabilidadeComo fazer testes de usabilidade
Como fazer testes de usabilidade
 
Teste de usabilidade
Teste de usabilidadeTeste de usabilidade
Teste de usabilidade
 
7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade
 
Minicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesMinicurso Avaliação de Interfaces
Minicurso Avaliação de Interfaces
 
Teste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testesTeste de usabilidade - Ferramentas online para testes
Teste de usabilidade - Ferramentas online para testes
 
Mta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEMta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDE
 
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e Chsinell
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e ChsinellCAPÍTULO 12 - Handbook of Usability Testing” de Rubin e Chsinell
CAPÍTULO 12 - Handbook of Usability Testing” de Rubin e Chsinell
 
Curso Avaliação de Interfaces
Curso Avaliação de InterfacesCurso Avaliação de Interfaces
Curso Avaliação de Interfaces
 
Palestra - Testes de Usabilidade
Palestra - Testes de UsabilidadePalestra - Testes de Usabilidade
Palestra - Testes de Usabilidade
 

Semelhante a Debriefing: Explorando resultados e melhorias

Handbook Usability Testing - Capitulo 9
Handbook Usability Testing - Capitulo 9Handbook Usability Testing - Capitulo 9
Handbook Usability Testing - Capitulo 9Luiz Agner
 
Teste de Usabilidade Como planejar e executar
Teste de Usabilidade Como planejar e executarTeste de Usabilidade Como planejar e executar
Teste de Usabilidade Como planejar e executarMarconi Pacheco
 
Modelando Os Usuarios maio 2009
Modelando Os Usuarios maio 2009Modelando Os Usuarios maio 2009
Modelando Os Usuarios maio 2009eriveltonxe
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAndré Constantino da Silva
 
Handbook Usability Testing - Capitulo 8
Handbook Usability Testing - Capitulo 8Handbook Usability Testing - Capitulo 8
Handbook Usability Testing - Capitulo 8Luiz Agner
 
Transformational Design Thinking - Aula 10
Transformational Design Thinking - Aula 10Transformational Design Thinking - Aula 10
Transformational Design Thinking - Aula 10Lu Terceiro
 
Transformational Design Thinking - Aula 9
Transformational Design Thinking - Aula 9Transformational Design Thinking - Aula 9
Transformational Design Thinking - Aula 9Lu Terceiro
 
A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7Elo7
 
A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7Fernanda Bernardo
 
Workshop Retrospectiva
Workshop Retrospectiva Workshop Retrospectiva
Workshop Retrospectiva Silas Serpa
 
Observando os usuarios
Observando os usuariosObservando os usuarios
Observando os usuariosAlbert José
 
Potencializando a cultura de feedbacks horizontais através de SpeedWraps
Potencializando a cultura de feedbacks horizontais  através de SpeedWrapsPotencializando a cultura de feedbacks horizontais  através de SpeedWraps
Potencializando a cultura de feedbacks horizontais através de SpeedWrapsTadeu Marinho
 
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...tdc-globalcode
 
Gestão pela qualidade fundamentos básicos
Gestão pela qualidade fundamentos básicosGestão pela qualidade fundamentos básicos
Gestão pela qualidade fundamentos básicosElizabeth Esteves
 

Semelhante a Debriefing: Explorando resultados e melhorias (20)

Handbook Usability Testing - Capitulo 9
Handbook Usability Testing - Capitulo 9Handbook Usability Testing - Capitulo 9
Handbook Usability Testing - Capitulo 9
 
Teste de Usabilidade Como planejar e executar
Teste de Usabilidade Como planejar e executarTeste de Usabilidade Como planejar e executar
Teste de Usabilidade Como planejar e executar
 
Modelando Os Usuarios maio 2009
Modelando Os Usuarios maio 2009Modelando Os Usuarios maio 2009
Modelando Os Usuarios maio 2009
 
Feedbacks - V1
Feedbacks - V1Feedbacks - V1
Feedbacks - V1
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
 
Handbook Usability Testing - Capitulo 8
Handbook Usability Testing - Capitulo 8Handbook Usability Testing - Capitulo 8
Handbook Usability Testing - Capitulo 8
 
Transformational Design Thinking - Aula 10
Transformational Design Thinking - Aula 10Transformational Design Thinking - Aula 10
Transformational Design Thinking - Aula 10
 
Transformational Design Thinking - Aula 9
Transformational Design Thinking - Aula 9Transformational Design Thinking - Aula 9
Transformational Design Thinking - Aula 9
 
Entrevista
EntrevistaEntrevista
Entrevista
 
Cesar.Edu Turma S2I
Cesar.Edu Turma S2ICesar.Edu Turma S2I
Cesar.Edu Turma S2I
 
A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7
 
A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7A influência dos usuários no desenvolvimento do Talk7
A influência dos usuários no desenvolvimento do Talk7
 
Workshop Retrospectiva
Workshop Retrospectiva Workshop Retrospectiva
Workshop Retrospectiva
 
Observando os usuarios
Observando os usuariosObservando os usuarios
Observando os usuarios
 
Potencializando a cultura de feedbacks horizontais através de SpeedWraps
Potencializando a cultura de feedbacks horizontais  através de SpeedWrapsPotencializando a cultura de feedbacks horizontais  através de SpeedWraps
Potencializando a cultura de feedbacks horizontais através de SpeedWraps
 
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...
TDC2017 | São Paulo - Trilha Management 3.0 How we figured out we had a SRE t...
 
Ferramentas da qualidade
Ferramentas da qualidadeFerramentas da qualidade
Ferramentas da qualidade
 
O Poder De Delegar
O Poder De DelegarO Poder De Delegar
O Poder De Delegar
 
Gestão pela qualidade fundamentos básicos
Gestão pela qualidade fundamentos básicosGestão pela qualidade fundamentos básicos
Gestão pela qualidade fundamentos básicos
 
Aula 4 - Avaliação de Interface - Parte 1
Aula 4 -  Avaliação de Interface - Parte 1Aula 4 -  Avaliação de Interface - Parte 1
Aula 4 - Avaliação de Interface - Parte 1
 

Mais de Luiz Agner

Recommendation Systems and Machine Learning: Mapping the User Experience
Recommendation Systems and Machine Learning: Mapping the User ExperienceRecommendation Systems and Machine Learning: Mapping the User Experience
Recommendation Systems and Machine Learning: Mapping the User ExperienceLuiz Agner
 
Pós Branded Content (1c)
Pós Branded Content (1c)Pós Branded Content (1c)
Pós Branded Content (1c)Luiz Agner
 
WIAD - World Information Architecture Day 2019 - MeetUp PUC-Rio
WIAD - World Information Architecture Day 2019 - MeetUp PUC-RioWIAD - World Information Architecture Day 2019 - MeetUp PUC-Rio
WIAD - World Information Architecture Day 2019 - MeetUp PUC-RioLuiz Agner
 
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MG
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MGWIAD - World Information Architecture Day 2019 - Belo Horizonte, MG
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MGLuiz Agner
 
Marketing digital como instrumento de controle
Marketing digital como instrumento de controleMarketing digital como instrumento de controle
Marketing digital como instrumento de controleLuiz Agner
 
Arquitetura de Informação na era dos espaços mistos e ecossistemas
Arquitetura de Informação na era dos espaços mistos e ecossistemasArquitetura de Informação na era dos espaços mistos e ecossistemas
Arquitetura de Informação na era dos espaços mistos e ecossistemasLuiz Agner
 
Lei de Proteção aos Dados (LGPD)
Lei de Proteção aos Dados (LGPD)Lei de Proteção aos Dados (LGPD)
Lei de Proteção aos Dados (LGPD)Luiz Agner
 
Marco Civil da Internet no Brasil
Marco Civil da Internet no BrasilMarco Civil da Internet no Brasil
Marco Civil da Internet no BrasilLuiz Agner
 
Vigilância Ampliada: Poder e Controle na Cultura Digital
Vigilância Ampliada: Poder e Controle na Cultura DigitalVigilância Ampliada: Poder e Controle na Cultura Digital
Vigilância Ampliada: Poder e Controle na Cultura DigitalLuiz Agner
 
Diagrama de Navegação e Vocabulário Visual de Garrett
Diagrama de Navegação e Vocabulário Visual de GarrettDiagrama de Navegação e Vocabulário Visual de Garrett
Diagrama de Navegação e Vocabulário Visual de GarrettLuiz Agner
 
Bridge e Análise da Tarefa em equipe
Bridge e Análise da Tarefa em equipeBridge e Análise da Tarefa em equipe
Bridge e Análise da Tarefa em equipeLuiz Agner
 
Marketing - Revisão de Conceitos
Marketing - Revisão de ConceitosMarketing - Revisão de Conceitos
Marketing - Revisão de ConceitosLuiz Agner
 
Cultura da Internet - segundo M. Castells
Cultura da Internet - segundo M. CastellsCultura da Internet - segundo M. Castells
Cultura da Internet - segundo M. CastellsLuiz Agner
 
Bridge e Group Task Analysis - Arquitetura de Informação
Bridge e Group Task Analysis - Arquitetura de InformaçãoBridge e Group Task Analysis - Arquitetura de Informação
Bridge e Group Task Analysis - Arquitetura de InformaçãoLuiz Agner
 
Avaliação dos apps Coral Visualizer e Polenghi Selection
Avaliação dos apps Coral Visualizer e Polenghi SelectionAvaliação dos apps Coral Visualizer e Polenghi Selection
Avaliação dos apps Coral Visualizer e Polenghi SelectionLuiz Agner
 
Arquitetura de Informação: Projeto TIM
Arquitetura de Informação: Projeto TIMArquitetura de Informação: Projeto TIM
Arquitetura de Informação: Projeto TIMLuiz Agner
 
Arquitetura de Informação: Projeto Imaginarium
Arquitetura de Informação: Projeto ImaginariumArquitetura de Informação: Projeto Imaginarium
Arquitetura de Informação: Projeto ImaginariumLuiz Agner
 
Arquitetura da Informação Pervasiva - Semana Acadêmica FACHA
Arquitetura da Informação Pervasiva  - Semana Acadêmica FACHAArquitetura da Informação Pervasiva  - Semana Acadêmica FACHA
Arquitetura da Informação Pervasiva - Semana Acadêmica FACHALuiz Agner
 
Arquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJArquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJLuiz Agner
 
Arquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJArquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJLuiz Agner
 

Mais de Luiz Agner (20)

Recommendation Systems and Machine Learning: Mapping the User Experience
Recommendation Systems and Machine Learning: Mapping the User ExperienceRecommendation Systems and Machine Learning: Mapping the User Experience
Recommendation Systems and Machine Learning: Mapping the User Experience
 
Pós Branded Content (1c)
Pós Branded Content (1c)Pós Branded Content (1c)
Pós Branded Content (1c)
 
WIAD - World Information Architecture Day 2019 - MeetUp PUC-Rio
WIAD - World Information Architecture Day 2019 - MeetUp PUC-RioWIAD - World Information Architecture Day 2019 - MeetUp PUC-Rio
WIAD - World Information Architecture Day 2019 - MeetUp PUC-Rio
 
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MG
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MGWIAD - World Information Architecture Day 2019 - Belo Horizonte, MG
WIAD - World Information Architecture Day 2019 - Belo Horizonte, MG
 
Marketing digital como instrumento de controle
Marketing digital como instrumento de controleMarketing digital como instrumento de controle
Marketing digital como instrumento de controle
 
Arquitetura de Informação na era dos espaços mistos e ecossistemas
Arquitetura de Informação na era dos espaços mistos e ecossistemasArquitetura de Informação na era dos espaços mistos e ecossistemas
Arquitetura de Informação na era dos espaços mistos e ecossistemas
 
Lei de Proteção aos Dados (LGPD)
Lei de Proteção aos Dados (LGPD)Lei de Proteção aos Dados (LGPD)
Lei de Proteção aos Dados (LGPD)
 
Marco Civil da Internet no Brasil
Marco Civil da Internet no BrasilMarco Civil da Internet no Brasil
Marco Civil da Internet no Brasil
 
Vigilância Ampliada: Poder e Controle na Cultura Digital
Vigilância Ampliada: Poder e Controle na Cultura DigitalVigilância Ampliada: Poder e Controle na Cultura Digital
Vigilância Ampliada: Poder e Controle na Cultura Digital
 
Diagrama de Navegação e Vocabulário Visual de Garrett
Diagrama de Navegação e Vocabulário Visual de GarrettDiagrama de Navegação e Vocabulário Visual de Garrett
Diagrama de Navegação e Vocabulário Visual de Garrett
 
Bridge e Análise da Tarefa em equipe
Bridge e Análise da Tarefa em equipeBridge e Análise da Tarefa em equipe
Bridge e Análise da Tarefa em equipe
 
Marketing - Revisão de Conceitos
Marketing - Revisão de ConceitosMarketing - Revisão de Conceitos
Marketing - Revisão de Conceitos
 
Cultura da Internet - segundo M. Castells
Cultura da Internet - segundo M. CastellsCultura da Internet - segundo M. Castells
Cultura da Internet - segundo M. Castells
 
Bridge e Group Task Analysis - Arquitetura de Informação
Bridge e Group Task Analysis - Arquitetura de InformaçãoBridge e Group Task Analysis - Arquitetura de Informação
Bridge e Group Task Analysis - Arquitetura de Informação
 
Avaliação dos apps Coral Visualizer e Polenghi Selection
Avaliação dos apps Coral Visualizer e Polenghi SelectionAvaliação dos apps Coral Visualizer e Polenghi Selection
Avaliação dos apps Coral Visualizer e Polenghi Selection
 
Arquitetura de Informação: Projeto TIM
Arquitetura de Informação: Projeto TIMArquitetura de Informação: Projeto TIM
Arquitetura de Informação: Projeto TIM
 
Arquitetura de Informação: Projeto Imaginarium
Arquitetura de Informação: Projeto ImaginariumArquitetura de Informação: Projeto Imaginarium
Arquitetura de Informação: Projeto Imaginarium
 
Arquitetura da Informação Pervasiva - Semana Acadêmica FACHA
Arquitetura da Informação Pervasiva  - Semana Acadêmica FACHAArquitetura da Informação Pervasiva  - Semana Acadêmica FACHA
Arquitetura da Informação Pervasiva - Semana Acadêmica FACHA
 
Arquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJArquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJ
 
Arquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJArquitetura de Informação - DETRAN RJ
Arquitetura de Informação - DETRAN RJ
 

Debriefing: Explorando resultados e melhorias

  • 1. Debriefing Caroline Zambon, Denise Silveira e Thainá Zanotti
  • 2. Introdução O Debriefing é um estágio do teste de usabilidade em que há a exploração e análise das ações dos participantes durante o teste de usabilidade ou após este ter sido finalizado. Ou seja, o debriefing é a extensão do processo de teste onde o entrevistador observa a performance dos entrevistados e faz algumas perguntas durante as tarefas ou após as tarefas tenham sido completadas. Esta sessão do teste de usabilidade é feita de forma informal com o objetivo de esclarecer alguns problemas e como eles podem ser corrigidos.
  • 3. Por que rever o teste com participantes e observadores? O objetivo de cada teste deveria ser entender cada erro, dificuldade e omissão que ocorra para cada participante em cada teste. Debriefing com o participante é a oportunidade final de conseguir esse objetivo antes que o usuário vá embora. Pretende-se trazer à tona o pensamento e a racionalização por trás da ação de cada usuário, principalmente quando não está claro para o moderador. A tarefa indica o “o que”, e o debriefing o “por que”, ainda mais quando não tem durante o teste, a técnica do “think aloud”. O debriefing ajuda a ver por diferentes pontos de vista o que está acontecendo no teste. Quando os observadores são incluídos no processo, sentem-se mais engajados.
  • 4. Técnicas para revisar com participantes —  Nunca faça com que o participante se sinta na defensiva sobre suas ações ou opiniões: o participante não pode se sentir acuado ou pensar que está respondendo “errado”. —  Enquanto questionar um participante, não reaja às respostas do participante de forma alguma: quando se tem ligação com o produto, principalmente, é difícil não reagir a algumas opiniões. Se ele ficar na defensiva, suas respostas podem ser suspeitas, ele pode responder para agradar ao moderador. Um bom debriefing vai depender das competências e experiências do moderador: fazem toda a diferença. O Debriefing deve acontecer na mesma sala ou em local diferente, depende do conforto que o participante estiver demonstrando ao final do teste.
  • 5. Diretrizes básicas do debriefing As diretrizes básicas consideram as necessidades tanto do moderador quanto do participante: —  Reunir os seus pensamentos enquanto o participante preenche todos os questionários pós-teste: Após o teste, aplique em seguida qualquer questionário, e faça-o saber que está chegando ao final, que tem apenas mais algumas duvidas para tirar. Aproveite o tempo para organizar suas dúvidas. —  Reveja o questionário pós-teste: isso pode ser usado como insumo no debriefing. Se não houver questionário, reveja suas anotações ou as dos observadores. Procure por respostas inesperadas que possam beneficiar a exploração. —  Comece deixando o participante falar o que quer que esteja na cabeça dele: utilizando uma pergunta bem aberta. Primeiro porque permite que ele revele alguma frustração, e segundo porque ele tende a fala, dessa forma, sobre o que foi mais importante para ele, ou o que mais marcou, durante o teste.
  • 6. Diretrizes básicas do debriefing —  Comece suas questões por questões gerais de nível alto: use o debriefing para te ajudar a lembrar da questão principal do teste, foque nas questões principais da pesquisa. —  Siga para questões específicas: depois do momento geral, procure explorar as dúvidas que assinalou durante o teste, que pode ser uma ação ou comentário do participante. —  Reveja no questionário pós-teste outras questões que tenha marcado previamente para explorar: Tome seu tempo, e dê tempo paa o participante pensar nas respostas e nas questões, e como se relaciona com elas. Fique na questão até ter realmente sanado suas dúvidas.
  • 7. Diretrizes básicas do debriefing —  Foque no entendimento e nas dificuldades dos problemas, e não na solução do problema. Um erro muito comum no uso do debriefing é vê-lo como um momento para resolver os problemas descobertos no teste. Assim, pode deixar de ter soluções assertivas no momento adequado. Outro erro é solicitar ideias de design do participante: por não entenderem, algumas ideias são boas, mas impraticáveis. Há profissionais para isso, e não deve ser o foco do debriefing. —  Termine seus questionamentos completamente antes de conversar com os observadores: isso deve ocorrer de uma maneira estruturada que permita que você mantenha o controle do processo. Não se deve permitir que questionamentos sejam feitos de forma desestruturada ao participante. —  Se apropriado, deixa a porta aberta para um contato futuro: depois de terminada a sessão, sugira a possibilidade de entrar em contato para esclarecer eventuais dúvidas. Agradeça-o, depois presenteio-o com alguma remuneração antes que ele saia.
  • 8. Diretrizes e técnicas de debriefing avançadas Rever o teste de usabilidade Para ajudar o usuário a relembrar partes do teste que ele deixou de mencionar. Pode ser manualmente ou por vídeo • Método manual: O moderador escolhe um tópico de suas anotações e descreve com detalhes como o usuário realizou a tarefa. Em seguida, faz as perguntas necessárias. Para esta técninca, o moderador precisa ter prestado atenção ao teste, feito anotações relevantes e ter boa memória.
  • 9. Diretrizes e técnicas de debriefing avançadas • Método por vídeo: O moderador apresenta ao usuário o trecho da gravação do teste com a tarefa que deseja obter mais informações. É mais fácil para o usuário relembrar o que aconteceu Analisar designs alternativos Nas primeiras etapas de desenvolvimento, o debriefing pode ser utilizado para apresentar duas ou tres versões alternativas de design e saber quais as preferências do usuário.
  • 10. Diretrizes e técnicas de debriefing avançadas Gravar o áudio da sessão de debriefing O moderador pode dar mais atenção ao usuário e depois ouvir a gravação para anotar suas conclusões. Técnica do “você lembra?” Para determinar se um elemento específico do design (uma mensagem de erro, por exemplo) está contribuindo, inibindo ou não tendo nenhum efeito para o usuário. Durante o debriefing, mostre ao usuário a página do site com o elemento em questão tampado ou removido. Pergunte se ele lembra o que estava naquele ponto.
  • 11. Diretrizes e técnicas de debriefing avançadas Técnica do "Advogado do diabo" O moderador deixa de ser neutro e assume uma opinião contrária aos comentários do participante, a fim de confirmar se ele está realmente sendo sincero. Quando utilizar: - O usuário ameniza as dificuldades encontradas durante o teste de usabilidade e parece relutante em criticar o produto. - É preciso testar uma funcionalidade específica e ter certeza de apontar todos seus pontos negativos antes do lançamento do produto.
  • 12. Diretrizes e técnicas de debriefing avançadas Aplicando a técnica: Seja discreto e cuidadoso. Você não deve influenciar a opinião do usuário, apenas deixá-lo mais à vontade para expressar suas reais críticas e opiniões. O que pode ser dito ao usuário: - Interessante você dizer que gostou quando teve tanta dificuldade no teste - Engraçado, outros usuários tiveram uma opinião totalmente diferente - Você é o primeiro a achar isso
  • 13. Diretrizes e técnicas de debriefing avançadas Observações: Não utilizar esta técnica com participantes facilmente manipuláveis como pessoas muito jovens ou muito idosas e que tenham dificuldade para formular conclusões. Tampouco com aqueles que acham que podem conseguir uma oportunidade de trabalho se agradarem o moderador. Avise previamente a equipe de teste que usará esta técnica, para não pensarem que você está influenciando o usuário.
  • 14. Revisando e alcançando o consenso com os observadores No final da sessão é interessante conversar com os observadores. Pontos positivos: —  Os observadores são mais engajados no teste se eles souberem que haverá uma conversa sobre o teste de usabilidade; —  O entrevistador ordena os problemas/soluções de acordo com o que o time considera de alta prioridade, ajudando a ordenar o relatório final; —  Através da conversa com o time, os problemas tendem a se tornar mais fáceis de serem solucionados.
  • 15. Revisando e alcançando o consenso com os observadores Entre sessões 10 minutos devem ser destinados para conversar com os observadores sobre como foi o teste e o que surpreendeu a todos. A idéia é conversar rapidamente sobre as impressões relacionadas ao teste antes que os observadores se envolvam com outros trabalhos (ler emails, acessar internet, etc). As idéias e observações são escritas em um quadro ou papel com o objetivo de criar uma lista de questões a serem observadas e/ou solucionadas. Depois de todos terem falado, deve-se voltar às observações feitas e perguntar tarefa por tarefa quais aquelas que os observadores julgam mais importantes e descrevê-las. É extremamente importante que todos entrem em consenso com o que foi anotado. Na lista de observações, anotar quais usuários disseram cada uma delas.
  • 16. Revisando e alcançando o consenso com os observadores No final do estudo Quando todas as sessões de testes estiverem sido completadas, é necessário apenas mais uma sessão de debriefing com os observadores. A lista de questões deve ser lida novamente para que todos os observadores façam a última revisão das questões analisadas e entrem em consenso. Dessa forma, o time ordena as questões em ordem de prioridade: Essa lista pode ser feita pedindo aos observadores para falar o "top 10 de itens", através de votação ou são feitas cartas para os observadores ordenarem de acordo com a prioridade. É importante que os observadores façam parte do processo de classificação das prioridades para que não ocorra nenhuma surpresa com relação ao relatório final.
  • 17. Revisando e alcançando o consenso com os observadores No final do estudo O entrevistador deve parar qualquer conversa que esteja relacionada a como redesenhar a interface nesta sessão, já que a maioria dos observadores não viram todas os testes de usabilidade. Apesar de todos concordarem com as questões abordadas, elas são somente impressões acumuladas e memórias, não são dados. O entrevistador deve pensar nos dados coletados e analisá-lo com o objetivo de sutilmente revelar respostas ou mesmo de conflitos com as conversas com os observadores.