1.
Workshop de Surveys

2.
Agenda
- O que é? Quando usar? (14:00 – 14:15)
- Processo (14:15 – 14:25)
- Desenvolvendo um questionário (14-25 – 15:25)
* Respiro * (15:25 – 15:40)
- Avaliando questionários (15:40 – 16:00)
- Hands-on time! ( 16:00 – 16:20 )
- Amostra, Recrutamento e Incentivos (16:20 – 16:40)
- Análise( 16:40 – 16:50 )
- Reportando os resultados (16:50 – 17:00)
12/2/2014
2

3.
O que é? Quando usar?
12/2/2014
3

4.
O que é?
12/2/2014
4

5.
O que é Survey?
• Survey = levantamento de
dados.
• “Método para coletar
informações de pessoas
acerca de suas ideias,
sentimentos, planos, crenças,
bem como origem social,
educacional e financeira” –
(Fink & Kosecoff, 1985, p. 13)
12/2/2014
5

6.
O que é Questionário?
• Questionário = instrumento utilizado no survey.
• “Um conjunto de perguntas sobre um determinado
tópico que não testa a habilidade do respondente,
mas mede sua opinião, seus interesses, aspectos da
personalidade e informação biográfica”
– (Yaremko, Harari, Harrison & Lynn 1986, p. 186)
12/2/2014
6

7.
Tipos de Surveys
• Formulários online
• Formulários em papel autoadministrados (questionários)
• Entrevistas estruturadas
• Entrevistas estruturadas pelo
telefone
• Enquetes
• Aplicações podem ser
diversas

8.
Tipos de Entrevistas
• Estruturada (nível fácil): o entrevistador se
mantém fiel ao roteiro e não explora assuntos
que podem surgir durante a entrevista.
• Semiestruturada (nível moderado): o
entrevistador possui um roteiro dos tópicos ou
perguntas e pode explorar as respostas se
achar necessário.
• Não estruturada (nível difícil): o entrevistador
apenas tem um assunto e realiza perguntas de
modo flexível. Pode explorar e se aprofundar
nos assuntos.

9.
Quando usar ?
-
Medir e dimensionar:
- Requisitos de usuário.
- Preferências.
- Funcionalidades.
- Segmentação dos
consumidores.
Pós
Lançamento
Design
Estratégia
-
Feedbacks
quantitativos em
protótipos
-
Satisfação e
adoção do produto

10.
Quando usar ?
• Quando você sabe o que quer: dados quantitativos e/ou
dados qualitativos de atitudes, crenças, opiniões,
preferências, motivações – comportamento self-reported.
• Observar o atual comportamento não é relevante, ou você
pode fazer pesquisas de campo/testes de usabilidade para
complementar os dados levantados.
• Você quer atingir um grande número de pessoas para derivar
um comportamento padrão de todo o público.
• Quando você tem tempo e budget suficientes.
• Quando você tem acesso aos
consumidores/prospects/usuários.

11.
Quando usar ?
Prós
-
-
-
Meio fácil de coletar dados
qualitativos
Meio fácil para coletar
respostas abertas de
muitos respondentes.
Flexível (telefone, web, email, papel)
Facilmente combinado com
outras técnicas
(observação, focus groups,
testes de usabilidade).
Contras
-
-
-
Exige conhecimento
específico (amostra,
análise dos dados,...)
Pode levar bastante tempo
(mais do que você
imagina)
Não é o melhor meio de
avaliar usabilidade (o que
as pessoas dizem não é o
que elas fazem – combinar
com observação)

12.
Processo
12/2/2014
12

13.
Processo

14.
Processo
• Entender:
– Objetivos a serem estudados
– O que deve ser melhorado (site, alguma interação
específica...)
– Público-alvo (demográfico, background ou
comportamental)
• Pesquise:
– Brainstorm com o time possíveis questões e abordagens
– Revisar pesquisas anteriores
– Entrevistar interessados e acordar um objetivo comum na
pesquisa
– Os dados já existem em algum lugar?

15.
Processo
• Comece por um outline!
Tópicos:
- Esclareça os objetivos,
- Análise (qual o formato de
resultado é esperado?)
- Incentivos,
- Como os participantes
serão recrutados
- Como será feito o convite
- Tamanho da amostra
- Metodologia
- Duração
- Questionário

16.
Ética na Pesquisa
• Resolução 196/96:
diretrizes e normas
para pesquisa com
seres humanos.
• Baseada em 4
princípios: autonomia,
não-maleficência,
beneficência e justiça.

17.
Desenvolvendo um
questionário
12/2/2014
17

18.
Seções de um Questionário
Introdução
Demográficas
Questões

19.
Introdução
• Dê instruções para o
preenchimento (140
caracteres)
• Exponha como serão
exibidas as questões
obrigatórias (opcional)
• Garanta a privacidade dos
dados que estão sendo
solicitados.
• Permita que o usuário
desista do preenchimento.

20.
Demográficas
• Questões demográficas devem ser
colocadas somente se houver realmente
um objetivo pra elas.
• Coloque primeiro as questões que filtram
os respondentes (que vão delimitar se a
sequência de preenchimento é
obrigatória).
• Considere mensagens de conclusão: se
terminou preenchimento, se qualificou
para responder toda a pesquisa.

21.
Formulando as questões
Objetividade é
a palavrachave!
• Use a abordagem de funil (perguntas
gerais para específicas),
• Comece com perguntas fáceis,
• Considere iniciar a pesquisa com
questões de pré-teste,
• Mantenha as questões e sessões curtas
– evite o cansaço!
• Inclua instruções e um exemplo,
• Não pergunte sobre comportamentos
repetitivos ou não marcantes,

22.
Curva aproximada do esquecimento

23.
Formulando as questões
• Sempre inclua uma opção “outros” de resposta:
– Eu não sei
– Prefiro não responder
– Todas anteriores
• Utilize linguagem familiar – pense nas questões
como uma conversa,
• Mostre apenas dados mutuamente excludentes,
• Evite: questionar tendenciosamente ou guiar,
• Evite: Questões que “aparecem” após alguma
seleção
• Evite: Palavras com significado vago

24.
Formulando as questões
• Pergunte “o quanto você...” em vez de
“você...”
• A ordem dos itens afeta as respostas,
• Varie as respostas, use termos
negativos,
• Faça uma pergunta mais de uma vez,
em momentos diferentes da pesquisa,
• Utilize questões tanto fechadas quanto
abertas.

25.
(embora inconsciente e automaticamente)
Fonte:
Reeves, B., & Nass, C. (1996). The media equation: How people treat computers, television and new media like real people and places. Cambridge:
Cambridge University Press.

26.
Evitando respostas educadas
• Crie uma distância entre o meio de
avaliação e o objeto a ser avaliado:
– Se possível, utilize papel ou
computadores separados
– Linguagem (“nosso site” X “o site”)
– Design da pesquisa, diferente do site
– Sem branding ?

27.
Nunca o entrevistador pode
- Influenciar respostas dos participantes com
alteração da expressão facial, gestos ou
entonação na voz.
Devemos ser totalmente Poker face!

28.
Lembrete
• Nem sempre o que uma pessoa diz
que faz é o que ela realmente faz.
• Algumas realmente esquecem e outras
tentam passar uma boa imagem de si
mesmas.
Neste caso, é bom observar o
entrevistado enquanto ele realiza uma ou
mais atividades
(investigação contextual)

29.
Dicas
• Conquiste o entrevistado no início.
• Faça perguntas relevantes.
• Pense no perfil de quem vai responder para
não criar perguntas complexas.
• Não crie perguntas que pode ter mais de um
sentido.
• Não induza o participante a responder o que
você quer.
• Evite perguntas que fazem o participante
pensar muito para poder responder, ele não
lembrará. Ao invés de perguntar quantas
vezes no ano, pergunte quantas vezes no
último mês.

30.
Tipos de Perguntas
Fechadas
- Utilizado para avaliar algo e obter um feedback rápido.
- Muito usado para obter dados quantitativos.
- Requer que o entrevistado conheça as respostas prováveis e
escolha uma delas.
- Restringe a abrangência do assunto.
Qual o horário que você almoça?
( ) 12h
( ) 12h30
( ) 13h

31.
Tipos de Perguntas
Abertas
- São exploratórias, ou seja, não há limitação para as respostas
dos entrevistados.
- É útil quando temos pouco ou nenhum conhecimento sobre um
assunto.
- Serve para coletar opiniões e fatos desconhecidos ou
inesperados.
- Análise das perguntas é complexa.
- Mais utilizada para obter informações qualitativas.
Qual o horário que você almoça?
___________________________
___________________________

32.
Tipos de Perguntas
Semi-Abertas
- É o misto da fechada com a aberta.
- O entrevistado seleciona uma possível resposta e faz a
justificativa da sua escolha ou cita uma outra opção.
- Permite que se entenda o motivo da opção escolhida.
Qual o horário que você almoça? Justifique sua resposta.
( ) 12h
( ) 12h30
( ) 13h
__________________________________
__________________________________

33.
Tipos de Perguntas
Dicôtomica
- São questões em que apenas temos uma variável boolena e
oposta a outra como Sim/Não ou Concordo/Não Condordo.
- Pode também ter uma questão aberta de justificativa da opção
escolhida ou mais uma opção caso a pessoa não saiba
responder, como ( ) não sei
Você já comprou o livro de UX? Justifique sua resposta.
( ) Sim
( ) Não
_________________

34.
Tipos de Perguntas
Encadeadas
- É quando a segunda resposta depende da primeira resposta.
- Podem ser fechada, aberta ou semi-aberta.
- Utilizada quando uma pergunta tem um complemento em outra
questão e que necessita de uma sequência lógica.
Qual dispositivo você mais usa?
( ) computador
( ) smartphone
( ) tablet
Se você escolheu a opção computador -> Quais sites você costuma
acessar?
Se você escolheu a opção smartphone -> Você possui conexão 3G?
Se você escolheu a opção tablet -> Quais aplicativos você possui
instalado?

35.
Tipos de Perguntas
Ordem de preferência
- Onde são apresentadas várias opções ao entrevistado e não há
opção correta.
Numere as opções de acordo com sua preferência de horário para
almoçar:
( ) 12h
( ) 12h30
( ) 13h
( ) 13h30

36.
Tipos de Perguntas
Múltipla Escolha
- É quando se tem um conjunto de respostas válidas e
deseja saber as.
- Utilizada para descobrir as atividades mais frequentes que
o entrevistado faz.
- Você pode limitar o número de opções.
Quais atividades você realiza diariamente? (marque até três opções)
( ) andar de bicicleta
( ) fazer caminhada
( ) comer frutas
( ) dormir cedo
( ) ir ao parque
( ) levar o cachorro para passear

37.
Tipos de Perguntas
Faixas de Valores
- Utilizado para questões delicadas como idade e salário, onde os
participantes podem não querer responder o valor exato.
- Lembre-se de não sobrepor valores como 20-30 / 30-40, onde o
30 aparece em duas opções.
Idade:
( ) abaixo de 21
( ) 21-30
( ) 31-40
( ) 41-50
( ) 51-60

38.
Tipos de Perguntas
Escala de Likert
- Utilizado para opiniões, atitudes ou satisfação.
- A questão é uma afirmação.
- Normalmente temos 5 respostas.
É fácil aprender sobre questionários através de um workshop:
( ) concordo plenamente
( ) concordo parcialmente
( ) não concordo nem discordo
( ) discordo parcialmente
( ) discordo totalmente

39.
Tipos de Perguntas
Escala de Diferenciais Semânticos
- Utilizado explorar atitudes e opiniões bipolares.
- Normalmente temos 5 ou 7 respostas. Mas podemos ter um
número par 4 ou 6 caso queremos evitar que as pessoas fiquem
em “cima do muro”.
De acordo com sua opinião, o site é:
bonito ( ) ( ) ( ) ( ) ( ) feio
claro ( ) ( ) ( ) ( ) ( ) confuso
útil
( ) ( ) ( ) ( ) ( ) inútil

40.
Entendimento errado da escala

41.
NPS (Net Promoter Score)
• Pergunte a uma amostra aleatória de
sua pesquisa sobre recomendações
(com um campo aberto para
explicações)

42.
* RESPIRO *
12/2/2014
42

43.
Avaliando Alguns
questionários
12/2/2014
43

44.
Avaliando alguns (1/3) questionários
• Uma pesquisa de uma página que
questiona sobre o registro online de
uma cidade, para serviços recreativos

45.
Avaliando alguns (2/3) questionários
• Uma enquete sobre a capacidade dos
candidatos a vice-presidente.

46.
Avaliando alguns (3/3) questionários
• Uma parte de uma pesquisa feita pela
HBO.

47.
Hans-on time!
12/2/2014
67

48.
• Descreva um outline de
uma pesquisa para seu
produto.
– Objetivo: alguma
necessidade já levantada
– Ou: conhecer seus usuários
e opiniões de uso.

49.
Amostra, Recrutamento
e Incentivos
12/2/2014
69

50.
Tamanho da Amostra
Margem de erro

51.
Tamanho da Amostra
Sample Size Calculator: http://www.surveysystem.com/sscalc.htm

52.
Como os participantes serão recrutados
Fonte
Prós
Contra
Site independente
-
Garantia de encontrar uma
amostra suficiente e efetiva
para seus critérios,
Incentivos geralmente já estão
incluídos,
Pode ser fácil manter pesquisas
grandes.
-
Gratuito
Acostumados a receber e-mails
deste remetente
Investiu no site, então é mais
propenso a responder a
pesquisa
-
Usuários Registrados
-
-
-
Interceptações
-
Gratuito
Coleta respostas no contexto de
uso
-
-
-
Respondentes podem ser
“profissionais de pesquisa”,
Pode ser caro
Pode precisar de um incentivo
Pode não aceitar pesquisas que
levem mais de 15 min para
responder
Alguns podem ficar bravos com
o contato e reclamar (minoria)
Pode não gerar uma amostra
suficiente
Pode levar bastante tempo para
coletar respondentes
suficientes,
Podem não aceitar pesquisas
que levam mais de 10 min para
responder
Pode utilizar o canal para
reclamar do produto/serviço.

53.
Aceitação da pesquisa se baseia em: esforço
percebido, recompensa e confiança

54.
Como será feito o convite
• Determine o script que será utilizado
para convidar os participantes
• Lembre-se sempre de passar:
confiança, a quantidade de esforço
necessário e a recompensa
• Recompensa: non-cash

55.
Incentivos
Quando não usar incentivos
Quando usar incentivos
•
•
• A população é grande, como
por exemplo uma pesquisa
nacional,
• Uma resposta já gera
informações suficientes para
serem utilizadas (entrevista),
• O respondente pode levar o
tempo que quiser para
responder a questão,
• O propósito da entrevista é
gerar dados de interesses
gerais para os públicos,
• A pesquisa não contém
questões controversas ou não
consideradas intrusivas.
Fonte: Conselho da Associação dos Profissionais de Estatísticas Federais
http://www.copafs.org/seminars/use_of_incentives_five_questions.aspx
•
•
•
•
•
•
•
•
Quando a população de interesse é
pequena,
Compensar o participante quando há
riscos envolvidos (p.e. questionar sobre
atividades ilegais),
Incentivar boa vontade quando houver
alguma evidência de não cooperação,
Intrusões ou solicitações não
convencionais (entrevistas longas,
manter um diário,...)
Questões sensíveis são questionadas,
Há um “gatekeeper”
Envolve um período de pesquisa
O alvo são pessoas que geralmente são
alvos de pesquisas (CEOs,...)
O participante tem algum custo
envolvido,
Se há alguma organização que
geralmente paga para o público
responder pesquisas (médicos,...)

56.
Incentivos
• Afeta diretamente:
– Pode alterar a composição da amostra de
respondentes,
– Pode mudar a estimativa dos resultados
comparativamente às respostas pagas X
respostais reias (incluindo potencial efeito em
respostas nulas ou como eles respondem.
– Ambos podem ser positivos ou negativos
• Afeta indiretamente:
– Reduz os esforços de recrutamento,
– Influencia as expectativas dos participantes,
– Encoraja a falsificação entre alguns
participantes.

57.
Incentivos
•
•
•
•
Quanto?
Quando? Pré-pagas X Pós-pagas
Como? Cash ou Cash-equivalent
Incentivos diferenciais pelo públicoalvo?
• Uso de condicionais para recebimento
dos incentivos (%)

58.
Análise
12/2/2014
78

59.
Análise
• Estatística descritiva:
– Sumarizar os dados (frequência, média,
derivação, etc..)
• Estatística inferencial:
– Projeta conclusões sobre uma população
a partir de uma amostra,
– Assume uma probabilidade,
– Permite a estimativa de erros.

60.
Um pouquinho de estatística básica....
• Probabilidade
– Jogue uma moeda: probabilidade de cara X
coroa ?
– Chance de seus resultados serem uma
casualidade
– Vezes que a moeda for jogada (tamanho da
amostra) importa
• Erro
– Diferença entre o que a população quer
dizer, e o que sua amostra quer dizer.
– Quanto maior for sua amostra, o erro diminui,
e a confiança aumenta

61.
Mais um pouquinho de estatística básica...
• Estimativa de erro
– Nível e intervalos de confiança
• Ex: Nós estamos 95% confiantes que a nossa
amostra estatística (80% de preferência por incluir
uma funcionalidade de busca) é entre + ou – 5%
do parâmetro da população.
• Auxilia a determinar o mínimo da amostra
• Correlação
Margem de erro
– Pesquisas são boas para medir fortes
associações entre variáveis
• Ex: A correlação entre Usable e Enjoyable foi .83.

62.
Mais um pouquinho ainda!
• Desvio padrão

63.
Mais um pouquinho ainda!
• Tabulação cruzada
- Formule hipóteses
- Procure pelo que NÃO está lá
- Procure pelo obvio
- Mantenha a mente aberta
- Confie nos dados
- Observe o “n”
http://www.custominsight.com/articles/crosstabsample.asp

64.
Vc quer saber mais né? 

65.
Reportando os
resultados
12/2/2014
85

66.
Reportando os resultados
•
•
•
•
•
•
•
Resumo executivo *
Pesquisas anteriores, hipóteses e objetivos
Metodologia utilizada
Resultados
Discussão
Recomendação
Anexos: Formulário, Dados, Detalhamento
da Análise

67.
Reportando os resultados
• Dicas:
– Faça um relatório de resultados conciso,
– Utilize gráficos para enfatizar os pontos
principais,
– Inclua screenshots,
– Reporte tanto resultados positivos quanto
negativos,
– Evite jargões,
– Distribua um PDF,
– Armazene em um lugar acessível para
futuras consultas.

68.
Checlist para lançamento
•
Confirme a origem da amostra,
•
Faça um teste de QA no formulário,
•
Valide com os interessados,
•
Decida sobre os incentivos e organize a logística,
•
Crie um template de email
•
Receba uma aprovação oficial
•
Faça um teste de QA no email
•
Disponibilize um email / telefone para suporte
•
Launch!

69.
Obrigado ;-)
Equipe de Concepção & Interface de Produtos – P&D
Av. Brig. Faria Lima, 1.384, 4º andar
CEP 01452-002 . São Paulo/SP
Telefone: 11 3914.9559
www.uol.com.br
12/2/2014
89