Workshop de Surveys

634 visualizações

Publicada em

Workshop dado no UOL sobre a construção, utilização e análise de questionários online (surveys).

Publicada em: Design
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
634
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
8
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Fonte: Barbosa, Simone D. J. Interação humano-computador, 2010.
  • Workshop de Surveys

    1. 1. Workshop de Surveys
    2. 2. Agenda - O que é? Quando usar? (14:00 – 14:15) - Processo (14:15 – 14:25) - Desenvolvendo um questionário (14-25 – 15:25) * Respiro * (15:25 – 15:40) - Avaliando questionários (15:40 – 16:00) - Hands-on time! ( 16:00 – 16:20 ) - Amostra, Recrutamento e Incentivos (16:20 – 16:40) - Análise( 16:40 – 16:50 ) - Reportando os resultados (16:50 – 17:00) 12/2/2014 2
    3. 3. O que é? Quando usar? 12/2/2014 3
    4. 4. O que é? 12/2/2014 4
    5. 5. O que é Survey? • Survey = levantamento de dados. • “Método para coletar informações de pessoas acerca de suas ideias, sentimentos, planos, crenças, bem como origem social, educacional e financeira” – (Fink & Kosecoff, 1985, p. 13) 12/2/2014 5
    6. 6. O que é Questionário? • Questionário = instrumento utilizado no survey. • “Um conjunto de perguntas sobre um determinado tópico que não testa a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos da personalidade e informação biográfica” – (Yaremko, Harari, Harrison & Lynn 1986, p. 186) 12/2/2014 6
    7. 7. Tipos de Surveys • Formulários online • Formulários em papel autoadministrados (questionários) • Entrevistas estruturadas • Entrevistas estruturadas pelo telefone • Enquetes • Aplicações podem ser diversas
    8. 8. Tipos de Entrevistas • Estruturada (nível fácil): o entrevistador se mantém fiel ao roteiro e não explora assuntos que podem surgir durante a entrevista. • Semiestruturada (nível moderado): o entrevistador possui um roteiro dos tópicos ou perguntas e pode explorar as respostas se achar necessário. • Não estruturada (nível difícil): o entrevistador apenas tem um assunto e realiza perguntas de modo flexível. Pode explorar e se aprofundar nos assuntos.
    9. 9. Quando usar ? - Medir e dimensionar: - Requisitos de usuário. - Preferências. - Funcionalidades. - Segmentação dos consumidores. Pós Lançamento Design Estratégia - Feedbacks quantitativos em protótipos - Satisfação e adoção do produto
    10. 10. Quando usar ? • Quando você sabe o que quer: dados quantitativos e/ou dados qualitativos de atitudes, crenças, opiniões, preferências, motivações – comportamento self-reported. • Observar o atual comportamento não é relevante, ou você pode fazer pesquisas de campo/testes de usabilidade para complementar os dados levantados. • Você quer atingir um grande número de pessoas para derivar um comportamento padrão de todo o público. • Quando você tem tempo e budget suficientes. • Quando você tem acesso aos consumidores/prospects/usuários.
    11. 11. Quando usar ? Prós - - - Meio fácil de coletar dados qualitativos Meio fácil para coletar respostas abertas de muitos respondentes. Flexível (telefone, web, email, papel) Facilmente combinado com outras técnicas (observação, focus groups, testes de usabilidade). Contras - - - Exige conhecimento específico (amostra, análise dos dados,...) Pode levar bastante tempo (mais do que você imagina) Não é o melhor meio de avaliar usabilidade (o que as pessoas dizem não é o que elas fazem – combinar com observação)
    12. 12. Processo 12/2/2014 12
    13. 13. Processo
    14. 14. Processo • Entender: – Objetivos a serem estudados – O que deve ser melhorado (site, alguma interação específica...) – Público-alvo (demográfico, background ou comportamental) • Pesquise: – Brainstorm com o time possíveis questões e abordagens – Revisar pesquisas anteriores – Entrevistar interessados e acordar um objetivo comum na pesquisa – Os dados já existem em algum lugar?
    15. 15. Processo • Comece por um outline! Tópicos: - Esclareça os objetivos, - Análise (qual o formato de resultado é esperado?) - Incentivos, - Como os participantes serão recrutados - Como será feito o convite - Tamanho da amostra - Metodologia - Duração - Questionário
    16. 16. Ética na Pesquisa • Resolução 196/96: diretrizes e normas para pesquisa com seres humanos. • Baseada em 4 princípios: autonomia, não-maleficência, beneficência e justiça.
    17. 17. Desenvolvendo um questionário 12/2/2014 17
    18. 18. Seções de um Questionário Introdução Demográficas Questões
    19. 19. Introdução • Dê instruções para o preenchimento (140 caracteres) • Exponha como serão exibidas as questões obrigatórias (opcional) • Garanta a privacidade dos dados que estão sendo solicitados. • Permita que o usuário desista do preenchimento.
    20. 20. Demográficas • Questões demográficas devem ser colocadas somente se houver realmente um objetivo pra elas. • Coloque primeiro as questões que filtram os respondentes (que vão delimitar se a sequência de preenchimento é obrigatória). • Considere mensagens de conclusão: se terminou preenchimento, se qualificou para responder toda a pesquisa.
    21. 21. Formulando as questões Objetividade é a palavrachave! • Use a abordagem de funil (perguntas gerais para específicas), • Comece com perguntas fáceis, • Considere iniciar a pesquisa com questões de pré-teste, • Mantenha as questões e sessões curtas – evite o cansaço! • Inclua instruções e um exemplo, • Não pergunte sobre comportamentos repetitivos ou não marcantes,
    22. 22. Curva aproximada do esquecimento
    23. 23. Formulando as questões • Sempre inclua uma opção “outros” de resposta: – Eu não sei – Prefiro não responder – Todas anteriores • Utilize linguagem familiar – pense nas questões como uma conversa, • Mostre apenas dados mutuamente excludentes, • Evite: questionar tendenciosamente ou guiar, • Evite: Questões que “aparecem” após alguma seleção • Evite: Palavras com significado vago
    24. 24. Formulando as questões • Pergunte “o quanto você...” em vez de “você...” • A ordem dos itens afeta as respostas, • Varie as respostas, use termos negativos, • Faça uma pergunta mais de uma vez, em momentos diferentes da pesquisa, • Utilize questões tanto fechadas quanto abertas.
    25. 25. (embora inconsciente e automaticamente) Fonte: Reeves, B., & Nass, C. (1996). The media equation: How people treat computers, television and new media like real people and places. Cambridge: Cambridge University Press.
    26. 26. Evitando respostas educadas • Crie uma distância entre o meio de avaliação e o objeto a ser avaliado: – Se possível, utilize papel ou computadores separados – Linguagem (“nosso site” X “o site”) – Design da pesquisa, diferente do site – Sem branding ?
    27. 27. Nunca o entrevistador pode - Influenciar respostas dos participantes com alteração da expressão facial, gestos ou entonação na voz. Devemos ser totalmente Poker face!
    28. 28. Lembrete • Nem sempre o que uma pessoa diz que faz é o que ela realmente faz. • Algumas realmente esquecem e outras tentam passar uma boa imagem de si mesmas. Neste caso, é bom observar o entrevistado enquanto ele realiza uma ou mais atividades (investigação contextual)
    29. 29. Dicas • Conquiste o entrevistado no início. • Faça perguntas relevantes. • Pense no perfil de quem vai responder para não criar perguntas complexas. • Não crie perguntas que pode ter mais de um sentido. • Não induza o participante a responder o que você quer. • Evite perguntas que fazem o participante pensar muito para poder responder, ele não lembrará. Ao invés de perguntar quantas vezes no ano, pergunte quantas vezes no último mês.
    30. 30. Tipos de Perguntas Fechadas - Utilizado para avaliar algo e obter um feedback rápido. - Muito usado para obter dados quantitativos. - Requer que o entrevistado conheça as respostas prováveis e escolha uma delas. - Restringe a abrangência do assunto. Qual o horário que você almoça? ( ) 12h ( ) 12h30 ( ) 13h
    31. 31. Tipos de Perguntas Abertas - São exploratórias, ou seja, não há limitação para as respostas dos entrevistados. - É útil quando temos pouco ou nenhum conhecimento sobre um assunto. - Serve para coletar opiniões e fatos desconhecidos ou inesperados. - Análise das perguntas é complexa. - Mais utilizada para obter informações qualitativas. Qual o horário que você almoça? ___________________________ ___________________________
    32. 32. Tipos de Perguntas Semi-Abertas - É o misto da fechada com a aberta. - O entrevistado seleciona uma possível resposta e faz a justificativa da sua escolha ou cita uma outra opção. - Permite que se entenda o motivo da opção escolhida. Qual o horário que você almoça? Justifique sua resposta. ( ) 12h ( ) 12h30 ( ) 13h __________________________________ __________________________________
    33. 33. Tipos de Perguntas Dicôtomica - São questões em que apenas temos uma variável boolena e oposta a outra como Sim/Não ou Concordo/Não Condordo. - Pode também ter uma questão aberta de justificativa da opção escolhida ou mais uma opção caso a pessoa não saiba responder, como ( ) não sei Você já comprou o livro de UX? Justifique sua resposta. ( ) Sim ( ) Não _________________
    34. 34. Tipos de Perguntas Encadeadas - É quando a segunda resposta depende da primeira resposta. - Podem ser fechada, aberta ou semi-aberta. - Utilizada quando uma pergunta tem um complemento em outra questão e que necessita de uma sequência lógica. Qual dispositivo você mais usa? ( ) computador ( ) smartphone ( ) tablet Se você escolheu a opção computador -> Quais sites você costuma acessar? Se você escolheu a opção smartphone -> Você possui conexão 3G? Se você escolheu a opção tablet -> Quais aplicativos você possui instalado?
    35. 35. Tipos de Perguntas Ordem de preferência - Onde são apresentadas várias opções ao entrevistado e não há opção correta. Numere as opções de acordo com sua preferência de horário para almoçar: ( ) 12h ( ) 12h30 ( ) 13h ( ) 13h30
    36. 36. Tipos de Perguntas Múltipla Escolha - É quando se tem um conjunto de respostas válidas e deseja saber as. - Utilizada para descobrir as atividades mais frequentes que o entrevistado faz. - Você pode limitar o número de opções. Quais atividades você realiza diariamente? (marque até três opções) ( ) andar de bicicleta ( ) fazer caminhada ( ) comer frutas ( ) dormir cedo ( ) ir ao parque ( ) levar o cachorro para passear
    37. 37. Tipos de Perguntas Faixas de Valores - Utilizado para questões delicadas como idade e salário, onde os participantes podem não querer responder o valor exato. - Lembre-se de não sobrepor valores como 20-30 / 30-40, onde o 30 aparece em duas opções. Idade: ( ) abaixo de 21 ( ) 21-30 ( ) 31-40 ( ) 41-50 ( ) 51-60
    38. 38. Tipos de Perguntas Escala de Likert - Utilizado para opiniões, atitudes ou satisfação. - A questão é uma afirmação. - Normalmente temos 5 respostas. É fácil aprender sobre questionários através de um workshop: ( ) concordo plenamente ( ) concordo parcialmente ( ) não concordo nem discordo ( ) discordo parcialmente ( ) discordo totalmente
    39. 39. Tipos de Perguntas Escala de Diferenciais Semânticos - Utilizado explorar atitudes e opiniões bipolares. - Normalmente temos 5 ou 7 respostas. Mas podemos ter um número par 4 ou 6 caso queremos evitar que as pessoas fiquem em “cima do muro”. De acordo com sua opinião, o site é: bonito ( ) ( ) ( ) ( ) ( ) feio claro ( ) ( ) ( ) ( ) ( ) confuso útil ( ) ( ) ( ) ( ) ( ) inútil
    40. 40. Entendimento errado da escala
    41. 41. NPS (Net Promoter Score) • Pergunte a uma amostra aleatória de sua pesquisa sobre recomendações (com um campo aberto para explicações)
    42. 42. * RESPIRO * 12/2/2014 42
    43. 43. Avaliando Alguns questionários 12/2/2014 43
    44. 44. Avaliando alguns (1/3) questionários • Uma pesquisa de uma página que questiona sobre o registro online de uma cidade, para serviços recreativos
    45. 45. Avaliando alguns (2/3) questionários • Uma enquete sobre a capacidade dos candidatos a vice-presidente.
    46. 46. Avaliando alguns (3/3) questionários • Uma parte de uma pesquisa feita pela HBO.
    47. 47. Hans-on time! 12/2/2014 67
    48. 48. • Descreva um outline de uma pesquisa para seu produto. – Objetivo: alguma necessidade já levantada – Ou: conhecer seus usuários e opiniões de uso.
    49. 49. Amostra, Recrutamento e Incentivos 12/2/2014 69
    50. 50. Tamanho da Amostra Margem de erro
    51. 51. Tamanho da Amostra Sample Size Calculator: http://www.surveysystem.com/sscalc.htm
    52. 52. Como os participantes serão recrutados Fonte Prós Contra Site independente - Garantia de encontrar uma amostra suficiente e efetiva para seus critérios, Incentivos geralmente já estão incluídos, Pode ser fácil manter pesquisas grandes. - Gratuito Acostumados a receber e-mails deste remetente Investiu no site, então é mais propenso a responder a pesquisa - Usuários Registrados - - - Interceptações - Gratuito Coleta respostas no contexto de uso - - - Respondentes podem ser “profissionais de pesquisa”, Pode ser caro Pode precisar de um incentivo Pode não aceitar pesquisas que levem mais de 15 min para responder Alguns podem ficar bravos com o contato e reclamar (minoria) Pode não gerar uma amostra suficiente Pode levar bastante tempo para coletar respondentes suficientes, Podem não aceitar pesquisas que levam mais de 10 min para responder Pode utilizar o canal para reclamar do produto/serviço.
    53. 53. Aceitação da pesquisa se baseia em: esforço percebido, recompensa e confiança
    54. 54. Como será feito o convite • Determine o script que será utilizado para convidar os participantes • Lembre-se sempre de passar: confiança, a quantidade de esforço necessário e a recompensa • Recompensa: non-cash
    55. 55. Incentivos Quando não usar incentivos Quando usar incentivos • • • A população é grande, como por exemplo uma pesquisa nacional, • Uma resposta já gera informações suficientes para serem utilizadas (entrevista), • O respondente pode levar o tempo que quiser para responder a questão, • O propósito da entrevista é gerar dados de interesses gerais para os públicos, • A pesquisa não contém questões controversas ou não consideradas intrusivas. Fonte: Conselho da Associação dos Profissionais de Estatísticas Federais http://www.copafs.org/seminars/use_of_incentives_five_questions.aspx • • • • • • • • Quando a população de interesse é pequena, Compensar o participante quando há riscos envolvidos (p.e. questionar sobre atividades ilegais), Incentivar boa vontade quando houver alguma evidência de não cooperação, Intrusões ou solicitações não convencionais (entrevistas longas, manter um diário,...) Questões sensíveis são questionadas, Há um “gatekeeper” Envolve um período de pesquisa O alvo são pessoas que geralmente são alvos de pesquisas (CEOs,...) O participante tem algum custo envolvido, Se há alguma organização que geralmente paga para o público responder pesquisas (médicos,...)
    56. 56. Incentivos • Afeta diretamente: – Pode alterar a composição da amostra de respondentes, – Pode mudar a estimativa dos resultados comparativamente às respostas pagas X respostais reias (incluindo potencial efeito em respostas nulas ou como eles respondem. – Ambos podem ser positivos ou negativos • Afeta indiretamente: – Reduz os esforços de recrutamento, – Influencia as expectativas dos participantes, – Encoraja a falsificação entre alguns participantes.
    57. 57. Incentivos • • • • Quanto? Quando? Pré-pagas X Pós-pagas Como? Cash ou Cash-equivalent Incentivos diferenciais pelo públicoalvo? • Uso de condicionais para recebimento dos incentivos (%)
    58. 58. Análise 12/2/2014 78
    59. 59. Análise • Estatística descritiva: – Sumarizar os dados (frequência, média, derivação, etc..) • Estatística inferencial: – Projeta conclusões sobre uma população a partir de uma amostra, – Assume uma probabilidade, – Permite a estimativa de erros.
    60. 60. Um pouquinho de estatística básica.... • Probabilidade – Jogue uma moeda: probabilidade de cara X coroa ? – Chance de seus resultados serem uma casualidade – Vezes que a moeda for jogada (tamanho da amostra) importa • Erro – Diferença entre o que a população quer dizer, e o que sua amostra quer dizer. – Quanto maior for sua amostra, o erro diminui, e a confiança aumenta
    61. 61. Mais um pouquinho de estatística básica... • Estimativa de erro – Nível e intervalos de confiança • Ex: Nós estamos 95% confiantes que a nossa amostra estatística (80% de preferência por incluir uma funcionalidade de busca) é entre + ou – 5% do parâmetro da população. • Auxilia a determinar o mínimo da amostra • Correlação Margem de erro – Pesquisas são boas para medir fortes associações entre variáveis • Ex: A correlação entre Usable e Enjoyable foi .83.
    62. 62. Mais um pouquinho ainda! • Desvio padrão
    63. 63. Mais um pouquinho ainda! • Tabulação cruzada - Formule hipóteses - Procure pelo que NÃO está lá - Procure pelo obvio - Mantenha a mente aberta - Confie nos dados - Observe o “n” http://www.custominsight.com/articles/crosstabsample.asp
    64. 64. Vc quer saber mais né? 
    65. 65. Reportando os resultados 12/2/2014 85
    66. 66. Reportando os resultados • • • • • • • Resumo executivo * Pesquisas anteriores, hipóteses e objetivos Metodologia utilizada Resultados Discussão Recomendação Anexos: Formulário, Dados, Detalhamento da Análise
    67. 67. Reportando os resultados • Dicas: – Faça um relatório de resultados conciso, – Utilize gráficos para enfatizar os pontos principais, – Inclua screenshots, – Reporte tanto resultados positivos quanto negativos, – Evite jargões, – Distribua um PDF, – Armazene em um lugar acessível para futuras consultas.
    68. 68. Checlist para lançamento • Confirme a origem da amostra, • Faça um teste de QA no formulário, • Valide com os interessados, • Decida sobre os incentivos e organize a logística, • Crie um template de email • Receba uma aprovação oficial • Faça um teste de QA no email • Disponibilize um email / telefone para suporte • Launch!
    69. 69. Obrigado ;-) Equipe de Concepção & Interface de Produtos – P&D Av. Brig. Faria Lima, 1.384, 4º andar CEP 01452-002 . São Paulo/SP Telefone: 11 3914.9559 www.uol.com.br 12/2/2014 89

    ×