Testes de Usabilidade - PUC-Rio

1.390 visualizações

Publicada em

Aula sobre Testes de Usabilidade na PUC-Rio.
Pós-graduação em Ergodesign de Interfaces e Arquitetura de Informação. - Luiz Agner, 2014.

Publicada em: Design
0 comentários
9 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.390
No SlideShare
0
A partir de incorporações
0
Número de incorporações
4
Ações
Compartilhamentos
0
Downloads
1
Comentários
0
Gostaram
9
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Testes de Usabilidade - PUC-Rio

  1. 1. TESTES DE USABILIDADE Luiz Agner Doutor em Design - PUC-Rio facebook.com/luiz.agner www.agner.com.br
  2. 2. Testes de usabilidade • O que são?
  3. 3. Testes de usabilidade • São técnicas nas quais os usuários interagem com um produto ou sistema, em condições controladas, para realizar uma tarefa, com objetivos definidos, em um dado cenário, visando a coleta de dados comportamentais.
  4. 4. Testes de usabilidade • Processo empírico de aprender sobre a usabilidade de um produto, observando-os os usuários, durante a utilização. • Processo no qual participantes representativos avaliam o grau que um produto se encontra em relação a critérios específicos de usabilidade.
  5. 5. Testes de usabilidade • Instrumentos indicados para a observação das tarefas do usuário • Obter dados que permitam medir o rendimento, a freqüência de sucesso, a capacidade ou o comportamento de indivíduos, de forma quantitativa e também qualitativa.
  6. 6. Testes de usabilidade • É o processo que envolve o feedback vivo de usuários operando tarefas reais, registrados em vídeo ou gravações de áudio e em condições controladas. • Define se os usuários podem encontrar e utilizar os recursos, dentro do tempo e com o esforço que desejam despender.
  7. 7. Testes de usabilidade • São empregados para avaliação de: - Web sites e aplicações na Internet, - na indústria de software, - na telefonia móvel, - na comunicação técnica - produtos industriais etc.
  8. 8. Origens • As primeiras abordagens de análise da tarefa partiram de Gilbreth e Taylor. • Essas técnicas se restringiram às tarefas psicomotoras repetitivas, e esse estudo objetivou gerar "eficiência". • A meta era determinar a seqüência ótima de ações e reduzir a atividade improdutiva.
  9. 9. Origens
  10. 10. Origens • Os primeiros testes de usabilidade foram aplicados no centro de pesquisas Xerox PARC, pela equipe que desenvolveu o computador ALTO • visaram a determinar quantos botões deveriam ser colocados em um mouse.
  11. 11. Origens Mouse de Doug Engelbart
  12. 12. Origens Computador Alto Xerox – PARC Palo Alto
  13. 13. Tarefa • se aplica a uma unidade de atividade, em uma situação de trabalho. • pode ser imposta ou ser determinada por vontade própria. • requer mais de uma operação física ou mental para ser completada. • conotação de uma atividade não-trivial e em alguns casos complexa. • tem sempre um objetivo definido.
  14. 14. Ciclo do produto • são eficientes quando implementados como parte do processo de desenvolvimento de um produto. • uma forma de determinar os tipos de testes é através do ciclo de vida de desenvolvimento de um produto. • Ciclo de vida de desenvolvimento de um produto.
  15. 15. Ciclo do produto
  16. 16. Abordagem tradicional • A abordagem tradicional era muito cara. • Os experimentos envolviam entre 30 e 50 participantes. • Rigor científico e estatístico.
  17. 17. Mudança de paradigma • NIELSEN propôs testes com melhor relação custobenefício, utilizando entre quatro e cinco usuários. • dispensa das gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas. • “Usabilidade de guerrilha”
  18. 18. Mudança de paradigma Não é necessário: • • • • laboratório com espelhos software de data-logging câmera e editor de vídeo relatório final formal
  19. 19. Espaço físico
  20. 20. Espaço físico
  21. 21. Espaço físico
  22. 22. Espaço físico
  23. 23. Espaço físico
  24. 24. Espaço físico
  25. 25. Espaço físico
  26. 26. Espaço físico
  27. 27. Espaço físico
  28. 28. Laboratórios
  29. 29. Laboratórios
  30. 30. Laboratórios
  31. 31. Laboratórios
  32. 32. Laboratórios
  33. 33. Laboratórios
  34. 34. Laboratórios
  35. 35. Laboratórios
  36. 36. Laboratórios
  37. 37. Laboratórios
  38. 38. Laboratórios
  39. 39. Laboratórios
  40. 40. Laboratórios
  41. 41. Laboratórios
  42. 42. Laboratórios
  43. 43. Laboratórios
  44. 44. Laboratórios
  45. 45. Laboratórios
  46. 46. Laboratórios
  47. 47. Laboratórios
  48. 48. Laboratórios Laboratório Portátil em hotel em Sydney (NN Group)
  49. 49. Laboratórios Laboratorio Portátil em hotel em Hong Kong (NN Group) Observadores clientes atrás da TV. A TV foi emprestada do hotel.
  50. 50. Laboratórios
  51. 51. Laboratórios
  52. 52. Laboratórios
  53. 53. Dimensões • • • • • Formativo Exclusivo Qualitativo Cooperativo Livre Validativo Comparativo Quantitativo Individual Estruturado
  54. 54. Características • Teste em laboratório • Teste de campo • Teste remoto
  55. 55. Teste de Campo • Local de trabalho, estudo ou residência. Testes do portal IBGE (Tese Luiz Agner PUC-Rio)
  56. 56. Teste Remoto
  57. 57. Teste Remoto
  58. 58. Teste Remoto
  59. 59. Teste Remoto
  60. 60. Teste Remoto
  61. 61. Teste Remoto - NNGroup Ethn.io + GoToMeeting
  62. 62. Teste Remoto - NNGroup Ethn.io + GoToMeeting
  63. 63. Tipos de testes • • • • Teste de Exploração Teste de Avaliação Teste de Validação Teste de Comparação
  64. 64. Teste de exploração • • • • Quando usar: nas fases iniciais do ciclo de design. Que funcionalidades incluir? Objetivo: Explorar o modelo mental do usuário a respeito das tarefas em questão. Avaliar se o usuário distingue os elementos funcionais da interface; se o usuário aprova as funções apresentadas; procura estabelecer um modelo intuitivo. Metodologia: Alto grau de interação entre o monitor e o participante; procura encontrar pontos de confusão do usuário. Também chamado de "walktrough". Exemplo: O usuário é apresentado a uma situação ou problema concreto e estimulado a falar sobre suas expectativas, suposições e desejos (abordagem qualitativa).
  65. 65. Teste de comparação • • • • Quando usar: em qualquer estágio do ciclo de design. Nos primeiros estágios, pode ser usado, para comparar diferenças entre estilos de interface através do teste de exploração; nos ciclos intermediários, pode ser usado para medir a efetividade de um elemento da interface; no final do ciclo, um teste de comparação pode ser usado para ver como a liberação de um produto atinge um produto concorrente. Objetivo: Comparar soluções alternativas entre si e determinar qual deles é mais fácil de usar. Metodologia: Um teste exploratório onde diversas soluções são comparadas entre si. O resultado é um produto que combina o melhor de diversas idéias. Exemplo: Localize onde está localizada a ajuda nos seguintes websites.
  66. 66. Teste de avaliação • • • • Quando usar: nas fases intermediárias do ciclo de design. É o tipo de teste mais comum. Objetivo: Determinar se os modelos conceituais foram implementados adequadamente. Procurar mensurar a efetividade da implementação. Busca verificar como um usuário consegue desenvolver tarefas reais, identificando deficiências específicas de usabilidade. Metodologia: O usuário executa tarefas e o monitor fica observando sem interferir. Alguns dados quantitativos de eficiência de uso são reunidos. É dada mais ênfase ao comportamento. Exemplo: Usuário é instruído a renovar um livro na biblioteca online.
  67. 67. Teste de validação • • • • Quando usar: na fase final, perto do lançamento do produto. Objetivo: Certificar que o produto satisfaz os padrões desejados de tempo e esforço para completar com facilidade as tarefas. Esses padrões foram estabelecidos por testes anteriores. Verificar como todas as peças do design funcionam em conjunto e como o produto se enquadra em relação a padrões de usabilidade, padrões de performance e padrões históricos. Metodologia: Determinar tempos para as tarefas (benchmarks). Os dados quantitativos e tempos das tarefas são analisados minuciosamente e tornam-se muito importantes. Enfatiza maior rigor experimental e de consistência nos julgamentos quantitativos. Exemplo: "Acesse sua conta na biblioteca virtual e faça a renovação online de seus livros. Tempo: 1 minuto".
  68. 68. Papéis da equipe • • • • • Moderador (ou facilitador) Anotador Operador de vídeo Perito Observador
  69. 69. Papel do moderador • É responsável por tudo que ocorre durante a sessão de teste. • Sua função é interagir com o participante, coletar informações, compilar e comunicar o resultado para a equipe de desenvolvimento. • Ele é responsável por toda preparação incluindo material, arranjos e a coordenação.
  70. 70. Perfil do moderador • especialista em fatores humanos (psicólogo, engenheiro industrial), • especialista de mercado (cliente, marketing, usuário), • comunicador (escritor, especialista em treinamento), ou • consultor externo. • Deve ter independência. Não deve ser o dono do produto que está sendo testado.
  71. 71. O bom moderador • • • • • • • • • • • Conhecedor das disciplinas do DCU Aprender rápido: absorver o sistema Empatia com participantes Memória excelente Bom ouvinte Confortável com ambiguidades Flexibilidade Capacidade de atenção prolongada Enxergar a floresta Bom comunicador (persuasão, habilidade oral e escrita) Bom organizador e coordenador: o teste é um projeto
  72. 72. Problemas da moderação • • • • • • Influenciar em vez de facilitar Envolvido demais com o registro dos dados Parecer ter grande conhecimento Muito apegado ao plano de teste Não se adaptar à personalidade do usuário Tirar conclusões prematuras
  73. 73. Aprimore a sua moderação • • • • • • Aprenda os princípios da ergonomia Observe outros moderadores Observe a si próprio (gravações) Trabalhe junto com um mentor Praticar, praticar, praticar... Aprenda meditação! Ver Steve Krug: Moderação de teste no YouTube
  74. 74. Amostragem é o conjunto de procedimentos através dos quais se seleciona uma amostra de uma População. • Probabilística - Procedimento em que todos os elementos da População têm uma probabilidade conhecida e superior a zero de integrar a Amostra. • Não Probabilística – Intencional - Amostragem Não Probabilística subordinada a objetivos específicos do investigador. – Não intencional - Amostragem Não Probabilística regida por critérios de conveniência e/ou de disponiblidade dos inquiridos.
  75. 75. Métricas • • • • • • • • • O tempo da tarefa; A porcentagem de tarefas completadas; A porcentagem de tarefas não completadas; Número de erros; Tempo de navegação em busca da informação; Número de passos; Número de cliques; Quantidade de informações encontradas; Número de acessos à ajuda.
  76. 76. Dados qualitativos • São dados coletados por escrito, oralmente, por questionário on-line ou através do questionamento do participante após o teste. • Gravação de uma entrevista aberta. [2] [3]
  77. 77. Dados qualitativos • As percepções e a satisfação sejam dados qualitativos (subjetivos), podem ser quantificadas através de questionários. • • • • • • • “Notas” para: facilidade de uso; facilidade de navegação; utilidade; facilidade de aprendizado; facilidade de se recuperar de erros; ajudas online ou offline; aspectos positivos relembrados.
  78. 78. Documentos de apoio • Questionário de pré-teste – para definir o perfil dos participantes; • Questionário pós-teste – para aplicação após o teste; • Declaração de ciência e autorização – consentimento para gravações e sua utilização e outras informações.
  79. 79. Tamanho da amostra Depende de: • • • • • objetivos do teste, grau de confiança que se deseja atingir, recursos disponíveis análise do tipo de participantes, e tempo estimado de duração da sessão de testes.
  80. 80. Tamanho da amostra • Se o objetivo do teste é validar resultados estatísticos, será necessária uma quantidade de participantes a fim de conduzir às análises apropriadas e generalização de uma população específica. • Se o objetivo é tentar expor os problemas de usabilidade do produto, 5 participantes são capazes de expor a maioria (80%) dos problemas.
  81. 81. Tamanho da amostra
  82. 82. Tamanho da amostra: 5 • Mas há exceções: – Estudos quantitativos : mínimo de 20 – Card sorting: mínimo de 15 – Eyetracking: mínimo de 39 • Obs - A maioria dos estudos de usabilidade devem ser qualitativos (buscam insights, e não números para impressionar num Power Point).
  83. 83. Tamanho da amostra • Argumentos inválidos para aumentar a amostra: – – – – Nosso website tem milhões de usuários O site tem centenas de features Temos diferentes audiências Nossa verba para usabilidade é grande • Obtem-se o maior ROI com mais iterações e não com um maior número de indivíduos na amostra.
  84. 84. Perfil dos participantes • A seleção é crucial para o sucesso. • Identificar habilidades relevantes e o conhecimento do público-alvo. • Perfil e caracterização do usuário são determinados nos primeiros estágios do desenvolvimento e servem como base para a seleção dos participantes.
  85. 85. Perfil dos participantes • As informações necessárias para se determinar o perfil do participante dos testes podem ser encontradas na especificação funcional, em análises e estudos realizados no mercado, junto ao gerente do produto, grupos de discussão e padrões competitivos.
  86. 86. Perfil dos participantes • histórico pessoal: idade, gênero, habilidade com computador; • histórico educacional: grau, assuntos estudados; • experiência computacional: tempo de utilização, freqüência, periféricos; • experiência com o produto: tempo de utilização, freqüência, tarefas; • histórico da ocupação: cargo ocupado, responsabilidades, tempo de trabalho na companhia atual.
  87. 87. Perfil dos participantes • Uma maneira de conseguir uma representação efetiva é subdividir o perfil em diferentes categorias. • Por exemplo, subdividir em usuários novatos e em usuários experientes determinando um número fixo para cada perfil.
  88. 88. Onde selecionar participantes • • • • • • • • • listas de clientes, listas de usuários potenciais, organizações profissionais, associações de usuários, anúncios em jornais, campi universitários, colégios, listas de amigos ou de colegas, empresas de pesquisa de mercado, agências de empregos.
  89. 89. Cenários e tarefas • Para observar os participantes, devemos dar-lhes atividades para realizar. • É melhor situar a atividade diante de um curto cenário para contextualização e explicação.
  90. 90. Cenários e tarefas • Para redigir os cenários, deve-se antes identificar quais os objetivos gerais do usuário. • Exemplos de objetivos gerais (site de consultoria) • Encontrar artigos sobre um tema • Inscrever-se em seminários • Informar-se sobre serviços prestados
  91. 91. Cenários e tarefas • Cenário – Você está planejando férias em New York entre 3 e 14 de março. Você vai precisar comprar passagens aéreas e reservar seu hotel. • Tarefa – Acesse os sites da American Airlines e jetBlue e verifique qual deles apresenta as melhores ofertas.
  92. 92. Cenários e tarefas • Cenário - Você está realizando entrevistas para uma pesquisa domiciliar do IBGE. Você abriu um domicílio e verificou que lá vivia uma família de 3 pessoas. • Tarefa – Registre os dados das 3 pessoas que formam a família no seu PDA.
  93. 93. Cenários e tarefas • Cenário – Você teve que interromper a entrevista por solicitação do informante. Você deverá telefonar depois, e agendar a continuação da entrevista para um outro dia. • Tarefa – Utilizando o PDA, anote o telefone do informante no campo adequado e escreva um lembrete para ligar na próxima quinta-feira, entre 8h e meio-dia.
  94. 94. Cenários e tarefas • Cenário – Você deverá dar continuidade a uma entrevista iniciada no mês anterior. • Tarefa – Salve os dados no seu PDA, e acesse o arquivo da entrevista do mês anterior.
  95. 95. Dica: a tarefa deve ser realista • Objetivo do usuário – Pesquisar produtos e comprar um item. • Tarefa pobre – Compre um par de tênis Nike para corrida na cor laranja. • (o usuário pode não ter este gosto e não vai se engajar na tarefa) • Tarefa melhor – Compre um par de sapatos de até R$ 200,00.
  96. 96. Dica: a tarefa deve ser acionável • Objetivo do usuário – Encontrar filmes e horários das sessões • Tarefa pobre – Você quer ver um filme no domingo. Vá até Ingresso.com e diga aonde você clicaria. • (é melhor observar o usuário realizando a ação do que perguntar o que ele faria; as palavras do usuário não têm precisão). • Tarefa melhor – Use o site Ingresso.com para encontrar um filme que você quer ver no domingo.
  97. 97. Dica: evite dar pistas e os passos • Objetivo do usuário – Consultar suas notas • Tarefa pobre – Você quer verificar suas notas. Vá até o website, faça o login e me diga aonde você clicaria para pegar o seu “histórico-escolar”. • (é melhor observar o usuário realizando a ação do que perguntar o que ele faria; as palavras do usuário não têm precisão). • (empregar a terminologia da interface vai influenciar). • Tarefa melhor – Verifique os seus resultados neste semestre letivo.
  98. 98. Softwares de captura (exemplos)
  99. 99. Softwares de captura (exemplos) Para IPAD 2 com IOS 7+
  100. 100. Protocolos de verbalização • Protocolos de verbalização de pensamentos são protocolos utilizados durante os testes de usabilidade. • Os usuários são incentivados a exteriorizar seus pensamentos em voz alta, enquanto trabalham nas tarefas. • Acredita-se que tenha grande validade, já que os dados obtidos refletem o uso real do artefato e não julgamentos dos participantes sobre a sua usabilidade.
  101. 101. Protocolos de verbalização • O protocolo think aloud é a ferramenta mais importante da usabilidade. – – – – – Barato Robusto Flexível (pode ser usado com métodos ágeis) Convincente Fácil de aprender • Seus problemas: – – – – Uma situação não-natural para o usuário Declarações filtradas pelo usuário (parecer inteligente) Influência excessiva do moderador (bias) Não é mágico, pressupõe outras pesquisas conjuntas.
  102. 102. Protocolo Concorrente (PC) • Diferenciação entre: - protocolo retrospectivo (PR) e - protocolo concorrente (PC). • O protocolo concorrente resulta em um número maior de problemas observados. • O protocolo concorrente (PC) é mais adequado para problemas estritamente orientados a tarefas do teste.
  103. 103. Protocolo Retrospectivo (PR) • Nele, em vez de verbalizar os pensamentos durante a realização da tarefa, os participantes do teste completam as tarefas silenciosamente, e verbalizam os pensamentos depois - após terem assistido a um vídeo com a gravação da sua performance.
  104. 104. Protocolo Retrospectivo (PR) • O protocolo retrospectivo (PR) se mostra eficiente para detectar problemas que só poderiam ser encontrados através da verbalização. • O protocolo retrospectivo (PR) é adequado para problemas de natureza abrangente. • Os participantes de testes com PR em geral fornecem explicações e sugestões; • os participantes sob a condição de PC se limitam a descrições.
  105. 105. Pré-testes • Walktrough e Teste Piloto (Carol Barnum) • Prevenir que problemas no teste afetem o resultado • Usuário não precisa fazer parte do público-alvo • Pode-se testar partes em separado (redação das tarefas, redação dos cenários, salas, equipamento, etc.)
  106. 106. Walktrough • Um usuário “tolerante” (não necessariamente do público-alvo) é selecionado para a participação no walkthrough.
  107. 107. Walktrough • É a primeira chance de testar o equipamento, checar os materiais (documentos, checklists, questionários), o cenário, as tarefas, a terminologia, o tempo previsto e as perguntas (Barnum).
  108. 108. Teste piloto • O teste piloto é um “teste do teste” e o seu participante deve ser recrutado dentro do grupo de usuários-alvo. • Se tudo correr bem, funciona como o primeiro teste válido.
  109. 109. Roteiro - passo a passo • • • • • • • • • • • • Montar o aparato no local, receber de modo cortês o participante, oferecer um pequeno lanche, descrever o aparato, informar sobre o tempo de duração, solicitar a leitura e assinatura do termo de ciência e autorização, explicar que não é o participante que será testado e sim a interface, auxiliar na colocação do microfone, descrever o protocolo de verbalização, perguntar se há dúvidas, falar sobre ajuda e finalização, solicitar o preenchimento do questionário de pré-teste,
  110. 110. Roteiro - passo a passo • • • • • • • • • • acionar o software e verificar o seu funcionamento, apresentar o cenário e a primeira tarefa por escrito, iniciar a gravação anotando os tempos, estimular o uso do protocolo durante as tarefas, se a primeira tarefa for completada apresentar a segunda tarefa por escrito, desligar a câmera e salvar os arquivos, solicitar o preenchimento do questionário de pós-teste, realizar uma entrevista aberta registrada com gravador de mão, solicitar que o participante avalie o próprio método. Ao término, agradecer e oferecer-lhe um pequeno presente.
  111. 111. Análise dos dados • Compilar e Resumir os Dados • Análise – – – – Identificar pontos positivos Identificar erros e dificuldades dos participantes Identificar a fonte dos erros Priorizar problemas • Gerar Recomendações – Recomendações de maior impacto – Recomendações de curto e longo prazos – Áreas para futura pesquisa adicional • Redigir o Relatório Final
  112. 112. Planejamento • • • • • • • • • estabelecer a equipe; definir as características e tipo do teste definir a audiência-alvo; estabelecer objetivos e métricas; estabelecer o perfil do usuário; selecionar os cenários e tarefas; determinar como analisar os resultados; definir cronograma, escrever o plano.
  113. 113. Proposta de atividade Em grupos de alunos: • • • • Moderador Anotador Operador Observador Desenvolver um plano de testes e aplicá-lo.

×