O documento discute testes de usabilidade, definindo-os como técnicas para observar usuários interagindo com um produto ou sistema sob condições controladas para realizar tarefas com objetivos definidos e coletar dados comportamentais. Testes de usabilidade são importantes para identificar problemas de usabilidade e medir a eficácia, eficiência e satisfação do usuário. O documento também descreve os tipos de testes, planejamento, métricas, perfil de participantes e outros aspectos dos testes de usabilidade.

1. TESTES DE USABILIDADE Luiz Agner Doutorando Design - PUC-Rio [email_address] www.agner.com.br

2. O que é IHC? Campo interdisciplinar envolvendo aspectos de psicologia, ergonomia, informática, comunicação, design e outros. Objetivo - facilitar o projeto , a execução e avaliação de ambientes computacionais.

3. O que é IHC? O comportamento humano não é sempre igual, e é cheio de surpresas Dificuldade em se estabelecer “verdades” Busca desenvolver um modelo teórico de performance humana Busca criar ferramentas capazes de medir a facilidade de uso.

4. O que é IHC? 4 componentes: - o usuário - a tarefa - o contexto - o sistema

5. Usabilidade: o conceito Utilizado para descrever a qualidade da interação de uma interface com seus usuários. A usabilidade é relacionada à eficácia, eficiência e satisfação da interface diante do usuário.

6. Usabilidade: o conceito Fatores: · facilidade de aprendizado ; · facilidade de memorização de tarefas; . produtividade na execução de tarefas; · prevenção e redução de erros ; · satisfação subjetiva do usuário.

7. Problemas de usabilidade Ocorrem quando um grupo de usuários encontra dificuldades para realizar as tarefas . Têm origens variadas Podem ocasionar perda de dados, diminuição da produtividade.

8. Problemas de usabilidade Podem levar à rejeição por parte dos usuários.

9. Testes de usabilidade O que são?

10. Testes de usabilidade São técnicas etnográficas nas quais os usuários interagem com um produto ou sistema, em condições controladas , para realizar uma tarefa, com objetivos definidos, em um dado cenário, visando a coleta de dados comportamentais .

11. Testes de usabilidade Processo empírico de aprender sobre a usabilidade de um produto, observando-os os usuários, durante a utilização . Processo no qual participantes representativos avaliam o grau que um produto se encontra em relação a critérios específicos de usabilidade.

12. Testes de usabilidade Instrumentos indicados para a observação das tarefas do usuário Obter dados que permitam medir o rendimento, a freqüência de sucesso, a capacidade ou o comportamento de indivíduos, de forma quantitativa e também qualitativa .

13. Testes de usabilidade É o processo que envolve o feedback vivo de usuários operando tarefas reais, registrados em vídeo ou gravações de áudio e em condições controladas. Define se os usuários podem encontrar e utilizar os recursos, dentro do tempo e com o esforço que desejam despender.

14. Testes de usabilidade São empregados para avaliação de: - Web sites e aplicações na Internet, - na indústria de software , - na telefonia móvel, - na comunicação técnica - produtos industriais etc.

15. Origens As primeiras abordagens de análise da tarefa partiram de Gilbreth e Taylor . Essas técnicas se restringiram às tarefas psicomotoras repetitivas , e esse estudo objetivou gerar " eficiência ". A meta era determinar a seqüência ótima de ações e reduzir a atividade improdutiva.

16. Origens Os primeiros testes de usabilidade foram aplicados no centro de pesquisas Xerox PARC , pela equipe que desenvolveu o computador ALTO visaram a determinar quantos botões deveriam ser colocados em um mouse .

17. Tarefa se aplica a uma unidade de atividade , em uma situação de trabalho. pode ser imposta ou ser determinada por vontade própria. requer mais de uma operação física ou mental para ser completada. conotação de uma atividade não-trivial e em alguns casos complexa. tem sempre um objetivo definido.

18. Características O objetivo principal é aprimorar a usabilidade dos produtos. Os participantes do teste devem ser usuários reais dos produtos. Os participantes executam tarefas reais. Você observa e grava tudo o que os participantes fazem e/ou dizem. Você analisa os dados , faz o diagnóstico ergonômico dos problemas e gera as recomendações para solucioná-los.

19. Ciclo do produto são eficientes quando implementados como parte do processo de desenvolvimento de um produto. uma forma de determinar os tipos de testes é através do ciclo de vida de desenvolvimento de um produto. Ciclo de vida de desenvolvimento de um produto.

20. Ciclo do produto

21. Abordagem tradicional A abordagem tradicional era muito cara. Os experimentos envolviam entre 30 e 50 participantes. Rigor científico e estatístico.

22. Mudança de paradigma NIELSEN propôs testes com melhor relação custo-benefício , utilizando entre quatro e cinco usuários. dispensa das gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.

23. Mudança de paradigma

24. Mudança de paradigma Não é necessário: laboratório com espelhos software de data-logging câmera e editor de vídeo relatório final formal

25. Espaço físico

26. Espaço físico

27. Espaço físico Existem várias estruturas possíveis para a realização de testes de usabilidade. O ideal é a utilização de duas salas – uma reservada aos testes e outra reservada à observação.

28. Espaço físico o avaliador possui liberdade de movimentação e de realizar anotações proximidade visual do participante, evitando que se sinta isolado . encorajamento para o participante se expressar em voz alta . cautela para que o comportamento do avaliador não afete o andamento do teste.

29. Espaço físico

30. Espaço físico

31. Espaço físico

32. Espaço físico

33. Espaço físico

34. Espaço físico

35. Laboratórios

36. Laboratórios

37. Laboratórios

38. Laboratórios

39. Laboratórios

40. Laboratórios

41. Laboratórios

42. Laboratórios

43. Laboratórios

44. Laboratórios

45. Laboratórios

46. Laboratórios

47. Laboratórios

48. Planejamento estabelecer a equipe ; definir as características e tipo do teste definir a audiência-alvo ; estabelecer objetivos e métricas ; estabelecer o perfil do usuário ; selecionar os cenários e tarefas ; determinar como analisar os resultados ; escrever o plano.

49. Características Teste em laboratório Teste de campo Teste remoto

50. Tipos de testes Teste de Exploração Teste de Avaliação Teste de Validação Teste de Comparação

51. Teste de exploração Quando usar: nas fases iniciais do ciclo de design. Que funcionalidades incluir? Objetivo : Explorar o modelo mental do usuário a respeito das tarefas em questão. Avaliar se o usuário distingue os elementos funcionais da interface; se o usuário aprova as funções apresentadas; procura estabelecer um modelo intuitivo. Metodologia : Alto grau de interação entre o monitor e o participante; procura encontrar pontos de confusão do usuário. Também chamado de " walktrough ". Exemplo : O usuário é apresentado a uma situação ou problema concreto e estimulado a falar sobre suas expectativas, suposições e desejos (abordagem qualitativa).

52. Teste de avaliação Quando usar : nas fases intermediárias do ciclo de design. É o tipo de teste mais comum. Objetivo : Determinar se os modelos conceituais foram implementados adequadamente. Procurar mensurar a efetividade da implementação. Busca verificar como um usuário consegue desenvolver tarefas reais, identificando deficiências específicas de usabilidade. Metodologia : O usuário executa tarefas e o monitor fica observando sem interferir. Alguns dados quantitativos de eficiência de uso são reunidos. É dada mais ênfase ao comportamento. Exemplo : Usuário é instruído a renovar um livro na biblioteca online.

53. Teste de validação Quando usar : na fase final, perto do lançamento do produto. Objetivo : Certificar que o produto satisfaz os padrões desejados de tempo e esforço para completar com facilidade as tarefas. Esses padrões foram estabelecidos por testes anteriores. Verificar como todas as peças do design funcionam em conjunto e como o produto se enquadra em relação a padrões de usabilidade, padrões de performance e padrões históricos. Metodologia : Determinar tempos para as tarefas ( benchmarks ). Os dados quantitativos e tempos das tarefas são analisados minuciosamente e tornam-se muito importantes. Enfatiza maior rigor experimental e de consistência nos julgamentos quantitativos. Exemplo : "Acesse sua conta na biblioteca virtual e faça a renovação online de seus livros. Tempo: 1 minuto".

54. Teste de comparação Quando usar : em qualquer estágio do ciclo de design. Nos primeiros estágios, pode ser usado, para comparar diferenças entre estilos de interface através do teste de exploração; nos ciclos intermediários, pode ser usado para medir a efetividade de um elemento da interface; no final do ciclo, um teste de comparação pode ser usado para ver como a liberação de um produto atinge um produto concorrente. Objetivo : Comparar soluções alternativas entre si e determinar qual deles é mais fácil de usar. Metodologia : Um teste exploratório onde diversas soluções são comparadas entre si. O resultado é um produto que combina o melhor de diversas idéias. Exemplo : Localize onde está localizada a ajuda nos seguintes websites.

55. Papéis da equipe Moderador (ou facilitador) Anotador Operador de vídeo Perito Observador

56. Papel do moderador É responsável por tudo que ocorre durante a sessão de teste. Sua função é interagir com o participante , coletar informações, compilar e comunicar o resultado para a equipe de desenvolvimento. Ele é responsável por toda preparação incluindo material, arranjos e a coordenação.

57. Perfil do moderador especialista em fatores humanos (psicólogo, engenheiro industrial), especialista de mercado (cliente, marketing, usuário), comunicador (escritor, especialista em treinamento), ou consultor externo. Deve ter independência. Não deve ser o dono do produto que está sendo testado.

58. Métricas O tempo da tarefa; A porcentagem de tarefas completadas ; A porcentagem de tarefas não completadas ; Número de erros ; Tempo de navegação em busca da informação; Número de passos ; Número de cliques ; Quantidade de informações encontradas; Número de acessos à ajuda .

59. Dados qualitativos São dados coletados por escrito, oralmente, por questionário on-line ou através do questionamento do participante após o teste.

60. Dados qualitativos As percepções e a satisfação sejam dados qualitativos (subjetivos), podem ser quantificadas através de questionários. “Notas” para: facilidade de uso; facilidade de navegação; utilidade; facilidade de aprendizado; facilidade de se recuperar de erros; ajudas online ou offline; aspectos positivos relembrados.

61. Documentos de apoio Questionário de pré-teste – para definir o perfil dos participantes; Questionário pós-teste – para aplicação após o teste; Declaração de ciência e autorização – consentimento para gravações e sua utilização e outras informações.

62. Amostragem é o conjunto de procedimentos através dos quais se seleciona uma amostra de uma População. Probabilística - Procedimento em que todos os elementos da População têm uma probabilidade conhecida e superior a zero de integrar a Amostra. Não Probabilística Intencional - Amostragem Não Probabilística subordinada a objetivos específicos do investigador. Não intencional - Amostragem Não Probabilística regida por critérios de conveniência e/ou de disponiblidade dos inquiridos.

63. Tamanho da amostra Depende de: objetivos do teste, grau de confiança que se deseja atingir, recursos disponíveis análise do tipo de participantes, e tempo estimado de duração da sessão de testes.

64. Tamanho da amostra Se o objetivo do teste é validar resultados estatísticos , será necessária uma quantidade de participantes a fim de conduzir às análises apropriadas e generalização de uma população específica. Se o objetivo é tentar expor os problemas de usabilidade do produto, 4 a 5 participantes são capazes de expor a maioria (80%) dos problemas.

65. Tamanho da amostra

66. Perfil dos participantes A seleção é crucial para o sucesso. Identificar habilidades relevantes e o conhecimento do público-alvo. Perfil e caracterização do usuário são determinados nos primeiros estágios do desenvolvimento e servem como base para a seleção dos participantes.

67. Perfil dos participantes As informações necessárias para se determinar o perfil do participante dos testes podem ser encontradas na especificação funcional, em análises e estudos realizados no mercado, junto ao gerente do produto, grupos de discussão e padrões competitivos.

68. Perfil dos participantes histórico pessoal: idade, gênero, habilidade com computador; histórico educacional: grau, assuntos estudados; experiência computacional: tempo de utilização, freqüência, periféricos; experiência com o produto: tempo de utilização, freqüência, tarefas; histórico da ocupação: cargo ocupado, responsabilidades, tempo de trabalho na companhia atual.

69. Perfil dos participantes Uma maneira de conseguir uma representação efetiva é subdividir o perfil em diferentes categorias. Por exemplo, subdividir em usuários novatos e em usuários experientes determinando um número fixo para cada perfil.

70. Onde selecionar participantes listas de clientes , listas de usuários potenciais, organizações profissionais, associações de usuários, anúncios em jornais, campi universitários, colégios, listas de amigos ou de colegas, empresas de pesquisa de mercado, agências de empregos.

71. Cenários e tarefas - evitar criar cenários com passo-a-passos (instruções); e - evitar redigi-los na linguagem do produto. O vocabulário dever ser o do usuário.

72. Exemplo de cenário Cenário - Você está realizando uma pesquisa para o seu curso de pós-graduação (mestrado ou doutorado). A sua pesquisa envolverá o estudo do comportamento de consumo da população idosa no Brasil. Para completar a redação do capítulo inicial, você deverá incluir alguns dados demográficos atuais sobre a distribuição da população idosa no País.

73. Exemplo de tarefa Tarefa 1 “A partir da home page do portal IBGE, identifique em que estado do Brasil reside a maior concentração de pessoas idosas (com mais de 60 anos). Aponte o número atual, em termos absolutos”.

74. Exemplo de tarefa Tarefa 2 “ A partir da home page do portal IBGE, descubra em que bairro da cidade de Recife reside a maior concentração de cidadãos da terceira idade. Aponte o número atual, em termos absolutos”.

75. Equipamentos Notebook Pentium 4 com 512 Mb de memória e Windows XP; Navegador IExplorer 6; Webcam USB; Mouse USB; Headphone e microfone de cabeça; Software de captura de telas TechSmith Camtasia Studio 3; Câmera digital de 6 megapixels, com cartão de memória flash de 1Gb; Gravador analógico de áudio (para backup de áudio); Acesso wireless à Internet (230 kbps) com cartão PCMCIA; Questionários e documentação impressos. (Teste Caso IBGE)

76. Softwares (exemplo)

77. Protocolos de verbalização Protocolos de verbalização de pensamentos são protocolos utilizados durante os testes de usabilidade. Os usuários são incentivados a exteriorizar seus pensamentos em voz alta , enquanto trabalham nas tarefas. Acredita-se que tenha grande validade , já que os dados obtidos refletem o uso real do artefato e não julgamentos dos participantes sobre a sua usabilidade.

78. Protocolo concorrente - PC Diferenciação entre: - protocolo retrospectivo (PR) e - protocolo concorrente (PC). O protocolo concorrente resulta em um número maior de problemas observados. O protocolo concorrente (PC) é mais adequado para problemas estritamente orientados a tarefas do teste.

79. Protocolo retrospectivo - PR Nele, em vez de verbalizar os pensamentos durante a realização da tarefa, os participantes do teste completam as tarefas silenciosamente , e verbalizam os pensamentos depois - após terem assistido a um vídeo com a gravação da sua performance.

80. Protocolo retrospectivo - PR O protocolo retrospectivo (PR) se mostra eficiente para detectar problemas que só poderiam ser encontrados através da verbalização . O protocolo retrospectivo (PR) é adequado para problemas de natureza abrangente . Os participantes de testes com PR em geral fornecem explicações e sugestões ; os participantes sob a condição de PC se limitam a descrições .

81. Pré-testes O walktrough é a primeira chance de testar o equipamento e checar os materiais (documentos, checklists , questionários), o cenário, as tarefas, a terminologia, o tempo previsto e as perguntas.

82. Pré-testes Um usuário “ tolerante ” (não necessariamente do público-alvo) é selecionado para a participação no walkthrough .

83. Pré-testes O teste-piloto é um “teste do teste” e o seu participante deve ser recrutado dentro do grupo de usuários-alvo.

84. Roteiro - passo a passo Montar o aparato no local, receber de modo cortês o participante, oferecer um pequeno lanche, descrever o aparato, informar sobre o tempo de duração, solicitar a leitura e assinatura do termo de ciência e autorização , explicar que não é o participante que será testado e sim a interface, auxiliar na colocação do microfone, descrever o protocolo de verbalização, perguntar se há dúvidas, falar sobre ajuda e finalização, solicitar o preenchimento do questionário de pré-teste ,

85. Roteiro - passo a passo acionar o software e verificar o seu funcionamento, apresentar o cenário e a primeira tarefa por escrito, iniciar a gravação anotando os tempos, estimular o uso do protocolo durante as tarefas, se a primeira tarefa for completada apresentar a segunda tarefa por escrito, desligar a câmera e salvar os arquivos, solicitar o preenchimento do questionário de pós-teste , realizar uma entrevista aberta registrada com gravador de mão, solicitar que o participante avalie o próprio método. Ao término, agradecer e oferecer-lhe um pequeno presente.

86. Análise dos dados Compilar e Resumir os Dados Análise Identificar erros e dificuldades dos participantes Identificar a fonte dos erros Priorizar problemas Gerar Recomendações Recomendações de maior impacto Recomendações de curto e longo prazos Áreas para futura pesquisa adicional Redigir o Relatório Final

87. Proposta de atividade Em grupos de 3 alunos: Moderador Anotador Operador Desenvolver um plano de testes e aplicar.

88. Proposta de atividade PLANO DE TESTES: Definir objetivos Identificar o problema Definir o tipo de teste Distribuir os papéis da equipe Perfil dos usuários-alvo Redigir cenário e tarefas Definir benchmarks Equipamentos e metodologia Definir métricas e dados qualitativos Preparar documentos de apoio Prospectar participantes Executar teste piloto