81221835 ergoihc-teste-de-usabilidade-ariel

307 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
307
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
3
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

81221835 ergoihc-teste-de-usabilidade-ariel

  1. 1. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  2. 2. O capítulo 7 do livro aborda algumas atividades envolvidas na fase do planejamento do teste de usabilidade. São abordadas as seguintes questões: - Quanto tempo dura um teste de usabilidade? - que tipo de influência o tempo exerce? - testes em diferentes empresas ( 8 a 12 semanas) - diminuindo o tempo de teste ( 4 a 6 semanas) - testes de pequenos pedaços (1 semana) - teste “just in time” (1 dia e meio) - noções de tempo de teste que devem ser passadas para os desenvolvedores e gerentes. - Planejamento é fator crítico de sucesso - Planejamento envolve uma série de passos - Planejamento requer trabalho de equipe - Planejamento precisa ser gerenciado e acompanhado. Vamos ao primeiro ponto… A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns
  3. 3. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns - Quanto tempo dura um teste de usabilidade? É a primeira pergunta feita pelos clientes e gerentes… É uma pergunta relevante, já que tempo implica: custo e cronograma. Os testes devem durar o mínimo de tempo possível e é importante considerar que: - O desenvolvimento não pára enquanto os testes acontecem! A fase de planejamento dos testes, por exemplo, pode começar junto com o desenvolvimento. As empresas que já trabalham com os testes de usabilidade, o prevêem no custo e no cronograma do projeto – isso é o ideal! - Mas se o ideal é fazer no menor tempo possível? - Que tempo ideal é esse?
  4. 4. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns O planejamento do tempo de duração de um teste deve levar em consideração os seguintes fatores: - Quanto de teste de usabilidade já foi feito no projeto? Os usuários já foram consultados alguma vez? - Complexidade do produto - Quanto do produto será testado (partes ou todo?) - O que será preciso de infra-estrutura / set-up? - Você já tem um grupo de usuários pré-selecionado? - número de participantes / tempo esperado de ação de cada participante - nível de experiência, treinamento e engajamento da equipe que realizará o teste e desta com a equipe de desenvolvimento - nível de atividades simultâneas que estão sendo realizadas pelos desenvolvedores e equipe do teste de usabilidade - nível de detalhamento/formalidade do relatório a ser gerado
  5. 5. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Testes realizados em grandes empresas (8 a 12 semanas) A Microsoft realiza testes de mais de 8 semanas. A primeira é dedicada à definição dos objetivos do teste e serve também para treinamento e entrosamento da equipe de realização dos testes com a equipe de desenvolvimento. Pode ser que a empresa gaste algumas semanas para chegar a um consenso sobre os objetivos e foco do teste de usabilidade. No caso da Microsoft, são gerados relatórios formais e são editadas fitas com os principais pontos. Essas informações auxiliam os próximos testes. Os desenvolvedores, em geral, acreditam mais nas informações que falam por si próprias. Com isso, os relatórios e as análises devem mostrar esse tipo de informação. Quanto maior o número de participantes do teste, maior será o tempo gasto… Testes mais rápidos realizados pela Microsoft envolvem de 6 a 8 participantes que realizam as tarefas durante 1 hora.
  6. 6. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Testes realizados em grandes empresas (8 a 12 semanas) A HP encomendou um teste para um grupo de pesquisas e fez as seguintes exigências: - queriam realizar os testes com grupos de usuários distintos - cada grupo deveria ter pelo menos 10 participantes - deveria ser apresentado um relatório final formal à equipe gerencial da HP Esse teste levou mais de 8 semanas. Só o período de recrutamento de pessoas gastou muito tempo…
  7. 7. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas… Semana 1 Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste. Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!
  8. 8. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas… Para ganhar tempo, você podo solicitar ao cliente uma lista de possíveis usuários e participantes. O desenvolvedor, em geral, conhece seu público-alvo. Semana 1 Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste. Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!
  9. 9. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas… Semana 1 Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste. Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA! Final da semana 2 Equipe de teste faz o teste piloto. Semanas 3 e 4 A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração do mesmo. DICA!
  10. 10. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas… Semana 1 Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste. Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA! Final da semana 2 Equipe de teste faz o teste piloto. Semanas 3 e 4 A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração do mesmo. DICA! O ideal é realizar os testes de usabilidade cedo, com o produto ainda não terminado. Nesses casos, é muito comum o aparecimento de bugs e outros problemas. Ter pessoas da equipe de desenvolvimento participando do teste é muito bom, pois alguns problemas são resolvidos na hora, não interrompendo a realização dos testes.
  11. 11. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas… Semana 1 Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste. Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA! Final da semana 2 Equipe de teste faz o teste piloto. Semanas 3 e 4 A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração Final da semana 4 Semana 5 Semana 6 do mesmo. DICA! O administrador dos A equipe de testes Término do relatório e testes passava, analisou as edição da fita com os diariamente, uma lista informações e principais pontos. dos principais começou a fazer o problemas encontrados relatório. para ajudar o trabalho dos desenvolvedores.
  12. 12. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) É possível fazer testes em até menos tempo. Testes válidos, com usuários reais e tarefas reais, são realizados em até 4 semanas. Isso depende do número de participantes, do número de tarefas e da análise do material que será feita. Significa, de repente, não ter um relatório completo, mas obter as informações necessárias para melhorar o produto. A realização de testes mais rápidos e eficientes ajuda a ganhar a credibilidade do time gerencial.
  13. 13. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Testes de pequenos pedaços / fases do produto Na empresa Word Perfect, por exemplo, os testes são realizados em 1 semana. Para tanto, a empresa conta com: - especialistas internos em realização de testes; - especialistas que estão familiarizados com o produto; - testes específicos para cada etapa do projeto; - recrutador experiente que já tem um grupo de usuários cadastrados; - tarefas que gastem apenas 1 hora; - relatório rápido, pois as informações são transmitidas aos desenvolvedores em reuniões informais.
  14. 14. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Teste “just in time” Uma empresa realizou um teste em 1 dia e meio. Como? Um grupo de 5 especialistas em ergonomia e usabilidade trabalhou em paralelo. Enquanto um recrutava, outro selecionava a tarefa e organizava a infra-estrutura. Cada especialista recebeu um participante num laboratório. Com isso, os teste foram feitos simultaneamente. No final, a equipe de especialistas se reuniu para analisar os dados. Isso funcionou porque a empresa Silicon Graphics tinha diversos laboratórios funcionando 99,9% do tempo, os especialistas já tinham habilidade em realizar testes, alguns usuários internos foram recrutados (6) e os demais foram trazidos por uma agência (6).
  15. 15. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Noções de tempo de teste que devem ser passadas para os desenvolvedores e gerentes É comum que os desenvolvedores e os gerentes pressionem com relação ao tempo dos testes. Isso acontece exatamente nos casos em que o teste é realizado quando o produto está praticamente finalizado. A empresa desenvolvedora não deve ter especialistas para realizar os testes e às vezes nem conhece o público-alvo e as tarefas que serão realizadas por esses. Conseqüentemente, são os testes que demoram mais tempo e geram uma enorme quantidade de informações e retrabalhos. É importante aproveitar essas oportunidades para mostrar a importância da realização de testes intermediários, de foco na usabilidade desde o início.
  16. 16. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Planejamento como fator crítico de sucesso Reunir um grupo de pessoas para ver como eles usam o produto pode ser perda de tempo, caso os seguintes fatores sejam ignorados… - Que aspectos do produto requerem maior atenção de usabilidade? - As pessoas recrutadas representam os atuais usuários do produto? - Que tarefas e tempo serão dados às pessoas? - Que tipo de informação você espera coletar? - Como você vai analisar a informação coletada? - O que você vai fazer com a informação coletada?
  17. 17. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Planejamento envolve uma série de passos 1. definir objetivos e pressupostos do teste 2. definir quais serão os participantes 3. recrutar os participantes 4. selecionar e organizar as tarefas do teste 5. criar o cenário das tarefas 6. decidir como medir a usabilidade 7. preparar os outros materiais do teste 8. preparar o ambiente do teste 9. preparar a equipe que conduzirá o teste 10. realizar um teste piloto e fazer os ajustes necessários
  18. 18. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Planejamento envolve trabalho de equipe O teste deve ser realizado por um especialista, mas essa pessoa tem de trabalhar de perto com os demais membros da equipe. Cada profissional tem uma contribuição a dar. Por exemplo: - o especialista sabe conduzir o teste e conhece os possíveis problemas; - o desenvolvedor conhece o produto e pode ajudar a definir as tarefas - o help desk conhece os principais problemas de produtos similares; - o pessoal de marketing sabe quais são os usuários que devem ser chamados para o teste…
  19. 19. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Planejamento deve ser gerenciado e acompanhado cuidadosamente Como em qualquer projeto, o teste deve ser gerenciado a partir de um sistema que inclua agenda, definição de responsabilidade, acompanhamento do andamento e documentação. É importante guardar um histórico das decisões tomadas ao longo do projeto. Escrever o plano do teste também ajuda a organizar as idéias. Ao mostrar esse plano a outras pessoas, novas idéias interessantes podem surgir e, envolver um grande número de pessoas ajuda a vender o teste e seus resultados.
  20. 20. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  21. 21. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Passemos ao capítulo 8… Muitos produtos são complexos demais para que todos os seus potenciais usuários e interesses sejam testados… Mesmo no caso de produtos mais simples… Acontecem tantas coisas durante um teste de usabilidade que, se os objetivos e os pontos de interesse não estiverem bem definidos, aspectos importantes podem ser perdidos. Definir os objetivos e os pontos de interesse é fundamental e facilita até a seleção dos usuários do teste, as tarefas e os demais aspectos do planejamento. Para exemplificar, um objetivo pode ser definido da seguinte forma: “Usuários serão capazes de selecionar o ícone correto em menos de 30 segundos, sem cometer qualquer erro.” Um ponto de interesse pode ser definido da seguinte forma: “Serão os usuários capazes de selecionar o ícone correto de forma rápida e precisa?”
  22. 22. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Escolhendo os objetivos e os pontos de interesse… Durante o planejamento de testes de usabilidade, é inevitável ter de fazer escolhas. Por exemplo: Seu principal interesse é saber se as pessoas vão usar o manual ou se as pessoas vão achar fácil o uso do manual? Obter a resposta de todas as perguntas é muito difícil e por isso é importante estabelecer um foco…
  23. 23. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Passando de pontos de interesse genéricos para específicos… Fazendo isso, você conseguirá planejar o teste. Dizendo: “gostaríamos de saber se o produto é fácil para os usuários”… É um bom começo, mas uma pergunta vaga demais. Seria importante definir: - Que aspectos do produto te preocupam? - Que grupos de usuários específicos te preocupam? - Que tarefas permitiriam que você verificasse se suas preocupações são válidas? - Como você pode medir isso? Isso ajudará no recrutamento, na seleção das tarefas etc. Mas como definir os pontos de interesse específicos?
  24. 24. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Fontes de informação… Você pode obter informações interessantes a partir de: - análise de tarefas e objetivos de usabilidade quantitativos; - dúvidas específicas de uma fase; - avaliação heurística; - testes anteriores do próprio produto ou de produtos similares. Vejamos como cada uma dessas fontes pode nos ajudar…
  25. 25. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Fontes de informação… Análise de tarefas e objetivos de usabilidade quantitativos Do próprio projeto do sistema, devem surgir essas questões. Por exemplo: Um objetivo geral do produto seria: - Menus devem ser de fácil navegação. Objetivo quantitativo de usabilidade: - Usuários serão capazes de achar o item de menu que querem em menos de 2 minutos, sem terem cometido erros. Ponto de interesse genérico: - Será que as pessoas que estão mudando de programa conseguem encontrar o que precisam? Ponto de interesse específico: - Será que os usuários conseguirão adicionar um rodapé no documento (a partir do menu)?
  26. 26. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Fontes de informação… Dúvidas específicas de uma fase Em cada fase do projeto, uma nova dúvida pode surgir. Essas dúvidas podem ser facilmente resolvidas a partir de testes de usabilidade. Por exemplo: Suponha que, num dado momento, ocorra um impasse sobre uma filosofia de design e duas opções estejam concorrendo. A equipe pode gastar meses discutindo para chegar a uma conclusão, que pode não ser a melhor. Uma saída mais inteligente seria fazer um teste onde os usuários pudessem decidir a filosofia mais conveniente.
  27. 27. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Fontes de informação… Avaliação heurística Todos os problemas que tenham sido apontados numa avaliação heurística devem ser alvo de teste de usabilidade. Por exemplo… Numa avaliação heurística de um manual, os especialistas acharam que a explicação da limpeza das partes de uma máquina estava técnica demais e sem ilustrações. Apesar de os desenvolvedores acharem que todos conhecem esses nomes, antes de distribuir o manual, seria bom chamar um grupo de usuários para pedir que fizessem a limpeza da máquina a partir do manual. Com isso, conseguiriam identificar se o manual está claro o suficiente ou precisa de ajustes.
  28. 28. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns Fontes de informação… Testes anteriores ou de produtos semelhantes Como os testes devem ser feitos desde o início, um teste deve alimentar o outro. Problemas já resolvidos devem ser novamente testados… Ouvir os problemas mais comuns de produtos semelhantes também ajuda a orientar o teste. Seu produto não deve incorrer nos mesmos erros.
  29. 29. EXEMPLO QUE SERVIRÁ PARA O LIVRO TODO… Testando um programa de e-mail O programa (fictício) é usado internamente numa empresa, para relacionamento entre funcionários. Infelizmente só pediram para fazer o teste de usabilidade do produto numa fase final de desenvolvimento e quase nenhum teste de engenharia foi feito anteriormente. Alguns dos principais aspectos a serem testados foram listados. Vejamos… A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns
  30. 30. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 7 – Planning a usability test Cap. 8 – Defining goals and concerns EXEMPLO do teste do programa de e-mail… Questão geral: Será que os novos usuários conseguirão trabalhar com ele rapidamente? (Obs.: ao trabalhar com usuários novos, conseguimos mapear o público que mais pode ter dificuldades) Questão geral: Será que os novos usuários conseguirão navegar pelos menus fácil e rapidamente? Questões específicas: Será que os novos usuários acharão o item de menu correto para: - ler uma mensagem? - escrever e enviar uma mensagem? - responder uma mensagem? - encaminhar uma mensagem? - salvar e deletar mensagens da lista? - resgatar uma mensagem antiga para responder? - configurar uma lista de distribuição? Formas de medir as questões de navegação: - a partir de escolhas erradas no menu; - tempo gasto para completar as tarefas.
  31. 31. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  32. 32. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios No capítulo 11 do livro os autores consideram que o “Teste de Usabilidade” é como um processo de amostragem, sendo complicado testar todas as tarefas realizadas pelo usuário em um produto. Quais são os tipos de tarefas que poderiam estar contidas na amostra? -Tarefas que sondam problemas potenciais de usabilidade; - Tarefas vindas da sua experiência e dos seus interesses; - Tarefas que os usuários devem executar no produto.
  33. 33. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefas que sondam problemas potenciais de usabilidade Quanto mais problemas forem encontrados no tempo disponível para o teste, melhor sucedido será o seu procedimento. Você deve lembrar aos projetistas e desenvolvedores que o objetivo principal de um teste de qualidade de software é revelar os “bugs” antes do lançamento do produto. Os objetivos do “Teste de Usabilidade” são similares aos do teste de qualidade de software, pois se trata de um procedimento que visa desvendar os problemas de usabilidade mais sérios de um produto. Sendo assim, a meta é criar tarefas para sondar áreas que tenham potencias problemas de usabilidade.
  34. 34. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Uma boa tarefa é toda aquela que tem o potencial para descobrir um problema de usabilidade.
  35. 35. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefas vindas da sua experiência e dos seus interesses Uma outra fonte usada para identificar as tarefas é uma lista de interesses escrita em conjunto com os projetistas. Nesta lista estariam todas as partes ou os componentes que foram projetados com dificuldade e as áreas em que a equipe discordou sobre a melhor abordagem. Os projetistas podem ter idéias úteis sobre onde os usuários vão encontrar problemas de usabilidade, embora eles ignorem às dificuldades mais básicas destas pessoas ao interagirem com o produto.
  36. 36. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Os profissionais que desenvolvem o produto sempre têm noção das áreas onde podem existir potenciais problemas usabilidade.
  37. 37. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefas vindas da sua experiência e dos seus interesses Com a lista preliminar dos problemas feita será necessário criar tarefas para desvendar os problemas no produto. Por exemplo: No caso de um programa de e-mail, onde os usuários têm dificuldade para identificar e ler uma mensagem nova. Conseqüentemente pode-se incluir uma tarefa que solicite aos usuários a seleção e, em sequência, a leitura da mensagem mais nova do correio eletrônico dentre todas as listadas nos itens recebidos.
  38. 38. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefas que os usuários devem executar no produto Existem outras tarefas relacionadas com os problemas de usabilidade, interesses e os objetivos do produto que podem complementar lista já feita, tais como: - novas ou modificadas; - críticas para operação do produto; - feitas com freqüência; -feitas sobre pressão. Caso a equipe de desenvolvimento tenha feito uma análise da tarefa, pode ser possível extrair uma lista de tarefas desta técnica. Uma outra opção é realizar reuniões com os usuários e os desenvolvedores, objetivando criar a lista com as tarefas.
  39. 39. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefas que os usuários devem executar no produto Segue abaixo uma lista resumida com tarefas para o teste do programa de e-mail. -Configure uma senha para conta de e-mail; -Crie uma lista pessoal de e-mail; -Mova as mensagens entre as pastas (diretórios); -Liste os itens contidos na pasta; -Leia os e-mails novos; -Leia a mensagem selecionada; -Crie e envie um e-mail; -Edite a mensagem; -Coloque um arquivo na mensagem; -Crie uma pasta; -Faça um “forward” da mensagem; -“Delete” o e-mail; -“Delete” a pasta; -Busque uma mensagem; -Envie uma cópia do tipo “CC”.
  40. 40. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Redução da lista de tarefas Para se reudzir a lista deve-se considera: - a duração do teste; - quais são recurso disponíveis para o teste (hardware, software, procedimentos e outros recursos para executar as tarefas). A lista de tarefas pode ser usada como um checklist para auxliar na organização do teste.
  41. 41. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tempo das tarefas Existem dois tipos de tempos que devem ser estimados para o teste: - o tempo que levará para a tarefa ser feito durante o teste; - o tempo que os usuários consideram aceitável para completar a tarefa. A duração do teste está relacionada com os tempos estimados para cada uma das tarefas.
  42. 42. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tempo das tarefas Para estimar o tempo se deve considerar: - o tempo que um usuário experiente levaria para completar a tarefa pode servir como uma estimativa base; - os problemas e o tempo de resposta de um usuário típico nesta situação; - o tempo necessário para configurar a tarefa e o adicional para preparar a seguinte.
  43. 43. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Elimando tarefas A ação de eliminar algumas tarefas tem como objetivo garantir que o usuário irá acabar no horário estimado e com todas as tarefas completas. Sendo assim, considere os critérios abaixo para eliminar algumas tarefas: - o objetivo de cada tarefa e a possibilidade de unir algumas em uma única; - o valor em termos de custos financeiros de uma tarefa devido ao uso de um recurso caro. Ex: Equipamento caro de registro ou uma máquina para rastrear os movimentos dos olhos; - o tempo de uma tarefa de maior importância em detrimento de outras de menor relevância.
  44. 44. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Lista final com as tarefas para o teste Tempo Hardware 3 -12 minutos Dois PC’s com acesso Internet Programa de e-mail, contas de e-mail para os colaboradores, mensagens recebidas para o “Reply” e conta existente para receber o e-mail. Texto do”Reply” (além da informação para escrever o texto). Os procedimentos para restaurar o ambiente para à próxima tarefa. Softwares e arquivos Instruções e procedimentos Tabela 1: Lista de recursos para uma tarefa (Dumas & Redish, 1999).
  45. 45. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Ordenando as tarefas A etapa final é ordenar a sua lista de tarefas: - as tarefas devem fluir em uma ordem natural, tendo relação com ações do usuário em uma situação real; - as tarefas de maior relevância devem vir no início e não no final. No caso do tempo acabar para um colaborador e as tarefas mais importantes estarem no final, o teste ficará prejudicado e não terá os dados principais para o estudo; - coloque no início da sua lista as tarefas mais frequentes.
  46. 46. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  47. 47. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios O que é um cenário? Os cenários são usados para informar aos participantes o que nós queremos que eles façam durante o teste. Está técnica descreve as tarefas de uma maneira que retira a artificialidade do teste. Exemplo: Você acabou de retornar ao seu trabalho após as suas férias. Verifique quantos e-mails você tem para ler e caso tenha recebido alguma mensagem do Sr. Green, o Vice-Presidente da empresa, leia antes das demais.
  48. 48. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Como deve ser um bom cenário? Um cenário de boa qualidade deve ser: - pequeno; - com as palavras do usuário e não do produto; -claro - para que todos os participantes não tenham dúvidas; Um bom cenário deve: -dar aos usuários as informações necessárias (nem demais ou de menos) para realizarem as tarefas; -estar relacionado diretamente com as suas tarefas e interesses.
  49. 49. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Os participantes devem sempre receber cenários escritos? Não é necessário sempre usar os cenários de forma escrita. O pesquisador para tornar o teste mais realista pode tomar as seguintes medidas: -Faça com que os membros da equipe de teste interpretem diversos papeis, sendo clientes, supervisores ou até colegas que entram na sala para passar a tarefa contida nos cenários. -Utilize o produto para apresentar os cenários. -Combine tanto cenários escritos com ligações ou visitas. Exemplo: Os cenários feitos para os testes de telefone poderiam incluir ligações para os participantes ou telefonemas feitos por eles.
  50. 50. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Os participantes devem sempre receber cenários escritos? O seu plano de teste deve conter todos os cenários escritos, mesmo que os participantes não vejam esta informação. Esta informação escrita serve para garantir que a sua equipe de testes não mudará as palavras e por consegüinte o sentido da tarefa. Os cenário devem ser sempre apresentados da mesma forma e com o mesmo conteúdo.
  51. 51. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Como se dividem os cenários e as tarefas? Caso você tenha 15 tarefas para o teste, não é necessário criar o mesmo número de cenário. Não é preciso ter uma correspondência idêntica de cenários e tarefas. É possível ter um número maior de cenário do que tarefas, quando se deseja testar uma tarefa mais de uma vez. Ex: Caso o teste tenha como objetivo verificar a velocidade com que os usuários executam uma tarefa. Sendo assim, o teste pode ter a flexibilidade de permitir que o usuário explore a interface para compreender como ela funciona. O estudo pode ter um número menor de cenários do que tarefas, quando se combina duas ou três tarefas em um mesmo cenário.
  52. 52. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Como se cria um intervalo de tempo entre uma tarefa e outra? Caso o pesquisador tenha como objetivo estabelecer um intervalo de tempo entre as tarefas, será necessário fazer com que o colaborador pare entre uma tarefa e outra. Em algumas empresas o mediador fornece uma tarefa por vez para o usuário, logo ele só irá passar para próxima etapa quando terminar a tarefa atual. Sendo assim, é possível perguntar sobre a tarefa realizada ou aplicar um pequeno questionário entre uma tarefa e outra. O teste pode ser montado da seguinte forma: -como um livreto tendo uma tarefa por página; -com a marcação tarefa e não cenário nas páginas, pois a segunda indicação pode não ser clara para o usuário; -com a indicação no final da página, lembrando aos usuários para “avisar quando tiverem acabado a tarefa” e “espere o pedido para mudar de página”.
  53. 53. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Como se cria outros tipos de intervalo de tempo durante o teste? No início do teste o pesquisador deve lembrar o colaborador: -de esperar pelo aviso do pesquisador para começar uma tarefa; -de avisar de forma clara e audível o final de uma tarefa; - de esperar entre uma tarefa e outra pela autorização de prosseguir.
  54. 54. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 11 – Selecting and Organizing Tasks to Test Cap. 12– Creating Task Scenarios Tarefa 1 Você é o gerente de projetos de uma nova edição do livro da Professora Anamaria de Moares. Na última hora, você foi informado que a equipe e o cronograma foram modificados. -Abra o projeto do novo livro na tela para fazer a mudança. -A entrega do terceiro volume terá um atraso de três semanas. Portanto, altere o arquivo para refletir o novo prazo. -Com o objetivo de atingir esta nova meta a sua orientadora, Professora Anamaria, autorizou a contratação de um novo designer. O profissional selecionado foi o Eduardo Brandão que terá um jornada diária de seis horas de trabalho com o mesmo salário do Eduardo Ariel. Sendo assim, adicione o novo designer na equipe do projeto.
  55. 55. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  56. 56. O capítulo 15 do livro aborda algumas atividades envolvidas na fase do ambiente de teste. São abordadas as seguintes questões: - Providenciar o equipamento e os objetos do entorno - Preparar o produto - gerar informações (conteúdo) necessário - planejar para o desastre - preparar manuais - Ajustar controle de audio e vídeo - Preparar materiais para os registros - Etiquetar todas as fitas de registro Vamos à primeira… A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team
  57. 57. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Providenciar o equipamento e os objetos do entorno Durante a fase de planejamento, você identifica o equipamento apropriado para o teste. Neste momento, já é a hora de prepará-lo, providenciando as configurações e os ajustes necessários para garantir que ele vá funcionar na hora do teste. Por exemplo: Se estivermos testando o programa de e-mail, você provavelmente terá de ter um computador a mais na sala para que a comunicação possa se concretizar. Seria preciso, então, testar se a conexão entre os dois computadores está funcionando. No caso de um teste que envolvesse impressão, seria importante checar se a impressora está corretamente configurada, com papel, tinta, enfim, em perfeito funcionamento.
  58. 58. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Providenciar o equipamento e os objetos do entorno Não só os equipamentos precisam estar preparados... O ambiente também! Para estimular / simular um ambiente real, é preciso providenciar os objetos do entorno. Às vezes, basta incluir uma lata de lixo, um quadro ou um vaso... Mas não podemos deixar de pensar nesses detalhes.
  59. 59. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar o produto Além de cuidar do set up do equipamento, o preparo do produto envolve... … gerar informações Determinadas tarefas, para serem executadas, precisam que algumas informações já estejam disponíveis. Por exemplo: Se o teste for do e-mail, a lista de usuários fictícios já deve ter sido criada, o corpo do texto também. Isso é feito rapidamente por você, mas deve estar preparado antes do teste.
  60. 60. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar o produto Além de cuidar do set up do equipamento, o preparo do produto envolve... … planejar para o desastre É importante estar preparado para o mal funcionamento do teste. Principalmente se você estiver fazendo o teste de um protótipo. Você pode economizar tempo, se tiver as atividades prontas por fase. Por exemplo: Imagine que você esteja testando um programa tipo o Excel. A primeira atividade seria inserir dados em uma coluna e formatar as células. A segunda atividade precisaria das informações da primeira tarefa para que uma função fosse testada. Entretanto, assim que a pessoa terminou de executar a primeira tarefa, o sistema travou...
  61. 61. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar o produto Se você não estiver preparado para uma situação como essa, a pessoa terá de realizar a primeira tarefa novamente, o que não é nada bom... Entretanto, se você tiver feito um bom planejamento, já tem o arquivo da primeira tarefa prontinho para disponibilizar para a pessoa. Assim, tenha tudo que for preciso para cada tarefa, independentemente. Se nada der problema, a pessoa pode usar os dados construídos por ela. Entretanto, numa eventualidade, você não perderá tempo.
  62. 62. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar o produto Além de cuidar do set up do equipamento, o preparo do produto envolve... … preparar os manuais Se o teste envolver consulta a manuais, você deverá se certificar que estes estão prontos para serem utilizados. Mesmo que não estejam na versão final, com capa e tudo mais, garanta que as informações estejam legíveis.
  63. 63. Ajustar controle de audio e vídeo A qualidade de sua gravação depende do ângulo de visão de sua camera e do som que o microfone consegue captar. Geralmente são gastos em torno de 30 minutos para se conseguir um ajuste adequado desses equipamentos num laboratório. Numa gravação típica, são usadas 3 cameras: -uma com o foco na tela; -uma com foco no participante; -uma com foco nos movimentos do participante. É preciso ajustar as 3 cameras para conseguir pegar boas imagens. Tome alguns cuidados... A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team
  64. 64. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Ajustar controle de audio e vídeo (cuidados) 1) Tome cuidado com os reflexos. O ideal é fazer os ajustes num horário próximo ao do teste para que você possa ver se há algum reflexo de sol / luz que possa atrapalhar a imagem. Às vezes, virar um pouquinho a tela do computado resolve tudo, mas a câmera também terá de ser reposicionada. 2) Imagine que a pessoa estará em frente ao computador. Para que você não seja surpreendido com a cabeça do participante tampando a visão da tela, convide um colega para participar desse momento de set up. Ele pode ficar no lugar do participante para que você possa ter um cenário mais próximo do dia do teste. Ele deve, inclusive, se mexer, pois ninguém fica parado durante um teste.
  65. 65. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Ajustar controle de audio e vídeo (cuidados) 3) Se você tiver alguma câmera focando no manual que está em cima da mesa, tome o cuidado de fixá-lo com um fita adesiva, para que a pessoa não seja tentada a tirá-lo da posição original. Se isso não for feito, adeus imagens do manual... 4) Se você precisar saber qual a página que está sendo consultada, coloque números bem grandes no canto inferior de cada página para que os números também fiquem nítidos na filmagem.
  66. 66. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Ajustar controle de audio e vídeo Nem sempre os testes são feitos em laboratórios com 3 câmeras. Se você só tiver uma, terá de escolher o que deverá ser filmado. Pensar que é possível mudar rapidamente o foco da câmera durante o teste é um erro. Por exemplo: no momento em que você tirou a câmera da tela para filmar o participante, ele digitou algo importante. Escolha um foco único e esqueça a câmera lá. Se você estiver testando um software, por exemplo, o foco deve estar na tela. Se você tiver 2 câmeras, você pode focar na tela e no participante ou na tela e no teclado.
  67. 67. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Ajustar controle de audio e vídeo Controlar o áudio também é importante. Preocupe-se em conseguir captar o som de sua conversa com o participante. Mas uma vez, seria bom ter um colega neste momento para que o teste pudesse ser feito.
  68. 68. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar materiais para registro A chave para a obtenção de medidas quantitativas de performance está no registro da duração e freqüência de cada evento do teste. Esse registro pode ser feito a partir de softwares que gravam todos os cliques, toques e paradas do participante. Em geral, existe uma tela de log com os códigos de cada evento e isso é registrado. No canto da tela, há um espaço para que sejam feitos comentários sobre cada evento. Essa tela deve ser controlada pela pessoa que está conduzindo o teste.
  69. 69. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Preparar materiais para registro E se você não tiver esse software? Você pode usar a estrutura dele para organizar uma folha de registros para você. Basta ter um cronômetro na mão e uma folha... Por exemplo: Data: __/__/__ Legenda de códigos de eventos M – menu E – erro H – help P – parou de digitar F – finalizou a tarefa I – intervalo (pausa) R – repetiu a tarefa F – frustrado O – observação Q – questionou algo Código do evento em questão F Hora (min/seg): Comentário:
  70. 70. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Etiquetar todas as fitas de registro É crítico que você prepare uma etiqueta para cada material de registro. A melhor estratégia para estar organizado durante o teste é preparar as etiquetas de todas as fitas que você vai usar antes da gravação. Por exemplo: se você sabe que terá 16 participantes no teste e que cada um gastará em torno de 3 ou 4 horas para realizar o teste, prepare 32 etiquetas... Coloque nas etiquetas: - Nome do teste - nome ou número do participante - número da fita (fita 1, fita 2, fita 3, fita 4) Exemplo: E-mail, João Carlos, fita 1 Isso serve para fitas, disquetes, arquivos ou outros registros!
  71. 71. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  72. 72. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team O capítulo 16 do livro aborda os papéis que são desempenhados pelas pessoas que vão conduzir o teste. São abordadas as seguintes questões: - Quantas pessoas são necessárias para conduzir um teste? - As pessoas podem trocar de papel durante o teste? - Quem deve estar no time? - Como outros interessados podem participar? - Quais são os principais papéis a serem assumidos? - Alguns checklists... Vamos à primeira…
  73. 73. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quantas pessoas são necessárias para conduzir um teste? O ideal é ter 3 pessoas no time. Dois especialistas em usabilidade e 1 uma pessoa técnica representando o cliente. O teste pode, entretanto, ser conduzido por mais ou menos gente. Um número muito grande de pessoas pode atrapalhar. E se só tiver uma pessoa para realizar o teste? Isso é possível, mas essa pessoa terá de desempenhar diversos papéis simultaneamente e, muito provavelmente, terá de decidir, de antemão, alguns papéis (ou informações) que terão de ser sacrificadas. Um boa saída para esses casos é ter uma filmadora registrando aquilo que ela não conseguirá captar na correria. Não será possível cronometrar tudo. Numa situação dessas, anote apenas os principais momentos de início e fim das tarefas. Para compensar a impossibilidade de anotar todas as observações, será bom planejar um tempo maior para assistir as gravações.
  74. 74. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quantas pessoas são necessárias para conduzir um teste? E se você não tiver um laboratório? Se você não tiver um laboratório e o time todo tiver de ficar na mesma sala em que o participante estiver realizando o teste... … seu time terá de ser o menor possível! Caso contrário, o participante poderá sentir-se intimidado. Se você tiver um laboratório com a parede de vidro que só permite que as pessoas de fora vejam o ambiente do teste, você pode ter outras pessoas nessa sala.
  75. 75. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team As pessoas podem trocar de papéis durante o teste? Isso não é aconselhável. O ideal é que a pessoa desempenhe o mesmo papel ao longo de todos os testes, isto é, o mesmo papel com cada um dos participantes do teste. Se isso não é assegurado, muitas informações mais subjetivas são registradas de forma diferente, atrapalhando os resultados.
  76. 76. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quem deve estar no time? Em primeiro lugar é importante ter em mente que todo mundo que for conduzir o teste deve fazer participar do planejamento. Entretanto, nem todos que estiverem participando do planejamento precisam estar conduzindo o teste. Mas quem deve compor o time? - Apenas especialistas em teste de usabilidade? - Apenas os desenvolvedores? - Um equipe mista? Os 3 casos são possíveis e ambos tem vantagens e desvantagens. Vejamos...
  77. 77. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quem deve estar no time? Se o teste for conduzido apenas por especialistas em usabilidade... Vantagens -Eles sabem planejar e conduzir o teste; -Sabem o que deve ser observado; -Sabem analisar as informações coletadas; -Sabem lidar com o laboratório e os diversos equipamentos Desvantagens Mas não são especialistas no produto nem sabem como os usuários usam o produto no dia-a-dia. Alguém do time deve conhecer bem o produto para saber quando o usuário está tendo problemas.
  78. 78. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quem deve estar no time? Se o teste for conduzido apenas pelos desenvolvedores... Vantagens - Eles podem ver os usuários testando o produto que desenvolveram; - Aprendem a pensar em questões de usabilidade, tarefas e medidas. Desvantagens - Aprender a usar as ferramentas de usabilidade requer tempo e dedicação; - Desenvolvedores, em geral, não são bons observadores e podem ter dificuldade em analisar as informações; - Os testes gastam um tempo que poderia estar sendo dedicado ao desenvolvimento do produto. O mais importante fator a ser considerado é que, quando o desenvolvedor participa, ele tem a oportunidade de ver seu produto sendo usado e dá mais credibilidade aos resultados do teste. Ele também pode ajudar a resolver pequenos bugs que aconteçam durante o teste...
  79. 79. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Como outros interessados podem participar? As pessoas que não fazem parte do time podem participar de algumas formas... - Você pode deixar um monitor de vídeo numa sala onde as pessoas podem acompanhar o teste; - Se você tiver um laboratório com aquela parede de vidro que permite que a sala ao lado veja a sala do teste sem que o usuário perceba, eles podem ficar lá. Sempre que houver condições, os interessados (gerentes, desenvolvedores, clientes) devem ser convidados a observar o teste.
  80. 80. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Os principais papéis são: - Administrador do teste - Instrutor (condutor do teste) - Operador de filmagem - Responsável pelo registro das informações - Help desk - Especialista no produto - Narrador Alguns papéis podem ser combinados e exercidos por uma única pessoa!!! Vejamos cada um desses papéis...
  81. 81. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Administrador do teste Em geral, a pessoa que assume o papel de administrador também é o instrutor (condutor do teste). Ele é o líder da equipe e deve... - definir o papel de cada um e delegar as responsabilidades - ser o responsável por comunicar tudo a todos - garantir que tudo estará funcionando - conduzir as reuniões do time no final das seções - redigir e apresentar o relatório final
  82. 82. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Instrutor (condutor do teste) Em geral é o próprio administrador que assume esse papel. É a única pessoa que interage com o participante durante o teste. Deve prezar para que o participante esteja confortável, deve ter boa habilidade de relacionamento. Ele deve... -Explicar o teste -Entender o perfil do participante -Mostrar o ambiente -Dar o treinamento necessário -Passar as tarefas ao participante -Dar todas as orientações necessárias -Responder às dúvidas -Conduzir o encerramento do teste (com pós-teste, agradecimento, pagamento do participante...) Deve ainda... -Certificar-se de que todo o material necessário está na sala e que o equipamento está ok.
  83. 83. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Operador de filmagem É o responsável por gravar o teste e por isso deve saber operar a filmadora. Ele não precisa ser especialista no produto, mas deve conhecer o básico como, por exemplo, os objetivos do teste, para saber o que deve ser focado (se é a expressão da pessoa, o manual, a tela...). Ele deve... checar antes do teste durante o teste depois do teste -se a filmadora (e o áudio) estão ok; -se os equipamentos estão na posição correta; -se há fitas suficientes para toda a filmagem; -se está tudo com etiqueta; -se o equipamento está ligado; -se o relógio do computador e da filmadora estão sincronizados, para que os registros fiquem casados. -fazer a filmagem; -ajustar o som, se necessário; -selecionar as cenas que devem ser gravadas; -trocar as fitas -voltar as fitas; -desligar os equipamentos
  84. 84. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Responsável pelo registro da informação É o responsável por registrar todas as ações e comentários do participante ao longo do teste. É o papel que consome mais tempo e por isso não deve ser combinado com outros. A pessoa que ficar responsável pelos registros deve desempenhar apenas esse papel e deve... -saber trabalhar sobre pressão; -ser detalhista; -ter facilidade para escrever (digitar); -conhecer bem os códigos (do software ou da ficha de registro) -ser bom observador (para incluir comentários relevantes para os códigos registrados); -saber operar os software de registro (data-logging); -fazer a edição dos logs (no final do teste); -criar uma cópia (backup) dos registros. Esses registros poderiam ser feitos a partir do material filmado? Sim, mas em geral não há tempo hábil para isso nos testes de usabilidade.
  85. 85. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Help desk É o responsável por dar assistência ao usuário em caso de problemas. Que tipo de ajuda deve ser dada, é algo que tem de ser definido antes do teste. O help desk pode ser o próprio condutor do teste ou pode ser alguém que possa estar num outro local, disponível pelo telefone. Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador. Se você for usar o recurso do telefone, é importante checar... -se o aparelho está funcionando; -se o número do telefone do help desk está disponível.
  86. 86. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Help desk É o responsável por dar assistência ao usuário em caso de problemas. Que tipo de ajuda deve ser dada, é algo que tem de ser definido antes do teste. O help desk pode ser o próprio condutor do teste ou pode ser alguém que possa estar num outro local, disponível pelo telefone. Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador. Se você for usar o recurso do telefone, é importante checar... -se o aparelho está funcionando; -se o número do telefone do help desk está disponível. Importante! Espere o participante pedir ajuda – não fique oferecendo isso. Atenda o telefone como se fosse um help desk profissional. Dê o mínimo de informação para tirar a dúvida do participante.
  87. 87. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Especialista no produto Deve estar presente para ver a condução do teste e também dar uma assistência específica em caso de bugs. Ele pode ter outros papéis durante o teste ou então pode ser um observador.
  88. 88. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 15 – Preparing the Testing Environment Cap. 16 – Preparing the Test Team Quais são os principais papéis a serem assumidos? Narrador Serve como os “olhos” da pessoa que está fazendo o registro. Se você não tiver alguém para fazer isso, pode pedir que o participante fale em voz alta o que está fazendo. De qualquer forma, é bom contar com um narrador que possa ficar atento ao responsável pelo registro e ao participante. O narrador deve conhecer bem o produto para poder explicar o que o participante está fazendo, mas deve manter uma postura neutra, para não atrapalhar o participante, principalmente quando este estiver cometendo algum erro. Se você não tiver um narrador, é importante ter um observador que ajude você a captar alguns detalhes que você pode não ter tempo para fazer ou registrar.
  89. 89. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  90. 90. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Como deve ser o dia de teste? 8:15-8:30 1. Chegar no trabalho; 2. Fazer o café; 3. Ligar a copiadora; 4. Fazer as cópias dos materias para o teste para os colaboradores; 5. Colocar o número (código) dos participantes nos materiais. 8:30-9:00 1. Notificar ao recepcionista a agenda de teste; 2. Abrir os laboratórios e salas; 3. Acender as luzes das salas de teste e de observação; 4. Ligar o protótipo (hardware e software); 5. Ligar os equipamentos de vídeo de áudio; 6. Ligar o computador e abrir o programa de registro; 7. Fazer as etiquetas de rotulagem das fitas de vídeo; 8. Gravar as barras de cores no início da fita (verificar a regulagem das cores na fita); 9. Avance 10 segundos na primeira fita; 10. Verifique a captura de som e vídeo; 11. Ajustar o enquadramento da filmagem; 12. Prepare o lanche e as bebidas; 13. Cumprimente os visitantes quando estes chegarem, indique um lugar para eles na sala de observação, entregue os materias do teste e ofereça o café; 14. Cumprimente o participante quando este chegar, indique quando será o início do teste e entregue os materias de leitura. 9:00-9:25 1. Verifique a sala de observação, diminua as luzes e feche a porta; 2. Verfique a sala de teste; 3. Leve os participantes para a sala de teste; 4. Comece a gravar o vídeo; 5. Ligue o programa de captura; 6. Ajuste o ângulo das filmadoras; 7. Forneça as orientações aos participantes e os formulários; 8. Insrua os usuário de forma breve sobre o uso dos equipamentos (Mouse, Teclado e etc.) 9:25-10:30 1. Aplique a primeira lista de tarefas; 2. Anote os problamas na folha correspondente.
  91. 91. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Como deve ser o dia de teste? 10:30-10:40 1. Hora do intervalo (leve o usuário para a sala do café); 2. Pare a gravação dos equipamentos; 3. Prepare o protótipo para a segunda parte do teste; 4. Coloque uma nova fita de vídeo, adiantando 10 segundos; 5. Faça o pedido para o almoço da sua equipe e dos visitantes; 10:40-11:30 1. Convide os usuários de volta para a sala de testes; 2. Ligue a filmadora; 3. Aplique o conjunto de tarefas restantes; 4. Escreva os problemas. 11:30-12:00 1. Pare o teste; 2. Aplique o questionário; 3. Conduza o fechamento do teste com o usuário; 4. Realize o pagamento dos usuários; 5. Conduza os usuários até a saída; 6. Coloque o número (código) no material do participante; 7. Coloque o material do usuário em uma pasta. 12:00-13:00 1. Almoço com os visitantes e conversa sobre os teste do turno manhã; 2. Saque no banco o pagamento dos participantes do turno da tarde; 3. Prepare os dispositivos de registro; 4. Faça as cópias do material para os participantes; 5. Coloque o número dos participantes nos materiais; 6. Receba o participante; 7. Leve os visitantes para a sala de observação; 8. Prepare o protótipo para o início do teste. 13:00-13:25 1. Leve o participante para a sala de teste; 2. Avance 10 segundos a fita; 3. Comece o registro; 4. Ligue o programa de captura; 5. Ajuste o ângulo das filmadoras; 6. Forneça as orientações aos participantes e os formulários; 7. Instrua os usuário de forma breve sobre o uso dos equipamentos (Mouse, Teclado e etc.)
  92. 92. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Como deve ser o dia de teste? 13:25-14:30 1. Aplique o conjunto de tarefas; 2. Escreva os problemas. 14:30-14:40 1. Hora do intervalo (leve o usuário para a sala do café); 2. Pare a gravação dos equipamentos; 3. Prepare o protótipo para a segunda parte do teste; 4. Coloque uma nova fita de vídeo, adiantando 10 segundos; 14:40-15:30 1. Convide os usuários de volta para a sala de testes; 2. Ligue a filmadora e os equipamentos de registro; 3. Aplique o conjunto de tarefas restantes; 4. Escreva os problemas. 15:30-16:00 1. Pare o teste; 2. Aplique o questionário; 3. Conduza o fechamento do teste com o usuário; 4. Realize o pagamento dos usuários; 5. Conduza os usuários até a saída; 6. Coloque o número (código) no material do participante; 7. Coloque o material do usuário em uma pasta. 16:00-17:00 1. Discussão das observações com os visitantes; 2. Conduza os visitantes até a saída; 3. Discuta as observações com a equipe de teste; 4. Finalize a folha de problema; 5. Coloque a folha de problema na pasta do usuário; 6. Edite o arquivo de registro e limpo o equipamento; 7. Coloque este material na pasta do usuário; 8. Crie uma cópia de segurança dos arquivos do dia; 9. Verifique as fitas novas para o dia seguinte; 10. Limpe as salas de teste e de observação; 11. Leve o lixo para fora; 12. Desligue os equipamentos; 13. Deslique as luzes; 14. Feche as salas.
  93. 93. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Siga de maneira compulsiva o seu checklist durante os dias dos testes.
  94. 94. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Checklists A qualidade do teste de usabilidade com o passar dos dias pode ser perdida se não for usado um checklist. Quando os erros surgem o pesquisador tenta se desculpar, embora a dúvida sobre a importância do teste possa ficar. Sendo assim, os usuários podem considerar que o teste não é tão relevante para o pesquisador, embora ela tenha dito contrário no início. Só existe uma forma de garantir a qualidade do teste e esta é seguir de maneira compulsiva o checklist.
  95. 95. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Observando os problemas e criando uma lista Assim como qualquer método empírico, a chave para o sucesso está nas observações feitas durante o procedimento. Portanto, não esqueça de fazer as anotações, usar dispositivos de registro para pontuar a frequência com que os problemas ocorrem e o seu impacto nos seus colaboradores. O Registro deve ser feito considerando as suas observações (o que você está vendo) e as suas inferências (passagem da hipótese à conclusão). Caso você não tenha experiência como este tipo de teste será necessário fazer primeiro as observações, deixando a fase de interpretação para depois do teste com o usuário. Esta recomendação indica uma conversa com a sua equipe de teste antes de formular os problemas.
  96. 96. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test O que se espera compreender ao final do teste? Desvendar problemas! Todos aqueles que devem ser corrigidos. Os comportamentos que nós observamos podem ser sintomas destes problemas. Nossas hipóteses e interpretações ajudam-nos a compreender o escopo e a gravidade destes problemas, provendo os insights para criar boas soluções.
  97. 97. Lição (1): Respeite o usuário A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test
  98. 98. Lição (2): Domine os objetivos da tarefa realizada pelo usuário A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test
  99. 99. Lição (3): Aceite as várias oportunidades para melhorar o seu projeto A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test
  100. 100. Lição (4): Seja curioso A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test
  101. 101. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Lição (5): Jogue fora os seus preconceitos
  102. 102. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Lição (6): Imagine que você é um antropologista
  103. 103. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Interação com os participantes Defina as tarefas de cada membro da sua equipe, objetivando restringir ao máximo a interação deles com os seus colaboradores. A interação deve ser planejada em função das atribuições de cada membro da equipe.
  104. 104. Você não estará no local de trabalho ou na casa do usuário para ajudá-lo quando ele precisar. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test
  105. 105. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Quando e como a interrupção deve ser feita? No início ou no final de cada tarefa você pode dizer: -palavras de incentivo; -palavras para lembrar dos procedimentos (avise ao usuário que ele deverá indicar verbalmente o final da tarefa); -palavras que indicam o final de uma tarefa; -palavras que indicam o início de mais uma tarefa; -palavars de instrução; -palavras de apoio. Não influencie os participantes com as suas perguntas e com as suas respostas para eles.
  106. 106. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Use palavras neutras nas suas questões
  107. 107. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Respondendo o usuário Quando o moderador se sentir em uma posição desconfortável ou até mesmo pressionado, ele deverá: 1. devolva a questão para o usuário; 2. não responde de forma direta. Exemplo: Colaborador - Algum usuário deve tanta dificuldade como eu? Moderador - Você teve mais dificuldades do que tinha previsto?
  108. 108. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Fornecendo ajuda ao participante Existe duas guidelines para fornecer ajuda aos participantes: 1- Seja amigável e paciente sem importar a situação em que você se encontre, mesmo com comentários inesperados sobre o produto, você ou o teste; 2- Forneça o mesmo nível de ajuda em situações semelhantes para os seus usuários, logo será possível criar as suas recomendações para este tipo de situação.
  109. 109. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 19– Conducting the Test Lidando com designers e gerentes Siga as orientações seguintes para lidar com os designers e os gerentes, mesmo que eles não estejam na sala de observação. • Ajude os projetistas a lidarem com os seus egos; • Indique uma perspectiva gerencial; • Mantenha a disciplina durante os teste.
  110. 110. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  111. 111. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Qual é o foco? O foco do teste de usabilidade é encontrar problemas reais com o produto, e com processo que foi usado para desenvolver o produto. Problemas reais são aqueles que causam dificuldade para usuários quando estes interagem com o produto em sua casa, escritório, etc. A grande questão é: Como encontrar problemas reais entre todos os dados que possui? Em testes de usabilidade, geralmente você tem uma grande quantidade de dados sobre um pequeno número de participantes. Uma técnica útil para manipular essa rica quantidade de dados de várias fontes é a “triangulação”.
  112. 112. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Lista de problemas Problemas de usabilidade Dados quantitativos dos registros e dos questionários Comentários dos participantes e observações da equipe de teste
  113. 113. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Qual é o foco? Você olha para todos os dados em conjunto para ver como cada grupo de dados se relaciona com outros. Por exemplo: um tempo de tarefa longo, freqüência de erros, comentários dos participantes podem todos apontar para o mesmo problema. Quando você triangular os três tipos de dados, você se sentirá mais confiante que há um problema e que você entende ele. O conceito de triangulação dá a você uma estrutura para pensar sobre todos os dados juntos. Desenvolver uma lista de problemas durante o teste é muito útil para agilizar a sua análise. Ela dá a você uma direção (caminho) para procurar.
  114. 114. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Tabulando e resumindo dados quantitativos O primeiro passo para se manipular os dados do teste é fazendo folhas de resumos sobre o desempenho e medidas subjetivas. Para as medidas de desempenho, será necessário tabulá-las para cada tarefa para cada participante. Por exemplo: para cada tarefa você geralmente irá tabular, o tempo, o número de erros de vários tipos, e outras medidas como o número de ajudas que o participante precisou. Também são feitas separadamente planilhas eletrônicas para os itens do questionário de pré-teste e para itens dos questionários de pós-tarefa e pós-teste. Os itens do pré-teste nos dá um perfil demográfico do participante. Os itens do pós-tarefa e pós-teste dão medidas subjetivas que podem ser tabuladas. Além disto, é feito uma lista com os comentários importantes que os participantes fizeram. Estes comentários vêm dos questionários e das folhas de registros de dados. Finalmente, é feita uma lista de comentários que os membros da equipe de teste fizeram durante o teste.
  115. 115. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Olhando para tendências e surpresas nos dados Um teste de usabilidade é um método de avaliação empírico. Como tal, você terá que justificar os problemas que relatou com os dados que você coletou. Antes de voltar à folha de problemas, olhe nos dados tabulados para tendências que pareçam surpreendentes. Pode haver resultados que não tão óbvios quando foram vistos em cada participante separadamente, mas que se destacam quando você olha para os números de vários participantes juntos. O autor cita a importância de triangular os dados para identificar (o que) qual é o problema.
  116. 116. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Lidando com “outliers” nos dados Outro lugar para se ver resultados interessantes são os “outliers”. Um “outlier” é um valor muito diferente (discrepante) do resto dos valores. É interessante analisar casa um dos “outliers” a fim de entender a sua causa. Algumas vezes suas causas podem não ser um problema de usabilidade. Por exemplo, o tempo pode ter sido gravado incorretamente ou o seu equipamento pode ter dado um defeito. Em outros casos, estes tempos podem gerar indícios para problemas de usabilidade. O autor cita novamente a importância de triangular outras medidas a fim de apontar o problema real.
  117. 117. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Levando “outliers” seriamente O que acontece quando o problema acontece somente com um participante? Nós o ignoramos, pois ninguém mais teve o problema? E se essa pessoa representa 20% dos usuários? Qualquer problema com qualquer usuário é seriamente considerado. Primeiro você olha as razões para o resultado incomum. O problema é resultado de uma tarefa ou uma série de tarefas? Há algo nas características (experiência) do participante que o torna suscetível? Quando você tem pouco participantes num teste, um participante que tenha tido um problema pode representar um grande subconjunto de usuários que também irão ter este problema. Algumas vezes não há como saber, sem testar mais adiante, se o “outlier” é uma anomalia ou um indicador de algo sério. Se você encontrar um “outlier” que pode representar um grande ou importante grupo de usuários potenciais, você pode trazer mais pessoas que tenham o mesmo perfil. Se você fixa em problemas que um ou poucos participantes tem, você pode tentar uma nova versão e ter certeza de que as dificuldades para aquelas pessoas não causam problemas para outros usuários.
  118. 118. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Examinando os dados para problemas Após ter olhado para os dados para ver se haviam problemas de usabilidade, é hora de examinar os dados para ver se eles são consistentes com as hipóteses que você tinha antes de iniciar o teste. Você quer olhar pra ver se: - preocupações de usabilidade que você tinha com o produto têm sido levado em conta no design. - metas de usabilidades fixadas têm sido alcançadas. - critérios quantitativos fixados para as tarefas têm sido encontrados ou excedidos.
  119. 119. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Examinando suas preocupações de usabilidade Considere o que os dados dizem sobre as preocupações que você listou enquanto planejava o teste. Por que as preocupações guiaram você a selecionar a tarefa para o participante fazer, cada tarefa é ligada em uma ou mais preocupações. Você pode olhar para a folha de problema e dados tabulados para ver se a preocupação é justificada.
  120. 120. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Examinando metas de usabilidade Se você estipulou metas de usabilidade para o produto, agora é a hora de ver se o produto as tem alcançado. Por exemplo: Estipular o tempo de 5 minutos para ler o primeiro e-mail. Você pode ver que a vantagem de estipular metas de usabilidade é de tornar a analise dos dados muito mais fácil, por que ela permite isolar problemas importantes sem ter que vasculhar (peneirar) os dados para descobri-los.
  121. 121. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Usabilidade significa fazer usuários produtivos e felizes. Portanto, ao estabelecer critérios quantitativos para o teste de usabilidade, você deve focar no usuário e não no sistema ou produto. Analises das tarefas, entrevistas, focus group, testes de usabilidades anteriores ou outras interações com o usuário, podem ajudá-lo a estabelecer critérios para as medidas do teste de usabilidade. Para muitas medidas de desempenho, se pondo no lugar do usuário e o senso comum pode permitir a você estabelecer critérios.
  122. 122. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Examinando critérios quantitativos No capitulo 13 foi descrito como estabelecer critérios para as medidas de desempenho para cada tarefa, agora depois de estabelecido estes critérios é a hora de examinar eles. Exemplo: Para a tabela 20-1 na tarefa de “criar e enviar uma mensagem de e-mail” -Excelente – menos que 10 minutos -Aceitável – menos que 15 minutos -Inaceitável – mais que 15 minutos Encontrada algum problema é necessário que você olhe outras medidas quantitativas, avaliações dos participantes e comentários, e sua lista de problemas para triangular sobre o que é o problema.
  123. 123. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Usando Estatística A estatística discutida ao longo deste capitulo se chama estatística “descritiva”. Como o próprio nome já diz, ela você a usa para descrever as propriedades de um grupo de dados. A analise de dados de qualquer teste de usabilidade sempre começa com uma descrição das características dos dados. Há medidas de: - freqüência de registros, tal como o número de erros que ocorrem numa tarefa. - registros simples, tal como a média ou mediana de tempo por tarefa. - uma quantidade de registros variados, tal como o tempo para a tarefa. A maioria dos testes de usabilidade que o autor tem conduzido foi necessário apenas o uso da estatística descritiva junto com os dados qualitativos, tal como os comentários dos participantes, para documentar no caso da presença de problemas de usabilidade.
  124. 124. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Usando Estatística Mas o que acontece quando o gerente de produção pergunta se os valores são estaticamente significantes? A resposta para essa questão requer o uso de um diferente tipo de estatística chamada de “inferential” (dedutiva). Na estatística de cunho indutiva, você olha para os seus dados como uma amostra de um grupo maior de dados. Você pergunta o que você pode deduzir sobre o grande grupo de dados da amostra. A posição do autor é contra o uso indutivo da estatística na maioria dos casos. E ele aconselha a somente usar a estatística inferential se você entende bem como aplicá-la e interpretá-la e a explicar cuidadosamente os resultados do teste estatístico.
  125. 125. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando problemas por extensão e gravidade Você necessita de um caminho para organizar os problemas que encontrados em um teste. A organização que mais faz sentido é em relação à importância. Mas o que torna um problema importante? Importância segue para duas dimensões: - extensão – Quanto difundido é o problema? - gravidade - Quão critico é o problema?
  126. 126. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando o problema por extensão Problemas globais são mais importantes que problemas locais. A magnitude de problemas locais é restrita. Em suas formas simples, eles se aplicam a apenas uma tela ou caixa de dialogo ou janela ou pagina do manual. A seguir um exemplo de problemas locais. - O conteúdo de um menu de opções não é tão claro aos usuários. Quando participantes selecionam ele, observa-se que eles estão adivinhando qual é a escolha correta. Se o problema é restrito para uma ou duas opções, ele é um problema local. Problemas globais têm uma magnitude maior do que uma tela ou pagina. A seguir um exemplo de problema global. - Os itens de um menu hierarquizado em um aplicativo são difíceis de serem encontrados. Participantes gastam muito tempo à toa buscando no menu o item desejado. Além disso, o número de escolhas incorretas não diminui durante a segunda metade do teste. Novatos em testes de usabilidade e muitos designers tendem a ver os sintomas de um problema global como uma série de problemas locais. Em muitos casos a conexão entre os problemas locais não é tão óbvia para pessoas sem treinamento e experiência com interação humano computador.
  127. 127. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando o problema por extensão Exemplo (teste de um software de gerenciamento de e-mails): - Muitos participantes reclamaram se de fato que eles não sabem se o que eles escreveram foi de fato enviado. - Vários participantes respondem a mesma mensagem mais de uma vez. Eles não têm certeza se suas respostas tem sido enviadas com sucesso. - Muitos participantes armazenaram a mesma mensagem cinco ou seis vezes seguidas, porque eles dizem que não conseguem saber se elas estão armazenadas. Elas permanecem na tela e não há uma mensagem dizendo que elas foram salvas naquele momento. Estes não são problemas locais. Eles são sintomas de uma falta de feedback para as ações realizadas, e há provavelmente vários mais exemplos disto no software.
  128. 128. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando por nível de gravidade Ordenar problemas em categorias locais ou globais é útil para entender se o problema tem uma finalidade mais ampla. Porém, não é suficiente para identificar que problemas deveriam ser corrigidos (ter atenção) primeiro (nível de prioridade). O autor descreve uma tabela com quatro níveis de gravidade para os problemas. Nível 1: Problemas que impeçam a conclusão de uma tarefa. Exemplo: Usuários selecionam a opção errada no menu e depois não sabem mais para onde ir. Nível 2: Problemas que geram uma demora e frustração significantes. Exemplo: A falta de feedback em uma determinada tarefa.
  129. 129. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando por nível de gravidade Nível 3: Problemas que tem efeitos menores sobre a usabilidade. Exemplo: Usando a mesma palavra para significar duas ações diferentes provocam questionamentos nos usuários sobre a escolha correta. Nível 4: Problemas que são mais sutis e freqüentemente apontam para um encarecimento que podem ser adicionados no futuro. Exemplo: O participante sugere uma determinada função que ele considera interessante. Porém se o participante dizer que não usa o produto sem esta determinada função, este problema pode passar a ser de nível 1 para o produto.
  130. 130. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando por nível de gravidade O autor chama este método de ordenar problemas por gravidade como “scale” (escala), mas ele não quer dar a impressão de que eles medem a gravidade precisamente. Além disso, ele descreve que se for interessante você pode modificar a escala de acordo com a sua necessidade. Para muitas organizações, a taxa de gravidade serve simplesmente como um caminho conveniente para ajudar a organizar os problemas de usabilidade. Uma vez que você tenha ordenado os problemas por extensão e por nível de gravidade, você está pronto para por os problemas encontrados em ordem de importância. Ordene eles primeiro por nível de gravidade, depois em global e local.
  131. 131. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 20– Tabulating and Analyzing Data Organizando por nível de gravidade Há um interessante dilema, que pode ocorrer quando você ordena todos os seus problemas: Problemas locais de Nível 1 são muito mais fáceis de fixar que problemas globais de Nível 1. Por exemplo: Adicionar um passo perdido em um procedimento no manual é mais fácil corrigir do que reorganizar um manual que confunde os usuários por ser organizado em torno do produto ao invés de tarefas do usuário. Por que problemas locais são facilmente entendidos e corrigidos, pois existe uma tendência dos designers focarem neles. Corrigir vários problemas globais envolve um esforço de redesign substancial. Se você está testando o produto numa etapa tardia do processo de design, designers serão facilmente mais resistentes a mudanças. O que os designers decidem sobre os problemas que você encontrou durante o teste não o deveria impedir de descrever a gravidade de problemas de acordo com esta escala de classificação. Force a ter os problemas globais considerados, futuramente eles farão a diferença. Esta resistência por parte dos designers é mais uma razão pela qual os testes devem começar cedo.
  132. 132. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  133. 133. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Quando um teste de usabilidade é realizado, as pessoas esperam um retorno que os diga quais são os problemas que precisam ser corrigidos. No capítulo 21 do livro, são apontadas as formas de identificar e recomendar os problemas aos desenvolvedores. No capítulo 22, são abordadas as formas mais apropriadas de comunicação dessas recomendações.
  134. 134. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Antes de pensar em qualquer recomendação, é preciso distingüir quais são os problemas complexos e quais são os mais simples. Você pode dar uma série de recomendações e soluções para um mesmo problema. Algumas soluções vão atacar apenas os sintomas, enquanto outras mergulham nas causas dos problemas. É preciso, portanto, considerar dois fatores: -olhar para o produto como um todo; -focar nos problemas globais.
  135. 135. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso, portanto, considerar dois fatores: - olhar para o produto como um todo; - focar nos problemas globais. A maneira mais rápida de dar uma solução para um problema pode não ser a melhor. Por exemplo: Muitos usuários sequer olham os manuais. Só o fazem quando têm um problema. Acrescentar explicações para um determinado problema, no lugar de resolvê-lo pode ser mais fácil, porém não vai adiantar... Seria preferível melhorar a usabilidade do produto.
  136. 136. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso, portanto, considerar dois fatores: - olhar para o produto como um todo; - focar nos problemas globais. Resolver problemas globais requer muito mais conhecimento do que resolver os específicos. Primeiro, porque os problemas globais afetam diversos aspectos da interface. Segundo, porque os problemas globais apresentam uma série de sintomas, mas os testes de usabilidade só conseguem identificar alguns deles, já que trabalham a partir de amostras e tarefas específicas.
  137. 137. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Considerando os problemas globais, é preciso buscar as soluções em equipe. Desenvolver programas com boa usabilidade exige esforço de equipe. Logo, a resolução dos problemas também deve envolver a equipe como um todo. É preciso, portanto, envolver: - os designers / desenvolvedores; - os especialistas em comunicação; - os especialistas em usabilidade.
  138. 138. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicação; -os especialistas em usabilidade. Você deve incluí-los nas reuniões de discussão das soluções. Chamá-los apenas quando o relatório estiver pronto não é uma boa estratégia. Além de poder contar com a experiência deles no momento do desenho da solução, é muito mais fácil conquistar o apoio deles para a resolução do problema quando eles participam da solução. Saiba lidar com essa equipe. A tendência é que queiram atacar apenas os sintomas por falta de tempo mas se tiverem noção do todo, a resistência será menor e a credibilidade maior.
  139. 139. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicação; -os especialistas em usabilidade. Se o teste estiver envolvendo a análise de documentação ou manual, é bom envolver o pessoal de comunicação na equipe. A estrutura dos menus, as palavras a serem escolhidas para títulos, mensagens e opções podem ser melhor definidas com a participação dessa equipe de profissionais. Em geral nem os desenvolvedores nem os especialistas em usabilidade têm essa competência comunicacional / lingüística.
  140. 140. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicação; -os especialistas em usabilidade. Mudanças custam tempo e dinheiro. Antes de dar início à execução das mesmas, é preciso ter certeza de que são necessárias. Para tanto, a presença do especialista em usabilidade é essencial.
  141. 141. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Qualquer que seja a situação, é preciso buscar a melhor... ...RELAÇÃO CUSTO-BENEFÍCIO É muito raro encontrar apenas uma solução para um problema de usabilidade. Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usuários se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem: Cannot read from Drive A: Abort, Retry, Ignore? Todos gastaram uns 5 minutos testando as opções apresentadas. Há várias formas de resolver esse problema.
  142. 142. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Qualquer que seja a situação, é preciso buscar a melhor... ...RELAÇÃO CUSTO-BENEFÍCIO É muito raro encontrar apenas uma solução para um problema de usabilidade. Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usuários se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem: Cannot read from Drive A: Abort, Retry, Ignore? Todos gastaram uns 5 minutos testando as opções apresentadas. Há várias formas de resolver esse problema. 1) Não realizar mudanças. Treinar o help desk para esse tipo de suporte. 2) Melhorar os manuais de instrução. Acrescentar uma linha contendo “insira o disquete no drive A e certifique-se de travar a portinha” 3) Reescrever a mensagem da tela: Cannot read from Drive A. Is there a disk in Drive A? Is the drive latch closed? Fix the problem and press Enter to try again. 4) Mudar o produto para que os usuários não tenham mais esse problema.
  143. 143. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results É preciso buscar a melhor... …relação custo-benefício É importante testar o produto quando ele ainda estiver em desenvolvimento, para que as correções não impliquem retrabalhos muito grandes. 1) Não realizar mudanças. Treinar o help desk para esse tipo de suporte. 2) Melhorar os manuais de instrução. Acrescentar uma linha contendo “insira o disquete no drive A e certifique-se de travar a portinha” 3) Reescrever a mensagem da tela: Cannot read from Drive A. Is there a disk in Drive A? Is the drive latch closed? Fix the problem and press Enter to try again. 4) Mudar o produto para que os usuários não tenham mais esse problema.
  144. 144. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Uma vez realizada a correção, é hora de testar para ver se os problemas realmente foram solucionados... Qualquer que seja a mudança, é preciso planejar um novo teste. Felizmente o novo teste demandará menos tempo. Aqui vão razões para a economia de tempo: -você já tem clareza dos objetivos; -você já conhece os participantes; -você já tem os cenários, as tarefas, os materiais necessários; -você sabe o que quer medir. Basta aplicar o teste a alguns participantes e comparar com os resultados do primeiro. Se a performance for melhor, significa que as mudanças foram bem sucedidas.
  145. 145. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Joseph S. Dumas Janice C. Redish Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo
  146. 146. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Neste capítulo são abordadas questões como: Qual a melhor mídia a ser usada para comunicar os resultados do teste? O que deve entrar no relatório para que as pessoas o utilizem? Como planejar um relatório? Como organizar, formatar e distribuir o relatório?
  147. 147. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results A melhor mídia, a forma, o conteúdo, enfim, a estrutura de seu relatório dependerá do teste realizado e da organização em questão. Se as pessoas que terão de ler o relatório foram envolvidas desde o início, bastará um memorando com uma lista das recomendações... Um relatório completo, entretanto, é sempre bom, pois serve como documentação para outros testes. Se você tiver preparando o relatório para um cliente, o documento deverá ser o mais completo possível. Deve considerar até uma parte educativa, isto é, que mostre a importância e os porquês de cada item. Vejamos como essa estrutura pode variar em função da audiência e da mídia...
  148. 148. A Practical Guide to UUssaabbiilliittyy TTeessttiinngg Cap. 21 – Recommending changes Cap. 22 – Communicating the results Qual a melhor mídia? -Verbal -Escrita -Visual Feedback verbal sempre deve fazer parte da comunicação dos resultados. Entretanto, nunca deve estar sozinho... Mesmo que os desenvolvedores tenham acompanhado o teste, é importante que você converse com eles sobre os resultados.

×