O capítulo aborda o processo de relatar descobertas e recomendações em testes de usabilidade, abrangendo quatro etapas principais: compilação, análise, documentação e produção do relatório final. As descobertas, que incluem inferências de observações, são fundamentais para a elaboração de recomendações e para comunicar questões de usabilidade. O documento também destaca a importância de organizar o relatório de forma clara e acessível, visando apoiar mudanças e educar a equipe sobre os resultados dos testes.

1. Há muito tempo atrás numa galáxia muito distante...

2. O capítulo 12

3. Reporting Findings and Recommendations CAPÍTULO 12 Handbook of Usability Testing - Second Edition - Jeffrey Rubin e Dana Chisnnel

4. Análise de dados dos testes / elaboração de recomendações Quatro etapas: 1) Compilação e sumarização dos dados 2) Análise dos dados 3) Registro de descobertas e elaboração de recomendações 4) Produção do relatório final

5. O que é uma descoberta (finding)? "The result of a usability test is not merely tables of data and list of issues. The result of a usability test comprise the discoveries made while observing real users performing realistic tasks using a product. “ Além das técnicas, observação é muito importante para realizar uma descoberta sobre o sistema.

6. O que é uma descoberta (finding)? "Findings are inferences you and your team draw from the observations you have made along with analyzing “ As descobertas são também inferências que você pode fazer durante a análise.

7. Dando forma as descobertas "Findings are often expressed in headline fashion or one-sentence statements that encapsulate the essence of usability issue. They are the centerpiece of the report. For example: "The 'Go' label did not suggest "refresh" or "reload" to participants "

8. Documentando os resultados "Start documenting your usability study by approaching the final report in layers" 1) Escreva os ítens a serem relatados 2) Expanda a discussão de cada um dos ítens descobertos com narativas, frases de participantes e ilustrações (ex:. screen captures); 3) Volte para o início da seção de resultados para descrever ítens globais e conclusões gerais 4) Organize os ítens descobertos e agrupe-os de forma que façam sentido

9. Documentando os resultados 4. Organize os ítens descobertos e agrupe-os de forma que faça sentido. Algumas possibilidades: - Tarefas - Perguntas de pesquisa (research question) - Seção do Produto - Como o time é organizado (considerar os membros da equipe a quem se destinam os resultados).

10. Paradigma de Dana Dana often uses the research questions as the top level of headings. This accomplishes a few important things. By reiterating the research questions as a way of grouping findings, you can: Ensure that you have answered the original questions, thus accomplish-ing the goals of the test. Tie the data gathered to the final findings and recommendations. Educate the team by connecting the plan and design to the outcomes.

11. Como ordenar cada grupo de descobertas (findings)/outra sugestão Local versus global (an isolated problem versus a more general or fundamental problem) Impact on users (time or data loss, injury or possible loss of life) Frequency Ability to work around or not Where in the product the problem occurred Task Visibility (a clear problem or one that occurs two weeks later because of something you did that you didn’t realize) Cost to fix Level of embarrassment to the user

12. Construindo o rascunho do relatório 1) Documentar ítens descobertos, recomendações e acordos 2) Lembrar como aconteceu o teste, quais os objetivos principais dele 3) Explorar ítens da metodologia que possam ter influenciado nos resultados finais 4) Dar recomendações aos designers e desenvolvedores sobre como remediar problemas do projeto/produto 5) Relatar pontos específicos relacionados as preocupações de negócios

13. Construindo o rascunho do relatório "Create a report that is acessible, portable, and understandable on its own" O relatório precisa ter vida própria, ou seja ele sozinho ser capaz de ser entendido por quem trabalha no projeto.

14. Construindo o rascunho do relatório "Know your audience. Be creative but mindful about how your report will be received, reviewed, and reacted to“ Conheça o cenário e as pessoas para quem seu relatório será feito.

15. Porque construir um relatório? "What the test should do is support and initiate change, direct action, provide a historical record, and educate - all the same time.“ O teste pode ser o primeiro passo para o começo de uma mudança.

16. Porque construir um relatório? "Above all else, it should communicate to people. There is no reason that reports need to be stuffy, boring and overly technical.“ Simplicidade, clareza, criatividade. Relatórios precisam ser lidos e por isso, não devem ser chatos.

17. Porque construir um relatório? "When writing the report, approach it as if you were basically telling a story, and make sure that all the sections of the report relate to that story"

18. Organizando um relatório Deve existir uma sequência lógica para o relatório. Assim como uma boa história ele deve conter: início, meio e fim.

19. Organizando um relatório Início: composto de informações sobre porque o teste foi feito (objetivos) e como foi preparado Meio: o que aconteceu durante o teste Fim: são as "implicações" do que aconteceu, e o que você recomenda sobre os problemas vistos no teste importante: um relatório formal deve ter entre 20 e 25 páginas

20. Partes gerais de um relatório 1. Executive Summary (Sumário Executivo) Esta parte do relatório contém um curto resumo sobre a estrutura do teste, pontos críticos e recomendações gerais, questões que mereçam pesquisas mais aprofundadas e os benefícios gerais do teste.

21. Partes gerais de um relatório 2. Method (Método de pesquisa utilizado) Onde é descrita a "natureza" do teste. Como foi planejado (configuração do teste), características dos participantes e os métodos utilizados para coleta de dados.

22. Partes gerais de um relatório 2. Method (Método de pesquisa utilizado) Exemplo: We conducted the study that this report covers to answer these questions: Question : What types of information do they expect to find on the site? At what depth? Summary Insights Because the tasks were outside the experience of most of the participants in the study, we don't really have the answer to this question. I recommend further study, in the field with participants who are in the mode of researching conditions they've recently been diagnosed with.

23. Partes gerais de um relatório 3. Results (Resultados) Nesta parte do relatório são exibidos os resumos dos resultados qualitativos e quantitativos, da forma mais concisa e compreensível possível.

24. Partes gerais de um relatório 3.1 Resumos Quantitativos Relacionados às tarefas completadas, erros, respostas do sistema (logs), ranking de erros.

25. Partes gerais de um relatório 3.2. Resumos Qualitativos Relacionados a ítens sobre tipos de erros, dados a partir de questionários e questões relacionadas a satisfação (like). Não é necessário incluir linhas de tabelas de dados coletados ou respostas de questionários, que podem ser colocados em um apêndice. Simplemente mencionar o usuário do dado coletado ou o local onde os dados estão colocados no relatório já é suficiente para persuadir e causar interesse.

26. Partes gerais de um relatório 4. Descobertas e recomendações (findings and recommendations) "at last we come to the raison d'être for the entire process of usability testing” E finalmente chegamos à razão de existir do processo de usabilidade.

27. Partes gerais de um relatório 4. Descobertas e recomendações (cont) Esse é o momento de pegar todas as informações analisadas e traduzí-las em ítens específicos. Não é um processo simples nem cientificamente preciso. Similar a etapa de "product development" no sentido de caracterizar usuários e a partir disso desenvolver especificações funcionais para o projeto de um sistema .

28. Partes gerais de um relatório 4. Descobertas e recomendações (cont) Nesta seção também são inseridas algumas discussões e explicações sobre os ítens, como recomendação, caso seja apropriado.

29. Partes gerais de um relatório 4. Descobertas e recomendações (cont) Em alguns casos, a quantidade de "issues" pode ser grande. Não é necessário evidenciar nenhum ítem específico, nem reduzir o detalhamento sobre a questão.

30. Partes gerais de um relatório 4. Descobertas e recomendações (cont) Mas é importante organizar as informações de forma que a pessoa que esteja lendo o relatório possa facilmente pular explicações caso ache necessário. Incluir ilustrações como "screen captures with explanatory callouts" podem ajudar na análise dos problemas, mas irão aumentar o tamanho do relatório.

31. Partes gerais de um relatório 4. Descobertas e recomendações (cont) Esta seção, caso necessário, pode ser dividida em: 1) Descobertas e recomendações gerais 2) Descobertas e recomendações específicas

32. Desenvolvendo recomendações Recomendações não devem ser elaboradas idealmente por uma única pessoa. Ítens importantes: 1) Diferentes pontos de vista são fundamentais 2) "You need to buy-in"

33. Desenvolvendo recomendações Ainda sobre recomendações, um roteiro sistemático para elaboração de recomendações: 1) Foco em soluções que terão maior impacto 2) Desconsiderar questões da política da empresa no rascunho inicial das recomendações 3) Incluir recomendações de curto prazo e longo Prazo 4) Citar ítens onde a equipe de teste precisa fazer pesquisas mais aprofundadas 5) Cobrir todos os problemas de forma ampla

34. Material de apoio para os revisores A maior parte do tempo não é necessário incluir material de apoio, tabela de dados, ou copias de entregas recentes do estudo no relatório final. Se você considerar que esse material será útil para as pessoas que irão ter contato com o relatório, você deve incluí-lo um apêndice, anexo ao relatório. Importante: Não citar nomes dos participantes, apenas fale de seu "background" ou alguma outra informação relevante.

35. Refinando o formato do relatório Considerar as seguintes questões para avaliar o formato final do relatório: 1) Were you able to get the information you needed?" 2) Was the type of information you needed all there? 3) Was the format easy to use?“ Considerar, no caso de relatórios internos, os feedbacks dos últimos relatórios entregues que você percebeu que funcionaram bem na organização.

36. Alguns exemplos Finding 3 The “Go” label did not suggest “refresh” or “reload” to participants. Recommendation: Add a “Refresh” button on the bottom of the screen next to the “Reset” button.

37. Alguns exemplos Task : Use the web site to reserve a car at the San Francisco airport. Source of error: Policy information and specifics are not clearly communicated to users making reservations. The primary source of policy information is the Verify Information page, which contains the specifics of the rental (rate, time, etc.), as well as any policy information specific to that rental. Users tended to skim all content on this page, looking only at the far right and left columns containing the specifics of their rental Recommendation: Redesign the Verify Your Information Page Consider changing text that is in all uppercase text to mixed case or title case. Expand the columns slightly so users are less inclined to skim but instead will be slowed down. Break up one large page of solid content into smaller visual areas to make viewing easier and simpler.

38. Criar Apresenção ou Vídeos com Highlights

39. Cuidados sobre Highlights em Vídeo " Done Right"! 1) Ser persuasivo 2) Ser capaz de inspirar suporte às práticas de UCD (User Centered Design)

40. 3) Ser capaz de influenciar mudanças organizacionais 4) Os highlights não devem tentar reproduzir a experiência de estar assistindo ao testes, mas sim dar uma visão geral, evidenciando problemas críticos e importantes descobertas durante o teste Cuidados sobre Highlights em Vídeo (continuação)

41. Etapas para produção dos highlights em vídeo 1) Considerar os pontos do vídeo que você quer destacar 2) Gerar clips das partes dos pontos a serem destacados 3) Rever o tempo e a organização da sequência dos clips 4) Escrever títulos e legendas para os vídeos 5) Por fim, revisar e fazer as adequações finais

42. E para encerrar 2 coisinhas...

43. Uma homenagem e...

44. Obrigado