O documento aborda a análise de dados e recomendações para testes de usabilidade no contexto da pós-graduação em Ergodesign de Interfaces na PUC Rio, destacando a importância da compilação e organização de dados coletados. É enfatizado o uso de estatísticas como tempo de tarefa e taxas de sucesso para identificar problemas críticos e fazer recomendações. Além disso, sugere a análise cuidadosa e prioritária das dificuldades dos usuários para melhorar o design do produto.

1. Análise dos dados e observações Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Mini Seminário teste de usabilidade

2. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso

3. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Características Etapas da Análise dos Dados Compilação dos dados Compilação frequente Organizar dados brutos Resumo dos dados Tarefa Cronometrada Tarefa de precisão Dados de preferência do usuário Análise dos dados Desenvolver recomendações Relatório Final

4. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso - Características • Seu objetivo é identificar os problemas mais graves • Seu resultado é um relatório simples ou apresentação verbal • Cautela nas conclusões e recomendações das análises preliminares • Atenção para não perder nada importante • Se não tiver certeza sobre o resultado recomendar uma análise mais profunda • As recomendações preliminares podem mudar depois da análise mais profunda

5. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Compilação dos Dados Ao final de cada período de teste • Reunir os formulário com os dados coletados para averiguar padrões • Verificar a legibilidade • Transcrição das gravações • Tabular dados quantitativos • A compilação frequente dos dados serve para aproveitar as informações que ainda estão frescas na memória dos avaliadores, facilitar na análise preliminar e serve como controle para verificar se a coleta está de acordo com o plano de teste.

6. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso - Etapas de Análise dos Dados / Compilação dos Dados Organizando os dados brutos • São muitas as ferramentas que podem ser utilizadas para organizar os dados. Dentre elas: 1. Listas 2. Matrizes 3. Storyboards 4. Diagramas de fluxo 5. Programas específicos 6. Planilhas (mais recomendado pela simplicidade e recursos disponíveis para análise dos dados)

7. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados • O resumo das informações compiladas serve para obter um retrato do que aconteceu durante os testes: Onde os participantes tiveram êxito ou onde tiveram dificuldades. A diferença de desempenho de cada grupo, como usuários experientes ou inexperientes. • Para elaborar este retrato podemos resumir os dados de desempenho em: Tarefas Cronometradas Tarefas de Precisão Dados de preferência do usuário

8. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Tarefas Cronometradas • Mostram quanto tempo os usuários necessitaram para finalizar cada tarefa . • Com este tempo podemos retirar algumas estatísticas como: - Média do tempo para realizar a tarefa (soma de todos os tempos dividido pelo número de participantes) - Range – Maior e menor tempo gasto para realizar a tarefa (diferença) - Desvio Padrão – Serve para detectar o grau de variabilidade entre os tempos.

9. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Tarefas Cronometradas • Formula para cálculo do desvio padrão

10. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Tarefas Cronometradas • Como usar o desvio padrão? Suponha que você tem uma tarefa com tempo médio de 6 minutos e um desvio padrão de 0,5 minutos . Isto representa que os usuários testados realizaram a tarefa com tempos próximos um dos outros. Já se o seu desvio padrão for de 3 minutos você deve analisar porque estão realizando a mesma tarefa com tempos tão distintos.

11. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Tarefas de Precisão • Várias estatísticas podem ser tiradas das tarefas de precisão. - Quantos erros - Tipos de erros e frequência - Quantos participantes realizaram a tarefa com sucesso Ex.: Porcentagem de participantes que realizaram com sucesso mesmo precisando de assistência. Porcentagem de participantes que realizaram com sucesso dentro do tempo previsto para a tarefa.

12. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Dados de preferência do usuário • Os dados preferenciais podem surgir de várias fontes diferentes como pesquisas e questionários . - Questões de escolha – pode ser realizado sumarizando-se as respostas de cada questão individualmente e pode-se calcular uma média por item, possibilitando visualizar qual o número de participantes selecionaram cada resposta. - Questões abertas e comentários – deve-se listar todas as questões e agrupar as respostas semelhantes em categorias significativas, como por exemplo, somar todas as referências positivas e negativas. - Sessões de questionamento do participante – deve-se transcrever todas as entrevistas para o papel, pois a visualização dos comentários escritos facilita a seleção dos comentários críticos bem mais do que escutar e categorizar a informação ao mesmo tempo. O registro por escrito também facilita o acesso às informações por outras pessoas.

13. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Resumo dos Dados Outras medidas • Além das medidas citadas como exemplo até agora você deve criar dados para responder as questões pertinentes ao seu plano de teste como por exemplo: - número de vezes que retornaram à página inicial sem necessidade - número e tipo de sugestões ou solicitações - número de vezes que o mapa do site foi acessado - pontos de hesitação e por quanto tempo • Se o seu projeto tem grupos distintos de usuários você também pode agrupar as informações conforme estes grupos. Da mesma forma você pode ter versões diferentes do mesmo produto.

14. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Análise • Identifique as tarefas que não cumprem o critério de sucesso. Se a porcentagem de erros for no mínimo 70% (ponto de equilíbrio) , o problema é considerado muito grave. Estas tarefas representam a parte vulnerável do produto . Para um relatório preliminar, são elas que devem ser focadas inicialmente. • Identifique erros e dificuldades dos usuários como, por exemplo, a omissão de um passo na realização da tarefa, a exclusão de um arquivo ainda necessário etc. • Identifique a fonte dos erros analisados . Identifique os componentes responsáveis. Os motivos devem ser claros para a elaboração de recomendações. Consulte as documentações do teste para não esquecer de detalhes importantes. Considere os antecedentes dos usuários que vivenciaram o erro. Não tente resolver o problema precocemente e recomendar uma correção antes de ter identificado todas as causas do erro .

15. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Análise • Priorize os problemas por gravidade . GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA • Vale lembrar que, com o desenvolvimento e re-design do produto, o ponto de equilíbrio deve diminuir pois pressupõem-se que os problemas serão gradativamente resolvidos e, por consequência, a probabilidade de sucesso no desempenho das tarefas aumente.

16. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Análise GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA • Primeiro categorize o problema por severidade. • A frequência é influenciada por dois fatores: % de usuários afetados e probabilidade de um usuário do grupo ser afetado. • Não se preocupe sobre a precisão exata do valor relativo a frequencia. • Pode-se perguntar para o usuário, durante o teste, qual a situação mais problemática.

17. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Etapas de Análise dos Dados / Análise • Analise entre diferentes grupos e versões do produto . Cautela com apresentação de dados quantitativos dependendo do número de usuários da sua amostra. • Para um resultado estatisticamente mais significativo utiliza-se estatística inferencial . Isto é podemos inferir algo sobre uma população maior ou menor do que a testada. Para levantar tais dados estatísticos é preciso muito rigor na elaboração dos testes e uma amostra grande de participantes. Para a grande maioria dos casos esta técnica é evitada.

18. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso ;)