testes de usabilidade

1. DCI
Usabilidade e Arquitetura da
Informação
Sandra de Albuquerque Siebra
sandra.siebra@ufpe.br

2. Aula de Hoje:
Testes de Usabilidade
(continuação)
Pode postar sua dúvida no chat a
qualquer momento, ok?

3. System Usability Scale (SUS)
• A Escala de Usabilidade do Sistema (SUS) é um
questionário simples, que consiste de uma escala de dez
itens que fornecem uma visão global da avaliação
subjetiva da usabilidade.
• Aplica-se tal questionário geralmente após o participante
ter tido a oportunidade de usar o sistema em questão,
porém antes de discussões acerca o produto.
• Todos os itens devem ser checados - você não pode
fazer uso parcial do SUS ou mudar a ordem das questões
• Por causa do cálculo que é feito!

4. Cálculo do SUS
• O valor de cada contribuição muda de acordo com a característica
da questão
• Para as questões 1,3,5,7 e 9 (questões de numeração ímpar), a
pontuação é a posição na escala marcada pelo usuário MENOS 1.
• Posição na escala que foi marcada pelo usuário: 2
• É questão de número ímpar: SUBTRAI 1
• Questão 3: 2 - 1 = 1 (valor da questão)

5. Cálculo do SUS
• Para as questões de número 2,4,6,8 e 10, a pontuação é de 5
MENOS a posição marcada na escala pelo usuário.
• Posição na escala que foi marcada pelo usuário: 4
• É questão de número par: 5 - posição marcada
• Questão 2: 5 - 4 = 1 (valor da questão)

6. Cálculo do SUS
• Repete os cálculos
anteriores para
cada uma das 10
questões
FONTE: https://medium.com/design-contaazul/medindo-
a-usabilidade-do-seu-produto-com-system-usability-
scale-sus-3956612d9229

7. Cálculo do SUS
• Para calcular a pontuação
do questionário, deve-se
somar a contribuição de
cada questão.
• Ou seja, fazer o
somatório das pontuações
de cada item.
= 33

8. Cálculo do SUS
• E, por fim, multiplicar a soma das pontuações por 2,5 para
obter o resultado global do SUS.
• Este resultado global varia de 0 a 100.
33 x 2,5 = 82,5

9. Interpretação do resultado do SUS
• Itens com menos de 50 pontos são preocupantes e
considerados inaceitáveis, precisando de ajustes
urgentes.
• Produtos com pontuação entre 50 e 70 são
razoáveis, mas merecem ser aprimorados.
• Produtos entre 70 pontos e 90 são aceitáveis e
não apresentam problemas graves de usabilidade
• Produtos acima de 90 pontos possuem boa
usabilidade.

10. • Agora, vocês,
como seria o
cálculo do SUS
nesse
formulário e o
que significaria?
ÍMPAR: valor -1
PAR: 5 - valor

11. RESULTADO
• Interpretação:
• Produtos com pontuação entre 50 e 70 são
razoáveis, mas merecem ser aprimorados

12. Grupo Focal
• Reunião com usuários para discutir a interface.
• Entrevista coletiva
• Apropriado para pesquisar atitudes, preferências,
necessidades, sentimentos e opiniões
• Abrange grupos de pessoas pertencentes ao ambiente de
análise
• Deve ser realizado com pessoas que tem características em
comum e conhecem o foco da discussão (problema,
instituição, objeto de interesse, etc)
• Pode combinar com outras técnicas (ex: observação direta)

13. Grupo Focal - o moderador
• O grupo deve ter um moderador para conduzir o encontro
• Ele deve guiar os assuntos/temas/questões a serem
discutidos e delimitar as informações que devem ser
obtidas.
• São também funções do moderador:
• Manter o foco da discussão
• Mediar conflitos
• Controlar o tempo da discussão de cada ponto
• Garantir a contribuição de todos sem que um integrante influencie os
demais, e, por fim,
• Fazer uma análise final (resumir as ideias do grupo).

14. Grupo Focal
• Vantagens
• Interação entre os participantes, enriquecendo as respostas
• Profundidade e qualidade das respostas
• Analisar problemas sob vários ângulos/interpretações
• Desafios
• Possibilidade das opiniões serem influenciadas
• Possibilidade de perda do controle da discussão
• Necessidade de manter o foco
• Depende muito da habilidade do moderador.

15. Grupo Focal - regras
• 3 a 4 grupos de 6 a 12 participantes
• Participantes em consonância com os objetivos da
pesquisa
• participantes devem ter nível sócio cultural semelhante e,
preferencialmente, serem estranhos entre si
• Aproximadamente 1 a 2 horas de duração
• Necessidade de um moderador
• Necessidade de registro da discussão
• Escolha de local agradável e privado
• Sugere-se mesa em U, oval ou redonda

16. Grupo Focal - regras
• Necessidade de garantir confidencialidade
• É preciso aproveitar bem o tempo
• É preciso evitar discussões paralelas
• Só uma pessoa deve falar por vez
• Deve-se estimular todos a falar
• Ninguém deve dominar a discussão
• Todos têm o direito de dizer o que pensam

17. 4. Experimentos
• Abordagem baseada nos procedimentos
científicos
• Experimentos são realizados em laboratórios
especialmente criados para este tipo de análise.
• A coleta de dados utiliza técnicas semelhantes às de
observação indireta e monitoramento.
• A avaliação é mais rigorosamente controlada, dados
são analisados quantitativamente para produzir
métricas que podem vir a orientar o projeto 17

18. Experimentos
• Experimentos bem elaborados de laboratório não são
simples
• Uma hipótese passível de teste deve ser proposta e as
variáveis de interesse devem ser controladas
• Conhecimento de estatística é necessário para validar os
resultados
• Para conhecimentos mais específicos, experimentos podem
ser úteis
• Ex: Decidir a melhor maneira de selecionar texto
• Ex: Avaliar os caminhos de navegação seguidos pelo usuário
• Ex: Avaliar pontos que involuntariamente atraem a atenção do usuário
18

19. Exemplo de Hipóteses
• Os clientes de um cinema devem ser capazes de
adquirir sua entrada pelo aplicativo no telefone celular
com 98% de eficácia (realizar a tarefa em 98% dos
casos) em menos de 5 minutos em média.
• O escore no SUS para essa tarefa deve ser superior a
70.

20. Laboratório de Usabilidade
MORAES; ROSA, 2008, p.152

21. Laboratório de Usabilidade
FONTE: http://www.linhadecodigo.com.br/artigo/2374/abc-da-usabilidade-testes-empiricos-com-usuarios-fase-1-preparacao.aspx

22. Laboratório de Usabilidade
FONTE: https://blog.mastertech.com.br/design/teste-de-usabilidade-5-maneiras-de-testar-suas-aplicacoes/

23. Laboratório de Usabilidade
Fonte: https://pt.slideshare.net/agner/teste-formal-de-usabilidade

24. Laboratório de Usabilidade
Fonte: https://blog.mastertech.com.br/design/teste-de-usabilidade-5-maneiras-de-testar-suas-aplicacoes/
Para celulares, pode-se compartilhar tela com computador e gravar
no computador ou usar equipamentos de filmagem.

25. Medidas de Desempenho
• Este método pode, em sua forma simplificada, concentrar-se
apenas na aferição do tempo total gasto pelo usuário típico para
completar uma ou mais tarefas específicas (eficiência) e se ele
conseguiu realizá-las de forma correta e completa (eficácia).
• Podem ser medidos:
• número de tarefas realizadas em um determinado tempo;
• número de erros;
• número de cliques;
• número de vezes em que o usuário claramente se mostrou frustrado
com o sistema;
• número de usuários que desistiram de realizar a tarefa, etc

26. Experimentos
• Vantagens
• Completa visibilidade das ações do usuário.
• Possibilidade de análise por diferentes ângulos e por diversos
especialistas.
• Estudo aprofundado e completo.
• Desvantagens
• Ambiente controlado
• Condições artificiais
• Descontextualização
• Inibição
• Custo da infraestrutura

27. Fundamentos do Experimento
• No planejamento observar os aspectos
• Propósito do experimento: o que está sendo
medido, o que irá ser observado/mapeado?
• Hipótese - deve ser estabelecida de maneira que
possa ser testada
• Como serão analisados os resultados?
04/09/19
27

28. Exemplo do Experimento
• Ex. avaliação da eficiência relativa dos usuários utilizando
teclas de função ou menus num sistema de controle de
processos
• Deve levar em conta:
• constantes (experiência dos usuários e tarefa a ser realizada) e
• as medidas de performance (velocidade de execução de comandos
e/ou percentual de erros)
• Hipótese possível
• teclas de função são mais eficientes (produzem execução mais rápida
de comandos)
• Grupos usarão as duas interfaces
• Significância estatística entre as diferenças serão determinadas.
04/09/19
28

29. Eye Tracking
• Pode não parecer, mas importa muito saber para onde seu
usuário está olhando.
• É preciso observar o comportamento do usuário ao ser impactado
pela informação que você está tentando passar.
• Qual a reação instintiva dos usuários ao verem determinada
informação ou serem submetidas a determinado estímulo?
• Qual o caminho percorrido pelo olhar no primeiro contato?
• Qual o caminho que os olhos deles vão seguir após olhar para a
informação X?

30. Eye Tracking
• Somos influenciados inconscientemente pelas
cores, formas, posições, direções, texturas e sons.
• Somos impactados por diversos níveis de
informações e nossos sentidos interpretam, quase
sempre, sem nos deixar perceber e nos fazem
tomar decisões antes de “consultar” nossa razão.
• Olhares involuntários

31. Eye Tracking
• O equipamento mede o deslocamento e foco na tela,
gerando diversos relatórios sobre os resultados obtidos.

32. Eye Tracking - equipamentos

33. Exemplos
• Na primeira imagem o personagem olha para você, você
tende a olhar para ele. Na segunda, você segue a visão do
personagem. A diferença é “mínima”, o resultado é notável.

34. Outro exemplo. Pra onde você olharia?
https://www.neurosciencemarketing.com/blog/articles/baby-heat-maps.htm

35. E agora, o que acham?

36. Também usado em outros contextos

37. Diferentes tipos de gráficos

38. Cruzar o gráfico de várias pessoas
https://commons.wikimedia.org/wiki/File:Gaze_plot_eye_tracking_on_Wikipedia_with_3_participants.png

39. https://blog.escoladomarketingdigital.com.br/como-vemos-um-banner-eye-tracking-mostra-que-tipo-de-anuncio-e-mais-percebido/
Ex: A melhor posição de anúncio, com 84% de visibilidade,
mostrou-se aquela no lado esquerdo da tela, inserido no meio do
conteúdo. O pior índice (33%) foi aquele obtido quando a peça
estava abaixo da primeira rolagem.

40. https://blog.escoladomarketingdigital.com.br/como-vemos-um-banner-eye-tracking-mostra-que-tipo-de-anuncio-e-mais-percebido/
Ex: Outro ponto do estudo foi identificar como a presença ou não de
rostos nos banners impacta a visibilidade. A diferença impressiona:
100% dos anúncios com rostos foram notados pelos usuário, que
focaram exatamente a região da face, enquanto que 80% das peças sem
rostos foram vistas.

41. Casos onde anúncios foram ignorados
https://www.businessinsider.com/eye-tracking-heatmaps-2014-7#ixzz3GxoCwzP7

42. Caso da google
No Google, os cinco
primeiros itens da página
atraem a maioria dos
olhares.
Todo o resto pode ser
considerado abaixo da "linha
do equador".
https://www.businessinsider.com/eye-tracking-heatmaps-2014-7#ixzz3GxoCwzP7

43. No Facebook
As pessoas focam
o seu olhar em
postagens e áreas
com fotos
https://www.businessinsider.com/eye-tracking-heatmaps-2014-7#ixzz3GxoCwzP7

44. Aplicações do uso do Eye Tracking
• Simulação de reações humanas
• Pesquisas de Usabilidade
• Pesquisas de Experiência do Usuário
• Pesquisas de Marketing
• Pesquisas de Psicologia
• Pesquisas em jogos
• etc

45. Alguma dúvida?

46. Agora que tal um desafio?

47. Referências
• FERREIRA, Simone B. L.; LEITE, Julio C. S. do P. Avaliação da usabilidade em
sistemas de informação: o caso do sistema submarino. Revista de
Administração Contemporânea – RAC, São Paulo, v.7, n.2, p.115-137,
abr./jun. 2003. Disponível em: < http://www.anpad.org.br/rac/vol_07/dwn/rac-
v7-n2-sbf.pdf>. Acesso em: 10 set. 2013.
• Grupo Focal. http://gustavogamorim.googlepages.com/Grupofocal.pdf
• Amstel, Frederick van. Como fazer testes de usabilidade. Disponível em:
http://www.slideshare.net/usabilidoido/como-fazer-testes-de-usabilidade
• Nielsen, Jacob. Why You Only Need to Test with 5 Users. Disponívelem:
http://www.useit.com/alertbox/20000319.html
• FERREIRA, Kátia. Teste de Usabilidade. Monografia de final de curso. 2002.
UFMG.

48. Materiais Consultados
• Testes de Usabilidade - Marcelo Ramos -
http://www.marceloramos.com.br/publicacao/68/teste-de-usabilidade
• Rubin, J. Handbook of Usability Testing, John Wiley & Sons, 1994.
• Teste de Usabilidade PUC-Rio - Luiz Agner
https://pt.slideshare.net/agner/teste-formal-de-usabilidade
• Projeto BetterDesktop. Disponível em:
http://www.betterdesktop.org/wiki/index.php?title=Data
• Testes de Usabilidade - http://www.slideshare.net/agner/testes-de-
usabilidade-slide-share-1

49. Vamos iniciar recapitulando?
https://create.kahoot.it/v2/share/18a117d
e-4e38-468d-a7b0-be51d850a182
Acesse www.kahoot.it or use o
aplicativo Kahoot! app
PIN: 1224967