Este artigo apresenta o desenvolvimento de um questionário e escala (SURE) para avaliar a usabilidade de aplicativos para smartphones após testes de usabilidade com usuários. O questionário foi criado após revisão sistemática da literatura de questionários existentes e validado por meio de 305 testes com usuários de 5 aplicativos. A análise dos dados utilizando Teoria de Resposta ao Item gerou uma versão final de 31 itens e uma escala de usabilidade.

1. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
SURE
uma proposta de questionário e escala
para avaliar a usabilidade de aplicações
para smartphones pós-teste de usabilidade
Juliane Vargas Nunes
julivn@gmail.com
http://www.gqs.ufsc.br/

2. Profª. Dr. Christiane
Gresse Von
Wangenheim
Mathias Reolon
Prof. Dr. Adriano
Ferreti Borgatto
Autores
M.ª Juliane Vargas
Nunes
Thaisa Cardoso
Lacerda
Caroline Krone
B.el Rafael José de
Oliveira
Jessica Xafranski
1/33

3. • Introdução
• Procedimentos metodológicos
• Revisão sistemática da literatura
• Projeto inicial do questionário
• Validação
• Análise dos dados
• Resultados
• Conclusões
Sumário
2/32

4. • Difusão do uso do smartphone e suas aplicações.
• Usabilidade como um dos mais importantes atributos de
qualidade dessas aplicações, afetando a satisfação do
usuário (Ketola e Röykkee, 2001; Treeratanapon, 2012;
Seffah et al., 2006).
http://www.webbypropaganda.com.br/wp-
content/uploads/2014/04/using-smartphone.jpg
Introdução
3/32

5. • Teste de usabilidade como um dos principais métodos de
avaliação sob a perspectiva do usuário.
• É comum usar questionários pós-teste para identificar
aspectos subjetivos não diretamente observáveis durante
o teste.
Introdução
4/32

6. • Existem vários questionários pós-teste (SUS, QUIS, SUMI,
etc).
• Porém, eles variam quanto aos fatores medidos, número
de itens, escalas de resposta, etc (Hornbæk, 2006).
• Além disso, são voltados, principalmente, para desktop.
Introdução
5/32

7. • Por isso, este artigo apresenta a concepção de um
questionário pós-teste de usabilidade, sua validação a
partir dos resultados de 305 testes com usuários,
analisados estatisticamente e a criação de uma escala de
usabilidade.
Introdução
6/32

8. Procedimentos metodológicos
7/32

9. • Realizada no Google Scholar entre abril e maio de 2013.
• Foram incluídos artigos: completos, publicados em inglês,
entre 1990 e 2013, com acesso livre via Portal Capes, que
apresentassem questionários para medir a usabilidade no
final de testes de usabilidade.
Revisão sistemática da literatura
8/32

10. • Foram identificados 11 questionários: SUMI (Kirakowski e
Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS
(Brooke, 1996), PSSUQ (Lewis, 2002), MPUQ (Ryu, 2005),
MoBiS-Q (Markova, 2007), MoBiS-Q (Vuolle, 2008), CSUQ
(Lewis, 2010), UMUX (Finstad, 2010), UMUX LITE (Lewis,
2013).
Revisão sistemática da literatura
9/32

11. • Eles focam na satisfação do usuário, sua percepção de
eficiência, eficácia, além de atratividade e utilidade do
sistema.
• Alguns consideram dispositivo móveis como PDAs,
celulares com teclado físico e smartphones mais simples
(Ryu, 2005).
• Isso reforça a importância de um questionário para
smartphone.
Revisão sistemática da literatura
10/32

12. • Os questionários levantados foram agrupados.
• Foram excluídos itens: repetidos, adequados para
avaliação de especialistas e não referentes à usabilidade.
• Os itens do SUS foram mantidos propositadamente, a fim
de permitir a sua comparação com o questionário
proposto.
Projeto inicial do questionário
11/32

13. • Assim, foi gerado um questionário com 37 itens, com uma
escala likert de respostas de 4 pontos.
Projeto inicial do questionário
12/32

14. Testes
• Foram selecionados 5 aplicativos gratuitos.
• Cada um deles dentro de um nível de usabilidade (muito
alta, alta, razoável, baixa e muito baixa), de acordo Witt
(2013).
iOS Android
Validação
13/32

15. Testes
• Para cada aplicativo foram definidas tarefas específicas.
Ex. Tarefas Buscapé:
1. Faça uma busca pelo livro "Não me faça pensar".
2. Filtre os resultados pelo menor preço.
3. Calcule a oferta para o frete.com menor preço.
Validação
14/32

16. Testes
• Os testes foram realizados entre set/out 2013, sendo:
134 remotos
51 em ambiente
controlado
120 em sala de aula
+
+
=305
Validação
15/32

17. • Depois de organizados, os dados foram analisados pela
TRI.
• A TRI é utilizada para medir traços latentes que não
podem ser medidos diretamente, como a usabilidade, a
partir de modelos matemáticos (TEZZA et al, 2011).
Análise dos dados
16/32

18. As vantagens da TRI são:
• Atribuição individual de peso para questões com
diferentes complexidades;
• Elaboração de uma escala que permite a inserção de
novos dados ao longo do tempo;
• Inserção dos itens e das respostas dos usuários em uma
mesma escala, permitindo sua interpretação.
Análise dos dados
17/32

19. • Posteriomente os valores de usabilidade dos aplicativos
atribuidos pelos participantes foi posicionado dentro de
uma escala, conforme mostra a próxima figura.
• Para essa escala foi determinado uma média e um desvio
padrão (50, 10).
Análise dos dados
18/32

20. Distribuição dos valores de usabilidade dos aplicativos atribuidos
pelos participantes dos testes.
Análise dos dados
19/32

21. • A aplicação da TRI eliminou 6 itens, por terem informações
insuficientes ou não estarem associação a usabilidade.
Análise dos dados
20/32

22. • Assim, foi gerada a versão (1.0) do SURE (Smartphone
Usability questionnaiRE), com 31 itens.
• E proposta uma versão curta com 11 itens.
• Em seguida, foram comparadas a distribuição das
respostas das duas versões do SURE e dos SUS1, conforme
mostra a próxima figura.
1 Sobre apenas 9 de seus itens.
Resultados
21/32

23. Curva de informação dos três instrumentos
Resultados
22/32

24. • Posteriormente a escala de usabilidade foi interpretada,
descrevendo quais fatores de usabilidade os aplicativos
classificados em cada nível possivelmente atendam.
Resultados
23/32

25. Resultados
24/32
• As notas gerais atribuídas aos aplicativos com os três
instrumentos foram:

26. • A maioria dos itens "tradicionais" de medição também se
aplica ao contexto do smartphone.
• Contudo, a princípio os 6 itens eliminados não são
mostram adequados para medir a usabilidade desse tipo
de aplicação.
Resultados
25/32

27. • As duas versões do SURE se mostraram mais eficientes
para avaliar aplicações com usabilidade entre os níveis 20
e 60.
• Mas a versão a extensa teve melhor desempenho que a
resumida por conter maior quantidade de informação.
• A aplicação da versão resumida pode ser uma alternativa.
Resultados
26/32

28. • Ambas as versões do SURE consistem em ferramentas
válidas para medir a usabilidade de aplicações
smartphone pós-teste de usabilidade.
• Contudo, ainda são necessárias outras formas de
validação como o cruzamento dos resultados dos 305
testes com avaliações heurísticas dos mesmos aplicativos.
Conclusão
27/32

29. • Esse estudo é um primeiro passo na avaliação da
usabilidade percebida pelos usuários de aplicações
smartphones.
• Com ele pretende-se contribuir com a tomada de
decisões durante o projeto e avaliação de usabilidade de
aplicações smartphone, buscando torná-las mais eficientes
e agradáveis.
Conclusão
28/32

30. • A todos os participantes do estudo de caso.
• Ao CNPq (Conselho Nacional de Desenvolvimento
Científico e Tecnológico) pelo financiamento desta
pesquisa.
Agradecimentos
29/32

31. • Brooke, J. SUS: a “quick and dirty” usability scale. In P. Jordan, W. Thomas, B.,
Weerdmeester, A. e McClelland, A. L. Usability Evaluation in Industry. London: Taylor and
Francis. 1996.
• Chin, J. P. et al. Development of an instrument measuring user satisfaction of the human-
computer interface. Proc. Conference on Human Factors in Computing Systems, University of
Maryland, 1988, College Park, USA (1988), 213-218.
• Davis, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of
Information Technology. MIS Quarterly, vol. 13, no 3 (1989), 319-340.
• Finstad, K. The usability metric for user experience. Interacting with Computers, vol. 22
(2010), 323-327.
• Hornbæk, K. Current Practice in Measuring Usability: Challenges to Usability Studies and
Research, International Journal of Human-Computer Studies, vol. 64, Issue 2, February
(2006), 79-102.
• Ketola P.; Roykee, M. The Three Facets of Usability in Mobile Handsets. CHI Workshop,
Mobile Commun: Understanding Users, Adoption & Design, Seattle, WA, 2001.
Referências
30/32

32. • Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer
Society, Manchester, (1988), 329–338.
• Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability
Studies, Int J. of Human-Computer Interaction, (2002), 462– 488.
• Lewis, J. R. Psychometric Evaluation of the CSUQ Using Data from Five Years of Usability
Studies (2010).
• Lewis, J.R. et al. UMUX-LITE: when there's no time for the SUS. Proc. CHI, Paris (2013),
2099-2102.
• Markova, M. et al. MoBiS-Q: a tool for evaluating the success of mobile business services.
Proc. Mobile HCI, Singapore (2007), 238-245.
• Ryu, Y. S. Development of Usability Questionnaires for Electronic Mobile Products and
Decision Making Methods, Ph.D. dissertation, Virginia Polythecnic Institute and State
University, Blacksburg, VA (2005).
Referências
31/32

33. • Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J.,
vol. 14, no.2, Jun (2006), 159-178.
• Tezza, R. et al. Measuring web usability using item response theory: Principles, features
and opportunities, Interacting with Computers, vol. 23, no. 2, Mar (2011), 167-175.
• Treeratanapon, T. Design of the Usability Measurement Framework for Mobile
Applications. Proc. Int. Conf. on Comput. and Inform. Technology, Bangkok (2012), 71-75.
• Vuolle et al. "Developing a questionnaire for measuring mobile business service
experience" in Proc. Mobile HCI, Amsterdam, 2008, pp. 53-62.
• WITT, A T. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um
conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen. 164f.
Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento
de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013.
Referências
32/32

34. No deje de completar su evaluación online
isa.ixda.org/encuesta
¡Muchas gracias!
SURE: uma proposta de questionário e escala para avaliar a usabilidade de
aplicações para smartphones pós-teste de usabilidade
Juliane Vargas Nunes