El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
SURE
uma proposta de question...
Profª. Dr. Christiane
Gresse Von
Wangenheim
Mathias Reolon
Prof. Dr. Adriano
Ferreti Borgatto
Autores
M.ª Juliane Vargas
N...
• Introdução
• Procedimentos metodológicos
• Revisão sistemática da literatura
• Projeto inicial do questionário
• Validaç...
• Difusão do uso do smartphone e suas aplicações.
• Usabilidade como um dos mais importantes atributos de
qualidade dessas...
• Teste de usabilidade como um dos principais métodos de
avaliação sob a perspectiva do usuário.
• É comum usar questionár...
• Existem vários questionários pós-teste (SUS, QUIS, SUMI,
etc).
• Porém, eles variam quanto aos fatores medidos, número
d...
• Por isso, este artigo apresenta a concepção de um
questionário pós-teste de usabilidade, sua validação a
partir dos resu...
Procedimentos metodológicos
7/32
• Realizada no Google Scholar entre abril e maio de 2013.
• Foram incluídos artigos: completos, publicados em inglês,
entr...
• Foram identificados 11 questionários: SUMI (Kirakowski e
Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS
(Bro...
• Eles focam na satisfação do usuário, sua percepção de
eficiência, eficácia, além de atratividade e utilidade do
sistema....
• Os questionários levantados foram agrupados.
• Foram excluídos itens: repetidos, adequados para
avaliação de especialist...
• Assim, foi gerado um questionário com 37 itens, com uma
escala likert de respostas de 4 pontos.
Projeto inicial do quest...
Testes
• Foram selecionados 5 aplicativos gratuitos.
• Cada um deles dentro de um nível de usabilidade (muito
alta, alta, ...
Testes
• Para cada aplicativo foram definidas tarefas específicas.
Ex. Tarefas Buscapé:
1. Faça uma busca pelo livro "Não ...
Testes
• Os testes foram realizados entre set/out 2013, sendo:
134 remotos
51 em ambiente
controlado
120 em sala de aula
+...
• Depois de organizados, os dados foram analisados pela
TRI.
• A TRI é utilizada para medir traços latentes que não
podem ...
As vantagens da TRI são:
• Atribuição individual de peso para questões com
diferentes complexidades;
• Elaboração de uma e...
• Posteriomente os valores de usabilidade dos aplicativos
atribuidos pelos participantes foi posicionado dentro de
uma esc...
Distribuição dos valores de usabilidade dos aplicativos atribuidos
pelos participantes dos testes.
Análise dos dados
19/32
• A aplicação da TRI eliminou 6 itens, por terem informações
insuficientes ou não estarem associação a usabilidade.
Anális...
• Assim, foi gerada a versão (1.0) do SURE (Smartphone
Usability questionnaiRE), com 31 itens.
• E proposta uma versão cur...
Curva de informação dos três instrumentos
Resultados
22/32
• Posteriormente a escala de usabilidade foi interpretada,
descrevendo quais fatores de usabilidade os aplicativos
classif...
Resultados
24/32
• As notas gerais atribuídas aos aplicativos com os três
instrumentos foram:
• A maioria dos itens "tradicionais" de medição também se
aplica ao contexto do smartphone.
• Contudo, a princípio os 6 it...
• As duas versões do SURE se mostraram mais eficientes
para avaliar aplicações com usabilidade entre os níveis 20
e 60.
• ...
• Ambas as versões do SURE consistem em ferramentas
válidas para medir a usabilidade de aplicações
smartphone pós-teste de...
• Esse estudo é um primeiro passo na avaliação da
usabilidade percebida pelos usuários de aplicações
smartphones.
• Com el...
• A todos os participantes do estudo de caso.
• Ao CNPq (Conselho Nacional de Desenvolvimento
Científico e Tecnológico) pe...
• Brooke, J. SUS: a “quick and dirty” usability scale. In P. Jordan, W. Thomas, B.,
Weerdmeester, A. e McClelland, A. L. U...
• Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer
Society, Manchester, (1988),...
• Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J.,
vol. 14, no.2, Jun (2006), 159-...
No deje de completar su evaluación online
isa.ixda.org/encuesta
¡Muchas gracias!
SURE: uma proposta de questionário e esca...
Próximos SlideShares
Carregando em…5
×

Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

1.586 visualizações

Publicada em

Publicada em: Design
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.586
No SlideShare
0
A partir de incorporações
0
Número de incorporações
924
Ações
Compartilhamentos
0
Downloads
9
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

  1. 1. El evento de Diseño de Interacción y Experiencia de Usuario más importante de Latinoamérica. SURE uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade Juliane Vargas Nunes julivn@gmail.com http://www.gqs.ufsc.br/
  2. 2. Profª. Dr. Christiane Gresse Von Wangenheim Mathias Reolon Prof. Dr. Adriano Ferreti Borgatto Autores M.ª Juliane Vargas Nunes Thaisa Cardoso Lacerda Caroline Krone B.el Rafael José de Oliveira Jessica Xafranski 1/33
  3. 3. • Introdução • Procedimentos metodológicos • Revisão sistemática da literatura • Projeto inicial do questionário • Validação • Análise dos dados • Resultados • Conclusões Sumário 2/32
  4. 4. • Difusão do uso do smartphone e suas aplicações. • Usabilidade como um dos mais importantes atributos de qualidade dessas aplicações, afetando a satisfação do usuário (Ketola e Röykkee, 2001; Treeratanapon, 2012; Seffah et al., 2006). http://www.webbypropaganda.com.br/wp- content/uploads/2014/04/using-smartphone.jpg Introdução 3/32
  5. 5. • Teste de usabilidade como um dos principais métodos de avaliação sob a perspectiva do usuário. • É comum usar questionários pós-teste para identificar aspectos subjetivos não diretamente observáveis durante o teste. Introdução 4/32
  6. 6. • Existem vários questionários pós-teste (SUS, QUIS, SUMI, etc). • Porém, eles variam quanto aos fatores medidos, número de itens, escalas de resposta, etc (Hornbæk, 2006). • Além disso, são voltados, principalmente, para desktop. Introdução 5/32
  7. 7. • Por isso, este artigo apresenta a concepção de um questionário pós-teste de usabilidade, sua validação a partir dos resultados de 305 testes com usuários, analisados estatisticamente e a criação de uma escala de usabilidade. Introdução 6/32
  8. 8. Procedimentos metodológicos 7/32
  9. 9. • Realizada no Google Scholar entre abril e maio de 2013. • Foram incluídos artigos: completos, publicados em inglês, entre 1990 e 2013, com acesso livre via Portal Capes, que apresentassem questionários para medir a usabilidade no final de testes de usabilidade. Revisão sistemática da literatura 8/32
  10. 10. • Foram identificados 11 questionários: SUMI (Kirakowski e Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS (Brooke, 1996), PSSUQ (Lewis, 2002), MPUQ (Ryu, 2005), MoBiS-Q (Markova, 2007), MoBiS-Q (Vuolle, 2008), CSUQ (Lewis, 2010), UMUX (Finstad, 2010), UMUX LITE (Lewis, 2013). Revisão sistemática da literatura 9/32
  11. 11. • Eles focam na satisfação do usuário, sua percepção de eficiência, eficácia, além de atratividade e utilidade do sistema. • Alguns consideram dispositivo móveis como PDAs, celulares com teclado físico e smartphones mais simples (Ryu, 2005). • Isso reforça a importância de um questionário para smartphone. Revisão sistemática da literatura 10/32
  12. 12. • Os questionários levantados foram agrupados. • Foram excluídos itens: repetidos, adequados para avaliação de especialistas e não referentes à usabilidade. • Os itens do SUS foram mantidos propositadamente, a fim de permitir a sua comparação com o questionário proposto. Projeto inicial do questionário 11/32
  13. 13. • Assim, foi gerado um questionário com 37 itens, com uma escala likert de respostas de 4 pontos. Projeto inicial do questionário 12/32
  14. 14. Testes • Foram selecionados 5 aplicativos gratuitos. • Cada um deles dentro de um nível de usabilidade (muito alta, alta, razoável, baixa e muito baixa), de acordo Witt (2013). iOS Android Validação 13/32
  15. 15. Testes • Para cada aplicativo foram definidas tarefas específicas. Ex. Tarefas Buscapé: 1. Faça uma busca pelo livro "Não me faça pensar". 2. Filtre os resultados pelo menor preço. 3. Calcule a oferta para o frete.com menor preço. Validação 14/32
  16. 16. Testes • Os testes foram realizados entre set/out 2013, sendo: 134 remotos 51 em ambiente controlado 120 em sala de aula + + =305 Validação 15/32
  17. 17. • Depois de organizados, os dados foram analisados pela TRI. • A TRI é utilizada para medir traços latentes que não podem ser medidos diretamente, como a usabilidade, a partir de modelos matemáticos (TEZZA et al, 2011). Análise dos dados 16/32
  18. 18. As vantagens da TRI são: • Atribuição individual de peso para questões com diferentes complexidades; • Elaboração de uma escala que permite a inserção de novos dados ao longo do tempo; • Inserção dos itens e das respostas dos usuários em uma mesma escala, permitindo sua interpretação. Análise dos dados 17/32
  19. 19. • Posteriomente os valores de usabilidade dos aplicativos atribuidos pelos participantes foi posicionado dentro de uma escala, conforme mostra a próxima figura. • Para essa escala foi determinado uma média e um desvio padrão (50, 10). Análise dos dados 18/32
  20. 20. Distribuição dos valores de usabilidade dos aplicativos atribuidos pelos participantes dos testes. Análise dos dados 19/32
  21. 21. • A aplicação da TRI eliminou 6 itens, por terem informações insuficientes ou não estarem associação a usabilidade. Análise dos dados 20/32
  22. 22. • Assim, foi gerada a versão (1.0) do SURE (Smartphone Usability questionnaiRE), com 31 itens. • E proposta uma versão curta com 11 itens. • Em seguida, foram comparadas a distribuição das respostas das duas versões do SURE e dos SUS1, conforme mostra a próxima figura. 1 Sobre apenas 9 de seus itens. Resultados 21/32
  23. 23. Curva de informação dos três instrumentos Resultados 22/32
  24. 24. • Posteriormente a escala de usabilidade foi interpretada, descrevendo quais fatores de usabilidade os aplicativos classificados em cada nível possivelmente atendam. Resultados 23/32
  25. 25. Resultados 24/32 • As notas gerais atribuídas aos aplicativos com os três instrumentos foram:
  26. 26. • A maioria dos itens "tradicionais" de medição também se aplica ao contexto do smartphone. • Contudo, a princípio os 6 itens eliminados não são mostram adequados para medir a usabilidade desse tipo de aplicação. Resultados 25/32
  27. 27. • As duas versões do SURE se mostraram mais eficientes para avaliar aplicações com usabilidade entre os níveis 20 e 60. • Mas a versão a extensa teve melhor desempenho que a resumida por conter maior quantidade de informação. • A aplicação da versão resumida pode ser uma alternativa. Resultados 26/32
  28. 28. • Ambas as versões do SURE consistem em ferramentas válidas para medir a usabilidade de aplicações smartphone pós-teste de usabilidade. • Contudo, ainda são necessárias outras formas de validação como o cruzamento dos resultados dos 305 testes com avaliações heurísticas dos mesmos aplicativos. Conclusão 27/32
  29. 29. • Esse estudo é um primeiro passo na avaliação da usabilidade percebida pelos usuários de aplicações smartphones. • Com ele pretende-se contribuir com a tomada de decisões durante o projeto e avaliação de usabilidade de aplicações smartphone, buscando torná-las mais eficientes e agradáveis. Conclusão 28/32
  30. 30. • A todos os participantes do estudo de caso. • Ao CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo financiamento desta pesquisa. Agradecimentos 29/32
  31. 31. • Brooke, J. SUS: a “quick and dirty” usability scale. In P. Jordan, W. Thomas, B., Weerdmeester, A. e McClelland, A. L. Usability Evaluation in Industry. London: Taylor and Francis. 1996. • Chin, J. P. et al. Development of an instrument measuring user satisfaction of the human- computer interface. Proc. Conference on Human Factors in Computing Systems, University of Maryland, 1988, College Park, USA (1988), 213-218. • Davis, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, vol. 13, no 3 (1989), 319-340. • Finstad, K. The usability metric for user experience. Interacting with Computers, vol. 22 (2010), 323-327. • Hornbæk, K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research, International Journal of Human-Computer Studies, vol. 64, Issue 2, February (2006), 79-102. • Ketola P.; Roykee, M. The Three Facets of Usability in Mobile Handsets. CHI Workshop, Mobile Commun: Understanding Users, Adoption & Design, Seattle, WA, 2001. Referências 30/32
  32. 32. • Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer Society, Manchester, (1988), 329–338. • Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies, Int J. of Human-Computer Interaction, (2002), 462– 488. • Lewis, J. R. Psychometric Evaluation of the CSUQ Using Data from Five Years of Usability Studies (2010). • Lewis, J.R. et al. UMUX-LITE: when there's no time for the SUS. Proc. CHI, Paris (2013), 2099-2102. • Markova, M. et al. MoBiS-Q: a tool for evaluating the success of mobile business services. Proc. Mobile HCI, Singapore (2007), 238-245. • Ryu, Y. S. Development of Usability Questionnaires for Electronic Mobile Products and Decision Making Methods, Ph.D. dissertation, Virginia Polythecnic Institute and State University, Blacksburg, VA (2005). Referências 31/32
  33. 33. • Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J., vol. 14, no.2, Jun (2006), 159-178. • Tezza, R. et al. Measuring web usability using item response theory: Principles, features and opportunities, Interacting with Computers, vol. 23, no. 2, Mar (2011), 167-175. • Treeratanapon, T. Design of the Usability Measurement Framework for Mobile Applications. Proc. Int. Conf. on Comput. and Inform. Technology, Bangkok (2012), 71-75. • Vuolle et al. "Developing a questionnaire for measuring mobile business service experience" in Proc. Mobile HCI, Amsterdam, 2008, pp. 53-62. • WITT, A T. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen. 164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013. Referências 32/32
  34. 34. No deje de completar su evaluación online isa.ixda.org/encuesta ¡Muchas gracias! SURE: uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade Juliane Vargas Nunes

×