Medidas de usabilidade: ASQ, PSSUQ, UMUX, ToT e Task Success
1. Interaction14South America
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
B U E N O S A I R E S
Medidas de Usabilidade:
uma investigação da correlação
entre instrumentos
Renato Rojas
@renato_rojas
2. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
3. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success
4. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success
5. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success
6. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success
7. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success
8. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success
1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
9. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success
1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
10. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success
1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
11. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success
1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
12. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success
1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
13. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
14. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
15. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
16. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
6. Eu me senti confortável utilizando o site.
7. Foi fácil aprender a usar o site.
8. Eu acredito que posso vir a realizar tarefas rapidamente utilizando o site.
9. O site deu mensagens de erro que dizem claramente como resolver os problemas.
10. Sempre que eu cometi um erro usando o site, pude recuperar-me fácil e
rapidamente.
17. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
11. As informações (tais como ajuda online, mensagens na tela e
documentação) fornecidas pelo site são claras.
12. Foi fácil encontrar a informação que eu precisei.
13. A informação fornecida pelo site foi fácil de ser entendida.
14. A informação foi eficaz em me ajudar a completar tarefas.
18. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
15. A organização da informação nas páginas do site é clara.
16. A interface do site é agradável.
17. Eu gostei de usar a interface do site.
18. O site tem todas as funções e recursos que eu esperava que tivesse.
19. Em geral, eu fiquei satisfeito com o site.
19. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success
Apresenta 3 fatores:
FATOR 1 Utilidade do Sistema
FATOR 2 Qualidade da Informação
FATOR 3 Qualidade da Interface
20. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
21. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
22. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
23. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
24. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
25. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success
1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
26. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Time on Task
ASQ PSSUQ UMUX ToT Task Success
Medida do tempo transcorrido entre
o início e o fim de cada tarefa.
Índice de eficiência.
27. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Task Success
ASQ PSSUQ UMUX ToT Task Success
Medida binária do sucesso em completar
a tarefa corretamente.
Índice de eficácia.
28. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal
O portal As tarefas O questionário Os resultados
brasil.gov.br
29. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O Portal
30. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
31. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
32. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
33. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
34. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
35. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?
36. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O questionário
O portal As tarefas O questionário Os resultados
37. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
38. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Análise do Task Success e ToT
Os resultados
39. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Itens marcados com “Não se aplica”
Os resultados
40. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
41. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
42. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
43. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
44. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
45. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
O portal As tarefas O questionário Os resultados
Correlações significativas
Os resultados
46. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14South America
Conclusões
1. Forte correlação entre os três instrumentos e a semelhança entre o
conteúdo mensurado pelas três escalas.
2. PSSUQ possui maior correlação com o indicador de eficácia (TS).
3. UMUX não apresentou correlação significativa com indicador de eficácia.
4. Alto índice de abstenção observado nos itens de suporte.
5. Eficácia mostrou correlação mais forte com o fator de Utilidade do
Sistema do PSSUQ
6. Eficiência não obteve correlações fortes.
47. No deje de completar su evaluación online
isa.ixda.org/encuesta
¡Muchas gracias!
Interaction14South America
B U E N O S A I R E S
Medidas de usabilidade: uma investigação
da correlação entre instrumentos
Renato Rojas