1) O documento descreve uma investigação sobre medidas de usabilidade e a correlação entre diferentes instrumentos de medição como ASQ, PSSUQ, UMUX, ToT e Task Success. 2) Foram aplicados cinco instrumentos de medição de usabilidade em usuários que realizaram tarefas no portal brasil.gov.br: ASQ, PSSUQ, UMUX, medição do tempo de tarefa (ToT) e sucesso da tarefa. 3) Os resultados dessas medições serão analisados para investigar a correlação entre os diferentes instrumentos.

1. Medidas de Usabilidade:
uma investigação da correlação
entre instrumentos
Interaction14 South America El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
B U E N O S A I R E S
Renato Rojas
@renato_rojas

2. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade

3. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success

4. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success

5. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success

6. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success

7. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Objetivo
Investigar medidas de usabilidade
ASQ vs PSSUQ vs UMUX vs ToT vs Task Success

8. 1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success

9. 1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success

10. 1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success

11. 1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success

12. 1. Eu fiquei satisfeito com a facilidade em completar tarefas no site.
2. Eu fiquei satisfeito com a quantidade de tempo que levo para
completar tarefas no site.
3. Eu fiquei satisfeito com a informação de suporte (ajuda online,
mensagens, documentação) ao completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
ASQ
After-Scenario Questionnaire • James Lewis (IBM), 1991
ASQ PSSUQ UMUX ToT Task Success

13. 1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

14. 1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

15. 1. Em geral, fiquei satisfeito com a facilidade de usar o site.
2. Foi simples usar o site.
3. Eu completei tarefas utilizando o site de forma eficaz.
4. Eu completei tarefas utilizando o site de forma rápida.
5. Eu completei tarefas utilizando o site de forma eficiente.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

16. 6. Eu me senti confortável utilizando o site.
7. Foi fácil aprender a usar o site.
8. Eu acredito que posso vir a realizar tarefas rapidamente utilizando o site.
9. O site deu mensagens de erro que dizem claramente como resolver os problemas.
10. Sempre que eu cometi um erro usando o site, pude recuperar-me fácil e
rapidamente.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

17. 11. As informações (tais como ajuda online, mensagens na tela e
documentação) fornecidas pelo site são claras.
12. Foi fácil encontrar a informação que eu precisei.
13. A informação fornecida pelo site foi fácil de ser entendida.
14. A informação foi eficaz em me ajudar a completar tarefas.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

18. 15. A organização da informação nas páginas do site é clara.
16. A interface do site é agradável.
17. Eu gostei de usar a interface do site.
18. O site tem todas as funções e recursos que eu esperava que tivesse.
19. Em geral, eu fiquei satisfeito com o site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

19. Apresenta 3 fatores:
FATOR 1 Utilidade do Sistema
FATOR 2 Qualidade da Informação
FATOR 3 Qualidade da Interface
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
PSSUQ
Post-Study System Usability Questionnaire • James Lewis (IBM), 1990
ASQ PSSUQ UMUX ToT Task Success

20. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

21. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

22. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

23. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

24. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

25. 1. A capacidade do site está de acordo com minhas necessidades.
2. Usar o site foi uma experiência frustrante.
3. O site foi fácil de usar.
4. Eu tive que gastar tempo demais corrigindo coisas no site.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
UMUX
Usability Metric of User Experience • Kraig Finstad (Intel), 2010
ASQ PSSUQ UMUX ToT Task Success

26. Medida do tempo transcorrido entre
o início e o fim de cada tarefa.
Índice de eficiência.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Time on Task
ASQ PSSUQ UMUX ToT Task Success

27. Medida binária do sucesso em completar
a tarefa corretamente.
Índice de eficácia.
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Task Success
ASQ PSSUQ UMUX ToT Task Success

28. brasil.gov.br
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
O portal
O portal As tarefas O questionário Os resultados

29. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
O Portal

30. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

31. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

32. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

33. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

34. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

35. O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
As tarefas
1. Qual é hora de publicação da notícia em destaque?
2. Quantos itens estão agrupados em Centrais de Conteúdo?
3. Qual é a hora de publicação da notícia do Distrito Federal mais recente?
4. Em que cor fica o fundo do site quando em alto contraste?
5. Em quantas redes sociais o Ministério do Turismo está presente?

36. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
O questionário
O portal As tarefas O questionário Os resultados

37. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America

38. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Análise do Task Success e ToT

39. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Itens marcados com “Não se aplica”

40. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

41. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

42. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

43. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

44. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

45. Os resultados
O portal As tarefas O questionário Os resultados
El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Correlações significativas

46. El evento de Diseño de Interacción y Experiencia
de Usuario más importante de Latinoamérica.
19 AL 22 DE NOVIEMBRE 2014
BUENOS AIRES, ARGENTINA
Interaction14 South America
Conclusões
1. Forte correlação entre os três instrumentos e a semelhança entre o
conteúdo mensurado pelas três escalas.
2. PSSUQ possui maior correlação com o indicador de eficácia (TS).
3. UMUX não apresentou correlação significativa com indicador de eficácia.
4. Alto índice de abstenção observado nos itens de suporte.
5. Eficácia mostrou correlação mais forte com o fator de Utilidade do
Sistema do PSSUQ
6. Eficiência não obteve correlações fortes.

47. No deje de completar su evaluación online
isa.ixda.org/encuesta
¡Muchas gracias!
Medidas de usabilidade: uma investigação
da correlação entre instrumentos
Interaction14 South America
B U E N O S A I R E S
Renato Rojas