O documento descreve um estudo que aplicou o método de Percurso Cognitivo e Teste de Usabilidade no aplicativo FlipBoard para dispositivos móveis. O Percurso Cognitivo identificou que a criação de revistas era a tarefa mais difícil. Já o Teste de Usabilidade coletou métricas como tempo e erros em 3 tarefas, identificando que a interface não era intuitiva e faltavam recursos como arrastar conteúdo.

1. Pontifícia Universidade Católica do Rio Grande do Sul
Programa de Pós Graduação em Ciência da Computação
Qualidade de Sistemas Interativos
Percurso Cognitivo e
Teste de Usabilidade
Alessandra Dutra
Álvaro Menezes
Diogo Schwanck
Laís Berlatto

2. Introdução
O trabalho apresentado é o resultado da
aplicação do método Percurso Cognitivo e da
aplicação de Testes de Usabilidade no sistema
para dispositivos móveis FlipBoard. Foram
elaborados planos para a execução dos
referidos métodos no que tange a coleta e
análise de resultados oriundos das tarefas
propostas que foram consideradas adequadas
para analisar o sistema a partir dos dois
métodos.

3. Aplicativo - FlipBoard
O FlipBoard é um agregador de conteúdo de redes
sociais que permite ao usuário visualizar seus feeds de
páginas como Facebook, Instagram e Twitter em uma
única interface, tanto no Android como no iOS.
O programa agrega todas as publicações e disponibiliza
para o usuário com um visual atrativo que simula uma
revista digital.

4. Dispositivos Utilizados
Os dispositivos para utilização nos testes foram
selecionados de forma que abrangêssemos as plataformas
e os sistemas operacionais nos quais o FlipBoard está
disponível. São eles:
· Apple iPhone 5 Plataforma iOS
· Motorola RAZR i Plataforma Android 4.2 (Jelly Bean)
· Apple iPad Tablet iOS

5. Percurso Cognitivo
Percurso Cognitivo é um método de inspeção de
usabilidade que tem como foco principal a facilidade de
aprendizagem, particularmente por exploração (Polson, P
et al).
O percurso cognitivo avalia as ações e tarefas de
acordo com as funcionalidades previstas no sistema.
Neste estudo foram desenvolvidas as fases de:
1. Preparação
2. Coleta de dados e interpretação
3. Consolidação dos resultados
4. Relato dos resultados

6. Percurso Cognitivo
Perfil- especialistas :
Adultos na faixa etária de 25 a 40 anos,
proprietários de smartphones e/ou tablets,
habituais leitores de notícias, artigos, fotos,
assuntos diversos e etc., compartilhando com
suas redes sociais

7. Percurso Cognitivo - Questões
1. Entrar no Flipboard e acessar as
notícias da capa.
2. Conseguir visualizar uma publicação
3. Conseguir publicar uma revista
4. Conseguir personalizar
5. Encontrar e assinar uma revista

8. Percurso Cognitivo - Resultados
Tarefa O que o usuário precisa saber a priori
para realizar as tarefas.
O que o usuário deve
aprender enquanto
realiza as tarefas.
Sugestões de correções
para os problemas
encontrados
1. Entrar no Flipboard e
acessar as notícias da
capa.
Inicialmente ele precisa entender o
funcionamento do Flipboard, caso
contrário, ele perderá muito tempo para
conseguir clicar numa notícia da capa.
Ele aprende a como
visualizar as notícias da
capa, visualizando
somente o título de
depois a notícia
completa.
Criar um acesso mais
rápido e mais intuitivo a
notícia, sem o usuário
ficar supondo e indo e
vindo para tentar achar o
caminho.
2. Conseguir visualizar uma
publicação
Neste item o usuário não precisa saber
de nenhuma informação inicial.
O usuário deve
aprender a ler todas as
publicações
Nenhum problema
encontrado.
3. Conseguir publicar uma
revista
O usuário precisa ler um guia de ajuda
para conseguir criar a revista.
Deve aprender a criar
uma revista dentro do
flipboard.
Tornar a opção mais fácil
de ser criada e mais
intuitiva, sem precisar de
guia de ajuda.
4. Conseguir personalizar Neste item o usuário não precisa saber
de nenhuma informação inicial.
Deve aprender a
personalizar a sua conta
no Flipboard.
Nenhum problema
encontrado.
5. Encontrar e assinar uma
revista
O usuário precisa novamente ler o guia
de ajuda para encontrar e assinar a
revista. A opção não é intuitiva.
Deve aprender como
achar e assinar uma
revista de sua
preferência
Deixar a opção de achar e
assinar a revista mais fácil
de ser encontrada no
menu e mais intuitive.

9. Percurso Cognitivo - Análise dos
Resultados
● É necessário ter conhecimentos prévios em relação a dispositivos moveis,
pois a utilização baseia-se que o usuário já sabe lidar com os recursos
que os dispositivos móveis dispõem, principalmente, para folhear a revista
apenas passando o dedo na tela.
● O aplicativo depende de bom sinal de 3G para uma boa performance, o
que pode gerar alguma dúvida se o sistema realmente está funcionado em
caso de problemas de comunicação.
● Dentre as tarefas avaliadas, a que teve maior dificuldade encontrada pelos
avaliadores foi conseguir publicar uma revista. Para a criação de uma
revista é preciso clicar em um botão com o símbolo "+" que não é nem um
pouco intuitivo. Todos os avaliadores passaram despercebidos por este
botão, mesmo que fique no canto inferior direito de cada noticia.

10. Teste de Usabilidade
O teste de usabilidade é uma das técnicas utilizadas
para a avaliação da interação entre humanos e dispositivos
que possui enfoque quantitativo através de tarefas a serem
desenvolvidas pelos usuários.

11. Teste de Usabilidade - Objetivos
O presente roteiro de teste de usabilidade visa
alcançar os seguintes objetivos:
● Obter dados qualitativos a respeito do sistema
FlipBoard;
● Obter dados quantitativos a respeito do sistema
FlipBoard através de:
○ Número de erros na execução de cada
tarefa;
○ Tempo gasto na execução de cada tarefas.

12. Teste de Usabilidade - Perfil Usuário
· Faixa etária: entre 21 e 32 anos
· Nível de experiência com dispositivos móveis,
predominantemente, intermediário a expert, com
experiência com dispositivos multitoque.
· Tempo médio de utilização (horas/dia) de até
duas horas, predominantemente.

13. Teste de Usabilidade - Questões
● Tarefa 1: Acesse o sistema Flipboard e acesse as
notícias da capa, lendo-as em sua forma resumida e
completa também.
● Tarefa 2: Suponha que você deseja ler uma notícia
sobre tecnologia, encontre o menu desse aspecto e
visualize as notícias.
● Tarefa 3: Suponha que você deseja personalizar o
sistema, personalize o FlipBoard ao padrão que
desejar, incluindo temas de sua preferência.

14. Teste de Usabilidade - Resultados
TAREFA 1
SUCESSO 7
INSUCESSO 2
MÉDIA DE ERROS 2,33
DESVIO PADRÃO 4,09
MÉDIA DE TEMPO 1:35,63
DESVIO PADRÃO 1:14,30
Devido aos outliers
desta tarefa, não
podemos considerar
relevantes ao
contexto os dados
estatísticos
disponíveis.
Níveis de referência:
● Tempo: 1:15,00
● Erros: 1

15. Teste de Usabilidade - Resultados
TAREFA 2
SUCESSO 8
INSUCESSO 1
MÉDIA DE ERROS 1,33
DESVIO PADRÃO 3,31
MÉDIA DE TEMPO 1:16,04
DESVIO PADRÃO 1:03,30
Devido aos outliers
desta tarefa, não
podemos considerar
relevantes ao
contexto os dados
estatísticos
disponíveis.
Níveis de referência:
● Tempo: 1:30,00
● Erros: 1

16. Teste de Usabilidade - Resultados
TAREFA 3
SUCESSO 8
INSUCESSO 1
MÉDIA DE ERROS 1,77
DESVIO PADRÃO 1,20
MÉDIA DE TEMPO 2:47,08
DESVIO PADRÃO 2:09,40
Nesta situação,
podemos considerar
os dados dignos de
análise, apesar de
tabém apresentarem
outliers (um superior
e um inferior)
Níveis de referência:
● Tempo: 2:30,00
● Erros: 2

17. Teste de Usabilidade - Análise dos
Resultados
· A finalidade ao que o sistema se presta foi apreciada em primazia
pela maioria dos usuários;
· A possibilidade de integração das respectivas contas dos usuários
no Twitter e Facebook foi considerada ponto positivo por tornar a
leitura dos feeds dessas redes sociais mais atrativos e práticos;
· Conforme citado pelos usuários que já conheciam o sistema, a
visualização desse, através do tablet, foi considerada melhor que sua
versão para smartphones.

18. Teste de Usabilidade - Análise dos
Resultados
· Signos pouco significativos para a funcionalidade pretendida;
· Interface pouco intuitiva, logo, exigindo uma capacidade relevante
de memorização;
· Recurso comumente utilizado para dispositivos multitoque
causaram divergências em relação à utilização do aplicativo, visto que
esse não dispunha destes recursos, como a possibilidade de arrastar
um conteúdo encontrado para uma revista pessoal;
· Não existe uma visualização do progresso do carregamento do
conteúdo de uma notícia, o que faz com que o usuário não perceba
uma possível ausência de conexão de rede.

19. Vantagens
Podemos destacar acerca do percurso cognitivo que os testes são
executados por especialistas, o que propicia testes e análises mais
confiáveis dos produtos.
O teste de usabilidade é considerado uma técnica rica em dados
quantitativos, o que nos propicia análises estatísticas bastante sólidas
quando construída sobre base fidedigna de dados e aplicada com rigor
científico. Ainda, propicia, através de seus materiais de aplicação, a
visão qualitativa do sistema abordado, onde se permite extrair
conclusões mais aprofundadas sobre os quesitos de usabilidade
disponíveis.

20. Limitações de Uso
Dentre as limitações, citamos:
O Percurso Cognitivo tem como foco a aprendizagem através da
execução de uma atividade e a falta da disponibilidade do serviços de
3G é o que mais limitou a sua execução.
O teste de usabilidade demanda tempo para suas etapas (elaboração,
aplicação e, principalmente, a análise dos dados coletados), o que
torna onerosa em um projeto sua aplicação.

21. Percepções
No que diz respeito à aplicabilidade dos métodos, podemos destacar
que o teste de usabilidade se mostra de grande complexidade pelo fato
de haver dificuldade na visualização das ações do usuário quanto à
manipulação dos dispositivos, principalmente na aplicação com o
smartphone. Isso é relativo, também, a condução desse tipo de teste,
quanto a sua aplicabilidade e obtenção de dados fidedignos. Já ao
percurso cognitivo, não encontramos maiores dificuldades, por se
tratar de uma ação totalmente controlada pelo especialista, porém,
pode não retratar a real situação de usuários “não especialistas”.

22. Referências
Polson, P., Lewis, C., Rieman, J., and Wharton, C. (1992). Cognitive
walkthroughs: A method for theory-based evaluation of user interfaces.
International Journal of Man- Machine Studies, 36 (5). 741-773.
Wharton, C., Rieman, J., Lewis, C., and Polson, P. (1994). The cognitive
walkthrough method: A practitioner's guide. In Nielsen, J., and Mack, R. L.
(Eds.), Usability Inspection Methods. New York. John Wiley & Sons. 105-140.
Norman, D.A. (1986). Cognitive Engineering. In D. A. Norman and S. W.
Draper (Eds.) User Centered System Design. 1986. Hillsdale. 31-61.
Rogers, Yvonne; Helen Sharp; Jennifer Preece: Design de Interação. Editora
Bookman, Porto Alegre (2013).

23. Referências
RUBIN, J. Handbook of Usability Testing. New York, NY: John Wiley & Sons.
1994.
HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring
Usability Through Product & Process. New York: John Wiley & Sons, Inc.,
1993. p. 3.
Bruno, Silva; Simone Barbosa : Interação Humano Computador. Editora
Elsevier, Rio de Janeiro (2010)
http://corais.org/node/98 Percurso Cognitivo
http://corais.org/node/97 Teste de Usabilidade

24. Dúvidas