Teste formal de usabilidade do app pinterest

Testeformaldeusabilidade
Professor:LuizAgner
PUC-RIO/CCE:ErgodesigndeInterfaces:
UsabilidadeeArquiteturadaInformação
Julhode2016

Pinterest
RelatórioParcial
Fernanda Sarmento
Lucien Evangelista
Raquel Winter
Tadeu Garcia

Sobreestedocumento
Este relatório foi elaborado como requisito parcial à
conclusão da disciplina Teste Formal de Usabilidade da
pós-graduação Ergodesign de Interfaces: Usabilidade e
Arquitetura de Informação da PUC-RJ.
A proposta da atividade foi realizar um Teste de
Usabilidade durante as aulas de algum aplicativo
selecionado.
O relatório final completo será entregue após a
apresentação deste material.

AGENDA
Introdução
Ficha Técnica
Perfil
participantes
Ambiente e
equipamentos
Softwares
Cenário e
Tarefas
Cenário
Tarefas
Fluxos
esperados
Tarefas
Métricas
Tarefas
Pós-teste
Análise
Erros x
Heurísticas
violadas
Resumo
Recomendações Considerações
Finais
Sobre a
aplicação do
teste
Sobre os
resultados do
teste
Referências
Gravações

Fichatécnica
Objeto de pesquisa: Pinterest para Android
Usuários-alvo: Pessoas que não utilizam o app
Tipo de teste: Exploratório
Objetivo: Identificar se os usuários conseguiram realizar
atividades básicas como:
● Cadastro;
● Ajuste de cadastro;
● Busca e arquivamento de imagens;
● Compartilhamento de imagens.

Perfildosparticipantes-demográfico
Sexo
● 3 homens
● 4 mulheres
Profissão
● 3 designers
● 2 dentistas
● 1 engenheiro civil
● 1 jardineiro/porteiro
Idade
● 2 de 25 a 29 anos
● 4 de 30 a 34 anos
● 1 de 45 a 49
Total: 7 participantes
Tipo de amostragem: Não probabilística Intencional
Recrutamento: Envolvidos no curso de Ergodesign + Transeuntes
PUC RJ em 02/07/2016 (não usuários de Pinterest)

Perfildosparticipantes-tecnológico
Experiência com smartphones
● 1 alguma experiência
● 2 experiência moderadamente alta
● 4 experiência alta
Horas de uso de redes sociais
● 1 Não uso
● 3 Mais de 1 até 3 horas
● 2 Mais de 3 até 6 horas
● 1 Mais de 8 horas
Experiência com aplicativos
● 1 nenhuma experiência
● 3 experiência moderadamente alta
● 3 experiência alta
Sistema operacional
● 3 iOS
● 4 Android

Perfildosparticipantes-buscadeimagens
Frequencia
● 2 eventualmente (< 1 x mês)
● 2 semanalmente
● 3 diariamente
Dispositivo*
● 4 Desktop
● 5 Celular
Como realiza*?
● 7 ferramenta de busca
● 1 site específico
● 1 outros
Como armazena*?
● 7 Salva no dispositivo
* Perguntas que permitiam mais de uma resposta

Ambienteeequipamentos
Ambiente
O testes de usabilidade foram realizados no Pilotis da PUC-
Rio, e os testes walkthrough e piloto em sala de aula.
Equipamentos
Foi usado um smartphone Android com o aplicativo lookback
para a gravação da tela e rosto do usuário, pela câmera frontal
do aparelho.
Um iPad mini entrou como recurso para agilizar o
preenchimento dos formulários de pré e pós-teste.
Para fazer anotações das entrevistas, usamos folhas impressas
com o roteiro. Também fizemos uso de um iPhone para gravar
o áudio das entrevistas (parte final).
As tarefas eram entregues para o usuário separadas, em uma
pequena folha impressa.

Softwares
Por que optamos pela utilização do Lookback?
Loockback
Este foi o único em nossos testes que além de
ser gratuito, fazia a gravação da câmera frontal,
sem que a imagem da pessoa aparecesse na tela
e atrapalhasse o teste de usabilidade.
AZ Gravador de Tela
Algumas vezes fechou de forma
inesperada, a função de gravação
da câmera frontal é paga.
Screen Recorder
Era necessário fazer root
(espécie de desbloqueio) no
aparelho.
ADV Gravador de Tela
A gravação da câmera frontal era
exibida durante a utilização.

SobreoLookback
Por que optamos pela utilização deste app?
Principal motivo: A gravação da câmera frontal
de modo oculto, sem que o usário se veja na tela.

SobreoLookback
Por que optamos pela utilização deste app?
Resultado da escolha:
Em um dos testes de usabilidade, um usuário perguntou
se não teria a gravação, já que havia sido informado antes
da gravação pela câmera frontal e não havia sido feita tal
ação, levando o motivo principal sobre a escolha do
aplicativo um sucesso.

Você tem uma sobrinha de 8 anos que irá fazer aniversário
na época das Festas Juninas. Como você possui muitas
habilidades manuais e culinárias, sua irmã pediu ajuda com
a decoração e algumas comidinhas temáticas.
Você se comprometeu a levar algumas coisas para ajudar.
Para se inspirar resolveu entrar no Pinterest.
Cenário

Complete o cadastro (os
dados serão fornecidos)
Tarefas
1.
Edite o seu perfil
inserindo o local: Gávea2.
Encontre ideias de
decoração e comida para
festa junina e guarde duas
imagens no aplicativo.
3.
Compartilhe uma das
imagens com Raquel
Winter.
4.

Complete o cadastro (os dados serão fornecidos)
Fluxoesperado-tarefa1
1.

Edite o seu perfil inserindo o local: Gávea
2.

Encontre ideias de decoração e comida para festa junina
e guarde duas imagens no aplicativo.
3.

Compartilhe uma das imagens com Raquel Winter.
4.

Usuário 1
Teve dificuldades no cadastro (achou instruções confusas) e na
escolha de interesses.
Tarefa1-Cadastro
Usuário 2
Usuário achou que já tinha finalizado o cadastro e não entendeu
bem a tela de interesses (Achou que a tela de "pelo que você se
interessa?" não fazia parte da tarefa de cadastro).
Usuário 3
No momento de escolher os interesses existe um banner azul na
parte inferior da tela com a frase “escolha <número de interesses
que faltam> ou mais” e isso gerou dúvidas no usuário.
Tempo máximo: 06:30
Tempo mínimo: 01:10

Usuário 4
Teve muita dificuldade em entender o passo de escolha dos
interesses. Não conseguia entender quantos interesses de fato
ele tinha que escolher para passar daquela tarefa.
Tarefa1-Cadastro
Usuário 5
Usuário perguntou como deveria marcar os interesses durante o
cadastro, uma vez que a tarefa não deixava claro como deveria
ser preenchida;
Usuário gostou da tela de interesses e scrollou por bastante
tempo marcando o que tinha interesse.
“Nossa! Tem muita coisa que eu me interessaria.”

Usuário 1
O usuário relatou não ter entendido a tarefa e criou uma pasta
chamada “Local Gávea”. Logo após a criação da pasta conseguiu
encontrar o local correto e terminou a tarefa com sucesso.
“Como é que eu vou inserir local gávea aqui? Local gávea aonde? No
perfil? Inserir uma pasta inserindo local gávea? Isso que eu não
entendi...”
Tarefa2-EdiçãodePerfil
Usuário 2
Foi primeiro na opção de "editar configurações", depois na opção
correta de "editar perfil".

Usuário 3
Sem comentários, mas moderação pode ter influenciado o
usuário.
Tarefa2-EdiçãodePerfil
Usuário 4
Sem comentários.
Usuário 5
Usuário foi rapidamente para o perfil e não teve nenhuma
dificuldade em encontrar o item que permite troca de local.

Usuário 1
Durante essa tarefa tivemos problemas com a conexão, o que
fez o usuário não ter resultado nas duas primeiras tentativas.
Após isso, trocamos o wifi pelo 3G e o usuário não teve
problemas para encontrar salvar as imagens.
Tarefa3-EncontrareArquivarIdeias
Usuário 2
Criou uma pasta e tentou inserir imagens da galeria do
smartphone. Teve muita dificuldade, perguntou se poderia pegar
imagem de alguma outra coisa fora do tema para a festa.
“Eu já ía ter desistido desse aplicativo”

Usuário 3
Em um primeiro momento, procurou dentro do perfil (local
onde são feitas buscas nas imagens já salvas) e não obteve
retorno. Na segunda tentativa foi no local correto
Usuário 4
Fez a pesquisa no perfil (local onde busa as fotos já salvas) e não na
parte principal do app. Na hora de salvar e criar a pasta o usuário
acabou fazendo uma ação inesperada que foi clicar em cima da
imagem (uma vez que ela já estava selecionada) e dessa forma foi
encaminhado para o site de origem daquela imagem. A partir daí ficou
bem confuso o processo de salvar a imagem já que o app não da mais
essa opção. O usuário chegou a sair do app (abrindo aquele site no
navegador do celular), salvou a imagem dentro do próprio aparelho.
Quase desistiu da tarefa.
“Como eu sou pereba pra isso”

Usuário 5
Usuário encontrou rapidamente a busca correta, mas encontrou
dificuldades para salvar as imagens. Entrou no site e salvou
diretamente por lá.
Na segunda imagem sentiu dificuldade novamente, entrou e
saiu várias vezes nos sites sem conseguir exatamente salvar do
jeito que queria a imagem;
Por fim clicou e segurou a imagem, conseguindo assim salvar.

Usuário 1
No momento do compartilhamento ele usou o movimento de
pressionar em cima da foto para enviar a imagem. Outra ação
inesperada, foi o envio da imagem através do whatsapp
enquanto o esperado era o envio dentro do próprio app.
Tarefa4-CompartilharImagem
Usuário 2
Primeiro foi no + dentro da pasta que foi criada (seria para
adicionar um colaborador), buscou e não encontrou a Raquel,
depois tentou editar a pasta. Por último, depois de algum
esforço foi na àrea correta e conseguiu compartilhar a
imagem.

Usuário 3
O usuário teve dúvias por onde compartilharia a imagem.
Escolheu compartilhar via facebook, o que foi um problema,
pois o app só possibilita o compartilhamento público e não
pra uma pessoa específica. Além disso o usuário não conhecia
direito o facebook, o que o deixou ainda mais confuso nessa
etapa.
No fim ele compartilhou a imagem publicamente, não
atingindo o objetivo da tarefa.

Usuário 4
Enviou a pasta inteira inteira ao invés de somente a imagem;
Compartilhou via whatsapp.
Usuário 2
Clicou no perfil e rapidamente encontrou as opções de
compartilhamento, mas não clicou no botão de “busca” para
encontrar os contato no app e não se conformou em
compartilhar através de outros apps, pois, segundo a usuária,
de acordo com a descrição da tarefa, ela acreditava que o
compartilhamento deveria ser feito dentro do app e
exclusivamente através dele.
"Acho que eu não sei compartilhar (...) Eu fico nervosa com essas
coisas, querendo apertar todos os botões da tela."

VídeosdeTrechosImportantes
Tarefa 3 - Usuário 2
Link do vídeo
Link do vídeo
Link do vídeo
“Ele fica aqui me dando
informação que eu tenho que
escolher 5 ou mais e não avança”
“Eu já ía ter desistido desse aplicativo”
“Compartilhar neste mesmo aplicativo
ou mandar por Whatsapp?”

MétricasdastarefasporTempo
Walkthrough
● Exclusão da
última tarefa;
● Ajuste da
segunda tarefa;
● Mudança de
forma de
exibição das
tarefas (forms x
papel).
Piloto
Validação
dos ajustes
realizados;
T1- 03:40
T2 - 01:00
T3 - 02:50
T4 - 05:00
Testes Válidos
Realização de testes válidos
T1- 6:30
T2 - 2:15
T3 - 4:17
T4 - 1:18
T1- 01:10
T2 - 00:30
T3 - 04:05
T4 - 01:56
T1- 2:00
T2 - 0:35
T3 - 04:45
T4 - 05:00
T1- 5:00
T2 - 0:55
T3 - 9:43
T4 - 1:00
T1- 1:49
T2 - 00:28
T3 - 03:48
T4 - 05:13
Média
Tarefa 1:
4:03
Tarefa 2:
1:41
Tarefa 3:
6:29
Tarefa 4:
4:29

Métricasdastarefas-análiseconclusão
Concluída com
facilidade
Concluída de
forma neutra
Concluída com
dificuldade
Não concluída Tempo
mínimo
Tempo
máximo
Tarefa 1 2 3 01:10 06:30
Tarefa 2 1 2 1 00:28 02:15
Tarefa 3 1 4 03:48 09:43
Tarefa 4 1 2 2 01:18 05:13

ResultadoPós-Teste(USUÁRIO)
1 . Utilização geral do app
2 . Completar o cadastro foi:
3 . Editar o perfil com o local foi:

ResultadoPós-Teste(USUÁRIO)
4 . Encontrar ideias de decoração e
comidas para festa foi:
5 . Guardar as imagens no app foi:
6 . Compartilhar a imagem no app foi:

ErrosxHeurísticasVioladas
Tarefa
1 - Cadastro
Erro
O banner com o as dicas tem a cor azul, isso foge da
identidade visual do aplicativo.
Heurísticas
Violadas
4. consistência e
padrões
1 - Cadastro
O texto “Escolha <número> ou mais” gera confusão. O usuário
pode ficar perdido não sabendo quantos interesses ainda faltam
para terminar esse passo. Embora o sistema altere seu feedback
à medida que o usuário seleciona as imagens, mudança é
discreta, não chama atenção do usuário e não estimula a
conclusão do cadastro.
1-Visibilidade do
estado do sistema
1 - Cadastro
A barra da progresso acompanha todas as etapas de cadastro,
menos a escolha das categorias, podendo deixar os usuários
confusos sobre o término do cadastro.
1-Visibilidade do
estado do sistema
2 - Edição do
Perfil
A foto selecionada para ficar no perfil só aparecia quando o
usuário saia e voltava para esta tela.
5-Prevenção de
erros
2 - Edição do
Perfil
Ao clicar em “mais opções” (três bolinhas no canto superior
direito) o app só dá uma opção: editar configurações. Ao
clicar, o usuário recebe mais 6 opções. Esse segundo clique
poderia ser evitado colocando todas as alternativas em “mais
opções”.
7-Flexibilidade e
eficiência de uso
Severidade
5 - Cosmético
3 - Médio
2 - Maior
1 - Emergencial
3 - Médio

ErrosxHeurísticasVioladas
Tarefa
3 - Busca de
Ideias/Guardar
Imagem
Erro
O banner com o as dicas tem a cor azul, isso foge da
identidade visual do aplicativo.
Heurísticas
Violadas
1-Visibilidade do
estado do sistema
1 - Emergencial
3 - Médio
1 - Emergencial
2 - Maior
3 - Médio
Severidade
3 - Busca de
Ideias/Guardar
Imagem
Alguns usuários fizeram a pesquisa dentro do seu perfil por
que não fica claro que o campo de busca vale apenas para pins
do usuário. O texto do app é "pesquisar seus pins" ou seja,
não deixa claro que é pesquisar ENTRE os seus pins.
5-Prevenção de
erros
4 -
Compartilhar
Não é apresentada ao usuário a função “Pressionar”, que dá uma
série de ações para aquela imagem.
7-Flexibilidade e
eficiência
de uso
3 - Busca de
Ideias/Guardar
Imagem
Informação de erro, quando não foram encontrados resultados na
pesquisa.
9 - auxiliar usuários a
reconhecer,
diagnosticar e corrigir
erros
4 -
Compartilhar
O ícone de aviãozinho de papel não é auto explicativo, gera
dúvidas quanto a sua função.
6-Reconhecimento
ao invés de
lembrança
2 - Maior
4 -
Compartilhar
Não tem uma diferenciação da tela de enviar imagem (pin) ou
pasta, gerando dúvida de qual ação o usuário está tomando.
6-Reconhecimento
ao invés de
lembrança

HeurísticasVioladas-Resumo
Tarefa
1 - Cadastro
Heurísticas Violadas
1-Visibilidade do estado do sistema
Quantidade
2
4. consistência e padrões 1
2 - Edição de Perfil
5-Prevenção de erros 1
7-Flexibilidade e eficiência de uso 1
3 - Busca de Ideias /
Guardar Imagem
1-Visibilidade do estado do sistema 1
5-Prevenção de erros 1
9 - auxiliar usuários a reconhecer, diagnosticar e corrigir erros 1

HeurísticasVioladas-Resumo
Tarefa
4 - Guardar Imagem
6-Reconhecimento ao invés de lembrança
Quantidade
7-Flexibilidade e eficiência de uso
2
1
Total: 11 erros em 6 heurísticas
1-Visibilidade do estado do sistema - 3
4. consistência e padrões - 1
5-Prevenção de erros - 2
6-Reconhecimento ao invés de lembrança - 2
7-Flexibilidade e eficiência de uso - 2
9 - auxiliar usuários a reconhecer, diagnosticar e corrigir erros - 1

Recomendações(1de11)
Tarefa 1 - Cadastro
Severidade 5 - Cosmético
Erro
O banner com o as dicas tem a cor azul,
isso foge da identidade visual do aplicativo.
Heurísticas Violadas 4. consistência e padrões
Sugestão Alterar a cor do banner azul para vermelho
Prazo Curto

Tarefa 1 - Cadastro
Severidade 3 - Médio
Erro
O texto “Escolha <número> ou mais” gera confusão. O usuário pode
ficar perdido não sabendo quantos interesses ainda faltam para
terminar esse passo. Embora o sistema altere seu feedback à medida
que o usuário seleciona as imagens, mudança é discreta, não chama
atenção do usuário e não estimula a conclusão do cadastro.
Heurísticas Violadas 1. visibilidade do estado do sistema
Sugestão
Alterar o texto para “escolha pelo menos <número de interesses
que faltam>”.
Prazo Curto

Tarefa 1 - Cadastro
Severidade 2 - Maior
Erro
A barra da progresso acompanha todas as etapas de cadastro, menos a
escolha das categorias, podendo deixar os usuários confusos sobre o
término do cadastro.
Sugestão
A barra de progresso deveria continuar nesta tela, passando para
6 etapas, ao invés de 5.
Prazo Curto

Tarefa 2 - Edição do Perfil
Severidade 1 - Emergencial
Erro
A foto selecionada para ficar no perfil só aparecia
quando o usuário saia e voltava para esta tela.
Heurísticas Violadas 5. prevenção de erros
Sugestão Atualização instantânea da foto.
Prazo Médio

Tarefa 2 - Edição do Perfil
Erro
Ao clicar em “mais opções” (três bolinhas no canto superior
direito) o app só dá uma opção: editar configurações. Ao clicar, o
usuário recebe mais 6 opções. Esse segundo clique poderia ser
evitado colocando todas as alternativas em “mais opções”.
Heurísticas Violadas 7. flexibilidade e eficiência de uso
Sugestão Colocar logo as 6 alternativas no primeiro toque no botão “mais opções”
Prazo Médio

Tarefa 3 - Busca de Ideias/Guardar Imagem
Severidade 1 - Emergencial
Erro
As imagens da busca do usuário não carregavam, ficavam
quadrados em branco sem imagem.
Sugestão
Sempre que houver um problema de conexão, exibir uma
mensagem de erro (algo como "Você parece estar com
problemas de conexão, suas imagens podem não carregar"),
para que o usuário reconheça logo qual é o problema.
Prazo Médio

Severidade 1 - Emergecial
Erro
Alguns usuários fizeram a pesquisa dentro do seu perfil por que
não fica claro que o campo de busca vale apenas para pins do
usuário. O texto do app é "pesquisar seus pins" ou seja, não
deixa claro que é pesquisar ENTRE os seus pins.
Heurísticas Violadas 5. prevenção de erros
Sugestão
Ao selecionar a pesquisa dentro do perfil (buscar seus próprios
pins) o app deveria manter o label “Pesquisar seus pins”.
Prazo Médio

Erro
Informação de erro, quando não foram encontrados resultados
na pesquisa.
9. auxiliar usuários a reconhecer, diagnosticar
e corrigir erros
Sugestão
O aplicativo pode sugerir opções de busca, em um clique; dessa
forma, o usuário poderá aceitar as opções e seguir, sem
obrigatoriamente solicitar uma nova busca > Imagens relacionadas.
Prazo Longo

Tarefa 4 - Compartilhar
Erro
Não é apresentada ao usuário a função “Pressionar”, que dá uma
série de ações para aquela imagem.
Heurísticas Violadas 7. flexibilidade e eficiência de uso
Sugestão
No primeiro acesso mostrar um balão com a dica dessa
funcionalidade.
Prazo Médio

Erro
O ícone de aviãozinho de papel não é auto explicativo, gera
dúvidas quanto a sua função.
Heurísticas Violadas 6. reconhecimento ao invés de lembrança
Sugestão
Substituir o avião pelo símbolo das três bolinhas"..." ou da seta
para fora do box "..."
Prazo Curto

Erro
Não tem uma diferenciação da tela de enviar imagem (pin) ou
pasta, gerando dúvida de qual ação o usuário está tomando.
Heurísticas Violadas 6. reconhecimento ao invés de lembrança
Sugestão
Ao compartilhar algo, sinalizar as duas opções diferentemente:
opção de compartilhar a pasta ou a imagem.
Prazo Médio

● Durante esse exercício pode-se notar a relevância dos usuários
Walkthrough e Piloto. Sem eles os primeiros testes teriam sido
caóticos e teriam que ser invalidados.
● Também ficou claro a importância de cenários e tarefas bem
desenhados, uma vez que essa é toda a informação que o usuário tem
disponível (devem ser claras sem direcionar/induzir o usuário).
● Por fim, a dificuldade de realizar uma moderação isenta foi bastante
evidente, reforçando a relevância da prática e da experiência no ofício
do especialista de usabilidade.
Consideraçõessobreaaplicaçãodoteste

● O Pinterest é um app com nomenclaturas e ícones particulares, o que
gera bastante estranhamento nos usuários em um princípio. Uma
possível melhoria geral é melhorar seu tutorial de primeiro acesso
explicando um pouco o conceito do app ou ainda aproximar um
pouco a linguagem dos ícones;
● De um modo geral os usuários mostraram-se surpresos com a
qualidade das buscas do Pinterest, ou seja, as melhorias que
abrangem o campo busca devem ser aprimoradas pois dizem respeito
a uma das features mais valorizadas;
● O Pinterest é uma rede de interesses mais do que uma rede social e
acaba não oferecendo opções mais simples de compartilhamento. É
muito importante melhorar essa possibilidade.
Consideraçõessobreoresultadodoteste

AGNER, Luiz. Ergodesign e arquitetura da informação: trabalhando com o
usuário. Rio de Janeiro, Quartet, 2012.
BARNUM, Carol. Usability testing essentials : ready, set-- test! London,
Morgan Kaufmann, 2011.
QUARESMA, Maria Manuela Rupp; Moares, Anamaria de. Avaliação da
usabilidade de sistemas de informação disponíveis em automóveis: um estudo
ergonômico de sistemas de navegação GPS. Rio de Janeiro, 2010. 340p. Tese de
Doutorado – Departamento de Artes e Design, Pontifícia Universidade Católica
do Rio de Janeiro.
RUBIN, Jeff Rubin; CHISNELL, Dana. Handbook of Usability Testing - Second
Edition - How to Plan, Design, and Conduct Effective Tests. Indianopolis,
Wiley, 2008.
Referências

Walkthrough
Link do vídeo
Piloto
Link do vídeo
Usuário 1 - Parte1
Link do vídeo
Usuário 1 - Parte2
Link do vídeo
GravaçõesdosTestes
Usuário 2
Link do vídeo
Usuário 3
Link do vídeo
Usuário 4
Link do vídeo
Usuário 5
Link do vídeo

Teste formal de usabilidade do app pinterest

Mais conteúdo relacionado

Destaque

Semelhante a Teste formal de usabilidade do app pinterest

Mais de Fernanda Sarmento

Teste formal de usabilidade do app pinterest