Pinterest - avaliação cooperativa - final

Pinterest
Avalição Cooperativa
Fernanda, Lucien, Livia R. e Livia F.
Prof.: Christiane Melcher

Sobre a Avaliação Cooperativa

O que é a Avaliação Cooperativa?
Avaliação Cooperativa é um procedimento para a obtenção de dados sobre os
problemas que podem ser experimentados quando se trabalha com um
software. O objetivo é mapear mudanças que possam ser feitas para melhorar
o produto.
Tradução livre e adaptada de MONK et al (1993)

Quando usar a Avaliação Cooperativa?
Avaliação Cooperativa é mais útil para obter um feedback inicial sobre o
redesign, em um ciclo iterativo rápido. O objetivo não é fornecer uma lista
exaustiva de todos os problemas que poderiam ser identificados.
Pelo contrário, é para ajudar a identificar, com o mínimo de esforço, os
problemas mais importantes a considerar.
Tradução livre e adaptada de MONK et al (1993)

Avaliação Cooperativa x Teste de Usabilidade
Avaliação Cooperativa se assemelha a um teste de usabilidade, diferenciando-
se especialmente em relação à sua forma mais colaborativa e menos rígida de
pesquisa.
Na prática o que costuma ocorrer é a decisão de escolhas de pesquisa dentro
um continuum de acordo com as necessidades de investigação, mais do que se
ater estritamente às metodologias em seu estado puro.
+formal- formal
Avaliação
Cooperativa
Teste de
Usabilidade

Tarefa proposta em sala
1 2 3
Planejamento da
aplicação
Aplicação Análise e produção do
relatório com os
resultados
07/maio 20/maio

1. Planejamento da aplicação:
• Definir objeto de teste e o recorte;
• Verificar os fluxos principais e possíveis problemas de usabilidade;
• Especificar os objetivos com a aplicação da técnica;
• Listar questões para investigação: principais e secundárias;
• Criar tarefas e definir objetivos para cada tarefa;
• Listar as perguntas que serão feitas para o usuário durante o teste;
• Preparar o roteiro de teste;
• Definir perfil dos usuários e amostra de teste.

2. Aplicação:
• Realizar um piloto do teste com 1 usuário, cujo resultado será descartado;
• Após o piloto, fazer os ajustes necessários no roteiro de teste;
• Cada grupo deve aplicar a técnica com um mínimo de 6 usuários;
• Todos devem passar pelos 3 papéis: moderador, observador e usuário;
• Fazer anotações, tirar fotografia e gravar em vídeo.

3. Análise e produção do relatório com os resultados
• Breve descrição do objeto de estudo/recorte, contendo telas e explicação dos fluxos/funções investigadas;
• Objetivos com a aplicação da técnica;
• Questões investigadas: principais e secundárias;
• Amostra/perfil de usuários recrutados;
• Tarefas aplicadas e objetivos de cada uma;
• Resultados, pontos a esclarecer em testes futuros e outras observações;
• Ilustrar com comentários dos usuários e imagens das telas do sistema estudado.

Objeto e Recorte
Pinterest para IOS

Objetivo
Avaliar se os usuários iniciantes são
capazes de utilizar o app usufruindo
do benefício total de forma a
conseguir criar pastas e salvar pins.

Possíveis Problemas de usabilidade
● O usuário não reconhece que o “Pin it” é para salvar a imagem
dentro da pasta;
● Criar pasta - o ícone dentro do pin it não é claro;
● Dificuldade de criar pasta (onde encontrar o lugar para criar
pasta) e dúvidas em preencher as informações que não são
obrigatórias;
● Busca: separação de palavras por TAGs;
● Navegação: usuário não pode voltar para imagens anteriores.

Questões para Investigação: principais e secundárias
● O usuário iniciante consegue encontrar os conteúdos que está
interessado?
● Consegue salvar as imagens de seu interesse?
● Consegue identificar o link para o ir ao site?

Perfil da amostra desejado
● Ambos os sexos (50% homens e 50% mulheres);
● 18 +;
● Nunca acessaram o Pinterest;
● Preferencialmente para usuários de IOS;
● Domínio de tecnologia comum (80%) e avançado (20%).

Perfil da amostra*
● Ambos os sexos (50% homens e 50% mulheres);
● 25 a 30 anos;
● Nunca acessaram o Pinterest ou acessaram poucas vezes;
● Usuários iOS e Android;
● Domínio de tecnologia avançado.
● A amostra foi limitada por usuários da mesma faixa
etária da turma da pós-graduação de Ergodesign.

Usuário 1
Perfil do usuário
Faixa etária: 25-30 anos.
Frequência de uso do Pinterest: Não é
usuário do app.
Frequência de uso da internet: Sempre,
acessa para trabalho e redes sociais.
Conteúdo que costuma consumir na
internet: Redes sociais e sites de
entretenimento.
Perfil do usuário
Frequência de uso do Pinterest: Usa o
Pinterest no computador e não o aplicativo.
Não é usuária frequente do aplicativo. Acessa
poucas vezes no mês quando quer ver
referências.
Frequência de uso da Internet: Sempre.
Smarthphone e notebook.
internet: E-mail, Redes sociais (Facebook,
Instagram), alguns sites especificos.
Usuário 2

Usuário 3
usuária frequente, já tinha usado mas somente
salvando as imagens no computador.
Frequência de uso da Internet: Sempre.
Acessa para consultas relacionadas ao trabalho
e redes sociais (Facebook, Linkedin, Twitter)
internet: Conteúdo relacionado a área de TI e
decoração.
Perfil do usuário
usuário, mas acessou 1 vez.
Frequência de uso da internet: Sempre,
acessa para trabalho e redes sociais.
internet: Sites de notícias, produtividade e
entretenimento.
Usuário 4

Desenvolvimento da Tarefa
O intuito foi desenvolve uma tarefa que abrangesse algumas
atividades principais do app:
1) Acesso (Cadastrar-se)
2) Encontrar conteúdo (buscar, clicar, ver detalhes, etc.)
3) Organizar (salvar, criar pastas, etc.)
4) Visite ou leia mais (acessar links externos a partir do app em
busca de mais detalhes)
A seguir veremos os principais insights que os participantes
trouxeram em cada uma dessas macro atividades.

Tarefa exibida aos participantes
Você tem uma sobrinha de 8 anos que
irá fazer aniversário na época do
Halloween. Como você possui muitas
habilidades manuais, sua irmã pediu
ajuda com a decoração e algumas
comidinhas temáticas.
Você se comprometeu a levar 4 itens
decorativos e 4 comidinhas para festa.
Para se inspirar resolveu entrar no
Pinterest.

1) Acesso
Usuário 1
● Sem dificuldades
Usuário 2
● Utilizou as dicas do tutorial para seguir o fluxo de navegação;
● Achou o cadastro fluído.
● Sentiu dificuldades por não ser usuário IOs, sistema no qual o teste foi aplicado
Para ver mais
conteúdo eu posso
clicar na imagem, no
computador é
assim...

1) Acesso
Acesso 3
● Não teve dificuldade de acesso
● Ao selecionar os Interesses:
○ Tentou realizar busca pelos interesses
○ Tentou navegar para esquerda e para direita
○ Ficou na dúvida de como sair dessa área, pois tem selecionar no mínimo 3 itens e havia
selecionado apenas 2
Usuário 4
● Dúvida no passo de escolha do sexo, não sabia se deveria digitar ou encostar para selecionar a
opção;
● Na tela “Olá” tentou passar para o lado, mas não tinha essa opção;
● Na tela “pelo que vc se interessa?” tentou fazer uma busca relacionada à tarefa;

2) Encontrar conteúdo
Usuário 1
● Buscou diretamente pelas palavras chaves “halloween”, “decoração” e
“comidas” com isso obteve resultado satisfatório ao que procurava.
● A princípio não sabia o que esperar do botão “pin it”, mas acabou
entendendo pela ajuda do tutorial.
Usuário 2
● Fez a busca em inglês;
● Não sentiu dificuldades para encontrar imagens que queria para sua
coleção;
● Usou a palavra ¨kids¨
Eu queria salvar o
link desse site no
meu pinterest

2) Encontrar conteúdo
Usuário 3
● Para encontrar o que queria, realizou logo a busca e encontrou com facilidade o que queria
● Selecionou sem querer a opção de chat, enquanto scrollava a tela
Usuário 4
● Tentou buscar clicando no logo do pinterest (lugar errado);
● Usou o pressionar para pinar;

3) Organizar
Usuário 1
● Como seguiu o tutorial, não teve dificuldade para criar a pasta.
● Criou somente uma pasta para guardar todas as imagens.
● Numa segunda busca à pasta precisou dar refresh na página para enxergá-la.
Usuário 2
● Achou o ícone de criar pasta ruim e confuso;
● Criou apenas uma pasta sobrinha e colocou todos os itens lá;
● Tutorial ajudou para criar a pasta;
● Identificou um erro textual no cadastro da pasta. Ora chama de pasta ou painel;
● Não achou com facilidade a opção para transferir a imagem de pasta.
Se o tutorial não
me mostrasse que
o Pin it é para
salvar, eu não teria
encontrado...

3) Organizar
Usuário 3
● Ao tentar guardar a imagem, selecionou a opção de Pin it, porém não optou primeiramente
por criar uma pasta. Depois que não conseguiu selecionar uma das pastas listadas, acessou a
opção para criar pasta
● Ficou na dúvida de como sair da pasta
● Conseguiu sair da pasta, porém sem criá-la
● Acessou novamente a opção para criar e conseguiu
● Teve dificuldade em encontrar a pasta que criou
Usuário 4
● Criou a pasta de forma correta;
● Ao procurar suas pastas foi no botão pinterest, mas foi no lugar correto numa segunda
tentativa;
● Teve que dar um “refresh” para aparecer as pastas criadas;
● Queria o feedback de quantas imagens tinham nas pastas;

Usuário 1
● Clicou na imagem esperando achar mais informações e dessa forma
descobriu o botão “leia mais”
● Não teve interesse de clicar no botão “pin it” dessa seção.
● Tentou salvar o link externo para ler depois (função inexistente no app).
Usuário 2
● Estabeleceu relação com a navegação que faz pelo computador;
● Não sentiu dificuldades e entendeu a nevegação que o app disponibiliza
para chamar links externos.
4) Visite ou Leia mais Eu esperava
encontrar minha
pasta aqui.

Usuário 3
● Não encontrou a opção. Se precisasse fazer um dos itens que guardou, acessaria somente a
imagem e tentaria ver do que é feito, para replicar;
Usuário 4
● Foi no “leia mais” de forma induzida;
● Utilizou o “pin it” dessa seção de forma correta, mas não esperava o comportamento apresentado;
● Achou confuso os botões de “avançar” e “voltar” já que ele não tinha navegado na página;
4) Visite ou Leia mais

Extra: Navegação Exploratória pós-tarefa
Usuário 2
Como o usuário comentou, enquanto realizava a tarefa, que todos os itens ficaram embolados em
uma única pasta, sugerimos após a conclusão da tarefa que tentasse organizar conforme gostaria.
● O usuário tentou encontrar uma opção “Mover”, como não encontrou, acessou a imagem e
tentou movê-la, porém percebeu que teria que criar a pasta;
● Retornou a pasta e selecionou a opção “Criar outra pasta”;
● Retornou a imagem, selecionou editar, porém não encontrou como mover no 1º acesso. No 2º
acesso, percebeu que teria que selecionar o nome da pasta para selecionar outra pasta.

Extra: Navegação Exploratória pós-tarefa
Usuário 3
● Menu superior: Identificou e acessou sem dificuldades
● Menu inferior:
○ Chat: não viu utilidade dessa opção
○ Pasta: esperava acessar a pasta que criou nessa opção
● Ao selecionar uma imagem:
○ Esperava que ela fosse ampliada e não aberto um link
○ Depois de selecionada a imagem, percebeu que foi aberto um link externo, porém não
percebeu que ainda estava dentro do próprio app, achando que não conseguiria retornar
○ Ao acessar o site externo, permanece a opção Pin it, porém o usuário não entendeu a
funcionalidade disso, pois não percebeu ainda estar dentro do app. Após acessar a opção
percebeu ainda ter as funcionalidades do Pinterest

Resumo
Notas 7 | 8 | 10 |8.5
Média 8.4
Acesso
● Sem grandes dificuldade
● 2/4 usuários tentaram dar “swipe” na imagem da página “Olá”
● 2/4 usuários tentaram fazer uma busca já na página de “Pelo que
você se interessa?”
Encontrar o conteúdo
● Sem dificuldades
● Apesar de não estar incluído na nossa tarefa percebemos que uma
funcionalidade que é disponibilizada pelo pinterest nenhum
usuário descobriu - busca por padrões de imagens

Organizar
● Todos os usuários precisaram dar um “refresh” na página para que
suas pastas aparecessem;
● Um usuário teve dificuldade para criar a pasta;
● Somente um usuário tentou mover as imagens depois de
adicionadas a pasta e teve dificuldade para mover um pin para uma
nova pasta;
● Somente um usuário utilizou o atalho disponível ao pressionar a
imagem por um tempo, para armazená-la em uma pasta;
Resumo

Visite ou Leia mais
● Todos os usuários tiveram dificuldades para achar a seção;
● Todos os usuários acessaram essa opção através da imagem, não
utilizaram o botão Leia mais ou Visitar;
● Nenhum usuário entendeu o botão “pint it” dessa seção;
● Alguns usuários não entenderam o botão “voltar” e “avançar”
Resumo

● Percebemos que temos que fazer modificações no roteiro, pois algumas
perguntas ficaram redundantes;
● O trabalho de moderador é complicado, pois necessita de atenção para guiar o
usuário e não influenciar sua navegação;
● As respostas devem ser comedidas;
● A função do observador é árdua, pois a informação devem ser entendida e escrita
rapidamente no bloco de notas;
● O roteiro estava extenso atrapalhando a anotação e fluxo da entrevista em
alguns casos;
● Foi muito importante o teste piloto para o grupo entender como se comportar e
ter uma estimativa das atividades que podem fugir do roteiro.
Conclusão sobre a aplicação do teste

Referências
MELCHER, Christiane ; MONT’ALVÃO, Cláudia. Proposta metodológica para avaliações
otimizadas de usabilidade em websites desenvolvidos com método ágil: um estudo de
caso. 2012. Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.
php?open=1&arqtese=1011877_2012_Indice.html. Acesso em 08/05/2016
MONK, Andrew; WRIGHT, Peter; HABER, Jeanne; DAVENPORT, Lora. Improving your
humancomputer interface: a practical technique. 1993. Disponível em: http://openlab.ncl.
ac.uk/wp-content/uploads/2011/01/coop_run_time.pdf

Questionário - Recrutamento - 1 de 2
[ Em vermelho, os itens que encerram a pesquisa.]
Informações Pessoais
Sexo
❏ Feminino
❏ Masculino
❏ Personalizado
Idade
❏ Abaixo de 18 anos
❏ Entre 18 e 24 anos
❏ Acima de 65 anos
Informações de Acesso a Internet
Com que frequência você acessa a Internet?
❏ Todos os dias
❏ Em torno de 5 dias na semana
❏ Uma vez por semana
❏ Algumas vezes no mês
❏ Não acesso a Internet
Acessa a Internet de onde? Pode ser marcado mais de 1 item.
❏ Em casa
❏ No trabalho
❏ Curso/Faculdade
❏ Casa de parentes/amigos
❏ Celular

Questionário - Recrutamento - 2 de 2
O que mais costuma acessar na Internet? Especifique.
❏ Redes sociais
❏ Facebook
❏ Snapchat
❏ Twitter
❏ ____________________________
❏ WhatsApp
❏ Sites de notícias
❏ Globo.com
❏ UOL
❏ Terra
❏ ___________________________
❏ Blogs ___________________________________
❏ Sites de Vídeos
❏ Youtube
❏ Vimeo
❏ Netflix
❏ ___________________________
❏ Pinterest
❏ Outros __________________________________
Já utilizou o Pinterest?
❏ Sim
❏ Não
2. Com que frequência acessa o Pinterest?
❏ Todos os dias
❏ Uma vez por semana
❏ Algumas vezes no mês
❏ Acesso esporadicamente
❏ Nunca acessei

Check-list
Ambiente:
⎕ Lugar com temperatura agradável?
⎕ Iluminação adequada?
⎕ Água, café e biscoito?
Aparelho:
⎕ Internet está funcionando?
⎕ Bateria está carregada?
⎕ Aplicativo está zerado?
⎕ Desativar notificações de outros apps;

Roteiro - 1 de 13
Projeto / Produto: App Pinterest para iOS
Bateria de testes nº: 1
Objetivo do Teste: Avaliar se os usuários iniciantes sao capazes de utilizar o app
usufruindo do beneficio total de forma a conseguir criar pastas e salvar pins.
Sobre o Projeto
Data: Duração da sessão
Início: Término:
Local:
Moderador: Observador:
Sobre o teste

Roteiro - 2 de 13
Sobre o Usuário
Usuário nº: Gravação nome/nº:
Perfil: Comum ou Avançado?
Nome:
Idade: Sexo: [ ] Feminino [ ] Masculino
Profissão/Ocupação:
Usuário de Pinterest?
Caso sim, com que frequência acessa o Pinterest?

Roteiro - 3 de 13
MODERADOR:
>> Explicar que o usuário não está sendo testado, mas sim o aplicativo Pinterest
>> Explicar que ele estará sendo filmado, mas que o vídeo é somente para ajudar na análise posterior e não
será divulgado publicamente/comercialmente
>> Dar instruções básicas de como será o andamento da pesquisa
>> Pedir para desligar o celular
Entrevista Inicial
01- O que você faz na internet de uma forma geral? Que sites costuma acessar?
Comentários do usuário:
Observações do moderador:

Roteiro - 4 de 13
02 - E quanto à redes sociais, você usa?
02.01. - Se sim, qual(is) e com que frequência?
03 - Acessa a internet de onde?

Roteiro - 5 de 13
04 - Usa o celular para acessar a internet?
04.01. - Se sim, o que costuma acessar do celular?
05 - Que tipo de conteúdo te interessa ver na internet?
06 - Você costuma acessar o aplicativo Pinterest?
06.01. - Se sim, com que frequência acessa? Que tipo de conteúdo costuma ver no app?

Roteiro - 6 de 13
MODERADOR:
>> Dizer que dará início ao teste
>> Explicar que ele receberá tarefas e estas podem ser feitas sem pressa, no tempo que ele desejar.
>> Relembrar que ele não está sendo testado e que sua ajuda é fundamental.
>> Pedir para pensar em voz alta.
>> Avisar que nem sempre poderá responder alguma pergunta dele, mas que a dúvida em voz alta é importante.
>> Pedir para ele avisar toda vez que achar ter terminado uma tarefa para poder passar para a próxima.
>> Avisar que ele pode “desistir” caso não consiga completar uma tarefa e que não precisa ficar com “vergonha”,
pois o problema é do sistema e não dele.
>> Explicar que o principal desta avaliação é saber a opinião dele e não executar a tarefa em si.
>> Verificar se gravação foi iniciada.

Roteiro - 7 de 13
Tarefa Principal
MODERADOR:
Você tem uma sobrinha de 8 anos que irá fazer aniversário na época do Halloween. Como você possui muitas habilidades
manuais, sua irmã pediu ajuda com a decoração e algumas comidinhas temáticas.
Você se comprometeu a levar 4 itens decorativos e 4 comidinhas para festa. Para se inspirar resolveu entrar no Pinterest.
Comentários do usuário durante a tarefa:
Observações / Interpretação do moderador/observador:

Roteiro - 8 de 13
Usuário conseguiu realizar a tarefa?
Obs:
[ ] Sim, com facilidade.
[ ] Sim, com dificuldade
[ ] Não conseguiu realizar a tarefa
MODERADOR:
>> Perguntar impressões gerais
O que achou desta experiência?

Roteiro - 9 de 13
Procurou algo específico? Se sim, o quê? Encontrou?
O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?
Mudaria algo ou deixaria assim? Sentiu falta de algo?

Roteiro - 10 de 13
Perguntas Finais
O que você achou do app?
Quais foram os pontos positivos e negativos do app?
Mudaria algo, acrescentaria algo ou deixaria como está?

Roteiro - 11 de 13
De 1 a 10, qual a nota que você daria para o site? Por qual motivo?
Sugestões?
Navegação livre
MODERADOR:
>> Dizer que dará início a uma nova avaliação
>> Explicar que ele deve navegar como se estivesse à vontade e não deve conversar.
>> Navegue livremente, clicando no que te interessar.
>> Avisar que depois de um tempo ele será interrompido.

Roteiro - 12 de 13
Comentários do usuário durante a tarefa:
Observações / Interpretação do moderador/observador:
Usuário conseguiu realizar a tarefa?
Obs:
[ ] Sim, com facilidade.
[ ] Sim, com dificuldade
[ ] Não conseguiu realizar a tarefa
MODERADOR:
>> Interromper após 5 minutos
>> Perguntar impressões gerais

Roteiro - 13 de 13
O que achou desta experiência?
Procurou algo específico? Se sim, o quê? Encontrou?
O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?
Mudaria algo ou deixaria assim? Sentiu falta de algo?
MODERADOR:
>> Encerrar o teste e agradecer a presença e colaboração do usuário

Pinterest - avaliação cooperativa - final

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (15)

Semelhante a Pinterest - avaliação cooperativa - final

Semelhante a Pinterest - avaliação cooperativa - final (20)

Mais de Fernanda Sarmento

Mais de Fernanda Sarmento (19)

Pinterest - avaliação cooperativa - final