O documento discute ferramentas para testes de usabilidade online, resumindo quatro sites que oferecem este serviço. Cada site é descrito em termos de como funciona, configuração de testes, realização dos testes, resultados e prós e contras. Em geral, os sites fornecem resultados estatísticos detalhados, porém não substituem testes de usabilidade formais devido à falta de exploração dos motivos das ações dos usuários.

1. Ferramentas
para testes de
usabilidade online
Carlos Eduardo Ribeiro
Carlos Winter
Ricardo Lins

2. O teste formal de usabilidade
Envolve usuários reais ou representativos da população-
alvo. Os testes envolvem:
● O local de realização com ambiente controlado;
● Computador a ser utilizado no teste;
● A iluminação do local;
● Verbalização do usuário;
● Os resultados esperados;
● E os constrangimentos.

3. O teste de usabilidade online
Os testes remotos utilizam recursos de comunicação e de
captura de telas, para alcançar usuários dispersos
geograficamente. Os usuários realizam as tarefas em suas
casas ou escritórios, sendo monitorados via internet.
Utilizam seu próprio computador e dispositivos (tela,
mouse, teclado). Esta forma facilita o recrutamento de
usuários como também minimiza a ocorrência de
problemas de interação artificiais - existentes nos testes
em laboratório. Mas os ambientes não são controlados, o
que pode dificultar a análise dos dados coletados nos
testes.

4. Site 1 - UserTesting.com
Como funciona
Você cria as tarefas para o teste.
Define o público alvo em um painel no site, e o site recruta
os usuários para testar. Ou você pode definir seus próprios
usuários. Ou também pode interceptar usuários direto no
site que se quer testar.
O site solicita que o usuário verbalize as tarefas e que seja
permitida a gravação da voz, e tudo que ocorrer na tela
também.

5. Site 1 - UserTesting.com
Como funciona - Configuração do teste
Primeira tela, deve-se escolher entre testes para desktop,
ou para dispositivos móveis. Com possibilidade de escolha
de um modelo pronto para testes ou criação de um novo.

6. Site 1 - UserTesting.com
Como funciona - Configuração do teste
Você deve informar a url do que será testado, e instruções
iniciais aos usuários

7. Site 1 - UserTesting.com
Como funciona - Configuração do teste
Defina as tarefas, que serão executas pelos usuários, com
gravação de vídeo do que está sendo feito.

8. Site 1 - UserTesting.com
Como funciona - Configuração do teste
Defina perguntas, para depois que os usuários terminarem
os testes.

9. Site 1 - UserTesting.com
Como funciona - Configuração do teste
Defina o público alvo

10. Site 1 - UserTesting.com
Como funciona - O teste e os resultados
Painel de visualização dos resultados dos testes

11. Site 1 - UserTesting.com
Como funciona - O teste e os resultados
Vídeo do teste. Mostra a barra com as tarefas que o
usuário executa.

12. Site 1 - UserTesting.com
Como funciona - O teste e os resultados
Abas disponíveis para análise dos testes. Anotações,
Clips, Tarefas e Respostas do questionário.

13. Site 1 - UserTesting.com
Prós e Contras
Prós:
● O site busca usuários para o teste, ou permite que você
escolha os seus usuários;
● Facilidade para montar os testes;
● Simplicidade para o usuário executar as tarefas.
Contras:
● Não possui opção de testar sem pagar;
● Só possui usuários para testes, nos Estados Unidos;
Reino Unido e Canadá;
● Cobra por usuário que testar.

14. Site 2 - Usabilla.com
Como funciona
Possui dois serviços:
1 - Usabilla Live: É uma ferramenta para colher opiniões
em um site pelos usuário.
Bastando adicionar um botão de feedback do Usabilla no
site que se quer colher opiniões. Então o usuário poderá
clicar a qualquer momento neste botão, sempre que quiser
dar uma opinião, algo que gostou, ou não gostou.

15. Site 2 - Usabilla.com
Como funciona
Botão para acionar a ferramenta de
feedback

16. Site 2 - Usabilla.com
Como funciona
Em seguida o usuário seleciona a área do site que deseja
dar a opinião.

17. Site 2 - Usabilla.com
Como funciona
Por fim, aparece a janela
para o feedback.

18. Site 2 - Usabilla.com
Como funciona
2 - Usabilla Survey: É uma ferramenta para teste de
usabilidade remoto, e pode ser usado com os sketches
inicias até o site pronto.
O teste é feito a partir de um questionário visual, que pode
ser montado com questões abertas, com múltiplos
apontamentos no site, e questões com apenas uma opção.

19. Site 2 - Usabilla.com
Como funciona - Configuração do Teste
O teste pode ser
criado a partir de
um template, ou
criar seu próprio
modelo.
Você pode fazer
upload de imagens
do seu computador
ou informar a url de
um site.

20. Site 2 - Usabilla.com
Como funciona - Configuração do Teste
Configuração das
instruções para o
teste, descrição do
cenário e outras
informações
necessária à
realização do teste.

21. Site 2 - Usabilla.com
Como funciona - Configuração do Teste
Possibilidade de
criar um
questionário
introdutório ao
teste.

22. Site 2 - Usabilla.com
Como funciona - Configuração do Teste
Podem ser
definidas tarefas ou
perguntas para
cada página criada.
Podem ser criadas
multiplas questões
para uma imagem,
ou a mesma
pergunta para É possível criar testes diferentes e
diversas imagens. randômicos para os usuários, para
testes A/B por exemplo.

23. Site 2 - Usabilla.com
Como funciona - O teste
Funciona como um questionário visual, pois a forma de
realizar os testes, consiste em clicar em pontos na imagem
e escrever os comentários de acordo com as tarefas.

24. Site 2 - Usabilla.com
Como funciona - Os resultados
Permite análise
quantitativa e
qualitativa, com mapas
de calor dos caminhos
percorridos pelo
mouse, análise dos
comentários e
respostas, filtros de
acordo com perfis,
idades, sexo.

25. Site 2 - Usabilla.com
Prós e Contras
Prós:
● Possui planos mensais de acordo com os números
máximos de usuários.
● Possui mapa de calor, com base nos cliques.
Contras:
● Se você quiser auxilio para recrutar usuário, deve entar
em contato com a equipe do Usabilla via e-mail.
● O teste é realizado através de imagens.
● Não grava vídeo dos testes.

26. Site 3 - loop11.com
Como funciona
Permite testes de usabilidade não moderados usando
usuários reais. Os dados são apresentados através de
relatórios com gráficos da conclusão das tarefas, o tempo
em cada tarefa, páginas de reprovação comuns, e uma
análise do caminho utilizado para cada usuário.
Um pesquisador pode ter até 1.000 participantes por
projeto de teste.

27. Site 3 - loop11.com
Como funciona - Configuração do Teste
Informar a url do site a ser testado, o público, idioma e um
pequeno texto de introdução

28. Site 3 - loop11.com
Como funciona - Configuração do Teste
Criar tarefas e questões que
serão abordadas durante o
teste

29. Site 3 - loop11.com
Como funciona - Configuração do Teste
Selecionar a
forma como os
participantes
serão convidados

30. Site 3 - loop11.com
Como funciona - Configuração do Teste
O site cria o teste
gerando um link para
ser encaminhado
para o usuário por
três caminhos: via e-
mail, mídias sociais e
através da criação
de um pop-up no site
em estudo. Este
último, necessita
implementar os
códigos.

31. Site 3 - loop11.com
Como funciona - O teste
Página de início do
teste e página com
passo-a-passo para
realização das
tarefas.

32. Site 3 - loop11.com
Como funciona - O teste
O usuário visualiza
as tarefas no topo
do site tendo a
opção de desistir da
tarefa concluí-la.
O usuário pode
verificar a
porcentagem de
conclusão do teste
no topo da página.

33. Site 3 - loop11.com
Como funciona - O teste
Opção de fazer
perguntas entre uma
tarefa e outra.
Mensagem de
término do teste.

34. Site 3 - loop11.com
Como funciona - Resultados
Resultados apresentados em painel geral,
tarefas e perguntas.

35. Site 3 - loop11.com
Como funciona - Resultados
Painel detalhado das métricas dos participantes e opções
de filtros para eliminar testes considerados não concluídos

36. Site 3 - loop11.com
Prós e Contras
Prós:
● Opção de selecionar a forma de escolha dos usuários,
seja por URL, pop up, pelo site, e-mail;
● Visualização das tarefas no topo do site;
● Apresentação detalhada das métricas
Contras:
● O usuário não pode inferir de outra forma na interação
● Sistema é lento, tornando o teste cansativo.
● Sistema é pago.

37. Site 4 - testeusabilidade.com.br
O único site brasileiro encontrado em nosso estudo. A primeira
impressão passa uma ideia confusa na interface da home, onde o
"logo" usa as palavras: teste e usabilidade ao lado de uma pessoa
com uma venda nos olhos.

38. Site 4 - testedeusabilidade.com.br
Como funciona
Você deve ler com atenção a descrição do site a ser testado. Entender
o tipo do site e/ou interface e os objetivos que o produto visa atingir.
O site pede que você se coloque na posição do público-alvo, realize
algumas navegações utilizando as 4 esferas:
eficiência, acuracidade, recall e resposta emocional
No final, o site pede que você tenha "bom senso" pois o ambiente web
é sempre mutável e muitas vezes as mudanças podem trazer novos
desafios e sugere o uso de uma filosofia japonesa:
"recomendamos o processo de Kaizen (conheça mais no Wikipedia):
palavra de origem japonesa com o significado de melhoria contínua e
gradual."

39. Site 4 - testedeusabilidade.com.br
Como funciona
Pela falta de
objetividade da proposta
do site, concluímos que
o sistema não esta
maduro suficiente para
um teste de usabilidade
de qualidade. Sendo
assim, interrompemos
nosso estudo sobre ele.

40. Conclusão final
Existem diversas ferramentas online que permitem elaborar testes de
usabilidade remotos com uma interface fácil tanto para os facilitadores como
para os usuários. Porém, o fato de algumas serem pagas, pode causar uma
barreira na escolha de um mecanismo gratuito de qualidade, isto é, podendo
ter restrições quanto a utilização de mais funcionalidades como por exemplo
uma compilação de resultados de testes mais detalhada.
De modo geral, geram resultados através de estatísticas bem apresentadas e
detalhadas que podem complementar algumas possíveis lacunas de um teste
de usabilidade formal.
Porém, a incapacidade para explorar com os usuários o "porquê" do que eles
fizeram, nos permite concluir de que o teste online é limitado e ainda não é
capaz de substituir um teste formal.