Tutorial SBGAMES 2015

1. Avaliação de Usabilidade
e Jogabilidade em Jogos:
Métodos, Técnicas e Ferramentas
Jerry Medeiros

2. Introdução
• As pessoas não se atraem por jogos frustrantes
ou que apresentem certo grau de dificuldade de
interação.
• É necessário atentar-se às questões de
usabilidade e jogabilidade durante o processo de
criação.
• Não levá-los em consideração pode interferir no
objetivo principal, que é criar uma experiência
agradável e imersiva.

3. Introdução
• Com a eminente popularidade do free to play,
os jogadores, agora, pagam depois da
experiência.
• O dinheiro perdido não é mais suficiente para
motivar os jogadores a lidar com uma
experiência ruim.

4. Introdução
• Na maioria das vezes, os mecanismos de
avaliação empregados estão focados em
encontrar erros de programação e não
consideram problemas relacionados às
percepções, emoções e necessidades dos
jogadores.

5. Design Centrado no Usuário
• Pensar o projeto, desde o início, levando-se
em consideração as características,
necessidades e desejos das pessoas a quem
efetivamente o jogo se destina.
• É necessário a utilização de técnicas e
métodos que busquem trazer esses sujeitos
para o processo de desenvolvimento

6. Experiência
• “Uma boa experiência não garante o sucesso,
mas uma experiência ruim é quase sempre um
atalho para o fracasso.” (Kuniavsky 2003)

7. Experiência
É a combinação de todos os aspectos relativos à
interação entre o jogo e o jogador.
• Resposta emocional
• Aspectos sociais e culturais,
• Contexto de uso
• Sentimentos decorrentes da interação
São premissas para o design da experiência do
jogador na metodologia do DCU.

8. Design da Experiência
• Não é Game Design
• Não é Design de Interface
É uma atividade multidisciplinar que envolve
vários profissionais especializados em diferentes
áreas: game designers, artistas gráficos, sound
designers, especialistas em interação, roteiristas
e outros .

9. Design da Experiência
A maioria das pesquisas, processos e métodos
de experiência do usuário foi desenvolvida fora
da indústria de jogos.
Os jogos são produzidos com o objetivo de
entreter e divertir os usuários, e não torná-los
produtivos como os demais softwares.

10. Design da Experiência
Enquanto a EXPERIÊNCIA DOS USUÁRIOS
relaciona-se à facilidade e à adequação de uma
tarefa, a EXPERIÊNCIA DO JOGADOR se refere ao
suporte do jogo para a vivência de momentos
divertidos.

11. Design da Experiência
A experiência do jogador não é algo opcional,
algo que se decida colocar o u não em um
projeto de jogo.
É um fator inerente a qualquer ponto de contato
entre uma pessoa e um objeto interativo.

12. Ciclo de Vida do Projeto
Embora seja possível trabalhar com DCU em
qualquer modelo de ciclo de vida de projeto,
recomenda-se usar um ciclo de vida iterativo e
incremental, com ciclos bem definidos
Ao final de cada ciclo, um parte do jogo deve
estar completamente pronta e testável.

13. Ciclo de Vida do Projeto

14. Ciclo de Vida do Projeto

15. Avaliação por fase do ciclo
• Avaliação Formativa:
Feita durante o processo de design, antes de o
jogo estar completamente implementado e, em
alguns casos, antes mesmo da existência de um
protótipo funcional/digital.

16. Avaliação por fase do ciclo
• Avaliação Formativa:
Pode ser feita por meio de cenários,
storyboards, modelagem conceitual da
interação ou protótipos de baixa fidelidade.

17. Avaliação por fase do ciclo
• Avaliação Formativa:
O Objetivo é identificar e corrigir problemas de
interação, inadequações de usabilidade e de
jogabilidade antes mesmo do inicio da
programação do jogo.

18. Avaliação por fase do ciclo
• Avaliação Somativa:
Feitas em produtos já terminados, têm por objetivo validar
determinados aspectos:
• Sistema de pontuação está bom ?
• O balanceamento das fases está adequado ?
• Os efeitos sonoros são agradáveis ?
• Há engajamento e retenção dos jogadores ?

19. Como Avaliar ?
Depende:
• Do prazo;
• Do orçamento;
• Dos objetivos;
• Da natureza do jogo;
• Da equipe.

20. Teste com Jogadores
A palavra TESTE assusta.
A regra #1 de testar com jogadores é : Não fale
sobre o teste com os jogadores.

21. Quick and Dirty
• Fácil de ser aplicado
• Pode ser feito com frequência
• Gratuito
• Quase sempre traz algum resultado
interessante.

22. Protocolo Think Aloud
É um procedimento analítico que permite ao
avaliador “ter acesso” ao modelo mental do
jogador.
Ajuda a compreender melhor os
comportamentos, sentimentos e atitudes do
jogador em relação ao jogo.

23. Protocolo Think Aloud
E se o participante se calar ?
Lembrá-lo de continuar a dizer no que está
pensando.

24. Protocolo Think Aloud
“Onde você acha que deveria ficar o tutorial ?”
“Porque você optou por fazer esse caminho ?”
“Qual estratégia você adotou para vencer esse
obstáculo?”

25. Protocolo Think Aloud
E se o participante me fizer perguntas ?
(Jogador) Mas isso não é inútil ?
Resposta inadequada: Não!
Resposta adequada: Porque você acha isso ?
(Jogador) Como faz para matar esse inimigo ?
Resposta inadequada: Pise na cabeça dele!
Resposta adequada: Como você espera que seja ?

26. Teste de Usabilidade/Jogabilidade
Método empírico (envolve usuário)
Principal objetivo: validar as soluções de design
Realizado com participantes que são parte do público
alvo.
Método: OBSERVAÇÃO da interação do jogador com jogo
Resultado: descoberta de padrões e sugestão de
melhorias.

27. Teste de Usabilidade/Jogabilidade
• Testes de Exploração
• Testes de Avaliação
• Testes de Validação
• Testes de Comparação

28. Teste de Usabilidade/Jogabilidade

29. Como fazer ?
É necessário PLANEJAR!
1. Determinar objetivos (onde quero chegar?)
2. Escolher o que medir (quais métricas?)
3. Definir perfil de participantes e recrutar (pra quem ?)
4. Definir tarefas e cenários (qual a motivação ?)
5. Preparar os materiais, equipe, ambiente e ferramentas (como e com o
que ?)
TESTAR O TESTE

30. Determinar os Objetivos
Qual o objetivo do teste ?
Engajamento, compreensão, nivelamento,
satisfação, comparação ...
O que precisa ser avaliado ?
Interface, gameplay, curva de dificuldade...
Formule perguntas específicas.

31. Determinar os Objetivos
EXEMPLO
1. É possível trocar de arma em um tempo aceitável e
que não prejudique a experiência do jogador?
2. O inventário é facilmente acessado quando o jogador
precisa equipar um item?
3. Os check poins estão bem posicionados para que o
jogador não perca grande parte do progresso e não se
frustre?

32. Escolher o que medir
As métricas dependem do objetivo
• Tempo gasto por fase
• Quantidades de mortes até atingir um check
point
• Número de toques na posição errada ao acionar
algum botão virtual

33. Seleção dos Participantes
Quem vai jogar meu jogo ?
Determinar quem é o público-alvo, levando em consideração:
• Características pessoais: idade, gênero;
• Dados sobre instrução: grau, assuntos estudados;
• Experiência computacional: tempo de utilização, frequência,
dispositivos;
• Experiência com o produto: tempo de utilização, frequência,
gêneros preferidos de jogo;

34. Seleção dos Participantes
Quantos jogadores devo selecionar ?
• 5 (em cada categoria) para uma análise mais
qualitativa
• 20 para uma análise mais quantitativa

35. Seleção dos Participantes

36. Seleção dos Participantes
Onde encontrar essa pessoas ?
• Redes sociais
• Contatos pessoais
• Contatos do cliente/parceiros
• Base de dados de jogadores
• Empresas de recrutamento
• Escolas

37. Seleção dos Participantes
EVITAR
• Amigos
• Membros da família
• Pessoas envolvidas com o projeto
• Desenvolvedores

38. Seleção dos Participantes
DIVULGUE UM QUESTIONÁRIO DE FILTRO
1. Com que frequência você costuma jogar First Person Shooters?
[ ] Menos de 1 vez por semana [Terminar]
[ ] 1 ou 2 vezes por semana [Continuar]
[ ] 3 ou mais vezes por semana [Continuar]
2. Quais dos seguintes Jogos você já jogou? [ ] [ ] Call of Dutty
[ ] Counter-Strike
[ ] Borderlands
[ ] Crysis
[Recrutador: Necessário ter jogado pelo menos 2.]
3. Em quais plataformas você joga?
[ ] PC
[ ] Console
[ ] Ambos [Recrutador: Necessário Jogar em PC.]
ou
[Recrutador: Selecionar de forma mista.]

39. Definir Tarefas e Cenários
Tarefas: O que precisa ser testado ?
• O que é necessário que o jogador faça que se
possa avaliar o que foi definido ?
• Como é esperado que o jogador realize a tarefa?
(quando relevante)
• Com quanto tempo é esperado que o jogador
realize a tarefa (quando relevante)

40. Definir Tarefas e Cenários
EXEMPLO TAREFAS
1. Inicie uma partida e jogue naturalmente até perder uma vida
2. Desabilite apenas a música de fundo e inicie uma nova partida
3. Durante a partida, troque o nível de dificuldade para FÁCIL
4. Reinicie a partida sem voltar ao menu inicial
5. Encerre a partida, compre uma shotgun e jogue novamente
6. Consulte a lista de missões e escolha qual deseja completar
7. Jogue até completar a missão escolhida
8. Compre novos itens para o seu personagem

41. Preparar os materiais, equipe,
ambiente e ferramentas
Escrever, revisar e imprimir
• Roteiro, tarefas, termo de consentimento.
Verificar ambiente
Nível aceitável de ruídos, privacidade, lanche (se necessário)
Verificar dispositivos
Bateria, conexão, captura (áudio e vídeo), software espião,
navegador (limpar cache)
Não esquecer mouse, teclado, joypad (se necessário)

42. Preparar os materiais, equipe,
ambiente e ferramentas
ESTRUTURA DO ROTEIRO
• Propósito do teste
• Lembrar que quem é avaliado é o jogo e não o jogador
• Que o objetivo é melhorar a jogo
• Que a identidade será mantida em sigilo
• Que a participação é voluntária
• Explicar como ocorrerá teste
• Explicar que podem fazer perguntas, mas nem todas
poderão ser
• Explicar as tarefas
• Realizar entrevista semi-estruturada no final

43. Preparar os materiais, equipe,
ambiente e ferramentas
“Obrigado por concordar em participar do nosso estudo sobre o Jogo. Meu nome é Jerry.“ [Evitar usar a
palavras teste ou avaliação, pois geralmente intimidam o participante]”
“Estou aqui para entender como as pessoas interagem com esse jogo”
“Durante a sessão, vou te pedir para fazer algumas específicas no jogo e observar como
você as faz. Por favor, tente executá-las da forma como você faria normalmente caso eu não estivesse
observando”
“Por favor, tente pensar em voz alta enquanto você está jogando. Apenas me diga o que
passar pela sua mente.”
”Não estamos testando você, não se preocupe pois não há a possibilidade de você cometer erros. Ao
fazer isso você me ajuda a entender o que é legal ou não no jogo.
”A sessãoo durará cerca de 45 minutos.”
“Você tem alguma pergunta antes de começar?”[Responder todas as perguntas]

44. Teste Piloto
Executar uma sessão de teste com alguém, não
necessariamente um participante selecionado.
Adequar tarefas, tempo, ambiente,
equipamento...

45. Teste Piloto
Antecipa e previne problemas com o teste real.
• As tarefas foram compreendidas pelos usuários?
• Todas as tarefas foram possíveis de concluir?
• Os equipamentos estão ok?
• O protótipo precisa ser ajustado?
• O questionário está ok?
Envolvidos: 1 a 3 (depende da complexidade do
teste, mas quase sempre 1 é suficiente)

46. Aplicação do Teste
EQUIPE ENVOLVIDA
Condutor
• Orienta o participante
• Faz com que ele se sinta à vontade
• Responde perguntas (nem todas)
• Estimula o participante a verbalizar
Observador(es)
• Observam e registram os padrões
• Não interferem no teste

47. Aplicação do Teste
EQUIPE ENVOLVIDA
Participantes (Jogadores)
Posso/Devo pagá-los ?
A resposta mais adequada é NÃO (Mas..)
O que o participante precisa saber ?
• Que está sendo observado
• Que sua identidade será preservada
• Onde estão as câmeras, espelhos, microfones..
• Precisa aceitar um termo de consentimento

48. Aplicação do Teste
AMBIENTE DO TESTE
Varia de acordo com a necessidade, objetivo,
orçamento...
É o conjunto de todos os equipamentos,
acessórios e artefatos necessários para a
realização de um sessão de teste.

49. Aplicação do Teste

50. Aplicação do Teste

51. Aplicação do Teste
ESCOLHA UM SOFTWARE ESPIÃO
Quicktime (http://www.apple.com/quicktime/download/)
SilverBack (http://silverbackapp.com/)
CamStudio (http://camstudio.org/)
Camtasia (http://www.techsmith.com/products/studio/default.asp )
Morae (http://www.techsmith.com/products/morae/default.asp) Ovo
Logger (http://www.ovostudios.com/ovologger.asp#during )
ScreenCam (http://www.smartguyz.com/index.html )
ZD Soft (http://www.zdsoft.com/downloads.html)

52. Aplicação do Teste
Mr. Tappy (http://www.mrtappy.com/)

53. Aplicação do Teste
COMO OBSERVAR
• Procure por padrões de comportamento e fenômenos
• Não interfira no teste (função do orientador/condutor)
• Marque o tempo inicial (quando medindo o tempo)
• Anote pontos de dificuldade
• Anote termos que causaram confusão
• Anote o caminho percorrido
• Anote as sugestões do participante
• Anote se a tarefa foi realizada com sucesso ou não
• Anote frases/depoimentos que exemplifiquem algo importante
• Anote o tempo final

54. Aplicação do Teste
QUESTIONÁRIO/ENTREVISTA DE SATISFAÇÃO
• Formular perguntas relacionadas a aspectos
difíceis de serem detectados somente com a
observação
• Sentimentos, opiniões, sugestões para melhoria
• Posicionamento em relação a outros jogos do
mesmo gênero.

55. Aplicação do Teste

56. Terceirização de Testes
Mr. Tappy (http://playtestcloud.com/)

57. Análise Heurística
Quantos especialistas devem avaliar o jogo ?
5 especialista conseguem encontrar, em média
75% dos problemas que possivelmente seriam
enfrentados pelos usuários reais.

58. Análise Heurística

59. Análise Heurística
Método analítico (não envolve usuário)
Principal objetivo: validar as soluções de design
Realizado por especialistas com base nas melhores práticas
definidas por profissionais experientes.
Método: Análise do jogo com base em um conjunto de linhas
guia.
Resultado: descoberta de padrões e sugestão de melhorias.

60. Análise Heurística
Planejamento
• Definir a proposta de design (protótipo de baixa
fidelidade, protótipo de alta fidelidade ou jogo
completo)
• Hipóteses sobre os usuários (opcional)
• Cenário de tarefas (opcional)

61. Análise Heurística
COMO FAZER ?
1. Duas sessões curtas de avaliação individual, onde cada
especialista:
• Avalia a conformidade da interface com um conjunto de
heurísticas;
• Anota os problemas encontrados e sua localização;
• Julga a gravidade desses problemas;
• Gera um relatório individual com o resultado de sua avaliação e
comentários adicionais, caso o deseje.

62. Análise Heurística
COMO FAZER ?
Para a categorizar os problemas encontrados na avaliação:
• Frequência: Define se um problema ocorre isoladamente ou se ele é
recorrente e avalia se os locais no qual esse problema ocorre são muito
utilizados pelo usuário ou não.
• Impacto: Define se o usuário terá dificuldade em lidar com o problema ou
não. Os problemas de grande impacto podem trazer constrangimento,
frustração ou impedir que o usuário prossiga com a utilização do sistema.
• Persistência: Define se o problema ocorrerá todas as vezes que o usuário
interagir com o sistema ou se ele desaparecerá com o aumento da
experiência do usuário.

63. Análise Heurística
COMO FAZER ?
Para pontuar os problemas pode-se utilizar a seguinte escala:
• 0: Não concordo que seja um problema;
• 1: Problema cosmético: não precisa ser corrigido, a não ser que haja
tempo extra;
• 2: Problema menor: prioridade baixa para a correção;
• 3: Problema maior: prioridade alta para a correção;
• 4: Catástrofe: é imperativa a correção antes que o produto seja lançado.

64. Análise Heurística
COMO FAZER ?
2. Reunião de consolidação da avaliação dos especialistas
• Os avaliadores, em conjunto, discutem os
problemas encontrados
• Gera-se um relatório, que consolida todos os
problemas encontrados por todos os avaliadores.

65. Análise Heurística
COMO FAZER ?
3. Seleção dos problemas que devem ser corrigidos
• Etapa realizada por pelo menos um dos especialistas que avaliou a
interface juntamente com a equipe de desenvolvimento.
• Análise de custo/benefício das correções dos problemas
encontrados
• Leva-se em consideração não apenas a gravidade dos problemas,
mas também os prazos e o orçamento do projeto, bem como a
capacitação da equipe de desenvolvimento.

66. OBRIGADO ;)
Jerry Fernandes Medeiros
Especialista em Design de Interação
Produtor de Jogos Digitais Educativos
Jerry.medeiros@tamboro.com.br