Medição de Diversão a Partir da Face no Apoio ao Game Design

1. Globalcode – Open4education
Games – Medição de Diversão a Partir
da Face no Apoio ao Game Design
Luiz Carlos Vieira
Doutorando em Ciência da Computação
Laboratório de Interatividade e Tecnologia em Entretenimento Digital
Universidade de São Paulo
http://www.ime.usp.br/~lidet

2. Globalcode – Open4education
Agenda
2.
Entendendo
a diversão
3.
Medindo a
diversão
1.
Motivação
4.
Projeto em
produção
5.
Conclusão

3. Globalcode – Open4education
MOTIVAÇÃO
Motivação
Entendendo a
diversão
Medindo a
diversão
Projeto em
produção
Conclusão

4. Globalcode – Open4education
Jogos: interesse antigo
Rainha Nefertari jogando Senet. Pintura da tumba da Rainha Nefertari do Egito (1295–1255 BC). Imagem de domínio público, reproduzida de
Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Maler_der_Grabkammer_der_Nefertari_003.jpg?uselang=pt)

5. Globalcode – Open4education
Diversão: interesse natural
Ligada a recompensas cognitivas e emocionais
Motivador natural
para jogar
para agir
para escolher

6. Globalcode – Open4education
Diversão é assunto difícil
Difícil de definir precisamente
assunto subjetivo que envolve emoções
Difícil de garantir com o design
dependente do(s) participante(s)
dependente do contexto da atividade

7. Globalcode – Open4education
Dificuldades do playtesting
Observação
• Observador se torna parte
do fenômeno observado
• Reconhecimento de estar
sendo observado influencia
participante
Questionários
• Interrupções atrapalham a
experiência
• Coletas criam expectativas
ou não capturam nuances
importantes
Dados utilitários
• Desafios não são o único
aspecto da diversão
• Baixo desempenho não
significa ausência de
divertimento
Dados biométricos
• Sensores corporais podem
causar desconforto
• Configuração do ambiente
de teste é mais difícil e cara

8. Globalcode – Open4education
Por que usar a face?
Importante meio de
comunicação humana
• comunicação expressiva
• foco de atenção
• emoções prototípicas
Acessível em dispositivos
habilitados para jogos
• câmeras frontais
• alta resolução e baixa oclusão
• bem menos intrusivo

9. Globalcode – Open4education
ENTENDENDO A DIVERSÃO
Motivação
Entendendo a
diversão
Medindo a
diversão
Projeto em
produção
Conclusão

10. Globalcode – Open4education
Diversão requer interação
Mecanismo de influência
mútua
Envolve percepções e
atuações no “mundo”
Importante para a
subsistência
Propriedades
Relacionais
da Interação
Com objetos
• Pistas físicas/cognitivas
(affordances)
• Modelos conceituais
• Restrições físicas/lógicas
• Convenções socioculturais
Entre humanos
• Ambiente compartilhado
• Interferência social
• Comunicação verbal e
não-verbal
• Comportamentos de grupo

11. Globalcode – Open4education
Consciência
Diversão requer atenção
A capacidade de
atenção é limitada
126 bits/segundo
(3 conversações
simultâneas)
DadosSensoriais
Dados Relevantes
(organizados por intenções)
Foco da
Atenção
...

12. Globalcode – Open4education
Diversão inclui desafios
Nível da Habilidade AltaBaixa
NíveldoDesafio
Baixo
Alto
Aflição
Fluxo
Excitação
Controle
Relaxamento
Tédio
Apatia
Ansiedade
Objetivos claros
Desafios factíveis, porém difíceis
Capacidade de concentração total
Absorção da atenção
Percepção reduzida do tempo/ “eu”
Reforço do “eu” (após a atividade)
Feedback de ações e senso de controle

13. Globalcode – Open4education
Há outros aspectos
Desafio
oportunidades para a ação e
desenvolvimento
Curiosidade
ambiente apropriadamente
informativo
Fantasia
imagens mentais e experiência
Aprendizado
Fantasia
Curiosidade
Desafio

14. Globalcode – Open4education
Diversão requer imersão
Engajamento
Absorção
Imersão
Total
(Presença)
Engajamento (Engagement)
interesse inicial (curiosidade é
imediatamente relevante)
Absorção (Engrossment)
continuidade do interesse
(fantasia e desafio se tornam
mais relevantes)
Imersão Total (Total
Immersion/Presence)
experiência ótima (Fluxo)
Microfluxos
Fluxo

15. Globalcode – Open4education
Envolvimento vs interação
Jogos (Sérios) Design Gamificado
Brinquedos Design Ludificado
ParteTodo
Jogar
Brincar
História (“sem” interação)
Brinquedo (sem objetivo)
Puzzle (com objetivo)
Jogo (com vitória)

16. Globalcode – Open4education
Emoções são complementares à razão
“marcam” escolhas passadas como mais/menos relevantes
Diversão requer emoções
Sensorial Motor
Comportamental
Reflexivo
Visceral
percepções ações
fluxo de dados/inibições controle

17. Globalcode – Open4education
Aspectos emocionais
• Excitação
• Expressão
• Naches/Kvell
• Schadenfreude
• Surpresa
• Deslumbramento
• Fiero
• Frustração
Hard
Fun
Easy
Fun
Serious
Fun
People
Fun
Alegria
Tristeza
Medo
Nojo
Raiva
Surpresa
Emoções PrototípicasEmoções Prazerosas
Fiero (Italiano): Triunfo pessoal sobre adversário/adversidade; Naches/Kvell (Ídiche): prazer ou orgulho em ver um filho/aluno obter sucesso;
Schedenfreude (Alemão): satisfação no infortúnio alheio.

18. Globalcode – Open4education
MEDINDO A DIVERSÃO
Motivação
Entendendo a
diversão
Medindo a
diversão
Projeto em
produção
Conclusão

19. Globalcode – Open4education
Medição da atenção
Tradicionalmente feita com testes de desempenho
tempo de reação, núm. omissões, mudança de foco, etc
O corpo é um importante canal de atenção
expressões faciais, diâmetro pupilar, taxa de piscadas e
direção do olhar
aproximação/afastamento do objeto de interesse

20. Globalcode – Open4education
Medição do fluxo
Tradicionalmente feita com questionários
Automatização envolve métricas de desempenho
dano, acertos, omissões, munição, etc
muito utilizado para DDA (Dynamic Difficulty Adjustment)

21. Globalcode – Open4education
Medição da imersão
Tradicionalmente feita com questionários
Literatura não diferencia imersão de atenção
também mensurável de expressões faciais e do olhar
pouca/nenhuma associação ao comportamento corporal

22. Globalcode – Open4education
Medição das emoções
Tradicionalmente feita com questionários
medição totalmente acurada é improvável
Respostas psicofisiológicas  excitação
altamente inconsistentes com emoções prototípicas
Expressões corporais  excitação ou valência
voz: correlação com excitação
face: correlação com valência e emoções prototípicas
corpo como um todo: tem recebido pouca atenção

23. Globalcode – Open4education
Alguns exemplos
NegativaPositiva
Ativo/Excitado
Passivo/Calmo
Valência
Excitação
Raiva
Medo
Nojo
Tristeza
Vergonha
TédioEsperança
Prazer
Felicidade
Admiração
Luxúria
Difíceis de
diferenciar só
pela excitação

24. Globalcode – Open4education
PROJETO EM PRODUÇÃO
Motivação
Entendendo a
diversão
Medindo a
diversão
Projeto em
produção
Conclusão

25. Globalcode – Open4education
Proposta
De imagens da face
Apoio ao Game Design
sem integração com
jogos
Diversão
Emoções
Prototípicas
Gradiente de
Proximidade
Número de
Piscadas
foco nos aspectos atentivo
e emocional da diversão

26. Globalcode – Open4education
Imagens digitais
Birthday ball pool (The Richardson Fosters, 2010). Reproduzida sob licença Creative Commons CC BY 2.0 a partir de https://flic.kr/p/7Cit8p

27. Globalcode – Open4education
Representação
Matrizes bidimensionais
1 ou mais “bandas” (ex.: RGB)
diferentes escalas para intensidade luminosa (pixels)
Exemplo (1 banda, escala de 1 a 4):

28. Globalcode – Open4education
Amostragem
Photo of fence and sign. Reproduzidas de Wikimedia Commons sob
licença GPL versão 1.2 (http://en.wikipedia.org/wiki/Image:Neighborhood_watch_color.jpg)

29. Globalcode – Open4education
Processamento
Comumente realizado por convolução
total de sobreposição de duas funções conforme uma é
“movida” sobre a outra
Imagens reproduzidas para uso exclusivamente educacional conforme regras do site MathWorld. Fonte original: Weisstein, Eric W.
"Convolution." From MathWorld - A Wolfram Web Resource. http://mathworld.wolfram.com/Convolution.html

30. Globalcode – Open4education
Mais simples do que parece
Translação de uma “máscara” de pesos (kernel)
somatória ponderada, aplicada ao pixel central
conforme a máscara é movida pela imagem
Simula a convolução entre duas funções
bidimensionais
imagem vs kernel

31. Globalcode – Open4education
Exemplo: filtro média
𝐺 =
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
kernelimagem
𝐹 =

32. Globalcode – Open4education
Exemplo: filtro média
3 3 3 3 1 1 1 1 1
3 3 3 3 3 1 1 4 4
1 1 1 1 3 3 1 1 1
2 2 2 2 1 2 3 1 3
3 3 3 3 2 1 2 3 2
1 3 1 1 3 2 3 2 3
1 1 4
4 1 1
3 3 3
2 2 2
1 1 1
2 2 2
1,3 1,8 1,8 1,6 1,1

33. Globalcode – Open4education
Exemplo de aplicação
Figuras de exemplo do filtro linear de suavização (© Rodrigo de Freitas Santos, 2016). Reproduzidas sob licença Creative Commons CC BY
SA 4.0 a partir de https://pt.wikipedia.org/wiki/Filtro_linear_de_suavização

34. Globalcode – Open4education
Outro exemplo: gradiente
𝐺 𝑥 =
−1 0 +1
−1 0 +1
−1 0 +1
𝐺 𝑦 =
−1 −1 −1
0 0 0
+1 +1 +1
𝐺 = 𝐺 𝑥
2
+ 𝐺 𝑦
2
Figuras de exemplo do filtro Prewitt (© Simpsons, 2008). Reproduzidas sob licença Creative Commons CC BY SA 3.0 a partir de
https://en.wikipedia.org/wiki/Sobel_operator

35. Globalcode – Open4education
Arquitetura do sistema
Rastreador
facial
Rastreador
de olhar
Monitor de
emoções
Monitor de
imersão
Classificador
de diversão

36. Globalcode – Open4education
Rastreador facial
CSIRO Face Analysis SDK
API de rastreamento de 66 marcas faciais
ajuste de modelo deformável
Imagem de um dos primeiros modelos deformáveis traduzida da apresentação Object Recognition with Deformable Models de Pedro F.
Felzenszwalb: http://cs.brown.edu/~pff/talks/deformable.pdf

37. Globalcode – Open4education
Monitor de imersão
Máquina de Vetores de Suporte (SVM)
treinada com num. piscadas e gradiente de proximidade
Número de piscadas
comparação da região dos olhos entre os quadros
Gradiente de proximidade
variações na escala do modelo facial

38. Globalcode – Open4education
Monitor de emoções
Máquina de Vetores de Suporte (SVM)
treinada com imagens rotuladas de um banco público
Características extraídas com filtros Gabor
bom descritor de textura
similar ao funcionamento do córtex visual humano

39. Globalcode – Open4education
Banco de imagens faciais
CK+: 593 imagens de 123 indivíduos
18-50 anos, 69% mulheres
68 marcas faciais
rótulos emocionais validados
Imagens do banco de imagens faciais Cohn-Kanade (referência no final dos slides). Reproduzidas com autorização dos participantes.

40. Globalcode – Open4education
Kernel do filtro Gabor

41. Globalcode – Open4education
Parâmetros dos kernels
Parâmetro Lista de Valores
𝜽 𝟎 𝝅
𝟖
𝟐
𝝅
𝟖
𝟑
𝝅
𝟖
𝟒
𝝅
𝟖
𝟓
𝝅
𝟖
𝟔
𝝅
𝟖
𝟕
𝝅
𝟖
𝜸 𝟑 𝟔 𝟗 𝟏𝟐

42. Globalcode – Open4education
Classificador de diversão
Máquina de Vetores de Suporte (SVM)
treinada com respostas à questionários e vídeos
capturados em experimento de coleta
Experimento de coleta
jogos livres/gratuitos com diferentes gêneros
horror, puzzle, plataforma e estratégia em tempo real
sob análise do conselho de ética

43. Globalcode – Open4education
CONCLUSÃO
Motivação
Entendendo a
diversão
Medindo a
diversão
Projeto em
produção
Conclusão

44. Globalcode – Open4education
Visão geral
Experiências divertidas não podem ser garantidas
heurísticas procuram maximizar as chances de sucesso
Avaliação é fundamental para o game design
permite verificar ambos os aspectos utilitário e hedônico
Análise de expressões faciais parece promissora
inclui os aspectos atentivo e emocional da diversão
mínimas dificuldades com oclusão no domínio de jogos

45. Globalcode – Open4education
Resultados preliminares
Emoções mais
fáceis de detectar
medo (96%)
desprezo (94%)
Emoção mais difícil
de detectar
surpresa (68%)

46. Globalcode – Open4education
Dificuldades esperadas
Expressões posadas vs não-posadas
expressões naturais são mais sutis
Valência das emoções
variância no papel das emoções positivas/negativas
Dinâmica temporal das expressões
medição acurada pode depender de considerações
históricas numa sessão de jogo

47. Globalcode – Open4education
Créditos (ícones)
Ícones das emoções
• www.fatcow.com/free-icons
Demais ícones
• iconmonstr.com
Os ícones de FatCow são publicados sob licença Creative Commons Attribution 3.0 (https://creativecommons.org/licenses/by/3.0/br/). Os
ícones de iconmonstr são publicados sob licença própria para uso livre (http://iconmonstr.com/license/).

48. Globalcode – Open4education
Algumas referências
P. Ekman e W. V. Friesen, Constants across cultures in the face and emotion, Journal of
Personality and Social Psychology, 17(2), 1971.
T. Kanade, J. F. Cohn e Y. Tian, Comprehensive Database for Facial Expression Analysis,
IEEE Computer Society, 2000.
N. Lazzaro, The 4 Keys to Fun, XEODesign, 2004. Disponível em:
http://www.nicolelazzaro.com/the4-keys-to-fun/
D. A. Norman, Emotional Design: Why We Love (or Hate) Everyday Things, Basic Books, 1ª
edição, 2005.
K. R. Scherer, What are emotions? And how can they be measured? Social Science
Information, 44(4), 2005.
M. Csikszentmihalyi, Flow: The Psychology of Optimal Experience, Harper Perennial Modern
Classics, 1ª edição, 2008.
T. Fullerton, Game Design Workshop: A Playcentric Approach to Creating Innovative Games,
CRC Press, 2008.
F. Groh, Gamification: State of the Art Definition and Utilization, Institute of Media Informatics
Ulm University, 2012.
M. Cox et al., CSIRO Face Analysis SDK, AFGR 2013. Disponível em: http://face.ci2cv.net/

49. Globalcode – Open4education
Para saber mais
Luiz C. Vieira e Flávio S. Corrêa da Silva, Understanding Fun, Videojogos 2014, Barcelos,
Portugal, 2014. Disponível em:
http://web.ipca.pt/videojogos/Papers/videojogos2014_submission_30.pdf
Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun in Interactive Systems: a Survey,
10th International Brazilian Meeting on Cognitive Science, São Paulo, Brasil, 2015.
(Futuramente disponível em: http://www.lsi.usp.br/ebicc-2015/)
Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun from the Analysis of Facial
Expressions to Support Video Game Design, Convention of the Society for the Study of Artificial
Intelligence and Simulation of Behaviour, Sheffield, England, 2016. (Futuramente disponível
em: http://www.sheffieldrobotics.ac.uk/conferences/aisb-2016/)

50. Globalcode – Open4education
Apresentação
Esta apresentação está
licenciada com uma
Licença Creative Commons -
Atribuição-CompartilhaIgual 4.0
Internacional.
Os diagramas incluídos
nesta apresentação foram
criados com base na
literatura referenciada. Todos
os direitos do conteúdo
original pertencem aos seus
autores.