Este documento apresenta instrumentos de avaliação desenvolvidos para medir a reação, aprendizagem e comparação de versões do jogo educacional "Expedição Antártica". Os instrumentos incluem questionários e um protocolo de avaliação, que foram validados e aplicados com alunos. Os resultados indicaram que a versão B do jogo foi melhor avaliada em termos de aprendizagem e satisfação dos jogadores.

1. UFABC
Avaliações em Jogos Educacionais:
instrumentos de avaliação da reação, aprendizagem
e comparação de jogos
Rháleff Oliveira, Guilherme Belarmino, Carla Rodriguez, Denise Goya,
Mirtha Venero, Ailton Oliveira Junior, Rafaela Rocha
Novembro, 2019
Congresso Brasileiro de Informática na Educação (CBIE)
Simpósio Brasileiro de Informática na Educação (SBIE)
1

2. UFABC
● Contextualização
○ Trabalhos Relacionados
○ Objetivos
● Metodologia
● Instrumentos de Avaliação
○ Protocolo e Questionários
● Resultados e Discussões
● Considerações Finais
2
AGENDA

3. UFABC
Contextualização
3

4. UFABC
● Avaliação em jogos (Rocha et al., 2015; Savi et al., 2010):
○ reação
○ aprendizagem do aluno
○ para avaliar o jogo em si (como usabilidade, acessibilidade,
jogabilidade)
Contextualização
4

5. UFABC
Autor/Ano
Questionários
Protocolo
Perfil Reação Pré e Pós-Teste Comparação
Fu et al. (2009) Não Sim Não Não Não
Oliveira (2014) Não Sim Sim Não Não
Rocha et al. (2015) Não Sim Não Não Não
Pires et al. (2015) Sim Sim Não Não Não
Petri et al. (2018) Sim Sim Não Não Não
Este trabalho Sim Sim Sim Sim Sim
Trabalhos Relacionados
● Trabalhos que apresentam modelos e instrumentos de coleta de
dados usados para avaliação em jogos educacionais e sérios
5

6. UFABC
Autor/Ano
Questionários
Protocolo
Perfil Reação Pré e Pós-Teste Comparação
Fu et al. (2009) Não Sim Não Não Não
Oliveira (2014) Não Sim Sim Não Não
Rocha et al. (2015) Não Sim Não Não Não
Pires et al. (2015) Sim Sim Não Não Não
Petri et al. (2018) Sim Sim Não Não Não
Este trabalho Sim Sim Sim Sim Sim
Trabalhos Relacionados
● Trabalhos que apresentam modelos e instrumentos de coleta de
dados usados para avaliação em jogos educacionais e sérios
6

7. UFABC
Autor/Ano
Questionários
Protocolo
Perfil Reação Pré e Pós-Teste Comparação
Fu et al. (2009) Não Sim Não Não Não
Oliveira (2014) Não Sim Sim Não Não
Rocha et al. (2015) Não Sim Não Não Não
Pires et al. (2015) Sim Sim Não Não Não
Petri et al. (2018) Sim Sim Não Não Não
Este trabalho Sim Sim Sim Sim Sim
Trabalhos Relacionados
● Trabalhos que apresentam modelos e instrumentos de coleta de
dados usados para avaliação em jogos educacionais e sérios
7

8. UFABC
Autor/Ano
Questionários
Protocolo
Perfil Reação Pré e Pós-Teste Comparação
Fu et al. (2009) Não Sim Não Não Não
Oliveira (2014) Não Sim Sim Não Não
Rocha et al. (2015) Não Sim Não Não Não
Pires et al. (2015) Sim Sim Não Não Não
Petri et al. (2018) Sim Sim Não Não Não
Este trabalho Sim Sim Sim Sim Sim
Trabalhos Relacionados
● Trabalhos que apresentam modelos e instrumentos de coleta de
dados usados para avaliação em jogos educacionais e sérios
8

9. UFABC
Autor/Ano
Questionários
Protocolo
Perfil Reação Pré e Pós-Teste Comparação
Fu et al. (2009) Não Sim Não Não Não
Oliveira (2014) Não Sim Sim Não Não
Rocha et al. (2015) Não Sim Não Não Não
Pires et al. (2015) Sim Sim Não Não Não
Petri et al. (2018) Sim Sim Não Não Não
Este trabalho Sim Sim Sim Sim Sim
Trabalhos Relacionados
● Trabalhos que apresentam modelos e instrumentos de coleta de
dados usados para avaliação em jogos educacionais e sérios
9
● Faltam métodos e recursos consolidados para avaliar a
aprendizagem em jogos educacionais (Oliveira et al., 2018)
● Carência de relatos de comparação de jogos com os mesmos
objetivos (com a proposta de protocolos e instrumentos validados)
(Salas et al., 2009; Drummond et al., 2017; Rocha, 2017)

10. UFABC
Objetivos
● Desenvolver instrumentos para avaliação da satisfação e da
aprendizagem e jogabilidade
○ Adaptar uma metodologia de construção de medidas de
avaliação em Treinamento, Desenvolvimento e Educação
(Mourão e Menezes, 2012)
○ Validar instrumentos desenvolvidos
○ Usar instrumentos na avaliação do jogo “Expedição
Antártica”
10

11. UFABC
Metodologia
11

12. UFABC
Metodologia
● Metodologia adaptada de (Mourão e Menezes, 2012)*, para o
planejamento, desenvolvimento, validação e execução da
avaliação com os instrumentos propostos:
Definir o que se pretende medir
Definir o público
Escolher técnicas de coleta de dados
Definir dimensões avaliativas
Definir o tipo de escala de julgamento
Aplicar os instrumentos
Construir e validar os instrumentos
Analisar os resultados
1
2
3
4
5
6
7
8
*construção de medidas de avaliação
12

13. UFABC
Metodologia
● Objetivo de avaliar a jogabilidade, reação e aprendizagem
● Comparar duas versões do jogo “Expedição Antártica”
● Devem ser definidos conforme o público-alvo do jogo
● Neste estudo, são alunos da disciplina de programação de
jogos
Definir o que se pretende medir
Escolher técnicas de coleta de dados
Definir dimensões avaliativas
Definir o tipo de escala de julgamento
Aplicar os instrumentos
Construir e validar os instrumentos
Analisar os resultados
1
3
4
5
6
7
8
13
Definir o público2

14. UFABC
Metodologia
● Comunicação por meio de questionários (inclui pré e pós-
testes)
● Observação humana
● Elaboração do protocolo para orientação durante a avaliação
● Organização dos questionários em: (i) perfil do jogador; (ii)
pré e pós-testes; (iii) reação ao jogo; e (iv) comparação
Definir o que se pretende medir
Definir o público
Escolher técnicas de coleta de dados
Definir o tipo de escala de julgamento
Aplicar os instrumentos
Construir e validar os instrumentos
Analisar os resultados
1
2
3
5
6
7
8
14
Definir dimensões avaliativas4

15. UFABC
Metodologia
● Questões abertas e de múltipla escolha
● Escala Likert: de 1 (discordo fortemente) a 5 (concordo fortemente)
● Escala de medida ordinal: de 1 (menor pontuação) a 7 (maior
pontuação)
● Criados com o Formulário do Google Docs©
● Assertivas validadas por 3 especialistas da área de jogos sérios
(professores doutores)
● Questionários submetidos à análise semântica (identificar e corrigir
falhas)
Definir o que se pretende medir
Definir o público
Escolher técnicas de coleta de dados
Definir dimensões avaliativas
Definir o tipo de escala de julgamento
Aplicar os instrumentos
Construir e validar os instrumentos
Analisar os resultados
1
2
3
4
5
6
7
8
15

16. UFABC
Metodologia
● Aplicado de acordo com o protocolo desenvolvido
○ Jogo “Expedição Antártica” - Ensinar Ciência Cidadã
● Os dados coletados foram analisados e discutidos
Definir o que se pretende medir
Definir o público
Escolher técnicas de coleta de dados
Definir dimensões avaliativas
Definir o tipo de escala de julgamento
Aplicar os instrumentos
Construir e validar os instrumentos
Analisar os resultados
1
2
3
4
5
6
7
8
16

17. UFABC
Instrumentos de Avaliação
Protocolo de Avaliação e Questionários de Perfil, Reação,
Aprendizagem e Comparação de Jogos
17

18. UFABC
Protocolo de Avaliação
bit.ly/ProtocoloTestagem
18

19. UFABC
Questionário de Perfil do Jogador
● Objetivo de coletar informações em relação ao
curso e a experiência com jogos
● Seis questões
19

20. UFABC
Questionário de Pré e Pós-Testes
● Objetivo de coletar informações em relação ao nível de
aprendizagem no que diz respeito ao desempenho do jogador ao
usar o jogo
● Para outros contextos, os objetivos do jogo devem ser analisados
e as questões devem ser formuladas de acordo com eles
● Três questões
20

21. UFABC
21
Questionário de Reação ao Jogo
● Objetivo de coletar informações em relação ao nível de reação:
percepção da (1) aprendizagem, (2) jogabilidade, (3) interface,
(4) imersão e diversão e (5) facilidade e confiança ao usar o jogo
● 16 questões: 8 com escala Likert, 7 questões abertas e 1 do tipo
caixa de seleção

22. UFABC
22
Questionário de Comparação das Versões do Jogo
● Objetivo de analisar qual versão é mais adequada aos objetivos
propostos, em relação à jogabilidade, aprendizagem, motivação,
diversão e satisfação
● 7 questões: 4 abertas, 1 de múltipla escolha e 2 em escala

23. UFABC
Resultados e Discussões
23

24. UFABC
24
Resultados e Discussões
● Participaram da execução da avaliação:
○ 14 alunos (do curso de Introdução à Programação de
Jogos)
○ 4 observadores (equipe de desenvolvimento)
● Análise dos resultados:
○ Qualitativas (para questões abertas)
○ Quantitativas dos dados coletados (por meio de medidas
estatísticas de média e desvio padrão, quando cabíveis)

25. UFABC
25
Questionário de Perfil do Jogador
71%
21 e 25
anos
IDADE
63,4%
Alunos de
BC&T*
CURSO
*Bacharel em Ciência e Tecnologia
57,1%
Pouca
experiência
Desen. de Jogos

26. UFABC
26
Questionário de Reação ao Jogo
● Reagiram mais favoravelmente à versão B
● Q6 (acabar logo o jogo) e Q8 (design da interface - que é a
mesma para ambas as versões)

27. UFABC
27
Questionário de Pré e Pós-Teste
● Na versão A, a quantidade de acertos no pós-teste sempre foi inferior que na versão B
● Na versão B, a maioria (57%) acertou as questões (1) e (2), e 100% acertaram a (3),
porém, houve um aumento de 28% de erro na resposta da questão (1)
Q1 Q2 Q3
Pré Pré Pré
Pós Pós Pós

28. UFABC
28
Questionário de Comparação
● Dentre as questões abertas, é possível apurar que 14,3% dos jogadores
gostariam de jogar novas fases da versão A e 64,3% da versão B
● A versão B obteve médias maiores e melhores do que a versão A em todos os
itens comparados

29. UFABC
Considerações Finais
29

30. UFABC
30
Considerações Finais
● A avaliação é importante para garantir a efetividade dos jogos
● Este trabalho apresentou o desenvolvimento e aplicação de
questionários de avaliação e protocolo de execução, através de uma
metodologia adaptada
● Os instrumentos desenvolvidos podem ser adaptados de acordo com o
objetivo do jogo desenvolvido e suas necessidades
● Como trabalhos futuros:
○ aprimorar o protocolo para novas análises e/ou comparações de
jogos
○ aperfeiçoar a análise estatística dos dados quantitativos

31. UFABC
31
Referências
● Drummond, D.; Monnier, D.; Tesnière, A. H. A. (2017). “A systematic review of serious games in
asthma education”. Pediatr Allergy Immunol, v. 28, p. 257‐265.
● Rocha, R. V. (2017). “Critérios para a construção de jogos sérios”. In: SBIE 2018, p. 947-956.
● Rocha, R.V. (2014). “Metodologia iterativa e modelos integradores para desenvolvimento de jogos
sérios de treinamento e avaliação de desempenho humano”. Tese - UFSCar, Departamento de
Computação.
● Salas, E.; et al. (2009). “Performance Measurement in Simulation-Based Training: A Review and
Best Practices”. In: Simulation Gaming, v. 40(3), p. 328-376.
● Savi, S., Wangenheim, C.G.; Ulbricht, V.; Vanzin, T. (2010). “Proposta de um modelo para avaliação
de jogos educacionais”. In: RENOTE, v. 8(3). p. 1-10.
● Oliveira, A. R. A. (2014). “Questionário para Avaliação de Sistemas de Software Educacionais no
Apoio do Processo de Ensino-Aprendizagem em Gerência de Projetos de Software”. Monografia,
Universidade Federal de Lavras, Departamento de Ciência da Computação.
● Mourão, L.; Meneses, P. P. M. (2012). Construção de Medidas em TD&E. In: Abbad, G. S.; et al.
“Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão
de pessoas”. Porto Alegre: Artmed. p. 50-63.
● Vieira, K. M.; Dalmoro, M. (2008). “Dilemas na Construção de Escalas Tipo Likert: o Número de
Itens e a Disposição Influenciam nos Resultados?”. In: ANPAD 2008, p. 1-16.

32. UFABC
32
● Os autores agradecem a CAPES pelo financiamento e as
equipes de conteúdo, análise e acessibilidade pela
contribuição para este trabalho.
Agradecimentos
Email: rhaleff.nascimento@ufabc.edu.br
LIRTE: http://pesquisa.ufabc.edu.br/lirte/