The document discusses adaptive hypermedia for assessment systems in virtual courses. It presents two case studies on adaptive assessment and proposes an adaptive assessment model for a virtual CorelDRAW course to develop illustration skills.

1. Hipermídia adaptativa para sistema de avaliação em cursos virtuais Autor: Wallace Vianna Orientador: André Monat Instituição: ESDI/UERJ PPDESDI - Programa de Pós-graduação ESDI Rio de Janeiro, agosto 2007

2. Sumário Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibiografia Agradecimentos

3. Introdução Esta pesquisa pretende desenvolver um sistema de avaliação para cursos virtuais, com uso hipermídia adaptativa. A tarefa a ser avaliada será uma etapa deste curso - a elaboração de ilustração com linhas de contorno, sem preenchimento. A hipótese a ser trabalhada é até que ponto o uso de sistemas adaptativos podem ter um impacto positivo no processo de avaliação, em cursos desta natureza se for elaborado durante o processo de aprendizagem e não ao final. A seguir iremos discorrer sobre dois estudos de caso, dentro da área de avaliação adaptativa Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

4. Estudo de caso1(a) “ Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante”. O trabalho afirma que o ensino e avaliação de modo geral são uniformes (presenciais) não consideram conhecimento prévio (presenciais e virtuais) não permitem ensino individual (presenciais) permitem ensino individualizado mas não possuem avaliação adaptável do NAC - Nível de Aquisição de Conhecimento nem do KMA e KMB – conhecimento adquirido e desvio do aprendizado (virtuais) Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

5. Estudo de caso1(b) A base do sistema são as informações cognitivas (NAC) e metacognitivas (KMA e KMB) do módulo aprendiz. A avaliação deve se dar da seguinte forma: O aprendiz é avaliado para saber seu perfil inicial em cada item (conceito) do conhecimento em questão. 2) Essa avaliação inicial (metacognitiva) permite o aprendiz estimar seu próprio conhecimento da matéria. 3) Após essa avaliação (automática ou feita manualmente pelo professor) – o NAC do aprendiz naquele conhecimento é definido e o software sorteia as questões. 4) O aluno responde as questões sorteadas, e com base nos novos dados coletados uma avaliação final, adaptada, é exibida. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

6. Estudo de caso1(c) Ao final um relatório é exibido ao aluno sobre seu desempenho, com valores relativos a: Nível metacognitivo inicial Nível metacognitivo final KMA e KMB Tempo decorrido Menor tempo de resposta Maior tempo de resposta Quantidade de questões sorteadas Quantidade de acertos e erros NAC Encerramento antecipado por erros consecutivos Encerramento antecipado por atingir meta de avaliação Gráfico de desempenho Análise do aluno (realista, pessimista e respostas em tempo hábil) Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

7. Estudo de caso2(a) “ Willow: Avaliação automática e adaptativa de textos com respostas livres” Os autores colocam que avaliações de múltipla escolha ou de preencher campos vazios não avalia o conhecimento do estudante completamente. Esta abordagem não pretende substituir professores ou esgotar o assunto, mas fornecer uma forma alternativa de avaliação, seja como filtragem, cruzamento de dados ou treinamento adicional. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

8. Estudo de caso2(b) No Willow o curso “textual” (idiomas, p.ex.) é organizado por assuntos (tópicos) que englobam coleções de perguntas. O professor seleciona as perguntas (ou cria novas) e decide quais serão modificadas ou adicionadas. O professor é solicitado a organizar o conteúdo por nível de conhecimento, faixa etária, tópicos e nível de dificuldade. As respostas - ou referências - corretas podem ser gerenciadas manualmente ou por um “algoritmo genético”, que poupa o professor de escrever todas as respostas do curso. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

9. Estudo de caso2(c) Inicialmente o aluno é avaliado com perguntas para respostas textuais. O sistema captura as respostas e cria referências (palavras-chave) para medir o grau de conhecimento. As palavras da resposta são destacadas em cor verde mostrando o grau de acerto. Se o estudante erra, uma nova tela é apresentada com outras 3 questões, da mais básica à mais complexa, para guiá-lo à resposta correta. Se ainda assim não acertar as respostas é apresentada outra pergunta dentro de seu nível de dificuldade, faixa etária etc. Uma ajuda será mostrada para ajudá-lo a responder a nova questão. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

10. Estudo de caso2(d) À medida que o estudante responde mais questões, o Willow analisa as respostas do estudante comparando com termos ou expressões corretas extraídas das referências. Cada termo corresponde a um conceito e possui um valor associado que é calculado pelo Willow para indicar o nível de conhecimento do estudante. Assim se gera um mapa conceitual do alunos para o professor analisar o desempenho deste (o que não foi bem compreendido ou deve ser reforçado). Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

11. Esboço da proposta(a) Cenário: Avaliação adaptativa dentro de curso virtual (á distância) de Corel X3. Objetivo: desenvolver as competências de uso do software CorelDraw, para realização de ilustração Estratégia: ensino do software através da execução de partes da ilustração, da mais simples para a mais complicada. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

12. Esboço da proposta(b) Esquema diagramático da tarefa avaliada: O aluno recebe um gabarito (imagem) sobre o qual irá traçar linhas soltas Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

13. Esboço da proposta(c) Se tiver mau desempenho nesta tarefa um exercício de reforço é proposto com ajuda teórica Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

14. Esboço da proposta(d) Se obtiver boa avaliação, o exercício prossegue do ponto onde foi interrompido até o final, onde será realizada avaliação final. Caso obtenha mau desempenho em algumas tarefas isoladas, é proposto exercício de reforço e avaliação englobando apenas as tarefas deficientes (adaptatibilidade). Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

15. Conclusões A avaliação adaptativa depende da modelagem do usuário que pode ser feita através de avaliações anteriores, correntes e posteriores a atividade. do contexto (tarefa a ser avaliada). do feedback (retorno de informações) sobre o conhecimento do aluno sobre a matéria e o aprendizado da estruturação do curso se em conjunto da avaliação, não em separado. Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

16. Bibliografia Uma Ferramenta Adaptativa de Avaliação da AprendizagemBaseada no Perfil Cognitivo e Metacognitivo do Estudante , Claudio Cura, Danilo Nunes, Edson Pinheiro,Enio Bonano, Ricardo Mandaji , Enio Bonano, Ricardo Mandaji; Universidade Municipal de São Caetano do Sul, Brasil. Internet; acessado em junho de 2007 Willow: automatic and adaptive assessment of students’ free-text answers; Diana Perez-Marin, Enrique Alfonseca, Pilar Rodriguiez, Ismael Pacual-Nieto. Internet, acessado em julho/2007 Introdução Estudo de caso1 Estudo de caso2 Esboço da proposta Conclusões Bibliografia Agradecimentos

17. Gratos pela atenção! Wallace Vianna [email_address] www.wallace.vianna.nom.br +55 0xx21 97043790 André Monat [email_address] Sumário