Avaliação em
 E-learning
    Neuza Pedro, 2012
                 IEUL




                                 Neuza Pedro, 2012
            UC: Avaliação online das Aprendizagens
                    Mestrados TIC e Educação, IEUL
Aquisições
              Produções

                             O quê avaliar?
              Satisfação
               Processos
            Percursos, ...
                                               Alunos/Formandos
                                               Professores
                             Quem avaliar?     Recursos,
                                               Estratégias E-A
                                               Course Design
                                               Grupos
                  Métodos
             Instrumentos    Como avaliar?     Instituições, ...

                Momentos


                           Para quê avaliar?
                                           Seriação
                                               Selecção
                                               Certificação
                                               Desenvolvimento, ...
                              Onde avaliar?
EaD, presencial, blended
   Síncrono/Assíncrono
Avaliação e o Design de
 Cursos em E-learning

                     Neuza Pedro, 2012
                                  IEUL
Avaliar para Estruturar
• Mercado

• Condições
  (tempo/recursos/estruturas de
  suporte)

• Público

• Soluções técnicas
Início de cursos em E-
learning: a entrada do
       Estudante
                    Neuza Pedro, 2012
                                 IEUL
Organização e gestão do tempo

– Gestão da vida profissional, pessoal e
  educativa
– Autorregulação
– Capacidade de interação e
  colaboração
– Calendarização das atividades de
  aprendizagens
                                   Neuza Pedro, 2012
                                                IEUL
A problemática da
Avaliação em E-learning

                     Neuza Pedro, 2012
                                  IEUL
Ambientes online e a
Legitimidade da avaliação




                     (Gomes, 2009, p.1679)
Ambientes online e a
  Legitimidade da
     avaliação

   . Credibilidade
     . Estatuto
     . respeito
                Neuza Pedro, 2012
                             IEUL
Neuza Pedro, 2012
                                     IEUL




Complexificar


         Diversificar


                    Conhecer
Neuza Pedro, 2012
                                     IEUL




Complexificar


         Diversificar


                    Conhecer
Neuza Pedro, 2012
                                                        IEUL




Complexificar

         . Formato da avaliação

         . Tarefas

         . Nível de conhecimento exigido
         Ex. descrever- aplicar-criar

         . Interconexão nos conteúdos

         . Co-dependência entre os estudantes
Neuza Pedro, 2012
                                     IEUL




Complexificar


         Diversificar


                    Conhecer
Neuza Pedro, 2012, IEUL


Dinâmica subjacente às
propostas de actividades                          Tempos
ex. trabalho a pares,             . Tarefas-surpresa (para
trabalho em grupo,            pontuações suplementares)
apresentações síncronas


                     Diversificar

Currículo aberto                          Tipos de avaliação
. Votação de temas (não          . Auto-avaliação e hetero-
previsíveis)                                       avaliação
. Temáticas diferentes para        . Diagnóstica, Formativa,
grupos de alunos                                   Sumativa
Neuza Pedro, 2012
                                     IEUL




Complexificar


         Diversificar


                    Conhecer
Neuza Pedro, 2012
                                                                         IEUL

. Perfil de competências prévias, motivações e interesses
do estudante
ex. entrevista de selecção, docs de candidatura

. Registo do nível de desenvolvimento

. Estilo de comunicação

. Reuniões síncronas de análise de acompanhamento e
análise da satisfação (coord.)

. Exames orais (síncronos)

     =
Ganhar confiança (evidências) na identidade do aluno

                                               Conhecer
blended-learning
 como solução última para o
problema da legitimidade

                              Neuza Pedro, 2012
                                           IEUL
A abordagem: contínua,
 dinâmica e sistémica

                   Neuza Pedro, 2012
                                IEUL
Avaliação sistémica

xi) De cada elemento
xii) Do processo
xiii) Da relação entre os elementos
xiv) Dos sistemas
xv) Dos produtos/resultado



                                  (Lagarto, 2009)
Avaliação sistémica (Lagarto, 2009)
                                             Instituição/Coord.
                                             Professor
xi) De cada elemento                         Tutor
                                             Aluno
                                             Conteúdos
                         Abordagem EaD
xii) Do processo         Dinâmica
                         Metodologias
                                              Instituição/Coord.
                                              Professor
xiii) Da relação entre os elementos           Tutor
                                              Aluno
                                              Conteúdos
                           Fiabilidade
xiv) Dos sistemas          Usabilidade
                           Compatibilidade
                           Adaptabilidade

xv) Dos resultado                             Rentabilidade
                                              Desempenho
                                              Produtos/Outcomes
Aceitando-se a ideia de Avaliação sistémica

xi) De cada elemento
xii) Do processo
xiii) Da relação entre os elementos
xiv) Dos sistemas
xv) Dos produtos/resultado



  Curso = ∑ (xi-ei . Xii-eii . Xiii- eiii . Xiv- eiii . xv-ev), onde x ≠0
                              Custo total
Aceitando-se a ideia de
        Avaliação sistémica
  preconiza-se que o sucesso de um
 curso em e-learning é determinado
                pela
  multiplicação do valor conseguido
    em cada um dos seus factores
   subtraindo a estes a expectativa
prévia respectiva, a dividir pelo custo
  total sabendo que em nenhum dos
   factores o valor pode ser zero.
Avaliação do
e-docente, e-formador,
   e-tutor, etc…
                   Neuza Pedro, 2012
                                IEUL
Sistemas de avaliação da
  qualidade em Cursos e
        E-learning
                     Neuza Pedro, 2012
                                  IEUL
Avaliação participada ou colaborativa

Self- assessment           e/ou Peer-assessment


           Aluno                        Professor

   Nas notas de cada aluno          No design do curso
Na avaliação global do curso   Na avaliação global do curso




                                                    Neuza Pedro, 2012
                                                                 IEUL
Qualidade e desenvolvimento
                 profissional
Área A                       Área B
   1                            2



            Teaching square
          (Wessely, UVIC, 2006)




   3                                4
Área C                            Área D   Neuza Pedro, 2012
                                                        IEUL
Orientações para a Qualidade do Feedback

•   Importância do Feedback:
    atempado, ongoing
    circular, incremental

•   Princípios de flexibilidade (não-
    prescritivo), adaptação, orientação e
    autonomia;

•   Exemplificação de pistas de auto-
    diagnóstico, indicadores de sucesso,
    check-lists



        “insightful, timely and objective… rapid, detailed and
           positive” (Packham, Jones, Miller &Thomas ,2004).
Feedback/Feedforward do aluno
        Sobre a organização, adequação, aplicabilidade


. Sistemas e navegabilidade dos espaços

   . Funcionalidades e aplicações

        . Conteúdos e recursos de apoio

           . Propostas de actividade

                . Nível de directividade / autonomia do design

                       . Apoio do docente, formador, tutor
Avaliação contínua e
    dinâmica
Avaliação contínua e dinâmica

      . ao longo de todo o processo

. Com capacidade correctiva (e preventiva)
Contínua e dinamicamente olhando para:

 . Dados automáticos do sistema
    dados de acesso, percursos de navegação, relatórios


    . Dúvidas apresentadas
       emails recebidos + posts online = transformadas em FAQ’s


             . Cumprimento das propostas + comentários
                 data, conteúdo, ambos
Trabalho/Teste + Comentários pessoais:

 “ encourage students to add a separate sheet indicating
 • What they are pleased with
 • What they think they have done well (or tried to do well)
 • Which things were difficult and they are not too happy about, and
    about which they would particularly like comments
 • Their own assessment of the piece of work *
 • Any other comments”
                          (Haynes, 2003 cit. por Jamornmann, 2004, p.29)
Contínua e dinamicamente olhando para:

. Dados automáticos do sistema
   dados de acesso, percursos de navegação, relatórios


   . Dúvidas aprensentadas
      emails recebidos+ posts online =FAQ’s


            . Cumprimento das propostas + comentários
                data, conteúdo, ambos


                  . Dinâmicas de interacção online

                         . Apoio requerido ao tutor/ formador

                               . Testes de regulação das aprendizagens
E-learning e avaliação:
    pontos críticos
Referências
Gomes, M. J. (2009). Problemáticas da avaliação em educação online. In Paulo Dias &
António Osório. (orgs.) Actas da VI Conferência Internacional de TIC na Educação –
Challenges 2009 (pp. 1675 – 1693). Braga: Universidade do Minho.

Jamornmann, U. (2004 ). Techniques for Assessing Students’ eLearning Achievement .
International Journal of The Computer, the Internet and Management, 12 (2), 26 -31.

Lagarto, J. (2009). Avaliação em e-learning. Educação, Formação & Tecnologias, 2 (1), pp.
19-29. Disponível em http://eft.educom.pt

Packham, G., Jones, P., Miller, C., & Thomas, B. (2004). Perceptions of efective e-moderation:
A Tutors Viewpoint. Acedido a 12 de Maio 2012 através de
http://www.networkedlearningconference.org.uk/past/nlc2004/proceedings/individual_pa
pers/packham_et_al.htm

Avaliacao em e-learning

  • 1.
    Avaliação em E-learning Neuza Pedro, 2012 IEUL Neuza Pedro, 2012 UC: Avaliação online das Aprendizagens Mestrados TIC e Educação, IEUL
  • 2.
    Aquisições Produções O quê avaliar? Satisfação Processos Percursos, ... Alunos/Formandos Professores Quem avaliar? Recursos, Estratégias E-A Course Design Grupos Métodos Instrumentos Como avaliar? Instituições, ... Momentos Para quê avaliar? Seriação Selecção Certificação Desenvolvimento, ... Onde avaliar? EaD, presencial, blended Síncrono/Assíncrono
  • 3.
    Avaliação e oDesign de Cursos em E-learning Neuza Pedro, 2012 IEUL
  • 4.
    Avaliar para Estruturar •Mercado • Condições (tempo/recursos/estruturas de suporte) • Público • Soluções técnicas
  • 5.
    Início de cursosem E- learning: a entrada do Estudante Neuza Pedro, 2012 IEUL
  • 6.
    Organização e gestãodo tempo – Gestão da vida profissional, pessoal e educativa – Autorregulação – Capacidade de interação e colaboração – Calendarização das atividades de aprendizagens Neuza Pedro, 2012 IEUL
  • 7.
    A problemática da Avaliaçãoem E-learning Neuza Pedro, 2012 IEUL
  • 8.
    Ambientes online ea Legitimidade da avaliação (Gomes, 2009, p.1679)
  • 9.
    Ambientes online ea Legitimidade da avaliação . Credibilidade . Estatuto . respeito Neuza Pedro, 2012 IEUL
  • 10.
    Neuza Pedro, 2012 IEUL Complexificar Diversificar Conhecer
  • 11.
    Neuza Pedro, 2012 IEUL Complexificar Diversificar Conhecer
  • 12.
    Neuza Pedro, 2012 IEUL Complexificar . Formato da avaliação . Tarefas . Nível de conhecimento exigido Ex. descrever- aplicar-criar . Interconexão nos conteúdos . Co-dependência entre os estudantes
  • 13.
    Neuza Pedro, 2012 IEUL Complexificar Diversificar Conhecer
  • 14.
    Neuza Pedro, 2012,IEUL Dinâmica subjacente às propostas de actividades Tempos ex. trabalho a pares, . Tarefas-surpresa (para trabalho em grupo, pontuações suplementares) apresentações síncronas Diversificar Currículo aberto Tipos de avaliação . Votação de temas (não . Auto-avaliação e hetero- previsíveis) avaliação . Temáticas diferentes para . Diagnóstica, Formativa, grupos de alunos Sumativa
  • 15.
    Neuza Pedro, 2012 IEUL Complexificar Diversificar Conhecer
  • 16.
    Neuza Pedro, 2012 IEUL . Perfil de competências prévias, motivações e interesses do estudante ex. entrevista de selecção, docs de candidatura . Registo do nível de desenvolvimento . Estilo de comunicação . Reuniões síncronas de análise de acompanhamento e análise da satisfação (coord.) . Exames orais (síncronos) = Ganhar confiança (evidências) na identidade do aluno Conhecer
  • 17.
    blended-learning como soluçãoúltima para o problema da legitimidade Neuza Pedro, 2012 IEUL
  • 18.
    A abordagem: contínua, dinâmica e sistémica Neuza Pedro, 2012 IEUL
  • 19.
    Avaliação sistémica xi) Decada elemento xii) Do processo xiii) Da relação entre os elementos xiv) Dos sistemas xv) Dos produtos/resultado (Lagarto, 2009)
  • 20.
    Avaliação sistémica (Lagarto,2009) Instituição/Coord. Professor xi) De cada elemento Tutor Aluno Conteúdos Abordagem EaD xii) Do processo Dinâmica Metodologias Instituição/Coord. Professor xiii) Da relação entre os elementos Tutor Aluno Conteúdos Fiabilidade xiv) Dos sistemas Usabilidade Compatibilidade Adaptabilidade xv) Dos resultado Rentabilidade Desempenho Produtos/Outcomes
  • 21.
    Aceitando-se a ideiade Avaliação sistémica xi) De cada elemento xii) Do processo xiii) Da relação entre os elementos xiv) Dos sistemas xv) Dos produtos/resultado Curso = ∑ (xi-ei . Xii-eii . Xiii- eiii . Xiv- eiii . xv-ev), onde x ≠0 Custo total
  • 22.
    Aceitando-se a ideiade Avaliação sistémica preconiza-se que o sucesso de um curso em e-learning é determinado pela multiplicação do valor conseguido em cada um dos seus factores subtraindo a estes a expectativa prévia respectiva, a dividir pelo custo total sabendo que em nenhum dos factores o valor pode ser zero.
  • 23.
    Avaliação do e-docente, e-formador, e-tutor, etc… Neuza Pedro, 2012 IEUL
  • 24.
    Sistemas de avaliaçãoda qualidade em Cursos e E-learning Neuza Pedro, 2012 IEUL
  • 25.
    Avaliação participada oucolaborativa Self- assessment e/ou Peer-assessment Aluno Professor Nas notas de cada aluno No design do curso Na avaliação global do curso Na avaliação global do curso Neuza Pedro, 2012 IEUL
  • 26.
    Qualidade e desenvolvimento profissional Área A Área B 1 2 Teaching square (Wessely, UVIC, 2006) 3 4 Área C Área D Neuza Pedro, 2012 IEUL
  • 27.
    Orientações para aQualidade do Feedback • Importância do Feedback: atempado, ongoing circular, incremental • Princípios de flexibilidade (não- prescritivo), adaptação, orientação e autonomia; • Exemplificação de pistas de auto- diagnóstico, indicadores de sucesso, check-lists “insightful, timely and objective… rapid, detailed and positive” (Packham, Jones, Miller &Thomas ,2004).
  • 28.
    Feedback/Feedforward do aluno Sobre a organização, adequação, aplicabilidade . Sistemas e navegabilidade dos espaços . Funcionalidades e aplicações . Conteúdos e recursos de apoio . Propostas de actividade . Nível de directividade / autonomia do design . Apoio do docente, formador, tutor
  • 29.
  • 30.
    Avaliação contínua edinâmica . ao longo de todo o processo . Com capacidade correctiva (e preventiva)
  • 31.
    Contínua e dinamicamenteolhando para: . Dados automáticos do sistema dados de acesso, percursos de navegação, relatórios . Dúvidas apresentadas emails recebidos + posts online = transformadas em FAQ’s . Cumprimento das propostas + comentários data, conteúdo, ambos
  • 32.
    Trabalho/Teste + Comentáriospessoais: “ encourage students to add a separate sheet indicating • What they are pleased with • What they think they have done well (or tried to do well) • Which things were difficult and they are not too happy about, and about which they would particularly like comments • Their own assessment of the piece of work * • Any other comments” (Haynes, 2003 cit. por Jamornmann, 2004, p.29)
  • 33.
    Contínua e dinamicamenteolhando para: . Dados automáticos do sistema dados de acesso, percursos de navegação, relatórios . Dúvidas aprensentadas emails recebidos+ posts online =FAQ’s . Cumprimento das propostas + comentários data, conteúdo, ambos . Dinâmicas de interacção online . Apoio requerido ao tutor/ formador . Testes de regulação das aprendizagens
  • 34.
  • 35.
    Referências Gomes, M. J.(2009). Problemáticas da avaliação em educação online. In Paulo Dias & António Osório. (orgs.) Actas da VI Conferência Internacional de TIC na Educação – Challenges 2009 (pp. 1675 – 1693). Braga: Universidade do Minho. Jamornmann, U. (2004 ). Techniques for Assessing Students’ eLearning Achievement . International Journal of The Computer, the Internet and Management, 12 (2), 26 -31. Lagarto, J. (2009). Avaliação em e-learning. Educação, Formação & Tecnologias, 2 (1), pp. 19-29. Disponível em http://eft.educom.pt Packham, G., Jones, P., Miller, C., & Thomas, B. (2004). Perceptions of efective e-moderation: A Tutors Viewpoint. Acedido a 12 de Maio 2012 através de http://www.networkedlearningconference.org.uk/past/nlc2004/proceedings/individual_pa pers/packham_et_al.htm