Avaliação do Impacto da Formação
           as novas competências no posto de trabalho
                                                                   Estudo de caso
                      Mestrado em Informática Educacional (Ciências da Educação)
                                                           Investigação em curso



                                                                        Equipa de investigação:

                                                          José Lagarto (coordenador, UCP/FCH)
                                                                   António Andrade (UCP/FEG)
                                 Hermínia Marques (Agrupamento de Escolas Vale de Ovil – Baião)



                                                                               2 Fevereiro 2013


Centro de Estudos em Desenvolvimento Humano
Centro de Estudos em                    O tema/problema da
Desenvolvimento Humano
                                               investigação




                • O modelo teórico
                • O plano de investigação
                • Os resultados
Centro de Estudos em
Desenvolvimento Humano
                                             O modelo teórico




             Conceitos chave

              – A competência (Boterf e outros)
              – A avaliação da formação (Kirkpatrick e
                outros)
              – O elearning (Bates, Rosenberg, Horton…)
Centro de Estudos em
                                             Conceito de
Desenvolvimento Humano                      competência




       • Competência é algo que resulta da
         demonstração prática, real, de uma
         qualificação adquirida, seja no âmbito de
         processos formativos formais, de práticas
         pessoais ou de processos informais.
                                      Boterf (1994)
Centro de Estudos em
                                          Conceito de
Desenvolvimento Humano                   competência




   • La compétence se situe dans un continuum;
     sur une ligne allant du plus théorique, et
     abstrait, au plus pratique et/ou dans l'action.

                            Thierry Ardouin (2008)
Centro de Estudos em
                                     Conceito de
Desenvolvimento Humano              competência




                         Thierry Ardouin (2008)
Centro de Estudos em
                                     A avaliação da formação no posto
Desenvolvimento Humano                                    de trabalho




           Classificação das abordagens teóricas sobre a avaliação do ensino
               a distância e do elearning (adaptado de Ruhe & Zumbo, 2009)
A avaliação da formação no posto
Centro de Estudos em
Desenvolvimento Humano                                 de trabalho
            Nível 1 –       - os formandos gostaram da
            satisfação      formação?
                            - a taxa de desistências foi baixa?
            Nível 2 –       - o que aprenderam os formandos?
            aprendizagens   - os objetivos de aprendizagem
                            foram atingidos?

                            - os formandos aplicam as novas
            Nível 3 –
                            competências no seu local de
            competências    trabalho?

            Nível 4 –       - a organização melhora os seus
            resultados      procedimentos com a formação dos
                            seus quadros?
                            - quanto ganha a instituição com a
                            formação dos seus colaboradores?
Centro de Estudos em
                                           Elearning e formação
Desenvolvimento Humano                              profissional


    O que é o elearning?

       ◦ Formação a distância?
       ◦ Conteúdos interativos e multimédia?
       ◦ Realidade Virtual ?

                               apenas uma forma de
                                disponibilização da
                                informação utilizando TCP/IP

                                               (Rosenberg / Horton)
O mestrado em
Centro de Estudos em
Desenvolvimento Humano                            Informática Educacional




                         Psicologia da Aprendizagem
      1º trimestre       Comunicação Multimédia
                         Tecnologias da Aprendizagem Colaborativa
      2º trimestre       Metodologias de Investigação em Educação
                         Conceção de Materiais Multimédia
      3º trimestre       Internet e Educação
                         Seminário de Projeto (desde o T1)
      4º trimestre       Formação a Distância e e-Learning


                                                                      A duração total
                                                                  A carga de trabalho
                                                      A diluição do esforço no tempo
A metodologia da
Centro de Estudos em
Desenvolvimento Humano                             investigação
      • As questões

           – que nível global de satisfação evidenciavam
             perante o curso e suas diferentes componentes;
           – que aprendizagens reais eles detetavam nas suas
             novas atitudes e saberes profissionais;
           – que mudanças significativas na sua vida
             profissional tinham ocorrido;
           – que mudanças ocorreram no seu relacionamento
             com os alunos e com os seus pares;
           – a perceção existente sobre as facilidades e
             constrangimentos de utilização das suas novas
             competências.
Centro de Estudos em                         Amostra
Desenvolvimento Humano




         • Universo – 380
         • Universo real – 300
         • Respondentes – 130
               – Estratificação por edição
                     •   M1 (2005)
                     •   M2 (2007)
                     •   M3 (2009)
                     •   M4 (2011)
                     •   M5 (2012)
                     •   M6 (2013)
Centro de Estudos em
                                         Instrumentos de
Desenvolvimento Humano
                                        recolha de dados

                            (categorias)
                          • Caraterização geral dos
                            entrevistados -dados
 • Questionário             biográficos
       (categorias)
            23 questões
                          • Satisfação pessoal

 • Entrevistas            • Perceção da transferência de
      (não realizadas)      competências adquiridas pelos
                            mestrandos para as suas
                            práticas pessoais e profissionais
Centro de Estudos em
Desenvolvimento Humano   Caracterização
Centro de Estudos em
                              Resposta do curso aos
Desenvolvimento Humano          objetivos iniciais de
                         frequência dos mestrandos
Impacto a nível das
Centro de Estudos em
Desenvolvimento Humano   competências pessoais e
                                         sociais
Competências tecnológicas
Centro de Estudos em
Desenvolvimento Humano   adquiridas a nível da utilização
                                           de softwares
Centro de Estudos em
                         Incorporação das competências
Desenvolvimento Humano
                          adquiridas nas práticas com os
                                                  alunos
Perceção da transferência de
Centro de Estudos em
Desenvolvimento Humano   competências adquiridas para as práticas
                                         pessoais e profissionais
Centro de Estudos em
Desenvolvimento Humano                  Conclusões



    • Elevado nível de satisfação global com o
      curso

    • Elevado nível de perceção da utilização
      de novas competências no posto de
      trabalho
Centro de Estudos em
Desenvolvimento Humano
                                                     Conclusões
                         Transferência de competências / Impacto

 • Práticas pessoais (auto satisfação e
   renovação pessoal)

 • Formação ao longo da vida
   (aumento dos conhecimentos TIC)

 • Práticas com os alunos: criação de
   conteúdos educativos digitais e
   diversificação das estratégias de
   ensino-aprendizagem (+ de 80%
   Bastante ou Muitíssimo)
Centro de Estudos em
Desenvolvimento Humano
                                                     Conclusões
                         Transferência de competências / Impacto



 • Estatuto pessoal e profissional

 • Nas práticas com os pares, a relação
   com os órgãos de gestão da escola e
   estruturas de orientação educativa é
   vista como sendo aquela onde o
   mestrado teve menor impacto
Centro de Estudos em
Desenvolvimento Humano




However beautiful
the strategy, you
should occasionally
look at the results.
                     Winston Churchill
Centro de Estudos em
Desenvolvimento Humano




                    • E é tudo… Muito obrigado




                                  jlagarto@ucp.pt

Apresentação AFIRSE

  • 1.
    Avaliação do Impactoda Formação as novas competências no posto de trabalho Estudo de caso Mestrado em Informática Educacional (Ciências da Educação) Investigação em curso Equipa de investigação: José Lagarto (coordenador, UCP/FCH) António Andrade (UCP/FEG) Hermínia Marques (Agrupamento de Escolas Vale de Ovil – Baião) 2 Fevereiro 2013 Centro de Estudos em Desenvolvimento Humano
  • 2.
    Centro de Estudosem O tema/problema da Desenvolvimento Humano investigação • O modelo teórico • O plano de investigação • Os resultados
  • 3.
    Centro de Estudosem Desenvolvimento Humano O modelo teórico Conceitos chave – A competência (Boterf e outros) – A avaliação da formação (Kirkpatrick e outros) – O elearning (Bates, Rosenberg, Horton…)
  • 4.
    Centro de Estudosem Conceito de Desenvolvimento Humano competência • Competência é algo que resulta da demonstração prática, real, de uma qualificação adquirida, seja no âmbito de processos formativos formais, de práticas pessoais ou de processos informais. Boterf (1994)
  • 5.
    Centro de Estudosem Conceito de Desenvolvimento Humano competência • La compétence se situe dans un continuum; sur une ligne allant du plus théorique, et abstrait, au plus pratique et/ou dans l'action. Thierry Ardouin (2008)
  • 6.
    Centro de Estudosem Conceito de Desenvolvimento Humano competência Thierry Ardouin (2008)
  • 7.
    Centro de Estudosem A avaliação da formação no posto Desenvolvimento Humano de trabalho Classificação das abordagens teóricas sobre a avaliação do ensino a distância e do elearning (adaptado de Ruhe & Zumbo, 2009)
  • 8.
    A avaliação daformação no posto Centro de Estudos em Desenvolvimento Humano de trabalho Nível 1 – - os formandos gostaram da satisfação formação? - a taxa de desistências foi baixa? Nível 2 – - o que aprenderam os formandos? aprendizagens - os objetivos de aprendizagem foram atingidos? - os formandos aplicam as novas Nível 3 – competências no seu local de competências trabalho? Nível 4 – - a organização melhora os seus resultados procedimentos com a formação dos seus quadros? - quanto ganha a instituição com a formação dos seus colaboradores?
  • 9.
    Centro de Estudosem Elearning e formação Desenvolvimento Humano profissional  O que é o elearning? ◦ Formação a distância? ◦ Conteúdos interativos e multimédia? ◦ Realidade Virtual ?  apenas uma forma de disponibilização da informação utilizando TCP/IP (Rosenberg / Horton)
  • 10.
    O mestrado em Centrode Estudos em Desenvolvimento Humano Informática Educacional Psicologia da Aprendizagem 1º trimestre Comunicação Multimédia Tecnologias da Aprendizagem Colaborativa 2º trimestre Metodologias de Investigação em Educação Conceção de Materiais Multimédia 3º trimestre Internet e Educação Seminário de Projeto (desde o T1) 4º trimestre Formação a Distância e e-Learning A duração total A carga de trabalho A diluição do esforço no tempo
  • 11.
    A metodologia da Centrode Estudos em Desenvolvimento Humano investigação • As questões – que nível global de satisfação evidenciavam perante o curso e suas diferentes componentes; – que aprendizagens reais eles detetavam nas suas novas atitudes e saberes profissionais; – que mudanças significativas na sua vida profissional tinham ocorrido; – que mudanças ocorreram no seu relacionamento com os alunos e com os seus pares; – a perceção existente sobre as facilidades e constrangimentos de utilização das suas novas competências.
  • 12.
    Centro de Estudosem Amostra Desenvolvimento Humano • Universo – 380 • Universo real – 300 • Respondentes – 130 – Estratificação por edição • M1 (2005) • M2 (2007) • M3 (2009) • M4 (2011) • M5 (2012) • M6 (2013)
  • 13.
    Centro de Estudosem Instrumentos de Desenvolvimento Humano recolha de dados (categorias) • Caraterização geral dos entrevistados -dados • Questionário biográficos (categorias) 23 questões • Satisfação pessoal • Entrevistas • Perceção da transferência de (não realizadas) competências adquiridas pelos mestrandos para as suas práticas pessoais e profissionais
  • 14.
    Centro de Estudosem Desenvolvimento Humano Caracterização
  • 15.
    Centro de Estudosem Resposta do curso aos Desenvolvimento Humano objetivos iniciais de frequência dos mestrandos
  • 16.
    Impacto a níveldas Centro de Estudos em Desenvolvimento Humano competências pessoais e sociais
  • 17.
    Competências tecnológicas Centro deEstudos em Desenvolvimento Humano adquiridas a nível da utilização de softwares
  • 18.
    Centro de Estudosem Incorporação das competências Desenvolvimento Humano adquiridas nas práticas com os alunos
  • 19.
    Perceção da transferênciade Centro de Estudos em Desenvolvimento Humano competências adquiridas para as práticas pessoais e profissionais
  • 20.
    Centro de Estudosem Desenvolvimento Humano Conclusões • Elevado nível de satisfação global com o curso • Elevado nível de perceção da utilização de novas competências no posto de trabalho
  • 21.
    Centro de Estudosem Desenvolvimento Humano Conclusões Transferência de competências / Impacto • Práticas pessoais (auto satisfação e renovação pessoal) • Formação ao longo da vida (aumento dos conhecimentos TIC) • Práticas com os alunos: criação de conteúdos educativos digitais e diversificação das estratégias de ensino-aprendizagem (+ de 80% Bastante ou Muitíssimo)
  • 22.
    Centro de Estudosem Desenvolvimento Humano Conclusões Transferência de competências / Impacto • Estatuto pessoal e profissional • Nas práticas com os pares, a relação com os órgãos de gestão da escola e estruturas de orientação educativa é vista como sendo aquela onde o mestrado teve menor impacto
  • 23.
    Centro de Estudosem Desenvolvimento Humano However beautiful the strategy, you should occasionally look at the results. Winston Churchill
  • 24.
    Centro de Estudosem Desenvolvimento Humano • E é tudo… Muito obrigado jlagarto@ucp.pt