UNIVERSIDADE FEDERAL FLUMINENSE                    PRÓ-REITORIA DE GESTÃO DE PESSOAS          COORDENAÇÃO DE PESSOAL TÉCNI...
Visão de Futuro:            “A UFF será reconhecida nacionalmente pela qualidade dos seus cursos, mérito da            sua...
Considerando também o texto aprovado no Plano de Desenvolvimento Institucionalda UFF – PDI 2008-2012, na área estratégica ...
podem ser realmente atribuídos a um programa que pretende alterar um estado de coisas(SAVEDRA, 2002, p.8-11)”.       Para ...
A avaliação aplicada durante a realização dos cursos no período de 2006 a 2010também estão recebendo o mesmo tratamento, n...
3. O programa está fazendo o que pretende fazer?       4. Como ele foi capaz ou porque não foi capaz de atingir os seus ob...
A Organização para a Cooperação Econômica e o Desenvolvimento (OCDE)também reforça que “impacto” é o efeito causado, diret...
c) Se as instruções eram suficientes para o correto preenchimento.        d) Ordem das questões (influência de uma questão...
Nivelamento de leituras realizadas e entendimento da teoria pesquisada.                 Segundo Momento:                 D...
REFERÊNCIASADRIANA BAUER. Avaliação de impacto no Brasil: é possível mensurar impactos deprogramas de formação docente? In...
Próximos SlideShares
Carregando em…5
×

Projeto de avaliacao_do_impacto_capacitacao

614 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
614
No SlideShare
0
A partir de incorporações
0
Número de incorporações
1
Ações
Compartilhamentos
0
Downloads
4
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Projeto de avaliacao_do_impacto_capacitacao

  1. 1. UNIVERSIDADE FEDERAL FLUMINENSE PRÓ-REITORIA DE GESTÃO DE PESSOAS COORDENAÇÃO DE PESSOAL TÉCNICO-ADMINISTRATIVO DIVISÃO DE CAPACITAÇÃO E QUALIFICAÇÃO AVALIAÇÃO DE IMPACTO DA CAPACITAÇÃO – PERÍODO 2006/2010Autores Aline da Silva Marques; Cenira Soares da Matta Eduardo José Bedran Isis Amaral Franca Marcelo Barbosa Maria Clara de Carvalho Lopes Marilda de Souza Camargo Marta Cavalcante Assumpção Moniz Rosana Therezinha Queiroz de Oliveira Stephanie Caroline Boechat Correia Solange Machado Blanco Solange Barbosa Bittencourt1. Introdução1.1. Visão e Missão da UniversidadeA Universidade Federal Fluminense, Instituição de Ensino, Pesquisa e Extensão, do estado doRio de Janeiro, com sede na cidade de Niterói, que tem por Missão e Visão:Missão: “Produzir, difundir e aplicar conhecimento e cultura de forma crítica e socialmente referenciada.” Fonte: PDI – UFF
  2. 2. Visão de Futuro: “A UFF será reconhecida nacionalmente pela qualidade dos seus cursos, mérito da sua produção científica e relevância social das suas atividades, ampliando a sua capacidade de oferecer soluções para o desenvolvimento auto-sustentado do Brasil.” Fonte: PDI - UFFAtualmente, conta com cerca de 4.000 Técnico-Administrativos e 2.500 Docentes, distribuídosem diversas localidades da cidade de Niterói, do estado do Rio de Janeiro em um CampusAvançado em Oriximiná/PA:1.2. Justificativa e Relevância do Projeto O projeto de Avaliação de Impacto da Capacitação integra um Programa apresentado pelaPROGEPE/UFF à Comissão Mista do Plano de Desenvolvimento Institucional (PDI) daUniversidade Federal Fluminense, intitulado: “Dimensionamento e Análise da Força deTrabalho Técnico-Administrativa da UFF”. Após a aprovação institucional do Projeto, foi constituído um Grupo de Trabalho - GT –PDI/ Progepe, para elaborar, realizar e acompanhar as ações destinadas à sua execução. Nocurso das análises iniciais, constatou-se a necessidade de dividir a equipe em subgruposcorrespondentes aos eixos temáticos que compõem o programa, a saber, Avaliação de Impactoda Capacitação; Dimensionamento da Força de Trabalho da UFF e Mapeamento deCompetências. Desse modo, foram estabelecidas metodologias por eixo temático, de modo a viabilizar aexecução dos trabalhos por cada subgrupo, garantida a integração através de reuniões frequentesentre os três subgrupos. Apesar da subdivisão em temas, ao final, os resultados serãoconsolidados em uma única proposta de política de gestão de pessoas. Dessa forma, considerando o constante da Lei 11.091/2005, que instituiu o Plano deCarreira dos Cargos Técnico-Administrativos em Educação – PCCTAE, ao estabelecer: Art. 24. O plano de desenvolvimento institucional de cada Instituição Federal de Ensino contemplará plano de desenvolvimento dos integrantes do Plano de Carreira, observados os princípios e diretrizes do art. 3º desta Lei. § 1º - O plano de desenvolvimento dos integrantes do Plano de Carreira deverá conter: I – dimensionamento das necessidades institucionais, com definição de modelos de alocação de vagas que contemplem a diversidade da instituição; II – Programa de Capacitação e Aperfeiçoamento; e III – Programa de Avaliação de Desempenho..
  3. 3. Considerando também o texto aprovado no Plano de Desenvolvimento Institucionalda UFF – PDI 2008-2012, na área estratégica de Gestão de Pessoas, em seu objetivo:“Assegurar uma força de trabalho competente que garanta a eficiência, a eficácia e a qualidadedos serviços prestados pela UFF.” A equipe gestora da UFF, da área de gestão de pessoas, vem atuando de forma apossibilitar, cada vez mais, o aprofundamento de um conhecimento sistêmico da sua força detrabalho, e em particular, no caso do presente projeto, da real necessidade de desenvolvimentoprofissional, pessoal, social e de cidadão de seus servidores técnicos. Os resultados obtidos com a Avaliação do Impacto da Capacitação têm por objetivomaior subsidiar estudos mais aprofundados a serem aplicados nas políticas voltadas aodesenvolvimento do corpo funcional da universidade.1.3 ObjetivosAvaliar o impacto produzido pelo processo de capacitação dos servidores técnico-administrativos da UFF sobre as competências individuais e institucionais, no período de 2006 a2010.Subsidiar a elaboração dos concursos públicos, as remoções, as redistribuições, as avaliações dedesempenho e o plano de capacitação;2. Apresentação do Projeto: Avaliação de Impacto da Capacitação – Período2006/2010 A Avaliação de Impacto da Capacitação, parte integrante do projeto aprovadopelo PDI/UFF/2011: Dimensionamento e Análise da Força de Trabalho Técnico-Administrativa da UFF delimita-se cronologicamente, das ações de capacitaçãorealizadas no período de 2006/2010, tendo como fundamento a Lei 11.091 de 12 dejaneiro de 2005. A pesquisa se propõe a avaliar o impacto que o Programa de Capacitação daUniversidade Federal Fluminense provocou no ambiente de trabalho e possíveismudanças de comportamento dos servidores capacitados por meio dos cursos decapacitação promovidos pela SDDH/DTA, hoje, Pró-Reitoria de Gestão de Pessoas(Progepe), levando também em consideração o fato de ser a capacitação ferramentaestratégica em Gestão de Pessoas na consecução dos objetivos institucionais e,entendendo por Avaliação de Impacto: “pesquisa que busca determinar que efeitos que
  4. 4. podem ser realmente atribuídos a um programa que pretende alterar um estado de coisas(SAVEDRA, 2002, p.8-11)”. Para definir a metodologia de desenvolvimento da pesquisa, foi realizada buscaem textos teóricos e trabalhos realizados anteriormente por outras instituições, bemcomo dissertações e teses sobre o tema, permitindo a definição dos passos a seremseguidos para a realização do trabalho.3. Metodologia adotada Dessa forma, a presente proposta se apóia nos princípios da pesquisa qualitativae quantitativa ao estabelecer como fonte de informação dados obtidos por meio dequestionário, adotar como avaliação diagnóstica a partir do resultado do Levantamentorealizado em 2006, junto aos servidores técnico-administrativos, sobre as competênciasque tais servidores necessitavam que fossem desenvolvidas para que realizassem melhorseus trabalhos. O Quadro a seguir, apresenta uma amostra das competências mais citadas, queserviram de base para a composição dos cursos de capacitação oferecidos no período. Competências Quantidade Habilidades para o relacionamento interpessoal 952 Conhecimento de Redação Oficial e Comercial 500 Conhecimento sobre Legislação Administrativa, 311 Pública etc. Habilidade de Gestão da Informação 289 Visão de Processos 250 Quadro 1 - Amostra das Competências (Pesquisa de 2006) Fonte: Levantamento realizado pela DTA/SDDRH/UFF Também foram tomados como dados iniciais as informações fornecidas noFormulário de Aferição Individual de Desempenho contidas no item 2, nos anos de2004 e 2005. As informações contidas no formulário: Aferição Individual de Desempenhoserão trabalhadas por meio de software estatístico e lexical, que permitem a análise ecruzamento das informações quantitativas e qualitativas contidas nos formulários,permitindo dessa forma estabelecer um diagnóstico de expectativa de capacitaçãonaquele momento.
  5. 5. A avaliação aplicada durante a realização dos cursos no período de 2006 a 2010também estão recebendo o mesmo tratamento, numa perspectiva de avaliação deprocesso ou avaliação formativa, que se afigura como um tipo de monitoramento, cujofoco reside na eficiência com que o programa é conduzido em vista dos resultadosimediatos obtidos. Segundo Marcus Faria Figueiredo e Argelina Maria Cheibub Figueiredo, avaliaçãode processo pode ser definida como a maneira de identificar o verdadeiro conteúdo deum programa público, se ele está sendo realizado como previsto, se está alcançando opúblico para o qual foi concebido e se os benefícios estão sendo distribuídos naintensidade prevista. A avaliação de processos, segundo os autores requer, portanto, que se desenvolvammétodos para responder a três perguntas: de que (e como) se constitui o programa empauta? (métodos para desenvolver e especificar os componentes de um programa); o queé, na realidade, entregue aos beneficiários? (métodos para mensurar a implementação doprograma); por que existem diferenças entre os objetivos (e intenções) do programa e osque são realmente realizados? (avaliar fatores que influenciam a implementação,provocando mudanças entre o previsto e o realizado). Assim, a avaliação processual não objetiva medir o tamanho ou a natureza doimpacto do programa mas, quando feita ao longo da implementação, representa umapossibilidade de monitoramento dos processos diretamente responsáveis pela produçãodo efeito esperado. Isto é, ela permite controlar com a devida antecipação o tamanho e aqualidade do efeito desejado (FIGUEIREDO, FIGUEIREDO, 1986, p. 107-127). Dessa forma, a avaliação deve ser concebida como um processo de constanteestimativa da adequação entre os objetivos e as metas que o programa deve realizar e oseu desenvolvimento empírico. O trabalho de avaliação faz-se pelo estudo dosresultados do programa em relação aos seus objetivos propostos. Numa definiçãoamplamente aceita, “avaliação é a estimativa sistemática da operação e/ou dosresultados de um programa ou de uma política, em comparação com um conjunto deparâmetros implícitos ou explícitos, como forma de contribuir para o aprimoramento doprograma ou política (WEISS, 1998, p.5).” Realizar um projeto de avaliação de programas governamentais significa, desaída, responder a cinco perguntas: 1. O programa está realizando seus objetivos? 2. Como está sendo administrado o programa?
  6. 6. 3. O programa está fazendo o que pretende fazer? 4. Como ele foi capaz ou porque não foi capaz de atingir os seus objetivos? 5. Que diferença faz o programa? Dessas, a última pergunta (que diferença faz o programa?) nos conduzdiretamente à avaliação de impacto. O impacto já foi definido como toda “seqüência de acontecimentos que emanamda implementação de uma decisão política” (GRUMM, 1975, p.443). Numa primeiraacepção, portanto, é tudo o que decorre daquele programa ou política. Assim, realizaruma avaliação de impacto significa “determinar a extensão com que um conjunto deatividades humanas direcionadas pode afetar o estado de certos objetos ou fenômenos e– ao menos algumas vezes – determinar porque os efeitos foram tão restritos ou tãoamplos quanto se mostraram” (MOHR, 1995, p.1). A pesquisa de avaliação de impacto busca determinar que efeitos podem serrealmente atribuídos a um programa que pretende alterar um estado de coisas. Dito deoutra maneira, o impacto de um programa pode ser entendido como o resultado de umacomparação entre aquilo que ocorreu após a implementação do programa e aquilo queteria acontecido se o programa não tivesse sido implementado (MOHR, 1995, p. 4). Aquestão é de saber se os indivíduos estão em melhor situação por causa desta atividadedo que estariam sem ela (SAVEDRA, 2002, p. 8-11). Para Baker (2000) a avaliação de impacto não somente se preocupa emmensurar/interpretar os resultados do programa, mas analisa em que medida eles podemser atribuídos ao programa e somente a ele. Nesse sentido, a avaliação de impacto éentendida, tal qual em Scriven (1991), como a mensuração do efeito de determinadaintervenção sobre determinado alvo, a fim de saber em que medida houve alteração nasituação inicial. A avaliação sobre o impacto também abrange a noção de avaliação dosefeitos que se mantêm a longo prazo (BAUER, 2010, 229-251). Tal avaliação procura identificar os efeitos produzidos sobre uma população-alvo de um programa social. Busca-se verificar não apenas se as atividades previstasforam executadas, como também se os resultados finais que se esperavam foramigualmente alcançados. O foco desse tipo de estudo é, em síntese, detectar mudançasnas condições de vida de um grupo-alvo ou de uma comunidade, como resultado de umprograma e em que medida as mudanças ocorreram na direção desejada (COSTA,CASTANHAR, 2003, 969-92).
  7. 7. A Organização para a Cooperação Econômica e o Desenvolvimento (OCDE)também reforça que “impacto” é o efeito causado, direta ou indiretamente, por umaintervenção, claramente atribuindo esse tipo de avaliação ao final do processo deimplementação do programa. A definição de impacto do Comitê de Assistência ao Desenvolvimento (CAD) émuito similar a da OCDE: efeitos de longo-prazo, positivos e negativos, primários ousecundários, produzidos por uma intervenção para o desenvolvimento, direta ouindiretamente, intencional ou involuntariamente. O Banco Mundial também adota adefinição do CAD e da OCDE (BAUHER, 2010). O método proposto para o desenvolvimento do trabalho de campo é a pesquisaSurvey, que “envolve o exame de um fenômeno em uma grande variedade de ambientesnaturais” (PINSONNEAULT; KRAEMER, 1993, p.5). A pesquisa utilizando o métodoSurvey se propõe a aplicação de questionários estruturados, compostos de questõesdicotômicas, abertas, de múltipla escolha e nominais. Os dados coletados por meio de questionário, em um momento preciso dotempo, junto à amostra selecionada para representar a população-alvo, caracteriza-secomo um estudo de corte transversal, segundo Hoppen, Lapoint e Moreau (1996) eKeeves (1990) e permite a avaliação post-facto. Dessa forma, a aplicação doquestionário inicia-se no segundo semestre de 2011. A determinação da amostra será feita sob a orientação de um profissional doDepartamento de Estatística, da UFF, que tem auxiliado no tratamento necessário aosdados coletados por meio do questionário. O questionário será aplicado aos servidores e seus chefes imediatos, divididosem três grandes áreas: acadêmica; administrativa e Hospital Universitário AntonioPedro, com foco na natureza dos cursos de capacitação oferecidos (natureza geral comconteúdo transversal e natureza especial). O instrumento de coleta de dados utilizado (questionário) será preenchido pelosrespondentes depois de contato preliminar e acompanhado de carta de encaminhamento.Estes dois últimos procedimentos têm por objetivo assegurar uma taxa de retornosuficiente para assegurar fidedignidade à pesquisa. Objetivando ainda a fidedignidade da pesquisa, o questionário será validado empré-testagem, onde será requerido ao respondente que manifeste sua impressão sobre: a) Clareza (Vocabulário, compreensão das perguntas). b) Quantidade de perguntas / tempo gasto para a resposta.
  8. 8. c) Se as instruções eram suficientes para o correto preenchimento. d) Ordem das questões (influência de uma questão na outra). e) Formato (Tamanho das letras, disposição, lay-out) f) Conteúdo (relevância das questões; alguma questão causa constrangimento) Tendo procedido às correções cabíveis, e obtido a validade do instrumento, seráaplicado na amostra selecionada.4. Ações realizadas de abril a julho de 2011 Definida a metodologia, a equipe da Divisão de Capacitação e Qualificação,responsável pelo desenvolvimento da pesquisa de Avaliação do Impacto da Capacitaçãoda UFF, passou a desenvolver as ações, que estão esquematizadas no Quadro 2 a seguir. Inicialmente, foram feitas reuniões com o prof. Licínio Esmeraldo da Silva doDepartamento de Estatística, com prof. José Rodrigues Farias Filho, responsável peloNúcleo de Competitividade, Estratégia e Organizações – LabCEO, que disponibilizousua equipe e recursos de informática do laboratório Engenharia, com a profa. SandraEscovedo Selles, da Faculdade de Educação, que indicou alunos do doutorado emestrado para colaborarem na formulação dos questionários. A equipe de colaborados, vem trabalhando em parceria, visando estabelecerparâmetros e variáveis consistentes e que levem a maior fidedignidade no tratamentodos dados quantitativos e qualitativos obtidos. Atualmente, os dados obtidos com a avaliação diagnóstica e de processo estãosendo tratados e os questionários em fase de aprovação final, com previsão de testagempara o mês de agosto de 2011. Março a) Definição dos participantes do grupo e coordenação; b) Pesquisa bibliográfica em plataformas científicas (Scielo, Domínio Público - Capes) e páginas eletrônicas (Google Acadêmico), visando definir a base teórica relativa a Avaliação de Impacto. O que é Avaliação de Impacto? Qual a metodologia mais adequada? Quais as ferramentas, técnicas mais utilizadas? O que já foi feito em âmbito nacional sobre Avaliação de Impacto da Capacitação? c) Identificação e seleção de textos; d) Distribuição para os participantes do grupo. Abril: Primeiro momento:
  9. 9. Nivelamento de leituras realizadas e entendimento da teoria pesquisada. Segundo Momento: Discussão e proposições de Métodos e Ações a serem adotadas para a execução da pesquisa. Terceiro Momento: Elaboração da proposta metodológica para aprovação no Grupo de Trabalho Recuperação do histórico de implantação do Programa de Capacitação, analisando o Levantamento de Competências realizado em 2006, que será utilizado como fonte primária, Identificação nos formulários de Aferição Individual de Desempenho dos anos de 2004 e 2005 as respostas do Item 2 das Observações Gerais; Identificação pelo grupo da importância de continuar a fazer pesquisa bibliográfica ao longo do processo Maio: Contato com professor responsável pelo grupo de pesquisa do Labceo – Escola de Engenharia, visando estabelecer parceria com seu grupo de pesquisa para o tratamento dos dados quantitativos e qualitativos obtidos com a aplicação dos questionário e dos dados do levantamento realizado em 2006 e do item 2 do formulário Aferição Individual de Desempenho; Contato com professora-pesquisadora da Faculdade de Educação para estabelecer parceria com seu grupo de pesquisa para a elaboração dos questionários e preparação da equipe que irá aplicá-los. Reuniões com os pesquisadores para estabelecer as variáveis e critérios de abordagem. Junho: Reunião com o estatístico e professor Lícinio de Departamento de Estatística da UFF, visando obter orientação quanto à definição da amostra e estratificação dos grupos a serem pesquisados, a saber: Por Área – Administração Central; Unidades Acadêmicas; HUAP; Fora da Sede Por Nível – E; D/C;B/A Elaboração de dois questionários – espelho – um para o servidor e outro para a chefia imediata Análise e discussão das questões propostas para os questionários e variáveis de tratamento estatístico. Julho: Solicitação ao NTI dos dados necessários para determinação da amostra a ser utilizada para aplicação do s questionários. Aprovação do modelo de questionários para aplicação do teste piloto em agosto.Quadro 2 – Etapas Executadas março a julhoFonte: DCQ/CPTA/Progepe (2011)
  10. 10. REFERÊNCIASADRIANA BAUER. Avaliação de impacto no Brasil: é possível mensurar impactos deprogramas de formação docente? In: Est. Aval. Educ., São Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010. p. 229-251.CHIAVENATO, Idalberto. Gestão de Pessoas: o novo papel dos recursos humanos nasorganizações. Rio de Janeiro: Campos, 2003.COSTA, Frederico Lustosa; CASTANHAR, José Cezar. Avaliação de programaspúblicos: desafios conceituais e metodológicos. In: RAP. Rio de Janeiro 37(5):969-92,Set./Out. 2003.FIGUEIREDO, Marcos Faria; FIGUEIREDO, Argelina Maria Cheibub. Avaliaçãopolítica e avaliação de políticas: um quadro de referência teórica. In: Anál. & Conj.,Belo Horizonte, 1 (3): 107.127, set/dez. 1986.HOPPEN, N., LAPOINT, L., e MOREAU, E. Um guia para avaliação de artigos depesquisa em sistemas de informação. Revista Eletrônica de Administração(http://www.ppga.ufgrs.br/read) n. 03 abr de 2011.KEEVES, John P. Educational Research, Methodology, and Measurement.University of Melbourne, Australia: Pergamon Press, 1990.OLIVEIRA, R.T.Q. Gestão da Pós-Graduação na Universidade FederalFluminense: um estudo de caso. Dissertação (Mestrado em Sistemas de Gestão)Universidade Federal Fluminense, 171p., 2005.PINSONNEAULT, A., KRAEMER, K.L. (1993). Survey research methodology inmanagement information system: an assessment. Journal of ManagementInformation Systems, v.10, n.2, Autumn, p.75-105.SAVEDRA, Mônica Maria Guimarães. Avaliação do impacto dos programas orientadosda Fundação Carlos Chagas Filho de Amparo à Pesquisa RJ. In:VII CongresoInternacional del CLAD sobre la Reforma del Estado y de la AdministraciónPública, Lisboa, Portugal, 8-11 Oct. 2002.

×