001 giordano pisa_202007_oficina

1
Giordano
Giordano - Pisa
Unidade de Pós-graduação, Extensão e Pesquisa
Saberes e práticas em Educação Profissional e em Sistemas Produtivos
Giordano
Julho de 2020
Desmembramentos, análises e avaliações de indicadores
consagrados da Educação: Pisa

2
Giordano
Giordano - Pisa
Começando
Apresentação
Ministrante

3
Giordano
Giordano - Pisa
Carlos Vital Giordano
Graduado e mestre em Administração
Doutor em Ciências Sociais
Professor universitário em cursos de Graduação,
Mestrado, MBA e In Company
Especialista e consultor em Estratégia, Sistemas de Informação, Tecnologia da Informação,
Gestão da Inovação, Estatística Aplicada, Gestão de Processos, Empreendedorismo, Gestão
da Mudança, Gestão de Projetos, Ciência dos Dados, Inteligência Artificial, Educação e
Sociologia Corporativa e Gestão Baseada em Indicadores.
Professor da Graduação Tecnológica, do MBA e do Programa de Mestrado em Gestão e
Desenvolvimento da Educação Profissional do Centro Paula Souza
giordanopaulasouza@yahoo.com.br
Ministrante

4
Giordano
Giordano - Pisa
Orientações iniciais
Manter a câmera ligada e o microfone desligado durante toda a Oficina.
Isso evita sons ambientes dos locais dos participantes.
Levantar a mão (ver ícone na barrinha) quando precisar falar. Aguardar a
autorização, ligar o microfone e falar.
Em função do tempo da Oficina procurar ser conciso e direto nas
perguntas, comentários ou outras falas.
Cadastrem-se para a próxima Oficina, 22/7, tema: Enade (avisem os
parentes, contatos, amigos, confrades, conhecidos e outros).
Acesso total pós-oficina: giordanopaulasouza@yahoo.com.br

5
Giordano
Giordano - Pisa
Começando
Apresentação
Indicadores

6
Giordano
Giordano - Pisa
Indicadores - Introdução
Os indicadores, de qualquer natureza, configuram-se como instrumentos de
gestão indispensáveis nas tarefas de monitoramento e avaliação das ações
perpetradas, passíveis de acompanhamento.
Servem de controladores das intenções planejadas versus o realmente
realizado, consentindo, neste processo, o início de outras ações,
reparadoras, para os ajustes e os acertos corretivos necessários.
Destinam-se também, a seguirem, em detalhes, por meio de instrumentos
visuais ou numéricos diversos, o alcance das metas estipuladas em projetos,
programas e políticas em execução.
Atuam também como medidores de iniciativas que usam recursos em função
de suas utilizações e dos seus resultados.

7
Giordano
Giordano - Pisa
O surgimento e o desenvolvimento de indicadores sociais mais aplicados
estão inerentemente unidos à consolidação das atividades de planejamento
do setor público ao longo do século 20.
Encontram-se algumas contribuições importantes para o reconhecimento
formal de um marco inicial sobre os indicadores sociais entre os anos 1920 e
1940, contudo, o crescimento efetivo da matéria é contemporâneo, tendo
começado a sua efetiva consolidação no ambiente científico pelos anos de
1960, atrelada às experiências de organização de sistemas mais extensos
para seguir as transformações sociais e à aferição do impacto das políticas
sociais nas sociedades desenvolvidas e subdesenvolvidas.
O indicador social é uma medida quantitativa guarnecida de significado social
relevante, usado para substituir, quantificar ou operacionalizar um conceito
social.
Indicadores - Surgimento e relevância

8
Giordano
Giordano - Pisa
Indicadores – Características e finalidade
A característica principal de um indicador é a existência de uma fórmula ou
um número para defini-lo. Além disso, apresentam-se parametrizados em
tabelas e gráficos, lineares ou não, viabilizam-se por intermédio de regras de
contagem ou cálculos e buscam basicamente o foco no que é relevante.
Lembrando que o indicador (que expressa uma ou mais ações reais,
importantes e diretamente ligadas aos recursos e aos resultados), é o
elemento que auxilia a análise e tomada de decisão, com maior qualidade do
que outras fontes não estruturadas de apoio à decisão.
Os indicadores, além de mostrarem o que acontece ou o que aconteceria,
permitem descrições estatísticas e matemáticas valiosas, comparações,
associações, regressões, análises multivariadas, entre outras, todas,
representantes de cálculos mais complexos ou não, e identificadores de
resultados ou caminhos a serem seguidos.

9
Giordano
Giordano - Pisa
Um indicador para ser considerado “bom” deve apresentar características
básicas, como: ser dotado de valor próprio, ser capaz de mostrar resultados
representativos do mundo real, medir algo importante e ser estatisticamente
significativo.
Destarte, o pressuposto de uma boa estruturação da medição de
desempenho é a existência de métricas bem realizadas (não somente boas
informações) e que essas métricas estejam aptas a apontar os problemas
em exame, que estão mais colaborando (ou não) para o alcance ou não do
desejado, em função dos recursos alocados para tal.
Um indicador mostra a medição verdadeira de determinado evento.
Cuidados especiais deverão ser tomados para a sua coleta e cálculo,
objetivando a exatidão e a isenção de erros de qualquer natureza.
Indicadores – Bom indicador

10
Giordano
Giordano - Pisa
Indicadores – Atenção!
Fatos em evidência:
1) Não há limites para as aplicações dos indicadores;
2) Sem medir não se gerencia, não se sabe o resultado; e,
3) Há indicadores de Controle e indicadores de Impacto.

11
Giordano
Giordano - Pisa
Indicadores – Indicadores consagrados
Em termos abrangentes, e para comparações mais coerentes entre os
indicadores sociais regionais (de países, estados, cidades, bairros,
empresas, instituições de ensino etc.), inúmeras iniciativas apresentam
conjuntos de coletas, tabulações, análises e resultados mostrados em
valores, medindo os esforços, as iniciativas e as ações perpetradas para as
melhorias das condições das pessoas, conforme o assunto/tema em exame.
Mas as apreciações de dados ou informações quantitativas devidamente
ajustadas com as suas equivalentes qualitativas enriquecem sobremaneira a
compreensão dos fatos, dos eventos, das simulações ou das situações em
qualquer área.

12
Giordano
Giordano - Pisa
Indicadores – Indicadores educacionais
Constroem-se os indicadores educacionais no intuito de imputar valores
estatísticos à qualidade do ensino de instituições privadas, públicas e outras
entidades, vislumbrando não somente rendimento dos discentes, mas
também dos docentes, das estruturas, dos currículos, dos conteúdos e até do
contexto econômico e social em que as entidades educacionais estão
incluídas.
Servem como componente importante para o monitoramento e o controle das
estruturas educacionais, levando em conta: o acesso, a continuidade e a
aprendizagem dos discentes, colaborando para o estabelecimento de
políticas públicas destinadas ao aperfeiçoamento da qualidade da educação
e dos serviços oferecidos à sociedade pelas instituições escolares.

13
Giordano
Giordano - Pisa
Começando
Apresentação
Pisa

14
Giordano
Giordano - Pisa
Pisa – O que é
O Programa Internacional de Avaliação de Estudantes, tradução de Programme for
International Student Assessment (Pisa), é um estudo comparativo internacional,
realizado a cada três anos pela Organização para a Cooperação e Desenvolvimento
Econômico (OCDE). O Pisa oferece informações sobre o desempenho dos
estudantes na faixa etária dos 15 anos e três meses a 16 anos e dois meses em
relação à aprendizagem e também aos principais fatores que moldam sua
aprendizagem, dentro e fora da escola.
Os resultados do Pisa permitem que cada país avalie os conhecimentos e as
habilidades dos seus estudantes em comparação com os de outros países, aprenda
com as políticas e práticas aplicadas em outros lugares, bem como formule suas
políticas e programas educacionais, visando melhorias na qualidade e na equidade
dos resultados de aprendizagem
Como o Pisa funciona?
https://www.youtube.com/watch?v=mCkqSDp1g84

15
Giordano
Giordano - Pisa
O Pisa avalia três domínios – leitura, matemática e ciências – em todos os ciclos ou
edições. A cada edição, é avaliado um domínio principal, o que significa que os
estudantes respondem a um maior número de itens no teste dessa área do
conhecimento e que os questionários se concentram na coleta de informações
relacionadas à aprendizagem desse domínio. A pesquisa também avalia outros
domínios, chamados inovadores, como Letramento Financeiro e Competência Global.
Os diferentes cadernos de teste que compõem a avaliação são formados por
unidades temáticas, ou seja, um conjunto articulado de itens a partir de um estímulo
que pode ser composto de um texto escrito e/ou de um quadro, uma tabela, um
gráfico, uma figura.
O Pisa utiliza a Teoria de Resposta ao Item (TRI) na análise dos dados da avaliação
(ver nas Referências). Por esse motivo, apenas um número reduzido de unidades de
itens é divulgado após cada aplicação.
Pisa – Domínios, testes e avaliação

16
Giordano
Giordano - Pisa
Pisa – Anos de aplicação e área do conhecimento enfatizada
2018 – No Brasil, 10.691 alunos
de 638 escolas participaram.
O Brasil participou em todos os
anos, como convidado (partner)
Próximo:
2022, por causa do Covid-19
998_Giordano_Pisa_Resultados2018_InepDaeb

17
Giordano
Giordano - Pisa
Letramento em Leitura é definido como a capacidade de compreender, usar,
avaliar, refletir sobre e envolver-se com textos, a fim de alcançar um objetivo,
desenvolver conhecimento e potencial, e participar da sociedade.
Letramento em Matemática é definido como a capacidade de formular, empregar
e interpretar a matemática em uma série de contextos, o que inclui raciocinar
matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas
matemáticos para descrever, explicar e prever fenômenos.
Letramento Científico é definido como a capacidade de se envolver com as
questões relacionadas com a ciência e com a ideia da ciência, como cidadão
reflexivo. Uma pessoa letrada cientificamente está disposta a participar de
discussão fundamentada sobre ciência e tecnologia, o que exige as competências
para explicar fenômenos cientificamente, avaliar e planejar investigações
científicas e interpretar dados e evidências cientificamente.
Pisa – Domínios avaliados

18
Giordano
Giordano - Pisa
Pisa – Cartilha do estudante, cartas e Cartilha do Diretor - Pisa 2018

19
Giordano
Giordano - Pisa
Pisa – Acesso aos dados
https://www.oecd.org/pisa/

20
Giordano
Giordano - Pisa
Pisa – Acesso a pesquisas

21
Giordano
Giordano - Pisa
Pisa – Pesquisa realizada - Sequência
1. Acessar o site do Pisa (www.oecd.org/pisa/).
2. Clicar em Data.
3. Clicar na Figura em Pisa Data Explorer.
4. Na aba Select Criteria, em Subject, selecionar Reading, Mathematics and Science.
5. Ticar em All Years/Studies.
6. Em Category, Overall score, ticar em Pisa Reading Scale, Pisa Mathematics Scale e Pisa
Science Scale.
7. Em Group, ticar em Internacional e ticar em OECD (países membros).
8. Rolar a tela em Group e ao final, ticar em Partners (convidados).
9. Na aba Select Variables, ticar em All students e Student Gender.
10. Na aba Edit Reports, verificar as seleções feitas. Alterá-las se desejado.
11. Clicar na aba Build Reports.
12. Pressionar o botão Export Reports.
13. Clicar em Report 1, Report 2, Report 3, Report 4, Report 5 e Report 6.
14. Selecionar Excel.
15. Pressionar o botão Done. Gera a planilha Excel IDEExcelExport-MêsDiaAno-Hora.
Mediante cliques
nos conteúdos
das abas é
possível gerar
relatórios com
outras variáveis
999_Giordano_IDEExcelExport-Jul122020-0733PM

22
Giordano
Giordano - Pisa
Pisa – Ver outras opções de acesso aos dados (aba Data)
999_Giordano_Pisa_Desempenhos20002018

23
Giordano
Giordano - Pisa
Pisa – Publicações
998_Giordano_Pisa_Resultados2018_Vol1

24
Giordano
Giordano - Pisa
Pisa – Planilha Painel
002_Giordano_Pisa_202007_Oficina

25
Giordano
Giordano - Pisa
Pisa – Intervalo de Confiança (IC) e Comparações
Intervalo de Confiança (IC)
Média
Significância – Nível – Usar z ou t
Erro Padrão
Média 1,96
Desvio padrão (Standard Deviation)
1) Calcular ou obter a Média (Pontual).
2) Calcular ou obter o Desvio Padrão.
3) Calcular o Erro Padrão (Desvio Padrão dividido pela Raiz Quadrada de n).
4) IC = Multiplicar o Erro Padrão por z ou t (z para 95%=1,96).
5) Diminuir da Média o IC calculado (limite inferior).
6) Somar à Média o IC calculado (limite superior).
7) Dentro do intervalo calculado, a Média Intervalar poderá assumir qualquer valor.
Erro padrão (EP)
Standard Error

26
Giordano
Giordano - Pisa
Pisa – Comparações - Análises
500 506
492 504
480 490
Australia
Germany
Netherlands
País Pontos Erro Padrão IC IC- IC+
Australia 503 1,6 3,1 500 506
Germany 498 3,0 5,9 492 504
Netherlands 485 2,7 5,3 480 490
Leitura - 2018
002_Giordano_Pisa_202007_OficinaBin
Planilha Comparar
Ver página 73 do documento 998_Giordano_Pisa_Resultados2018_Vol1

27
Giordano
Giordano - Pisa
Pisa – Comparações – Análises – Países AS
Argentina
Brazil
Chile
Colombia
Peru
Portugal
Uruguay
Planilha Comparar
País Pontos Erro Padrão IC IC- IC+
Leitura - 2018
Análises?

28
Giordano
Giordano - Pisa
Começando
Apresentação
Brasil

29
Giordano
Giordano - Pisa
L M C L M C L M C L M C L M C L M C L M C
396 403 356 393 370 390 412 386 405 407 389 402 407 377 401 413 384 404
2018
Pontos
2000 2003 2006 2009 2012 2015
Pisa – Brasil
002_Giordano_Pisa_202007_Oficina

30
Giordano
Giordano - Pisa
Pisa – Comparações – Análises – Brasil
Pontos EP IC IC- IC+
2000 396 3,1
2009 412 2,7
2018 413 2,1
2003 356 4,8
2012 389 1,9
2006 390 2,8
2015 401 2,3
Brazil - Leitura
Brazil - Matemática
Brazil - Ciências
Planilha Comparar
Análises?

31
Giordano
Giordano - Pisa
Pisa – Níveis de proficiência – Leitura – 2018 – Com IC
998_Giordano_Pisa_Resultados2018_InepDaeb, p.64
Detalhamento dos níveis p.66
2018
Nível L % %Acc Pontos
< 1c 0,4% 0,4%
1c 5,3% 5,7% 189
1b 17,7% 23,4% 262
1a 26,7% 50,1% 335
2 24,5% 74,6% 407
3 16,3% 90,9% 480
4 7,4% 98,3% 553
5 1,7% 100,0% 626
6 0,2% 100,2% 698
2018 - Brasil - 413

32
Giordano
Giordano - Pisa
Pisa – Níveis de proficiência – Leitura – 2018
Nível L % %Acc Pontos
< 1c 0,4% 0,4%
1c 5,3% 5,7% 189
1b 17,7% 23,4% 262
1a 26,7% 50,1% 335
2 24,5% 74,6% 407
3 16,3% 90,9% 480
4 7,4% 98,3% 553
5 1,7% 100,0% 626
6 0,2% 100,2% 698
2018 - Brasil - 413

33
Giordano
Giordano - Pisa
Pisa – Leitura – Dependências administrativas

34
Giordano
Giordano - Pisa
Pisa – Leitura – Regiões

35
Giordano
Giordano - Pisa
998_Giordano_Pisa_Resultados2018_InepDaeb, p.77 em diante
Pisa – Leitura – Questões e níveis

36
Giordano
Giordano - Pisa
Pisa – Níveis de proficiência – Matemática – 2018 – Com IC
2018
Nível M % %Acc Pontos
< 1 41,0% 41,0%
1 27,1% 68,1% 358
2 18,2% 86,3% 420
3 9,3% 95,6% 482
4 3,4% 99,0% 545
5 0,8% 99,8% 607
6 0,1% 99,9% 669
2018 - Brasil - 384

37
Giordano
Giordano - Pisa
Pisa – Níveis de proficiência – Matemática – 2018
Nível M % %Acc Pontos
< 1 41,0% 41,0%
1 27,1% 68,1% 358
2 18,2% 86,3% 420
3 9,3% 95,6% 482
4 3,4% 99,0% 545
5 0,8% 99,8% 607
6 0,1% 99,9% 669
2018 - Brasil - 384

38
Giordano
Giordano - Pisa
Pisa – Níveis de proficiência – Ciências – 2018 – Com IC
2018
Nível C % %Acc Pontos
< 1b 4,0% 4,0%
1b 19,9% 23,9% 261
1a 31,4% 55,3% 335
2 25,3% 80,6% 410
3 13,9% 94,5% 484
4 4,6% 99,1% 559
5 0,8% 99,9% 633
6 0,0% 99,9% 708
2018 - Brasil - 404

39
Giordano
Giordano - Pisa
Nível C % %Acc Pontos
< 1b 4,0% 4,0%
1b 19,9% 23,9% 261
1a 31,4% 55,3% 335
2 25,3% 80,6% 410
3 13,9% 94,5% 484
4 4,6% 99,1% 559
5 0,8% 99,9% 633
6 0,0% 99,9% 708
2018 - Brasil - 404
Pisa – Níveis de proficiência – Ciências – 2018

40
Giordano
Giordano - Pisa
2005 2007 2009 2011 2013 2015 2017
3,5 3,8 4,0 4,1 4,2 4,5 4,7
2006 2009 2012 2015 2018
381 399 398 392 398
Fontes: Inep e Pisa
Ideb - Anos finais
Pisa
Pisa – Ideb anos finais e Pisa
Comentários?

41
Giordano
Giordano - Pisa
Pisa – 2018 – Female e Male
E? Análises?
Female Male Female Male Female Male
Pontos 426 400 379 388 404 403
EP 2,2 2,5 2,0 2,6 2,1 2,5
Lim Inf
Lim Sup
Matemática Ciências
Pisa 2018 - Brasil
Leitura

42
Giordano
Giordano - Pisa
Pisa – 2018 – Argentina (azul) e Brasil
396 403 356 393 370 390 412 386 405 407 389 402 407 377 401 413 384 404
2018
Pontos
2000 2003 2006 2009 2012 2015

43
Giordano
Giordano - Pisa
Pisa – 2018 – Portugal (azul) e Brasil
396 403 356 393 370 390 412 386 405 407 389 402 407 377 401 413 384 404
2018
Pontos
2000 2003 2006 2009 2012 2015

44
Giordano
Giordano - Pisa
Pisa – 2018 – Singapura (azul) e Brasil
396 403 356 393 370 390 412 386 405 407 389 402 407 377 401 413 384 404
2018
Pontos
2000 2003 2006 2009 2012 2015

45
Giordano
Giordano - Pisa
Pisa – 2018 – Rússia (azul) e Brasil
396 403 356 393 370 390 412 386 405 407 389 402 407 377 401 413 384 404
2018
Pontos
2000 2003 2006 2009 2012 2015

46
Giordano
Giordano - Pisa
Começando
Apresentação
Comentários

47
Giordano
Giordano - Pisa
Comentários, dúvidas, colaborações etc.
giordanopaulasouza@yahoo.com.br

48
Giordano
Giordano - Pisa
Começando
Apresentação
Referências

49
Giordano
Giordano - Pisa
Referências
• AYALA, R. J. The Theory and Practice of Item Response Theory. New York: Guilford Publications, 2008.
• FNQ. Transformando o sistema de indicadores. São Paulo: FNQ, 2019.
• GIORDANO, C. V. É sim possível desenvolver indicadores na educação. In: CILLI, T; GIORDANO, C. V.; LANGHI C.
A Tecnologia da Informação e Comunicação nas Práticas Educacionais. E-Book. Amazon, 2018.
• INEP. Como o Pisa funciona? Acesso em https://www.youtube.com/watch?v=mCkqSDp1g84. Acessado em
01/07/2020.
• INEP . Entenda o Pisa. Acesso em http://download.inep.gov.br/acoes_internacionais/pisa/documentos/2018/
cartilha_diretores_final.pdf. Acesso em 30/06/2020.
• INEP. Entenda sua nota no Enem. Disponível em http://download.inep.gov.br/educacao_basica/enem/
guia_participante/2013/guia_do_participante_notas.pdf. Acessado em 01/07/2020.
• INEP. Pisa. Disponível em http://portal.inep.gov.br/pisa. Acessado entre 01/07/2020 e 05/07/2020.
• INEP. Relatório Brasil no Pisa 2018. Disponível em http://download.inep.gov.br/acoes_internacionais/
pisa/documentos/2019/relatorio_PISA_2018_preliminar.pdf. Acessado em 01/07/2020.
• OECD. Pisa. Disponível em https://www.oecd.org/pisa/. Acessado entre 30/06/2020 a 07/07/2020.
• OECD. Pisa Data. Disponível em https://www.oecd.org/pisa/data. Acessado entre 30/06/2020 a 07/07/2020.
• OECD. Pisa. Publications. Disponível em https://www.oecd.org/pisa/publications. Acessado entre 30/06/2020 a
07/07/2020.
• PASQUALI, L. Teoria de resposta ao item: teoria, procedimentos e aplicações. Curitiba: Appris, 2018.

50
Giordano
Giordano - Pisa
Referências
Referências
• BARBETTA, P. A. Estatística aplicada às ciências sociais. Florianópolis : UFSC, 2010.
• CARLBERG, C. Statistical Analysis – MS Excel. Indianapolis : Que, 2011.
• *CORDER, G. W.; FOREMAN, D. I. Nonparametric statistics. New Jersey : Wiley, 2014.
• EICHLER, A.; ZAPATA-CARDONA, L. Empirical research in statistics education. Los Angeles : Springer,
2016.
• **FÁVERO, Luiz P. et al. Análise de dados: modelagem multivariadas para tomada de decisões. Rio de
Janeiro : Elsevier, 2009.
• **FÁVERO, Luiz P.; BELFIORE, Patrícia. Manual de análise de dados: estatística e modelagem multivariada
com Excel, SPSS e Stata. Rio de Janeiro : Elsevier, 2017.
• FERREIRA, P. L. Estatística multivariada aplicada. Coimbra : Universidade de Coimbra, 2000.
• *FREUND, J. E. Estatística aplicada. Porto Alegre : Bookman, 2006.
• GIBBS, G. Análise de dados qualitativos. Porto Alegre : Artmed, 2008.
• GUPTA, V. Statistical Analysis with Excel. Canadá : VJBooks, 2002.
• **HAIR Jr., J. F et al. Análise multivariada de dados. Porto Alegre : Bookman, 2009.
• KAUFHOLD, J. A. Basic statistics for educational research. New York : iUniverse, 2007.
• *LARSON, R.; FARBER, B. Estatística aplicada. São Paulo : Pearson, 2012.
• POCINHO, M. Estatística no SPSS e Excel. Coimbra : Escola Superior de Tecnologia, 2014.
• RIBAS, J. R.; VIEIRA, P. R. C. Análise multivariada com uso do Excel. São Paulo : Moderna, 2011.
• ***SAMPIERI, R. H; COLLADO, C. F.; LUCIO, P. B. Metodologia da investigação científica. Porto Alegre :
Bookman, 2006.
• WEBSTER, A. L. Estatística aplicada. São Paulo : McGraw Hill, 2007.
* Indicados básicos; ** Indicados avançados. *** Metodologia.
Referências estatísticas

51
Giordano
Giordano - Pisa
Unidade de Pós-graduação, Extensão e Pesquisa
Saberes e práticas em Educação Profissional e em Sistemas Produtivos
Giordano
Julho de 2020
Desmembramentos, análises e avaliações de indicadores
consagrados da Educação: Pisa

001 giordano pisa_202007_oficina

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a 001 giordano pisa_202007_oficina

Semelhante a 001 giordano pisa_202007_oficina (12)

Último

Último (20)

001 giordano pisa_202007_oficina