Breve descripción de los examenes PISA de la OCDE

1. PISA ¿Qué es PISA? PISA en México Elaboración de Reactivos Wenceslao Verdugo Rojas

4. Participación en PISA

13. MÉXICO Y SU SISTEMA EDUCATIVO ANTE PISA

16. SISTEMA EDUCATIVO MEXICANO

19. A mediados de los años setenta, se creó una política de reforma educativa que se caracterizó por un proyecto modernizador que adoptó el concepto de aprendizaje derivado del constructivismo psicológico. La reforma de 1993 abarcó tanto la educación primaria como la secundaria. Los planes y los programas de estudio de Ciencias Naturales en educación primaria se caracterizaron por organizar la enseñanza y el aprendizaje de contenidos básicos , para que los estudiantes: Adquirieran los conocimientos fundamentales para comprender los fenómenos naturales, en particular los que se relacionan con la preservación de la salud, con la protección del ambiente y con el uso racional de los recursos naturales, así como aquellos que proporcionan una visión organizada de la historia y la geografía de México .

23. De acuerdo con los ejes temáticos de los programas de Ciencias Naturales de la SEP, los estudiantes contarían con conocimiento científico que incluye tanto el conocimiento del mundo natural, como el conocimiento acerca de la propia ciencia que evalúa PISA.

24. Por lo que podría afirmarse que los estudiantes cuentan con los repertorios suficientes para resolver la evaluación que se aplica de PISA, esperando lograr un buen desempeño en su ejecución, sin embargo, no se debe perder de vista que los programas no son el único factor responsable de los niveles de desempeño de los estudiantes frente a una evaluación

27. CANTIDAD DE ESCUELAS Y ESTUDIANTES EVALUADOS POR PISA EN MÉXICO 30,971 2,735 33,706 1,140 PISA 2006 Estudiantes PISA 15 años Estudiantes sólo Grado Modal 29,983 1,124 PISA 2003 5,276 183 PISA 2000 Estudiantes evaluados Escuelas evaluadas Ciclo

28. POBLACIÓN Y MUESTRA DE ESTUDIANTES DE LOS PAISES SELECCIONADOS PISA 2006 5,184 100.0 139,119 139,119 Azerbaiján 15 4,640 100.0 153,331 153,331 Túnez 14 5,611 100.0 4,192,939 4,192,939 Estados Unidos 2 4,478 60.6 543,630 897,477 Colombia 7 22,646 100.4 428,876 426,967 Canadá 11 4,714 100.0 66,232 66,232 Finlandia 20 4,942 56.3 800,968 1,423,514 Turquía 6 30,971 62.9 1,383,364 2,200,916 México 5 10,647 73.6 3,119,393 4,238,600 Indonesia 1 Muestra de estudiantes participantes Porcentaje de la población de 15 años inscrita al menos en secundaria Población de 15 años inscrita al menos en secundaria Población total de jóvenes de 15 años de edad País Núm.

29. Estudiantes de secundaria y educación media superior Por grado escolar y género, PISA 2006 *CINE, Clasificación Internacional Normalizada de Educación. ** Los totales no corresponden a los 30,971 estudiantes, porque se excluyó capacitación para el trabajo. 42.7 42.8 43.6 52.5 53.3 56.0 % HOMBRES 57.3 57.2 56.4 47.5 42.7 44.0 % MUJERES 30,454 949 2,354 20,789 4,607 1273 482 TOTAL** 13,901 405 1,007 9,069 2,420 730 270 HOMBRES 16,553 544 1,347 11,720 2,187 543 212 MUJERES TOTAL 12° 11° 10° 9° 8° 7° GRADO CINE* 3° 2° 1° 3° 2° 1° GRADO EDUCACIÓN MEDIA SUPERIOR SECUNDARIA

30. Estudiantes por modalidad de servicio, PISA 2006 EN TOTAL FUERON 1140 ESCUELAS DE LAS CUALESPOR NIVEL FUERON; 258 EN SECUNDARIA ( 22.6%)‏ 835 EN EDUC. MEDIA SUPERIOR (73.2%)‏ 47 EN CAPACITACIÓN PARA EL TRABAJO (4.1%)‏ DE ESAS 1140 CORRESPONDIERON 994 AL SECTOR PUBLICO 146 AL SECTOR PRIVADO 100.0 30,971 Total 1.7 517 Capacitación para el trabajo Sin nivel 77.8 24,092 Subtotal bachillerato 6.1 1,879 Profesional Técnico 27.4 8,483 Bachillerato Tecnológico 44.3 13,730 Bachillerato General Educación media superior 20.5 6,362 Subtotal secundaria 2.0 606 Telesecundaria 0.3 104 Para trabajadores 7.1 2,203 Técnica 11.1 3,449 General Secundaria % n Modalidad de servicio Nivel

31. MEDIAS DE DESEMPEÑO Y ESTATUS ECONOMICO SOCIAL PISA 2006 0 2.8 382 Azerbaiján 15 0 3.0 386 Túnez 14 2 4.2 489 Estados Unidos 2 0 3.4 388 Colombia 7 4 2.0 534 Canadá 11 4 2.0 563 Finlandia 20 1 3.8 424 Turquía 6 0 2.7 410 México 5 0 5.7 393 Indonesia 1 NIVEL ERROR ESTANDAR MEDIA País Núm. 0.02 + 0.26 0.03 - 0 .45 0.07 - 1 .20 0.02 + 0.37 0.05 - 1 .00 0.04 - 1 .28 0.03 - 0.67 0.04 + 0.14 0.05 - 1 .52 ERROR ESTANDAR ESTATUS ECONOMICO SOCIAL

32. Ubicación de los países del grupo de comparación de acuerdo con su media de desempeño esperada en la escala global de Ciencias , PISA 2006 Canadá, España, Finlandia, Hong Kong-China y Portugal México , Brasil, Chile, Estados Unidos, Federación Rusa, Indonesia, Tailandia, Turquía y Túnez Argentina, Azerbaiján, Bulgaria, Colombia, Kyrgyzstán, Qatar, Rumania y Uruguay Países con media de desempeño mayor que lo esperado Países con media de desempeño dentro de lo esperado Países con media de desempeño menor que lo esperado

34. PISA Elaboración de Reactivos

35. Teorías generales Teoría clásica del test y Teoría de Respuesta al ítem

36. Descripción de competencias LECTURA NIVEL 5. En este nivel los estudiantes son capaces de completar reactivos de lectura sofisticados, tales como los relacionados con el manejo de información difícil de encontrar en textos con los que no están familiarizados; mostrar una comprensión detallada de dichos textos e inferir qué información del texto es relevante para el reactivo; así como evaluar críticamente y establecer hipótesis.

37. Descripción de competencias LECTURA NIVEL 4. Los estudiantes son capaces de responder reactivos de lectura difíciles, tales como: ubicar información anidada, interpretar significados a partir de sutilezas del lenguaje y evaluar críticamente un texto.

38. Descripción de competencias LECTURA NIVEL 3. Los estudiantes que dominan el nivel 3 de la escala, son capaces de manipular reactivos de lectura de complejidad moderada, tales como ubicar fragmentos múltiples de información, vincular distintas partes de un texto y relacionarlo con conocimientos familiares cotidianos. .

39. Descripción de competencias LECTURA NIVEL 2. Los estudiantes que dominan el nivel 2 de la escala, son capaces de responder reactivos básicos de lectura, tales como ubicar información directa, realizar inferencias sencillas de distintos tipos, determinar lo que significa una parte bien definida de un texto, y emplear cierto nivel de conocimientos externos para comprenderla.

40. Descripción de competencias LECTURA NIVEL 1. Los estudiantes que dominan este nivel son capaces de realizar sólo los reactivos de lectura menos complejos que se han desarrollado para PISA, como ubicar un fragmento de información, identificar el tema principal de un texto o establecer una conexión sencilla con el conocimiento cotidiano.

41. Descripción de competencias MATEMÁTICAS NIVEL 3. Hacia el nivel más alto, los estudiantes normalmente toman una postura activa y creativa en su acercamiento a los problemas matemáticos. Así, interpretan y formulan problemas en términos de matemáticas, son capaces de manejar la información más compleja y de negociar una serie de pasos de procesamiento. Muestran otros procesos cognoscitivos de alto nivel tales como generalización, razonamiento y argumentación para explicar y comunicar resultados.

42. Descripción de competencias MATEMÁTICAS NIVEL 2. En este nivel de la escala, los estudiantes suelen ser capaces de interpretar, vincular e integrar representaciones distintas de un problema o diferentes fragmentos de información; manipular y emplear un modelo dado, que a menudo involucra el uso de álgebra u otras representaciones simbólicas; así como trabajar con estrategias, modelos o proposiciones dadas.

43. Descripción de competencias MATEMÁTICAS NIVEL 1. En el extremo bajo de la escala, los estudiantes son generalmente capaces de completar solamente un paso de procesamiento, el cual consiste en la reproducción de elementos matemáticos básicos o en aplicar habilidades simples de cálculo. Cualquier interpretación o razonamiento, casi siempre involucra el reconocimiento de un elemento familiar en el problema. La solución requiere de la aplicación de procedimientos rutinarios en un solo paso de procesamiento.

44. Descripción de competencias CIENCIAS NIVEL 3. Los estudiantes son capaces de crear o emplear modelos conceptuales para hacer predicciones o dar explicaciones; son capaces de analizar investigaciones científicas con objeto de comprender, por ejemplo, el diseño de un experimento o de identificar una idea que se está poniendo a prueba. Comparan datos con el fin de evaluar puntos de vista alternativos o perspectivas distintas, y comunican argumentos científicos o descripciones detalladas y precisas.

45. Descripción de competencias CIENCIAS NIVEL 2. Los alumnos son normalmente capaces de emplear los conceptos científicos para hacer predicciones o dar explicaciones; de reconocer preguntas que pueden ser respondidas mediante la investigación científica o identificar detalles de lo que está involucrado en una investigación científica y; seleccionar información relevante entre datos que compiten o cadenas de razonamiento para obtener o evaluar conclusiones.

46. Descripción de competencias CIENCIAS NIVEL 1. En el extremo bajo de la escala, los estudiantes son capaces de recordar conocimientos científicos simples (como nombres, datos, terminología, reglas sencillas) y; emplear el conocimiento científico común para obtener o evaluar conclusiones.

47. Descripción de competencias CIENCIAS NIVEL 1. En el extremo bajo de la escala, los estudiantes son capaces de recordar conocimientos científicos simples (como nombres, datos, terminología, reglas sencillas) y; emplear el conocimiento científico común para obtener o evaluar conclusiones.

48. Definición del marco de referencia de los dominios de evaluación La función del marco de referencia es dirigir las evaluaciones de PISA. En éste se defi ne cada dominio, describe el alcance de la evaluación, el número de reactivos que se necesitan para medir cada componente del dominio, determina el balance de los tipos de preguntas y bosqueja el tipo de reporte de resultados.

49. Desarrollo de pruebas El grupo responsable para el desarrollo de las pruebas se integra por personal del Australian Council for Educational Research (ACER) y de CITI Group , además participan miembros de los FEGs (functional expert groups), traductores y revisores de reactivos de los centros nacionales, quienes contribuyen sustancialmente al proceso para el desarrollo de las pruebas. Abarca las siguientes actividades:

50. Desarrollo de pruebas a) Convocatoria para el diseño de reactivos. El consorcio convoca a los países participantes a enviar reactivos, de acuerdo con las guías elaboradas ex profeso . b) Diseño de reactivos y revisión técnica y de congruencia. El grupo encargado del diseño de las pruebas revisa los reactivos enviados por los países y se asegura que sean consistentes con el marco de referencia, y que técnicamente estén bien diseñados. c) Revisión de reactivos por un grupo de expertos. El proceso de revisión se realiza, primero por parte de expertos, después en los países participantes, y finalmente, por los FEGs de cada dominio.

51. Desarrollo de pruebas Se preparan dos tipos de materiales para el calificador: la Guía de Calificación y el Manual de Capacitación de cada dominio. La guía incluye la forma de asignar los códigos a las respuestas, y el manual sirve para ejercitar a los calificadores en su tarea de asignación de códigos.

52. Desarrollo de pruebas Prueba piloto, selección, revisión técnica y de expertos de los reactivos para el estudio; y revisión cultural. En promedio, cada reactivo es respondido por 150 ó 200 estudiantes por país en la prueba piloto. La revisión y selección de los reactivos para la prueba definitiva es realizada por los revisores nacionales, el grupo de diseño de la prueba, los FEGs, y el grupo de expertos encargado de la revisión cultural de los reactivos.

53. Desarrollo de pruebas La conformación del banco de reactivos e integración de pruebas. El banco de reactivos de las pruebas almacena y permite la selección de los reactivos. Después de la prueba piloto, se obtiene y captura la información estadística de los reactivos, como los índices de dificultad y de discriminación.

54. Normas para la construcción de reactivos Generales Los reactivos deben corresponder al contenido y nivel taxonómico asignados en la tabla de referencia. Los reactivos deben apegarse a la información fuente, así como a la ciencia o disciplina científica de que se trate. Los reactivos deben presentar un problema bien definido, es decir, incluir todos los elementos necesarios y suficientes para la solución del mismo.

55. Normas para la construcción de reactivos Generales Los reactivos deben incluir estrictamente los elementos necesarios para comprender adecuadamente el problema planteado. Los reactivos deben tener coherencia gramatical. Los reactivos deben ser independientes entre sí, para evitar que unos ayuden a contestar otros. necesarios y suficientes para la solución del mismo.

56. Normas para la construcción de reactivos Generales Las respuestas de los reactivos no deben ser condición para resolver el (los) siguiente(s) reactivo(s). Deben redactarse en términos sencillos, claros y precisos, considerando el lenguaje empleado en las fuentes de información y/o el lenguaje propio del nivel y grado educativos..

57. Normas para la construcción de reactivos Generales No deben formularse con la misma redacción utilizada en las fuentes de información, excepto cuando se trate de leyes y definiciones, los cuales deben entrecomillarse. Cuando en una prueba se incluya textualmente un escrito, se debe anexar la fuente para verificar que se ha respetado fielmente el original. Si el texto proporcionara pocos elementos para construir un reactivo, es conveniente usar sinónimos comunes.

58. Normas para la construcción de reactivos Generales No deben involucrar, de manera irónica, nombres de funcionarios e instituciones públicas. La respuesta de cada reactivo debe anotarse en la plantilla de claves o en el cuadro de respuestas y en la tarjeta reactivo.

59. Normas para la construcción de reactivos Generales Deben plantearse en forma afirmativa. No deben incluirse marcas de productos y/o circunstancias que fomenten el consumismo y los vicios. No debe incluir nombres de personajes ficticios empleados en los medios masivos de comunicación .

61. Video debate

62. Es todo...