Este documento presenta una revisión de la OCDE sobre marcos y políticas de evaluación educativa para mejorar los resultados del aprendizaje. Se analizan temas clave como fomentar las sinergias dentro del marco de evaluación, alinear la evaluación con los objetivos de aprendizaje de los estudiantes, poner el foco en la mejora de las prácticas de aula y promover la profesionalización docente. También se discuten opciones de política para concebir de manera eficaz la función de rendición de cuentas de la evaluación

1. Revisión de la OCDE de marcos y políticas de evaluación
educativa para mejorar los resultados del aprendizaje
Como puede la evaluación favorecer el aprendizaje de
los alumnos? Como sabemos si los alumnos están
aprendiendo?
Paulo Santiago
Dirección de la Educación y de las
Competencias, OCDE
Reunión Regional de los Puntos Focales de Educación de la
UNICEF en ALC
APRENDIZAGE, EQUIDAD e INOVACIÓN
9-12 de Junio 2004 en la Ciudad de Panamá, Panamá

2. 1. Características principales de la
Revisión
2. Temas clave
3. Recomendaciones más específicas
4. Evaluación de alumnos: una mirada
más detallada
Esquema de la presentación

3. 1. Características principales de la
Revisión

4. Revisión de la OCDE de marcos y políticas de
evaluación educativa para mejorar los resultados del
aprendizaje
• Propósito: Explorar cómo los sistemas de evaluación pueden utilizarse para
mejorar la calidad, equidad y eficiencia de la educación.
• Foco: Una revisión de los enfoques nacionales de evaluación de la educación
(primaria y secundaria)
• Enfoque integral: La revisión analiza los diferentes componentes de la
evaluación, tales como:
– Evaluación de alumnos;
– Evaluación de docentes;
– Evaluación de centros educativos;
– Evaluación de directores;
– Evaluación del sistema educativo.
Investigación de cada componente
individual, así como la coherencia
del marco de evaluación en su
conjunto (incluyendo los vínculos
entre los diferentes componentes).

5. Revisión de la OCDE de marcos y políticas de
evaluación: Metodología
Cadena de análisis
– Revisión de la literatura y la evidencia sobre el impacto de los procedimientos de evaluación
– Recopilación de datos sobre las políticas y prácticas de los países
Cadena de revisión por país
– Las revisiones por países proporcionan consejos específicos para cada caso
– Equipo de revisión dirigido por la OCDE
Informe de síntesis
– Informe comparativo que analiza las opciones de política y destaca las buenas prácticas
entre los países
Una amplia gama de grupos involucrados
– Coordinadores nacionales y grupos informales dentro de los países para producir los informes de
antecedentes de cada país
– Participaron 30 revisores externos en los equipos dirigidos por la OCDE
– Cerca de 90 centros educativos visitados y más de 2.800 personas entrevistadas
– Vínculos con otras organizaciones internacionales y grupos de interesados ​​clave (BIAC, TUAC, EC,
Eurydice, Banco Mundial, SICI, UNESCO)
– Colaboración con otras unidades de la OCDE (PISA, TALIS, los proyectos del CERI, Indicadores de
la Educación)

6. Revisión de la OCDE de marcos y políticas de
evaluación: Participación
• 29 sistemas proporcionaron datos detallados sobre sus prácticas de
evaluación (Estonia, Israel y España, además de los países que aparecen
más abajo)
• 26 sistemas prepararon un exhaustivo informe de antecedentes por país
• 14 sistemas (en verde) optaron por una revisión por país
Australia, Austria, Bélgica (Comunidad Flamenca), Bélgica (Comunidad
Francesa), Canadá, Chile, República Checa, Dinamarca, Finlandia,
Francia, Hungría, Islandia, Irlanda, Italia, Corea, Luxemburgo, México,
Holanda, Nueva Zelanda, Noruega, Polonia, Portugal, Eslovaquia,
Eslovenia, Suecia y Reino Unido (Irlanda del Norte).

7. 2. Temas clave

8. Problema:
Muchos países no tienen un marco integrado de evaluación, sino una serie de componentes que
operan en distintos niveles y que se desarrollaron de forma independiente a lo largo del
tiempo
Potencial de generar complementariedades, evitando la duplicación y previniendo la
inconsistencia de objetivos
Desafíos y opciones:
– Conformar un marco de evaluación – elaborar un documento de estrategia en el que se
conceptualice un marco de evaluación coherente
– Aclarar las responsabilidades a través del marco
– Establecer articulaciones dentro del marco de evaluación
• Dentro de los componentes específicos del marco general de evaluación
por ejemplo, evaluación y desarrollo profesional docente, autoevaluación y evaluación externa de los
centros educativos
• Entre los componentes específicos del marco general de evaluación
por ejemplo, evaluación y desarrollo del centro educativo; evaluación de docentes y de alumnos;
evaluación del centro educativo y del sistema; evaluación del centro educativo y de los directores;
evaluación del centro educativo y de los alumnos
• Procesos para asegurar la coherencia de los procedimientos de evaluación
por ejemplo, procesos de revisión para la evaluación docente y la evaluación basada en el docente.
1 – Fomento de las sinergias dentro del marco de evaluación

9. 2 – Alinear la evaluación con los objetivos de aprendizaje de los
alumnos
Problema:
Un aspecto clave es la alineación del marco de evaluación con las metas educativas y los
objetivos de aprendizaje de los alumnos
Desafíos:
– Si los sistemas están mal alineados es imposible sacar conclusiones válidas de los resultados de
las evaluaciones
– La desalineación puede tener consecuencias sobre la enseñanza y el aprendizaje
– Ningún sistema puede lograr la alineación perfecta – los sistemas educativos son complejos
Opciones:
– Los procedimientos de evaluación se deben alinear con los principios centrales de los objetivos
de aprendizaje de los alumnos (por ejemplo, aprendizaje centrado en el alumno, trabajo
colaborativo)
– Los procedimientos de evaluación requieren una alineación directa con los objetivos de
aprendizaje de los alumnos (por ejemplo, aptos para las evaluaciones de propósitos)
– Los docentes deben tener una comprensión clara de los objetivos de aprendizaje de los
estudiantes (por ejemplo, una articulación clara de los objetivos; criterios y directrices para la
evaluación; la capacidad docente, la colaboración entre los maestros)
– Es esencial evaluar el impacto de la evaluación en la calidad de la enseñanza y el aprendizaje
(por ejemplo, efectos no deseados)

10. Problema:
A menudo las estructuras, los programas y los recursos se centran más en un enfoque de
arriba hacia abajo y menos en la reflexión sobre la construcción de canales que fomenten la
mejora en el aula
Desafíos:
– La evaluación no tiene valor si no conduce a la mejora de la práctica en el aula y del
aprendizaje de los alumnos
– La función de mejora se logra más a nivel local – es difícil para la política llegar al aula
– Riesgo de que los procedimientos de evaluación no pongan el foco en la enseñanza y el
aprendizaje
Opciones:
– Diseñar el marco de evaluación de forma que facilite su impacto en las prácticas de aula, el rol
de las estructuras locales
– Promover el uso habitual de los resultados de las evaluaciones para mejoras en el aula –
énfasis en la función de mejora
– Asegurar que la evaluación de la calidad de la enseñanza y el aprendizaje es fundamental para
los procesos de evaluación
– Fomentar el profesionalismo docente – los docentes como los actores centrales que vinculan la
evaluación al aula
3 – Poner el foco en la mejora de las prácticas de aula y
fomentar la profesionalización docente

11. Problema:
Importancia creciente de la rendición de cuentas como un objetivo de la evaluación (informes
públicos de los resultados escolares, recompensas y sanciones sobre la base de los resultados
de la evaluación): creación de incentivos para mejorar el rendimiento - oportunidad de
reconocimiento y recompensas, e información para los padres y la sociedad.
Desafíos:
– Posibles efectos negativos (por ejemplo, “enseñar para la prueba”, “estrechamiento del
currículo”)
– La función de rendición de cuentas no debe obstaculizar la función de mejora
– Transmite un concepto de evaluación de "control", "cumplimiento", "medida"
– Esto podría limitar la apropiación de la evaluación por parte de los actores de los centros
Opciones:
– Comunicar los propósitos de la evaluación
– Construir una gama de componentes de evaluación para lograr una variedad de funciones
– Publicar datos cuantitativos que serán percibidos como justos por las escuelas y establecer un
conjunto más amplio de evidencias
– Evitar darle excesiva importancia a los exámenes estandarizados del estudiante como un
instrumento de rendición de cuentas
– Cautela con las recompensas basadas en el desempeño (por ejemplo, la promoción en la
carrera en lugar de bonos)
4 – Concebir de manera eficaz la función de rendición de
cuentas de la evaluación

12. Problema:
Un principio deseable en el diseño del marco de evaluación es colocar al estudiante en el centro,
ya que el propósito fundamental de la evaluación es mejorar los aprendizajes de los alumnos
Desafíos:
– Enseñanza, aprendizaje y evaluación aún pueden tener lugar en un ambiente un tanto
"tradicional" con un papel más pasivo de los estudiantes en su aprendizaje
– Escasa atención a la motivación de los estudiantes y el desarrollo de habilidades para "aprender
a aprender"
– La recolección de las visiones y perspectivas de los padres y alumnos no es una práctica general
Opciones:
– Enfoques de enseñanza, aprendizaje y evaluación que se centran en el aprendizaje real de los
estudiantes
– Evaluación enfocada en mejorar los resultados de aprendizajes de los alumnos
– Estudiantes que participen plenamente en el aprendizaje (que contribuyan a la planificación, la
comunicación de las expectativas de aprendizaje, la evaluación de su aprendizaje,
beneficiándose de un apoyo individualizado y el aprendizaje diferenciado)
– Utilizar la retroalimentación proveniente de los estudiantes para la evaluación formativa de los
docentes
– Participación de los padres y la comunidad (el aprendizaje como una responsabilidad
compartida)
5 – Colocar al estudiante en el centro

13. 6 – Yendo más allá de la medición en la evaluación educativa
Problema:
Creciente énfasis en la medición de los resultados de los alumnos; la proliferación de los
indicadores educativos y el establecimiento de objetivos educativos
Proporciona potencial para colocar los resultados del estudiante como el centro del análisis; el
monitoreo de los resultados de aprendizajes clave de los estudiantes; compartir
responsabilidades con los interesados
Desafíos:
– Garantizar la amplitud de las medidas de desempeño
– Asegurar comparaciones justas y con sentido
– Evitar los efectos negativos de los usos para la rendición de cuentas
– Prevenir el predominio de lo cuantitativo sobre lo cualitativo
Opciones:
– Asegurar que la elaboración de políticas se base en evaluaciones de alta calidad, pero no que
dependa únicamente de su disponibilidad
– Otorgar un rol importante al análisis y la investigación cualitativas
– Asegurar un enfoque amplio de monitoreo nacional
– Claridad de los fines del uso de los resultados de las pruebas estandarizadas

14. Problema:
Las políticas de evaluación a menudo son implementadas sin la debida atención a la capacidad de
desarrollo
El desarrollo de capacidades ofrece un potencial para reforzar la eficacia de los procedimientos de
evaluación, involucrar a los estudiantes como aprendices activos y fortalecer la
profesionalización docente
Desafío:
Legitimación de los evaluadores y los procedimientos de rendición de cuentas; habilidades para
beneficiarse de la evaluación
Ejemplos de áreas para desarrollar capacidades: desarrollo de pruebas estandarizadas; evaluación
formativa; evaluación con respecto a estándares; sistemas que ejecutan pruebas externas al
estudiante; capacidad de análisis en los organismos de educación para utilizar la información a
nivel del sistema; habilidades de manejo de datos de los actores; evaluadores formales de los
actores de la escuela; competencias para la observación del trabajo en el aula.
Opciones:
– Sostener esfuerzos para mejorar la capacidad de evaluar de los docentes y los alumnos
– Fortalecer la capacidad de los directores para el desarrollo de los centros y del liderazgo de
enseñanza
– Asegurar el apoyo de las autoridades educativas y la identificación de las mejores prácticas
– Necesidad de una importante capacidad a nivel nacional para dirigir la evaluación y para
promover el uso de los resultados para mejorar
7 - Promover la capacidad de evaluación

15. Problema:
Pasar del diseño a la implementación exitosa
Desafíos:
– La implementación de las políticas de evaluación es compleja, implica a una gran cantidad
de actores con diferentes intereses, y requiere debates informados y capacitación
– Una variedad de factores pueden dificultar la implementación: falta de consenso; falta de
cultura de evaluación; información y guía insuficientes; limitada participación de los
profesionales; competencias inadecuadas; falta de recursos; mal liderazgo.
Opciones:
– Política de evaluación basada en un diagnóstico de política informado, elaborado con las
mejores prácticas, respaldadas por la evidencia científica y consistente (intrínsecamente y
con otras políticas educativas)
– Construir el consenso y la participación de profesionales de la educación
– Utilizar pruebas y experiencias piloto; oportunidades para la retroalimentación a partir de
las experiencias de aplicación de las políticas
– Desarrollar conocimientos y capacidad; reducir las excesivas demandas burocráticas;
garantizar los recursos necesarios
8 – Implementar la política de evaluación de forma exitosa

16. 3. Recomendaciones más
específicas

17. Evaluación del sistema educativo:
Opciones de política (1)
Gobernanza: ser sistemático y estratégico para diseñar políticas mejor
informadas
• Garantizar una amplia concepción de la evaluación del sistema educativo en el marco de
evaluación
• Asegurar que el diseño de políticas se realice a partir de mediciones de alta calidad, pero no
que dependa de su disponibilidad
• Situar la evaluación del sistema educativo en el contexto amplio de los requerimientos para
el desempeño del sector público
Procedimientos: desarrollar un enfoque para aprender a partir de una amplia
base de evidencia
• Desarrollar un marco nacional de indicadores
• Diseñar una estrategia nacional para monitorear los estándares de aprendizaje de los
alumnos
• Asegurar el relevamiento de: información cualitativa; información contextual para
monitorear la equidad
• Garantizar el monitoreo de los cambios a lo largo del tiempo y el progreso de cohortes
particulares de estudiantes

18. Evaluación del sistema educativo:
Opciones de política (2)
Capacidad: asegurar la continuidad y la credibilidad
• Establecer y asegurar la capacidad para la evaluación del sistema educativo
• Promover el desarrollo de la capacidad de evaluación en el nivel local de autoridad
• Asegurar objetividad y credibilidad en las actividades de evaluación del sistema
Uso de resultados: Fortalecer el análisis para la mejora el sistema
• Fortalecer el análisis de los resultados de la evaluación del sistema para planificar y
desarrollar políticas
• Comunicar resultados clave a los actores involucrados
• Garantizar la retroalimentación para el monitoreo local

19. Evaluación de centros educativos:
Opciones de política (1)
Gobernanza: Basar todas las opciones en procedimientos,
capacidad y uso de resultados
• Clarificar el rol y el propósito de la evaluación de centros
• Focalizar en la mejora de la enseñanza, el aprendizaje y los resultados de los
estudiantes
• Evaluar y adaptar las evaluaciones externas para reflejar la madurez de la cultura de
evaluación de centros
• Elevar el perfil de la autoevaluación de centros
Procedimientos: Modos de minimizar la carga y maximizar la
justicia
• Desarrollar criterios nacionales acordados sobre calidad escolar para guiar la
evaluación de centros
• Desarrollar recursos apropiados para autoevaluación
• Asegurar la transparencia en los procedimientos evaluación externa y una fuerte
base de evidencia

20. Evaluación de centros educativos:
Opciones de política (2)
Capacidad: una prioridad para la mejora escolar
• Asegurar la credibilidad de los evaluadores externos y suficiente capacidad y
actualización.
• Fortalecer a los directores de centros en su capacidad de estimular una cultura
efectiva de autoevaluación
• Promover el compromiso de todo el personal y el alumnado en la autoevaluación
• Promover evaluación entre pares
Uso de resultados: Aprender qué mejorar y dónde intervenir
• Promover un amplio uso de los resultados de las evaluaciones externas y asegurar un
seguimiento sistemático
• Optimizar la retroalimentación para la autoevaluación y la planificación del desarrollo
• Reportar un amplio conjunto de mediciones de desempeño escolar con información
contextual adecuada

21. Evaluación de docentes:
Opciones de política (1)
Gobernanza: Establecer un marco coherente para la evaluación de
docentes
– Consolidar la evaluación regular para el desarrollo a nivel de centros educativos
– Establecer evaluaciones periódicas para avanzar en la carrera docente, involucrando
evaluadores externos
– Resolver tensiones entre la función de desarrollo y la de rendición de cuentas
Procedimientos: Asegurar un enfoque exhaustivo de la evaluación
docente
– Establecer estándares docentes para guiar su evaluación
– Usar múltiples instrumentos y fuentes de evidencia
– Proveer apoyo para observaciones en aula eficaces
– Evitar el uso simplista de los resultados de las evaluaciones de estudiantes para la
evaluación docente

22. Evaluación de docentes:
Opciones de política(2)
Capacidad: Construir capacidad para evaluadores y evaluados
– Preparar a los docentes para su rol en el proceso de evaluación
– Fortalecer la capacidad de los directores de centros educativos para la evaluación
docente
– Asegurar que los evaluadores designados están calificados adecuadamente para su rol
Uso de resultados: aplicar los resultados al desarrollo profesional, el
avance en la carrera y la rendición de cuentas
– Asegurar que la evaluación docente se alimenta del desarrollo profesional y escolar
– Establecer vínculos entre evaluación docente y decisiones de avance en la carrera
– Asegurar que el bajo nivel de desempeño es identificado y redirigido adecuadamente

23. 4. Evaluación de alumnos: una
mirada más detallada

24. Evaluación de alumnos:
Análisis – gobernanza (1)
Propósitos
Evaluación formativa:
• Diagnosticar necesidades de aprendizaje y diferenciar la enseñanza;
• Proveer retroalimentación a tiempo a los estudiantes
• Comprometer activamente a los estudiantes en su propio aprendizaje; fortalecer su
auto-monitoreo
• Ayudar a docentes y estudiantes a ajustar estrategias de enseñanza y
Evaluación sumativa:
• Señalar estándares altos y desempeño esperado
• Motivar a los alumnos a aumentar su esfuerzo y su logro
• Proveer a los alumnos, sus familias y otros información sobre el desempeño de los
estudiantes
• Certificar aprendizajes y premiar calificaciones

25. Evaluación de alumnos:
Análisis – gobernanza (2)
Equilibrar propósitos de evaluación formativa y sumativa
Si bien la atención a la información y los resultados es un factor positivo en los sistemas
educativos, sobre-enfatizar en ellos puede tener un impacto negativo, y socavar el papel
formativo de los docentes y evaluaciones a veces tan valorados en los objetivos políticos.
El desafío es asegurar que los docentes vayan más allá de la superficie de las técnicas de
evaluación formativa (tales como “evaluaciones sumativas realizadas más seguido” o
retroalimentación inespecífica) para adoptar una evaluación efectiva de los enfoques de
aprendizaje.
Desarrollar marcos de evaluación coherentes, donde cada evaluación se ajusta a
su propósito
– La necesidad de que la evaluación cumpla diferentes funciones
– Evaluaciones diseñadas en línea con su propósito específico – riesgo de usar un único
test para demasiados objetivos.

26. Evaluación de alumnos:
Análisis – gobernanza (3)
Distribución de responsabilidades
– Los centros educativos tienden a tener una autonomía considerable para
establecer modos de evaluación interna
– Una variedad de grupos pueden estar involucrados en asegurar el cumplimiento de
las evaluaciones sumativas (directores, consejos escolares, autoridades locales,
inspecciones)
– La autoridad educativa central y/o las agencias centrales de evaluación están
generalmente a cargo de las evaluaciones externas
– En algunos países, proveedores privados ofrecen evaluaciones estandarizadas de
alumnos
Equilibrar evaluaciones externas y evaluaciones basadas en el docente
– La mayor ventaja de la evaluación externa estandarizada es su alta confiabilidad,
pero muchas veces es criticada por tener menos validez que la evaluación basada
en el docente
– La evaluación basada en el docente tiene mayor potencial para cubrir el rango
completo de objetivos de aprendizaje de los estudiantes pero esto depende de las
oportunidades de evaluaciones brindadas por los docentes. Es también percibida
como menos confiable que la evaluación externa.

27. Evaluación de alumnos:
Análisis – procedimientos (1)
Criterios y rúbricas de puntuación
Los criterios de evaluación detallados, rúbricas de puntuación y ejemplares para guiar la
práctica evaluativa no están generalizados en todos los países
Materias evaluadas
– La evaluación interna generalmente se espera que cubra todas las materias.
– La evaluación externa frecuentemente focaliza en lenguaje y matemática. Ciencias y
lenguas extranjeras modernas son frecuentemente evaluadas.
Instrumentos y enfoques de evaluación
Evaluación estandarizada
– Evaluaciones múltiple opción
– Evaluaciones adaptativas
– Evaluaciones de desempeño
– Evaluaciones de desempeño informatizadas
Evaluaciones basadas en el docente
Pruebas escritas y orales; ensayos escritos; informes de laboratorio; juegos de rol,
presentaciones; carpetas.

28. Evaluación de alumnos:
Análisis – procedimientos (2)
Garantizar la coherencia a través de la moderación
La moderación es un conjunto de enfoques orientados a asegurar la calidad y la
comparabilidad de los juicios de evaluación (por ejemplo, revisiones cruzadas entre
docentes, discusiones en grupo sobre desempeño de los estudiantes, o comuna
organización externa que chequea sistemáticamente las calificaciones del centro
educativo).
Uso de la tecnología
Uso muy limitado de la tecnología para promover formatos de evaluación innovadores.
República Checa, Nueva Zelanda, Noruega usan tecnología informática uniforme para
administrar pruebas.
Solo Dinamarca y los Países Bajos usan tecnología informática con pruebas adaptativas.
Equidad y justicia en el diseño de las evaluaciones
– Hacer evaluaciones libres de sesgo
– Considerar a grupos específicos de alumnos
– Mejorar la equidad a través de múltiples oportunidades de evaluación

29. Evaluación de alumnos:
Análisis – competencias
Capacidad del estudiante para la evaluación
Recientemente, ha aumentado el énfasis en el rol del alumno en la evaluación, no solo como un
participante activo, sino también como el conector crítico entre evaluación y aprendizaje.
– Autoevaluación y evaluación por pares son procesos potentes orientados a mejorar el rol de los
alumnos en su propia evaluación.
– Para ayudar a los estudiantes a monitorear su propio aprendizaje, es esencial que comprendan
las metas y qué necesitan hacer para alcanzarlas.
– Los docentes también necesitan aprender cómo desarrollar enseñanza y evaluación orientadas
al alumno y cómo introducir prácticas de autoevaluación en las actividades regulares.
Desarrollo de competencias docentes
– Foco creciente en la evaluación de alumnos en la formación docente inicial
– Oferta creciente de cursos de desarrollo profesional para docentes
– Otros enfoques para el aprendizaje profesional, tales como portales de evaluación,
guías, consejeros de evaluación, redes, proyectos
– La moderación se implementa en muchos países e en torno a la calificación de
exámenes centrales, o informalmente en y entre centros educativos.
Guías y herramientas para desarrollar una práctica de evaluación eficaz

30. Evaluación de alumnos:
Opciones de política (1)
Gobernanza: Establecer un marco coherente para evaluación de alumnos
– Equilibrio entre lo formativo y lo sumativo; evaluación interna y externa
– Base en documentos de referencia bien articulados (currículo, estándares, progresiones
de aprendizaje, criterios para juzgar desempeño y ejemplos ilustrando los diferentes
niveles de logro)
– Claridad de propósito
Procedimientos: Asegurar un enfoque exhaustivo de la evaluación de alumnos
– Utilizar una variada gama de tipos de evaluación para lograr una imagen completa del
aprendizaje del estudiante
– Promover formatos de evaluación que capten las competencias valiosas
– Construir enfoques innovadores y profundizar en el potencial de las TIC
– Brindar herramientas y guías para apoyar una eficaz evaluación basada en el docente

31. Evaluación de alumnos:
Opciones de política (2)
Capacidad: Elaborar un marco de evaluación participativo y construir
competencias de evaluación a través del sistema
– Construir capacidad en los alumnos para comprometerse en su propia evaluación
– Promover el profesionalismo docente en evaluación
– Desarrollar experticia central con relación a la evaluación de alumnos
Uso de resultados: Garantizar que la evaluación es útil e informativa
– Brindar guías claras para reportar e informar para asegurar transparencia y justicia en la
difusión de resultados
– Comprometer a las familias en la educación a través de una adecuada comunicación
– Promover el uso regular de los resultados de evaluación para fomentar el aprendizaje

32. ¡Gracias por su atención!
www.oecd.org/edu/evaluationpolicy
El PDF del informe final disponible en:
www.oecd.org/edu/school/Evaluation_and_Assessment
_Synthesis_Report.pdf