SlideShare uma empresa Scribd logo
1 de 20
Baixar para ler offline
Elaboración de ítems
Hacia TIMSS 2015
Seminario, Comillas, Septiembre 2013
Jose Diego
diegojm@unican.es
Contenidos
• Aspectos generales en la elaboración de los ítems
• Tipos de Ítems
- Ítems de respuesta múltiple
- Ítems de respuesta elaborada
• Pasos en el diseño de estos ítems
Aspectos principales en la elaboración
de los ítems
1. Elaboración del ítem respecto al contenido fijado
2. Elaboración de una guía de categorías de respuesta para dicho ítem
(Mislevy, Almond, & Lukas, 2003)
Tarea
Diseña ítems para el contenido 1.1 Números naturales
1.1.6 Identificación números pares e impares
que cubran cualquiera de los tres dominios cognitivos (conocer, aplicar y razonar).
Ítem
Señala los números pares
Categorías de respuesta
Dominio Cognitivo Conocer
Consideraciones generales en el diseño de
ítems
ítems respuesta múltiple 1 minuto.
ítems respuesta elaborada 1-3 minutos.
ítems adecuados a edades evaluadas.
texto lo más corto posible y vocabulario sencillo.
situaciones de la vida real próxima al alumno.
(Dolan & Hall, 2007)
evitar ítems muy difíciles y muy fáciles.
deben poder responder correctamente entre 30% y 70% de los estudiantes.
establecer equivalencia conceptual y lingüística.
evitar términos contextualizados con difícil traducción.
evitar sesgos respecto a la variable sexo.
(Osborn, 2002)
Tiempo:
Evitar sesgos de contexto:
Adecuación al contexto evaluado:
Dificultad:
Tipos de Ítems que se pueden elaborar
Ítems de respuesta múltiple
Ítems de respuesta elaborada
Tengo 37 euros. ¿Cuánto dinero me queda
si me compro una mochila de 15 euros y una
regla de 5 euros? Escribe todos los pasos.
Un enunciado que introduce la
información contextual
del ítem
Una pregunta que ha de
responder el estudiante
Cuatro opciones de respuesta a), b), c) y
d)
El estudiante ha de elaborar la respuesta.
Se suele pedir un resultado numérico, una breve
explicación o descripción en una o dos frases,
completar una tabla o hacer un esquema.
Ítems de respuesta múltiple
• Diseño de enunciado y pregunta
• Diseño de respuestas
• Uso de distractores pausibles
• Ejemplo items
Diseño de enunciado y pregunta
• Información suficiente, clara y entendible. Se debe poder responder sin
mirar las respuestas propuestas.
• Evitar el diseño de enunciados negativos que contenga palabras como NO,
EXCEPTO, etc.
• Diseñar ítems de respuesta única.
• Evitar ítems en los que un método incorrecto puede llevar a una respuesta
correcta (ej. calcular longitud circunferencia de radio 2 -> misma respuesta
que calcular área círculo)
Diseño de las respuestas
• Cuatro respuestas posibles y sólo una correcta, todas independientes
(ninguna respuesta subconjunto de otras, no incluir pares de respuesta).
• Similar estructura gramatical en enunciado y opciones de respuesta. Una
gramática inconsistente puede dar pistas sobre la respuesta correcta o
eliminar directamente las opciones incorrectas.
• Todas las opciones de respuesta parecidas en longitud y complejidad. Si no
pueden ser de la misma longitud, ordenarlas de más cortas a más largas.
Evitar incluir más detalles en la respuesta correcta haciendo que resalte.
• No usar como opciones de respuesta “ninguno de los anteriores” o “todas
las respuestas”... etc.
• Evitar que se deduzca la respuesta correcta de las opciones propuestas.
(Ej. Al resolver una ecuación sustituyendo las posibles soluciones).
Distractores Plausibles
• Usar distractores (opciones de respuesta incorrectas) basados en errores
comunes del estudiante:
- reduce la probabilidad del estudiante de llegar a una respuesta correcta por
eliminación
- ayuda a detectar en diferentes grupos de estudiantes errores tipo que puede
ayudar a la mejora de la enseñanza.
• Si no se pueden utilizar distractores plausibles, utilizar respuestas
razonables que no conduzcan directamente a la solución. No utilizar, por
ejemplo, respuestas que no tengan relación con el tema.
Ejemplo
Ítems de respuesta elaborada
• Diseño de la pregunta
• Puntuación
• Codificación de respuestas
• Ejemplo items
Diseño de la pregunta
• Ítems en lenguaje asequible que no requieran explicación.
• Ítems clarificadores, indicando el nivel de detalle de la respuesta esperada.
(Ej. escribir ‘Da tres razones…’ en vez de ‘Da algunas razones…’ )
• Seleccionar situaciones o problemas de la vida real que se adapten a la
edad de los estudiantes.
• Evitar preguntas de respuesta abierta o libre difíciles de evaluar.
• Tiempo de resolución inferior a 3 minutos.
Ítem
Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
Puntuación
Los ítems pueden valorarse con 1 o 2 puntos:
● Ítems de 1 punto: correctos (1 punto) / incorrectos (0 puntos)
● Ítems de 2 puntos:
- Completamente correctos (2 puntos)
- perfecto entendimiento de los conceptos y procedimientos necesarios en la tarea
- Parcialmente correctos (1 punto)
- se realizan algunos partes de la tarea correctamente pero está incompleta
- respuesta correcta pero explicación incompleta
- respuesta incorrecta pero desarrollo o explicación correcta que sugiere un
entendimiento de los conceptos
- Incorrectos (0 puntos)
- respuesta incorrecta, inadecuada, incoherente o irrelevante.
Codificación de respuestas
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 Escribir posible respuesta correcta (método 1)
21 Escribir posible respuesta correcta (método 2)
Respuesta Parcialmente Correcta
10 Escribir posible respuesta parcialmente incorrecta
11 Escribir posible respuesta parcialmente incorrecta con método diferente
Respuesta Incorrecta
70 Respuesta incorrecta, error común 1
71 Respuesta incorrecta, error común 2
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
Primer dígito: Grado de validez de la respuesta
Segundo dígito: Clasificación del método/procedimiento utilizado (propósito de diagnóstico)
Después de diseñar el ítem se ha de escribir la respuesta apropiada en términos del
conocimiento, lenguaje y habilidades de un estudiante de nivel alto. Se han de
identificar métodos comunes en la resolución así como errores tipo.
Ejemplo
Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 21, con expresión 2 × 12 – 3 = 21
Respuesta Parcialmente Correcta
10 21, sin explicar la respuesta
11 expresión 2 × 12 – 3 con respuesta equivocada
Respuesta Incorrecta
70 Cualquier otra respuesta
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
Ejemplo
Luis tiene 10 años. María tiene 15 años.
¿Cuántos años más tiene María que Luis? Escribe las operaciones.
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 5, con expresión 15-10 = 5
21 5, con expresión 10+5 = 15
22 5, con expresión 15-5 = 10
Respuesta Parcialmente Correcta
10 5, sin escribir operaciones
11 expresión 15-10 = con respuesta equivocada
Respuesta Incorrecta
70 Cualquier otra respuesta
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
Revisión ítems
respuesta múltiple
La primera revisión de los ítems se llevará a cabo por el equipo de elaboración; un
grupo de expertos realizará una segunda revisión.
Para la revisión de los ítems de respuesta múltiple se considerará la siguiente lista.
Características del ítem Si No
¿Son correctas las matemáticas utilizadas?
¿Resulta la tarea entendible para el estudiante?
¿Está el ítem libre de sesgos culturales, geográficos o de sexo?
¿Resultará el ítem fácil de traducir a otras lenguas?
¿Se ha evitado el uso de ítems orientados negativamente?
¿El ítem tiene una única respuesta?
¿Son los distractores plausibles y claramente incorrectos?
¿Siguen las respuestas propuestas una estructura similar?
¿Se repiten las mismas palabras del enunciado en la respuestas?
¿Se realizó una clasificación correcta del contenido?
¿Se realizó una clasificación correcta de la dimensión cognitiva?
Revisión ítems
respuesta elaborada
Características del ítem Si No
¿Son correctas las matemáticas utilizadas?
¿Resulta la tarea entendible para el estudiante?
¿Está el ítem libre de sesgos culturales, geográficos o de sexo?
¿Resultará el ítem fácil de traducir a otras lenguas?
¿Contiene el ítem algún factor con el que estudiante pueda no estar familiarizado y dificulte
la resolución?
¿Es razonable pensar que el ítem se puede responder correctamente?
¿Puede resolverse la tarea en un tiempo razonable?
¿Las guías de puntuación tienen las categorías apropiadas de respuesta correcta e
incorrecta?
¿Las guías de puntuación tienen las codificaciones numéricas apropiadas ?
¿Se realizó una clasificación correcta del contenido?
¿Se realizó una clasificación correcta de la dimensión cognitiva?
Documentos de referencia
- Elaboración Ítems TIMSS 2015
- Ítems TIMSS 2007
- Ítems TIMSS 1995-2003
¡ Muchas Gracias !

Mais conteúdo relacionado

Mais procurados

Mais procurados (19)

Taller redacción de ítems
Taller redacción de ítemsTaller redacción de ítems
Taller redacción de ítems
 
Pruebas pedagógicas
Pruebas pedagógicasPruebas pedagógicas
Pruebas pedagógicas
 
Generalidades sobre elaboración de items
Generalidades sobre elaboración de itemsGeneralidades sobre elaboración de items
Generalidades sobre elaboración de items
 
ElaboracióN De Pruebas Escritas
ElaboracióN De Pruebas EscritasElaboracióN De Pruebas Escritas
ElaboracióN De Pruebas Escritas
 
Pruebas escritas
Pruebas escritasPruebas escritas
Pruebas escritas
 
Redacción de ítems comunes
Redacción de ítems comunesRedacción de ítems comunes
Redacción de ítems comunes
 
Universidad nacional de chimborazo
Universidad nacional de chimborazoUniversidad nacional de chimborazo
Universidad nacional de chimborazo
 
Reactivos respuesta breve
Reactivos respuesta  breveReactivos respuesta  breve
Reactivos respuesta breve
 
Identificacion
IdentificacionIdentificacion
Identificacion
 
Manual pruebas pec
Manual pruebas pecManual pruebas pec
Manual pruebas pec
 
Evaluacin formativa
Evaluacin formativaEvaluacin formativa
Evaluacin formativa
 
Items de Pareamiento
Items de PareamientoItems de Pareamiento
Items de Pareamiento
 
Wais iv
Wais ivWais iv
Wais iv
 
Pruebas estructuradas
Pruebas estructuradasPruebas estructuradas
Pruebas estructuradas
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Tipos de reactivos para un examen objetivo
Tipos de reactivos para un examen objetivoTipos de reactivos para un examen objetivo
Tipos de reactivos para un examen objetivo
 
Elaboración de exámenes
Elaboración de exámenes Elaboración de exámenes
Elaboración de exámenes
 
Evaluacion breve
Evaluacion breveEvaluacion breve
Evaluacion breve
 
Evaluacion breve
Evaluacion breveEvaluacion breve
Evaluacion breve
 

Semelhante a Timss 2015 elaboracion items_1

Diseno Instrumentos Unidad 2 01 Itemes De Opcion Multiple
Diseno Instrumentos Unidad 2 01 Itemes De Opcion MultipleDiseno Instrumentos Unidad 2 01 Itemes De Opcion Multiple
Diseno Instrumentos Unidad 2 01 Itemes De Opcion MultipleSuperefra
 
Reactivos de completamiento, opción breve, respuesta múltiple.
Reactivos de completamiento, opción breve, respuesta múltiple.Reactivos de completamiento, opción breve, respuesta múltiple.
Reactivos de completamiento, opción breve, respuesta múltiple.EMMA LLANGA
 
ExáMenes Y Pruebas
ExáMenes Y PruebasExáMenes Y Pruebas
ExáMenes Y PruebasJosé Ferrer
 
Evaluaciondeaprendizajesparte Ii
Evaluaciondeaprendizajesparte IiEvaluaciondeaprendizajesparte Ii
Evaluaciondeaprendizajesparte IiJonhy Leyva Aguilar
 
Guía de habilidades
Guía de habilidadesGuía de habilidades
Guía de habilidadesVaz Vazquez
 
GRUPO 3: REACTIVOS DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLE
GRUPO 3: REACTIVOS  DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLEGRUPO 3: REACTIVOS  DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLE
GRUPO 3: REACTIVOS DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLEUniversidad Nacional de Chimborazo
 
Exposicion de reactivos de completacion y respuesta breve
Exposicion de reactivos de completacion y respuesta breveExposicion de reactivos de completacion y respuesta breve
Exposicion de reactivos de completacion y respuesta brevebyronblacio
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Jessica Hernández
 
Reactivosdecompletacionyrespuestabreve 170630145708
Reactivosdecompletacionyrespuestabreve 170630145708Reactivosdecompletacionyrespuestabreve 170630145708
Reactivosdecompletacionyrespuestabreve 170630145708Jonas Arevalo
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....ericka solis
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....paulinaalexandra22
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Norma yantalema
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....juanparivadeneira1995
 

Semelhante a Timss 2015 elaboracion items_1 (20)

Diseno Instrumentos Unidad 2 01 Itemes De Opcion Multiple
Diseno Instrumentos Unidad 2 01 Itemes De Opcion MultipleDiseno Instrumentos Unidad 2 01 Itemes De Opcion Multiple
Diseno Instrumentos Unidad 2 01 Itemes De Opcion Multiple
 
Reactivos de completamiento, opción breve, respuesta múltiple.
Reactivos de completamiento, opción breve, respuesta múltiple.Reactivos de completamiento, opción breve, respuesta múltiple.
Reactivos de completamiento, opción breve, respuesta múltiple.
 
ExáMenes Y Pruebas
ExáMenes Y PruebasExáMenes Y Pruebas
ExáMenes Y Pruebas
 
Evaluaciondeaprendizajesparte Ii
Evaluaciondeaprendizajesparte IiEvaluaciondeaprendizajesparte Ii
Evaluaciondeaprendizajesparte Ii
 
Elaboracion de pruebas
Elaboracion de pruebasElaboracion de pruebas
Elaboracion de pruebas
 
Guía de habilidades
Guía de habilidadesGuía de habilidades
Guía de habilidades
 
Prueba escrita
Prueba escritaPrueba escrita
Prueba escrita
 
Construcción de Pruebas: Algunos elementos a considerar
Construcción de Pruebas: Algunos elementos a considerarConstrucción de Pruebas: Algunos elementos a considerar
Construcción de Pruebas: Algunos elementos a considerar
 
Grupo3 reactivos
Grupo3  reactivosGrupo3  reactivos
Grupo3 reactivos
 
GRUPO 3: REACTIVOS DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLE
GRUPO 3: REACTIVOS  DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLEGRUPO 3: REACTIVOS  DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLE
GRUPO 3: REACTIVOS DE COMPLETACION, OPCIÓN BREVE Y RESPUESTA MULTIPLE
 
Grupo3reactivos
Grupo3reactivosGrupo3reactivos
Grupo3reactivos
 
Exposicion de reactivos de completacion y respuesta breve
Exposicion de reactivos de completacion y respuesta breveExposicion de reactivos de completacion y respuesta breve
Exposicion de reactivos de completacion y respuesta breve
 
Curso agosto 2014
Curso agosto 2014Curso agosto 2014
Curso agosto 2014
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Reactivosdecompletacionyrespuestabreve 170630145708
Reactivosdecompletacionyrespuestabreve 170630145708Reactivosdecompletacionyrespuestabreve 170630145708
Reactivosdecompletacionyrespuestabreve 170630145708
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 
Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....Reactivos de completacion y respuesta breve....
Reactivos de completacion y respuesta breve....
 

Mais de Instituto Nacional de Evaluación Educativa

Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio Árula
Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio ÁrulaSimposio “Ciencias e Inglés en la evaluación internacional”: Colegio Árula
Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio ÁrulaInstituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: IES Valdebernardo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES ValdebernardoSimposio “Ciencias e Inglés en la evaluación internacional”: IES Valdebernardo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES ValdebernardoInstituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...Instituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...Instituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...Instituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...Instituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...Instituto Nacional de Evaluación Educativa
 
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...Instituto Nacional de Evaluación Educativa
 
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...Instituto Nacional de Evaluación Educativa
 
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...Instituto Nacional de Evaluación Educativa
 

Mais de Instituto Nacional de Evaluación Educativa (20)

Simposio “Ciencias e Inglés en la evaluación internacional”: IES Galileo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES GalileoSimposio “Ciencias e Inglés en la evaluación internacional”: IES Galileo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES Galileo
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio Árula
Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio ÁrulaSimposio “Ciencias e Inglés en la evaluación internacional”: Colegio Árula
Simposio “Ciencias e Inglés en la evaluación internacional”: Colegio Árula
 
Simposio “Ciencias e Inglés en la evaluación internacional”: IES Valdebernardo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES ValdebernardoSimposio “Ciencias e Inglés en la evaluación internacional”: IES Valdebernardo
Simposio “Ciencias e Inglés en la evaluación internacional”: IES Valdebernardo
 
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...
Simposio “Ciencias e Inglés en la evaluación internacional”: CEIP Nuestra Señ...
 
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...
Simposio “Ciencias e Inglés en la evaluación internacional”: The principles o...
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...
Simposio “Ciencias e Inglés en la evaluación internacional”: Using assessment...
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados del E...
 
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...
Simposio “Ciencias e Inglés en la evaluación internacional”: Resultados de PI...
 
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...
Simposio “Ciencias e Inglés en la evaluación internacional”: PISA 2015 result...
 
Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS) 2015
Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS) 2015Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS) 2015
Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS) 2015
 
INEE Curso UIMP 2016 - Evaluación educativa: Silvia Montoya
INEE Curso UIMP 2016 - Evaluación educativa: Silvia MontoyaINEE Curso UIMP 2016 - Evaluación educativa: Silvia Montoya
INEE Curso UIMP 2016 - Evaluación educativa: Silvia Montoya
 
INEE Curso UIMP 2016 - Evaluación educativa: Luka Boeskens
INEE Curso UIMP 2016 - Evaluación educativa: Luka BoeskensINEE Curso UIMP 2016 - Evaluación educativa: Luka Boeskens
INEE Curso UIMP 2016 - Evaluación educativa: Luka Boeskens
 
INEE Curso UIMP 2016 - Evaluación educativa: Maciej Jakubowski
INEE Curso UIMP 2016 - Evaluación educativa: Maciej JakubowskiINEE Curso UIMP 2016 - Evaluación educativa: Maciej Jakubowski
INEE Curso UIMP 2016 - Evaluación educativa: Maciej Jakubowski
 
INEE Curso UIMP 2016 - Evaluación educativa: Antonio España Sánchez
INEE Curso UIMP 2016 - Evaluación educativa: Antonio España SánchezINEE Curso UIMP 2016 - Evaluación educativa: Antonio España Sánchez
INEE Curso UIMP 2016 - Evaluación educativa: Antonio España Sánchez
 
INEE Curso UIMP 2016 - Evaluación educativa: Carmen Peña Jaramillo
INEE Curso UIMP 2016 - Evaluación educativa: Carmen Peña JaramilloINEE Curso UIMP 2016 - Evaluación educativa: Carmen Peña Jaramillo
INEE Curso UIMP 2016 - Evaluación educativa: Carmen Peña Jaramillo
 
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...
INEE Curso UIMP 2016 - Evaluación educativa: Isabel Couso Tapia y Gillermo Gi...
 
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...
INEE Curso UIMP 2016 - Evaluación educativa: Tue Halgreen y Javier Suárez-Álv...
 
INEE Curso UIMP 2016 - Evaluación educativa: Andreas Schleicher
INEE Curso UIMP 2016 - Evaluación educativa: Andreas SchleicherINEE Curso UIMP 2016 - Evaluación educativa: Andreas Schleicher
INEE Curso UIMP 2016 - Evaluación educativa: Andreas Schleicher
 
PISA para Centros Educativos: Procesos y procedimientos (Elena Govorova, 2E)
PISA para Centros Educativos: Procesos y procedimientos (Elena Govorova, 2E)PISA para Centros Educativos: Procesos y procedimientos (Elena Govorova, 2E)
PISA para Centros Educativos: Procesos y procedimientos (Elena Govorova, 2E)
 
PISA para Centros Educativos en España (Isabel Couso y Guillermo Gil, INEE)
PISA para Centros Educativos en España (Isabel Couso y Guillermo Gil, INEE)PISA para Centros Educativos en España (Isabel Couso y Guillermo Gil, INEE)
PISA para Centros Educativos en España (Isabel Couso y Guillermo Gil, INEE)
 

Timss 2015 elaboracion items_1

  • 1. Elaboración de ítems Hacia TIMSS 2015 Seminario, Comillas, Septiembre 2013 Jose Diego diegojm@unican.es
  • 2. Contenidos • Aspectos generales en la elaboración de los ítems • Tipos de Ítems - Ítems de respuesta múltiple - Ítems de respuesta elaborada • Pasos en el diseño de estos ítems
  • 3. Aspectos principales en la elaboración de los ítems 1. Elaboración del ítem respecto al contenido fijado 2. Elaboración de una guía de categorías de respuesta para dicho ítem (Mislevy, Almond, & Lukas, 2003) Tarea Diseña ítems para el contenido 1.1 Números naturales 1.1.6 Identificación números pares e impares que cubran cualquiera de los tres dominios cognitivos (conocer, aplicar y razonar). Ítem Señala los números pares Categorías de respuesta Dominio Cognitivo Conocer
  • 4. Consideraciones generales en el diseño de ítems ítems respuesta múltiple 1 minuto. ítems respuesta elaborada 1-3 minutos. ítems adecuados a edades evaluadas. texto lo más corto posible y vocabulario sencillo. situaciones de la vida real próxima al alumno. (Dolan & Hall, 2007) evitar ítems muy difíciles y muy fáciles. deben poder responder correctamente entre 30% y 70% de los estudiantes. establecer equivalencia conceptual y lingüística. evitar términos contextualizados con difícil traducción. evitar sesgos respecto a la variable sexo. (Osborn, 2002) Tiempo: Evitar sesgos de contexto: Adecuación al contexto evaluado: Dificultad:
  • 5. Tipos de Ítems que se pueden elaborar Ítems de respuesta múltiple Ítems de respuesta elaborada Tengo 37 euros. ¿Cuánto dinero me queda si me compro una mochila de 15 euros y una regla de 5 euros? Escribe todos los pasos. Un enunciado que introduce la información contextual del ítem Una pregunta que ha de responder el estudiante Cuatro opciones de respuesta a), b), c) y d) El estudiante ha de elaborar la respuesta. Se suele pedir un resultado numérico, una breve explicación o descripción en una o dos frases, completar una tabla o hacer un esquema.
  • 6. Ítems de respuesta múltiple • Diseño de enunciado y pregunta • Diseño de respuestas • Uso de distractores pausibles • Ejemplo items
  • 7. Diseño de enunciado y pregunta • Información suficiente, clara y entendible. Se debe poder responder sin mirar las respuestas propuestas. • Evitar el diseño de enunciados negativos que contenga palabras como NO, EXCEPTO, etc. • Diseñar ítems de respuesta única. • Evitar ítems en los que un método incorrecto puede llevar a una respuesta correcta (ej. calcular longitud circunferencia de radio 2 -> misma respuesta que calcular área círculo)
  • 8. Diseño de las respuestas • Cuatro respuestas posibles y sólo una correcta, todas independientes (ninguna respuesta subconjunto de otras, no incluir pares de respuesta). • Similar estructura gramatical en enunciado y opciones de respuesta. Una gramática inconsistente puede dar pistas sobre la respuesta correcta o eliminar directamente las opciones incorrectas. • Todas las opciones de respuesta parecidas en longitud y complejidad. Si no pueden ser de la misma longitud, ordenarlas de más cortas a más largas. Evitar incluir más detalles en la respuesta correcta haciendo que resalte. • No usar como opciones de respuesta “ninguno de los anteriores” o “todas las respuestas”... etc. • Evitar que se deduzca la respuesta correcta de las opciones propuestas. (Ej. Al resolver una ecuación sustituyendo las posibles soluciones).
  • 9. Distractores Plausibles • Usar distractores (opciones de respuesta incorrectas) basados en errores comunes del estudiante: - reduce la probabilidad del estudiante de llegar a una respuesta correcta por eliminación - ayuda a detectar en diferentes grupos de estudiantes errores tipo que puede ayudar a la mejora de la enseñanza. • Si no se pueden utilizar distractores plausibles, utilizar respuestas razonables que no conduzcan directamente a la solución. No utilizar, por ejemplo, respuestas que no tengan relación con el tema.
  • 11. Ítems de respuesta elaborada • Diseño de la pregunta • Puntuación • Codificación de respuestas • Ejemplo items
  • 12. Diseño de la pregunta • Ítems en lenguaje asequible que no requieran explicación. • Ítems clarificadores, indicando el nivel de detalle de la respuesta esperada. (Ej. escribir ‘Da tres razones…’ en vez de ‘Da algunas razones…’ ) • Seleccionar situaciones o problemas de la vida real que se adapten a la edad de los estudiantes. • Evitar preguntas de respuesta abierta o libre difíciles de evaluar. • Tiempo de resolución inferior a 3 minutos. Ítem Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
  • 13. Puntuación Los ítems pueden valorarse con 1 o 2 puntos: ● Ítems de 1 punto: correctos (1 punto) / incorrectos (0 puntos) ● Ítems de 2 puntos: - Completamente correctos (2 puntos) - perfecto entendimiento de los conceptos y procedimientos necesarios en la tarea - Parcialmente correctos (1 punto) - se realizan algunos partes de la tarea correctamente pero está incompleta - respuesta correcta pero explicación incompleta - respuesta incorrecta pero desarrollo o explicación correcta que sugiere un entendimiento de los conceptos - Incorrectos (0 puntos) - respuesta incorrecta, inadecuada, incoherente o irrelevante.
  • 14. Codificación de respuestas Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 Escribir posible respuesta correcta (método 1) 21 Escribir posible respuesta correcta (método 2) Respuesta Parcialmente Correcta 10 Escribir posible respuesta parcialmente incorrecta 11 Escribir posible respuesta parcialmente incorrecta con método diferente Respuesta Incorrecta 70 Respuesta incorrecta, error común 1 71 Respuesta incorrecta, error común 2 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco Primer dígito: Grado de validez de la respuesta Segundo dígito: Clasificación del método/procedimiento utilizado (propósito de diagnóstico) Después de diseñar el ítem se ha de escribir la respuesta apropiada en términos del conocimiento, lenguaje y habilidades de un estudiante de nivel alto. Se han de identificar métodos comunes en la resolución así como errores tipo.
  • 15. Ejemplo Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos. Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 21, con expresión 2 × 12 – 3 = 21 Respuesta Parcialmente Correcta 10 21, sin explicar la respuesta 11 expresión 2 × 12 – 3 con respuesta equivocada Respuesta Incorrecta 70 Cualquier otra respuesta 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco
  • 16. Ejemplo Luis tiene 10 años. María tiene 15 años. ¿Cuántos años más tiene María que Luis? Escribe las operaciones. Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 5, con expresión 15-10 = 5 21 5, con expresión 10+5 = 15 22 5, con expresión 15-5 = 10 Respuesta Parcialmente Correcta 10 5, sin escribir operaciones 11 expresión 15-10 = con respuesta equivocada Respuesta Incorrecta 70 Cualquier otra respuesta 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco
  • 17. Revisión ítems respuesta múltiple La primera revisión de los ítems se llevará a cabo por el equipo de elaboración; un grupo de expertos realizará una segunda revisión. Para la revisión de los ítems de respuesta múltiple se considerará la siguiente lista. Características del ítem Si No ¿Son correctas las matemáticas utilizadas? ¿Resulta la tarea entendible para el estudiante? ¿Está el ítem libre de sesgos culturales, geográficos o de sexo? ¿Resultará el ítem fácil de traducir a otras lenguas? ¿Se ha evitado el uso de ítems orientados negativamente? ¿El ítem tiene una única respuesta? ¿Son los distractores plausibles y claramente incorrectos? ¿Siguen las respuestas propuestas una estructura similar? ¿Se repiten las mismas palabras del enunciado en la respuestas? ¿Se realizó una clasificación correcta del contenido? ¿Se realizó una clasificación correcta de la dimensión cognitiva?
  • 18. Revisión ítems respuesta elaborada Características del ítem Si No ¿Son correctas las matemáticas utilizadas? ¿Resulta la tarea entendible para el estudiante? ¿Está el ítem libre de sesgos culturales, geográficos o de sexo? ¿Resultará el ítem fácil de traducir a otras lenguas? ¿Contiene el ítem algún factor con el que estudiante pueda no estar familiarizado y dificulte la resolución? ¿Es razonable pensar que el ítem se puede responder correctamente? ¿Puede resolverse la tarea en un tiempo razonable? ¿Las guías de puntuación tienen las categorías apropiadas de respuesta correcta e incorrecta? ¿Las guías de puntuación tienen las codificaciones numéricas apropiadas ? ¿Se realizó una clasificación correcta del contenido? ¿Se realizó una clasificación correcta de la dimensión cognitiva?
  • 19. Documentos de referencia - Elaboración Ítems TIMSS 2015 - Ítems TIMSS 2007 - Ítems TIMSS 1995-2003

Notas do Editor

  1. Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  2. - ¿Qué debería saber el estudiante sobre este tema en particular? - ¿Qué debería ser capaz de realizar? - ¿Qué tareas permiten evaluar mejor este conocimiento y habilidad?
  3. Con el fin de contribuir a una evaluación global del conocimiento lo ideal es que cada ítem pueda responderse correctamente por intervalo de entre 30% y 70% de los estudiantes.
  4. Las primeras permite una evaluación estadística rápida mientras las segundas permiten ganar información más en profundidad. La elección de uno u otro formato depende del proceso cognitivo a evaluar y de cuál de los dos tipos permite mejor al alumno mostrar su conocimiento y destreza.
  5. Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  6. Normalmente 1 punto. P=2piR A=pi R^2
  7. Este tipo de pregunta es más apropiado como ítem de respuesta abierta.
  8. Qué son? Por qué se usan ?
  9. Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  10. Explica en el caso que valga un punto
  11. Revisión de expertos. Se realizan estudios pilotos. Sugerencias de Países participantes. Modificación de items.