2. Contenidos
• Aspectos generales en la elaboración de los ítems
• Tipos de Ítems
- Ítems de respuesta múltiple
- Ítems de respuesta elaborada
• Pasos en el diseño de estos ítems
3. Aspectos principales en la elaboración
de los ítems
1. Elaboración del ítem respecto al contenido fijado
2. Elaboración de una guía de categorías de respuesta para dicho ítem
(Mislevy, Almond, & Lukas, 2003)
Tarea
Diseña ítems para el contenido 1.1 Números naturales
1.1.6 Identificación números pares e impares
que cubran cualquiera de los tres dominios cognitivos (conocer, aplicar y razonar).
Ítem
Señala los números pares
Categorías de respuesta
Dominio Cognitivo Conocer
4. Consideraciones generales en el diseño de
ítems
ítems respuesta múltiple 1 minuto.
ítems respuesta elaborada 1-3 minutos.
ítems adecuados a edades evaluadas.
texto lo más corto posible y vocabulario sencillo.
situaciones de la vida real próxima al alumno.
(Dolan & Hall, 2007)
evitar ítems muy difíciles y muy fáciles.
deben poder responder correctamente entre 30% y 70% de los estudiantes.
establecer equivalencia conceptual y lingüística.
evitar términos contextualizados con difícil traducción.
evitar sesgos respecto a la variable sexo.
(Osborn, 2002)
Tiempo:
Evitar sesgos de contexto:
Adecuación al contexto evaluado:
Dificultad:
5. Tipos de Ítems que se pueden elaborar
Ítems de respuesta múltiple
Ítems de respuesta elaborada
Tengo 37 euros. ¿Cuánto dinero me queda
si me compro una mochila de 15 euros y una
regla de 5 euros? Escribe todos los pasos.
Un enunciado que introduce la
información contextual
del ítem
Una pregunta que ha de
responder el estudiante
Cuatro opciones de respuesta a), b), c) y
d)
El estudiante ha de elaborar la respuesta.
Se suele pedir un resultado numérico, una breve
explicación o descripción en una o dos frases,
completar una tabla o hacer un esquema.
6. Ítems de respuesta múltiple
• Diseño de enunciado y pregunta
• Diseño de respuestas
• Uso de distractores pausibles
• Ejemplo items
7. Diseño de enunciado y pregunta
• Información suficiente, clara y entendible. Se debe poder responder sin
mirar las respuestas propuestas.
• Evitar el diseño de enunciados negativos que contenga palabras como NO,
EXCEPTO, etc.
• Diseñar ítems de respuesta única.
• Evitar ítems en los que un método incorrecto puede llevar a una respuesta
correcta (ej. calcular longitud circunferencia de radio 2 -> misma respuesta
que calcular área círculo)
8. Diseño de las respuestas
• Cuatro respuestas posibles y sólo una correcta, todas independientes
(ninguna respuesta subconjunto de otras, no incluir pares de respuesta).
• Similar estructura gramatical en enunciado y opciones de respuesta. Una
gramática inconsistente puede dar pistas sobre la respuesta correcta o
eliminar directamente las opciones incorrectas.
• Todas las opciones de respuesta parecidas en longitud y complejidad. Si no
pueden ser de la misma longitud, ordenarlas de más cortas a más largas.
Evitar incluir más detalles en la respuesta correcta haciendo que resalte.
• No usar como opciones de respuesta “ninguno de los anteriores” o “todas
las respuestas”... etc.
• Evitar que se deduzca la respuesta correcta de las opciones propuestas.
(Ej. Al resolver una ecuación sustituyendo las posibles soluciones).
9. Distractores Plausibles
• Usar distractores (opciones de respuesta incorrectas) basados en errores
comunes del estudiante:
- reduce la probabilidad del estudiante de llegar a una respuesta correcta por
eliminación
- ayuda a detectar en diferentes grupos de estudiantes errores tipo que puede
ayudar a la mejora de la enseñanza.
• Si no se pueden utilizar distractores plausibles, utilizar respuestas
razonables que no conduzcan directamente a la solución. No utilizar, por
ejemplo, respuestas que no tengan relación con el tema.
11. Ítems de respuesta elaborada
• Diseño de la pregunta
• Puntuación
• Codificación de respuestas
• Ejemplo items
12. Diseño de la pregunta
• Ítems en lenguaje asequible que no requieran explicación.
• Ítems clarificadores, indicando el nivel de detalle de la respuesta esperada.
(Ej. escribir ‘Da tres razones…’ en vez de ‘Da algunas razones…’ )
• Seleccionar situaciones o problemas de la vida real que se adapten a la
edad de los estudiantes.
• Evitar preguntas de respuesta abierta o libre difíciles de evaluar.
• Tiempo de resolución inferior a 3 minutos.
Ítem
Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
13. Puntuación
Los ítems pueden valorarse con 1 o 2 puntos:
● Ítems de 1 punto: correctos (1 punto) / incorrectos (0 puntos)
● Ítems de 2 puntos:
- Completamente correctos (2 puntos)
- perfecto entendimiento de los conceptos y procedimientos necesarios en la tarea
- Parcialmente correctos (1 punto)
- se realizan algunos partes de la tarea correctamente pero está incompleta
- respuesta correcta pero explicación incompleta
- respuesta incorrecta pero desarrollo o explicación correcta que sugiere un
entendimiento de los conceptos
- Incorrectos (0 puntos)
- respuesta incorrecta, inadecuada, incoherente o irrelevante.
14. Codificación de respuestas
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 Escribir posible respuesta correcta (método 1)
21 Escribir posible respuesta correcta (método 2)
Respuesta Parcialmente Correcta
10 Escribir posible respuesta parcialmente incorrecta
11 Escribir posible respuesta parcialmente incorrecta con método diferente
Respuesta Incorrecta
70 Respuesta incorrecta, error común 1
71 Respuesta incorrecta, error común 2
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
Primer dígito: Grado de validez de la respuesta
Segundo dígito: Clasificación del método/procedimiento utilizado (propósito de diagnóstico)
Después de diseñar el ítem se ha de escribir la respuesta apropiada en términos del
conocimiento, lenguaje y habilidades de un estudiante de nivel alto. Se han de
identificar métodos comunes en la resolución así como errores tipo.
15. Ejemplo
Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 21, con expresión 2 × 12 – 3 = 21
Respuesta Parcialmente Correcta
10 21, sin explicar la respuesta
11 expresión 2 × 12 – 3 con respuesta equivocada
Respuesta Incorrecta
70 Cualquier otra respuesta
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
16. Ejemplo
Luis tiene 10 años. María tiene 15 años.
¿Cuántos años más tiene María que Luis? Escribe las operaciones.
Código Respuesta Ítem: ___________(valor 2 puntos)
Respuesta Correcta
20 5, con expresión 15-10 = 5
21 5, con expresión 10+5 = 15
22 5, con expresión 15-5 = 10
Respuesta Parcialmente Correcta
10 5, sin escribir operaciones
11 expresión 15-10 = con respuesta equivocada
Respuesta Incorrecta
70 Cualquier otra respuesta
79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)
Sin Respuesta
99 En blanco
17. Revisión ítems
respuesta múltiple
La primera revisión de los ítems se llevará a cabo por el equipo de elaboración; un
grupo de expertos realizará una segunda revisión.
Para la revisión de los ítems de respuesta múltiple se considerará la siguiente lista.
Características del ítem Si No
¿Son correctas las matemáticas utilizadas?
¿Resulta la tarea entendible para el estudiante?
¿Está el ítem libre de sesgos culturales, geográficos o de sexo?
¿Resultará el ítem fácil de traducir a otras lenguas?
¿Se ha evitado el uso de ítems orientados negativamente?
¿El ítem tiene una única respuesta?
¿Son los distractores plausibles y claramente incorrectos?
¿Siguen las respuestas propuestas una estructura similar?
¿Se repiten las mismas palabras del enunciado en la respuestas?
¿Se realizó una clasificación correcta del contenido?
¿Se realizó una clasificación correcta de la dimensión cognitiva?
18. Revisión ítems
respuesta elaborada
Características del ítem Si No
¿Son correctas las matemáticas utilizadas?
¿Resulta la tarea entendible para el estudiante?
¿Está el ítem libre de sesgos culturales, geográficos o de sexo?
¿Resultará el ítem fácil de traducir a otras lenguas?
¿Contiene el ítem algún factor con el que estudiante pueda no estar familiarizado y dificulte
la resolución?
¿Es razonable pensar que el ítem se puede responder correctamente?
¿Puede resolverse la tarea en un tiempo razonable?
¿Las guías de puntuación tienen las categorías apropiadas de respuesta correcta e
incorrecta?
¿Las guías de puntuación tienen las codificaciones numéricas apropiadas ?
¿Se realizó una clasificación correcta del contenido?
¿Se realizó una clasificación correcta de la dimensión cognitiva?
Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
- ¿Qué debería saber el estudiante sobre este tema en particular? - ¿Qué debería ser capaz de realizar? - ¿Qué tareas permiten evaluar mejor este conocimiento y habilidad?
Con el fin de contribuir a una evaluación global del conocimiento lo ideal es que cada ítem pueda responderse correctamente por intervalo de entre 30% y 70% de los estudiantes.
Las primeras permite una evaluación estadística rápida mientras las segundas permiten ganar información más en profundidad. La elección de uno u otro formato depende del proceso cognitivo a evaluar y de cuál de los dos tipos permite mejor al alumno mostrar su conocimiento y destreza.
Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
Normalmente 1 punto. P=2piR A=pi R^2
Este tipo de pregunta es más apropiado como ítem de respuesta abierta.
Qué son? Por qué se usan ?
Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
Explica en el caso que valga un punto
Revisión de expertos. Se realizan estudios pilotos. Sugerencias de Países participantes. Modificación de items.