O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Instrumentos desarrollo y evaluación

1.761 visualizações

Publicada em

Curso orientado a la construcción, el desarrollo y la evaluación de calidad de instrumentos de medición social.

Publicada em: Dados e análise
  • Seja o primeiro a comentar

Instrumentos desarrollo y evaluación

  1. 1. Desarrolloyevaluación deinstrumentosde recoleccióndedatos Enrique Morosini Dirección de Investigación / Facultad de Filosofía Noviembre de 2014 Seminario –Taller de Actualización Docente
  2. 2. ¿Por qué este curso? Porque siguiendo la misma temática de los cursos anteriores, en enfoque metodológico, se encontraba incompleta y este tema abarca un tema metodológico de suma sensibilidad: la preparación del instrumento de evaluación y, sobre todo, la evaluación de la calidad métrica del instrumento. Porque la recolección primara de datos constituye la materia prima de toda investigación, si los datos no son de calidad, entonces, nada de lo que se pretenda realizar posteriormente permitirá responder a las preguntas de investigación.
  3. 3. Temática del curso Aquí se han combinado dos aspectos: 1. El desarrollo del instrumento, lo que involucra la elaboración, la adaptación / traducción y ajuste de instrumentos. 2. La evaluación de la calidad, que, independientemente de que se utilicen instrumentos desarrollados y “validados” requieren de información empírica para su valoración.
  4. 4. Plan del curso El curso tiene un plan, espero poder satisfacer estas intenciones: Desarrollo • Construcción • Traducción • Adaptación Evaluación • Prueba piloto • Análisis de reactivos • Confiabilidad y validez
  5. 5. Construcción Medición • Concepto de medición en ciencias sociales • Desafíos actuales y discusiones relacionadas con la medición Definición del constructo • Definición conceptual – Marco de Referencia • Definición operacional – Tabla de especificaciones Redacción de reactivos • Técnicas a considerar • Formatos, estilos, escalas
  6. 6. Evaluación Prueba Piloto • Delimitación de finalidades y estrategias. • Aspectos metodológicos específicos. Confiabilidad • Concepto y plan general para su verificación. • Análisis de reactivos y etapas de análisis. Validez • De contenido en la etapa piloto. • De constructo y criterio en la etapa intermedia y final.
  7. 7. 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS Elproblema delamedición Problemas históricos y actuales
  8. 8. Fundamentos teóricos Cicourel (1964/2011), reconocido en el ámbito de la Sociología y obra de referencia para el estudio metodológico en dicha área, inicia su libro con una interesante discusión acerca de la medición en las ciencias sociales, enfocándose sobre tres fundamentos técnicos:  Los principios axiomáticos.  Los principios teóricos.  La medida.
  9. 9. El problema de la medición En 1932 se conformó un comité en la Asociación Británica para el Avance de la Ciencia y durante 7 años debatió sobre el tema de la medición. Fueron convocadas la Sección A (Matemática y Física) y la Sección J (Psicología) para analizar la posibilidad de establecer “estimadores cuantitativos de eventos sensoriales”, es decir, ¿es posible medir las sensaciones humanas? La conclusión, en pocas palabras, fue que no es posible ya que no se puede establecer una relación de isomorfismo entre el sistema numérico y lo que se mide. Stevens, 1946
  10. 10. El problema de la medición Unos pocos años después, Stevens (1946) publica una respuesta a los resultados de la comisión y desata una polémica sobre los sistemas de medición. En un artículo posterior, en 1951, desarrolló una visión totalmente distinta. En la misma había formulado la muy conocida definición de medición “medir es asignar numerales a objetos o acontecimientos de acuerdo con ciertas reglas.” En el último artículo también desarrolló su propuesta respecto a las escalas y la medición.
  11. 11. Problemas actuales Sin ánimo de resolver los dilemas de la medición, el dilema está planteado y sobre pasa la discusión del ámbito puramente matemático y numérico. Es la relación de los conceptos, del lenguaje con los sistemas de medición que se emplean contemporáneamente y cómo se disponen las correspondencias isomórficas, si cabe el caso, entre dichos sistemas. Todavía, la cuestión del concepto y la medida sigue siendo objeto de discusión, así y todo… seguimos.
  12. 12. 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS Laimportancia delamedición
  13. 13. ¿Qué utilidad tiene?  Objetividad.  Cuantificación.  Comunicación.  Economía.
  14. 14. 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS Fasesenla elaboración
  15. 15. Propósito o finalidad: • Investigación.  Descriptiva.  Analítica o Explicativa. • Diagnóstico. • Generación de propuestas de intervención. • Fines específicos en cada especialidad.
  16. 16. Especificaciones del instrumento: • Características de la población • Condiciones en las que será aplicado • Duración de la prueba • Contenidos que abarca • Tipo de material
  17. 17. Delimitación del dominio o atributo: • Análisis de contenido. • Revisión de investigaciones publicadas. • Incidentes críticos. • Observaciones directas. • Juicio de expertos. • Objetivos instruccionales o programas.
  18. 18. Especificaciones de contenido • Dominio o población de conductas (hechos, actitudes) • Dominio de cada reactivo • Selección de muestras de preguntas • Especificación del tipo de escala y reactivo • Plan para decidir el énfasis relativo de cada elemento
  19. 19. Especificación del formato • Elección múltiple • Selección o identificación • Ordenación del material estimular • Situación/corrección • Completar • Construcción • Presentación
  20. 20. Validación de contenido • Validación por jueces expertos. • Interrogación cognitiva. • Entrevistas cognitivas.
  21. 21. Fases de prueba • Evaluación de jueces. • Prueba de comprensión. • Entrevistas cognitivas / grupos focales. • Aplicación experimental. • Aplicación pre-piloto. • Aplicación piloto.
  22. 22. Plan de análisis de ítems • Teoría desde la cual se realizarán los análisis. • Grupos en los que deberá ser aplicado. • Tamaño de la muestra. • ¿Se identifican subgrupos? • Longitud del instrumento • Tiempo de aplicación • Puntuación criterio para el análisis
  23. 23. Valores estadísticos de cálculo • Análisis descriptivo de ítems: análisis de frecuencias y estadísticos. • Evidencias de confiabilidad: definición de tipo de confiabilidad. • Evidencias de validez: análisis factorial y estudios de validación.
  24. 24. Manual del instrumento • Especificar los usos del instrumento. • Instrucciones completas para su administración. • Instrucciones completas para su puntuación y tabulación. • Tablas de normas para transformar las puntuaciones. • Coeficiente de fiabilidad y precisión de medida. • Datos sobre la validez del test.
  25. 25. Proceso de construcción del instrumento Enfoque aplicado
  26. 26. Delconceptoala definición,ala operacionalización yalosindicadores 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
  27. 27. Concepciones y conceptos Existe una diferencia entre las ideas que tenemos y los términos que utilizamos para definirlos. Las primeras podríamos considerar concepciones y los términos con los que comunicamos estas imágenes son los conceptos. En la investigación utilizamos conceptos para definir los objetos de nuestra investigación. Estos conceptos se constituyen en construcciones conocidas como constructos.
  28. 28. Conceptos teóricos Es importante definir cuál es el objeto de interés, lo que constituye el comienzo de la conceptualización. Los conceptos pueden definirse como “símbolos lingüísticos que categorizan a los fenómenos”. Pueden derivarse de:  Reflexiones teóricas  Generalizaciones empíricas  Reflexiones propias de la experiencia social
  29. 29. Conceptos teóricos El concepto es una familia de ideas, no se puede observar ni directa ni indirectamente porque como tal no existe. Nosotros lo construimos. Algunos autores diferencian el concepto del constructo, el concepto es una “abstracción teórica” formada por la generalización de fenómenos similares, mientras que los constructos son conceptos sistemáticamente definidos para su uso en la teoría científica.
  30. 30. Definición conceptual y operacional Tanto los conceptos como los constructos han de vincularse a variables empíricas u observacionales mediante una definición operacional. En ella se indica cómo piensa medirse el concepto, las variables con las que están vinculados y qué valores se diferenciarán en la misma. Este proceso de traducción de constructos teóricos a variables observables que le representan adecuadamente se define como operacionalización.
  31. 31. Operacionalización 1. Representación teórica del concepto, de forma que queden reflejados sus rasgos definitorios. 2. Especificación del concepto, descomponiéndolo en las distintas dimensiones o aspectos relevantes que engloba. 3. Para cada una de las dimensiones se selecciona una serie de indicadores que “indiquen” la extensión de cada dimensión. 4. Síntesis de los indicadores mediante el cálculo de índices. A cada indicador se le asigna un peso o valor de acuerdo a su importancia.
  32. 32. Operacionalización 1. Clarificar la definición constitutiva del constructo, la cual debe ser: adecuada y parsimoniosa. A este efecto se propuso recoger características de definiciones constitutivas existentes (de un diccionario o de investigaciones previas). 2. Determinar los referentes empíricos que pertenecen al constructo y cuáles no. Habrá que restringir el significando incrementando el número de características. 3. Asegurarse de que la etiqueta verbal dada al constructo sea comprendida inequívocamente. Una técnica es la estrategia de la sustitución, la intención es asegurar el control del campo semántico al que pertenece el término.
  33. 33. Los indicadores Al referirnos a los conceptos indicamos que estos no son observables directamente. Por lo tanto, se deben buscar procedimientos que permitan la medición indirecta mediante manifestaciones externas, empíricas y observables. Tales manifestaciones o expresiones reciben el nombre de indicadores. La construcción de indicadores no suele constituir una tarea sencilla. Requiere de un profundo conocimiento de la manera en cómo se manifiesta el constructo.
  34. 34. Del concepto al indicador Por medio de un proceso deductivo, los conceptos y las proposiciones que conforman una teoría se concretan en variables empíricas o indicadores, que posibiliten la contrastación empírica de la teoría:  LA DELIMITACON DE LOS CONCEPTOS  Definición nominal, teórica o conceptual.  Definición Operacional  LA DESCOMPOSICÓN DEL CONCEPTO EN DIMENSIONES  PARA CADA DIMENSION, BUSCAR INDICADORES
  35. 35. Construcción operacional
  36. 36. Ejercicio 1. Formemos grupos de 4 personas 2. Escojamos uno de los siguientes temas:  Inseguridad ciudadana  Percepción de inseguridad  Bienestar económico y social  Delincuencia juvenil 3. Elaboremos una definición conceptual, operacional y las dimensiones de las cuales se compone. 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
  37. 37. Elenfoque estructural deGuttman 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS Unidad entre conceptualización, medición y análisis
  38. 38. Teoría de Facetas La teoría de facetas se basa en los principios de la moderna teoría matemática de conjuntos de para definir el universo de contenidos representado por un conjunto finito de variables.
  39. 39. Teoría de Facetas La idoneidad de la teoría faceta como una herramienta para la formulación de las definiciones de construcciones de comportamiento proviene de la claridad y precisión que aporta al proceso de identificación de componentes básicos de un conjunto de variables y de estos componentes en relación a los datos empíricos.
  40. 40. Teoría de Facetas Al igual que la teoría de conjuntos, teoría de las facetas es una teoría estructural. En esencia, se ofrece una aproximación a la definición de constructos comportamentales para probar hipótesis relativas a la correspondencia entre las definiciones de comportamiento y las observaciones empíricas sobre las variables representativas de un constructo.
  41. 41. Teoría de Facetas Una idea principal en la Teoría de Facetas es que en prácticamente todas las investigaciones empíricas en las ciencias sociales, en el fondo, la colección particular de variables utilizadas, por ejemplo un conjunto de ítems que forma un cuestionario, una encuesta, una escala o un conjunto de objetos geométricos utilizados en un experimento sobre percepción visual, no es el resultado de un interés del investigador por estos estímulos en particular, sino lo más probable es que considere que éstos son representativos de un universo más amplio de comportamientos.
  42. 42. Proceso de facetización En total, se distinguen tres tipos de facetas: • El primero se refiere a la población de los sujetos considerados en la investigación respectiva. Se pueda simbolizar este tipo con la letra P. Bilsky, W. (2002) La Teoría de las Facetas: Informaciones Básicas y Aplicaciones Paradigmáticas
  43. 43. Proceso de facetización El segundo concierne al contenido de las variables investigadas (estímulos, ítems, preguntas), a continuación representado por la letra C. Juntas, las facetas de población y de contenido, determinan el domino de interés (domain of concern). Bilsky, W. (2002) La Teoría de las Facetas: Informaciones Básicas y Aplicaciones Paradigmáticas
  44. 44. Proceso de facetización Finalmente, el tercer tipo se refiere al universo de las reacciones o respuestas de los sujetos investigados, o, para ser más exacto, al conjunto (set) de las categorías exclusivas, disponibles para evaluar las tareas o simplemente los ítems empleados en la investigación. Este tipo es denominado como rango (range) y simbolizado por la letra R. Bilsky, W. (2002) La Teoría de las Facetas: Informaciones Básicas y Aplicaciones Paradigmáticas
  45. 45. FraseConfiguracional: CuestionariodelaMotivaciónProsocial Bilsky, W. (2002) La Teoría de las Facetas: Informaciones Básicas y Aplicaciones Paradigmáticas
  46. 46. FraseConfiguracional: BienestarSubjetivoLevy, S. and Guttman, L. On the multivariate structure of wellbeing. Social Indicators Research, 1975, 2, 361-388.
  47. 47. FraseConfiguracional: WechslerIntelligenceTestforChildren Guttman, L. and Levy, S. Two structural laws for intelligence tests. Intelligence, 1991, 15:79-103.
  48. 48. Frase Configuracional: Actituden el sentido desatisfacción Gratch, 1973, p. 36, citado en Levy, S. (1976) Use of the mapping sentence for coordinating theory and research: a cross-cultural example. Quality and Quantity, 10, 117-125.
  49. 49. FraseConfiguracional: Madurezemocional
  50. 50. Ejercicio Reelaborar el mismo constructo en términos de la definición facetizada. Definir cuáles son las facetas que componen el constructo. 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
  51. 51. Operacionalización: Tablade especificaciones 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
  52. 52. Tabla de especificaciones (TE) Es una tabla de doble o triple entrada en la cual se consigan las dimensiones del constructo a evaluar. Las dimensiones pueden tener distintos elementos, lo más habitual es combinar conductas x situaciones. Otro aspecto a considerar es el peso que se le asigna a cada conducta.
  53. 53. Elaboración de la TE Realice un listado de los aspectos que representan el constructo. Para esto puede servir un listado de características identificadoras. Definir los contextos vinculados. Generar la tabla de especificaciones.
  54. 54. Elaboración de la TE Situaciones b1 b2 b3 b4 Características a1 a2 a3 a4
  55. 55. Tabla de especificaciones Área de desarrollo Nivel I (niñez) Nivel II (adolescencia) Nivel III (adultez) - Interacción entre pares - Aspectos descriptivos y evaluativos del yo - Desarrollo sexual: - Cuidado Personal: Alimentación - Cuidado Personal: Sueño - Cuidado Personal: Higiene. - Cuidado personal: Ropas - Estado emocional: emociones en general - Estado emocional: humor - Estado emocional: Ira - Estado emocional: llanto
  56. 56. Redaccióndeítems 03/02/2015 DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
  57. 57. Esquema de decisiones Dominio y contexto de referencia Ventajas e inconvenientes de cada formato Muestra de contenidos Elección de formato Directrices para la construcción Construcción del ítem
  58. 58. Método tradicional: opiniones Partiendo del supuesto de que las opiniones son actitudes verbalizadas, los ítems de las escalas de actitudes suelen tomar la forma de frases cortas, de afirmación que expresan opiniones que se pueden tener con respecto al objeto de la actitud medida. Edwards enumera las características que deben tener los ítems: Relevancia Claridad Discriminación Bipolaridad
  59. 59. Relevancia Las opiniones recogidas en los ítems deben ser relevantes y claramente relacionadas con el objeto; de la actitud.
  60. 60. Claridad La mayoría de las normas que suelen darse para rectar los ítems tienen que ver con la claridad y podemos concretarlas en estas: Utilizar expresiones sencillas. Evitar dobles negaciones. Evitar; o tener cuidado, con expresiones universales como siempre, nunca… No utilizar expresiones que incluyan dos afirmaciones.
  61. 61. Discriminación Se deben evitar opiniones con las que previsiblemente todos o casi todos van a estar de acuerdo o en desacuerdo, pues se trata de establecer diferencias entre los sujetos. Por esta razón los ítems deben reflejar opiniones y no hechos comprobables.
  62. 62. Bipolaridad Por bipolaridad se entiende que los ítems deben ser, preferentemente, positivos unos y negativos otros: una actitud favorable se mostrará a veces mostrando acuerdo y otras mostrando desacuerdo.
  63. 63. Algunas observaciones Una cuestión debatida es si es preferible una formulación obvia, que permita advertir qué se está midiendo o una formulación sutil que en la medida de lo posible enmascararse el constructo subyacente. La relevancia y la claridad de la formulación son más importantes que el esconder lo que se quiere medir; por otra parte, y con criterios de validez (relación con criterios externos) suelen ser mejores lo ítems que podemos denominar cándidos.
  64. 64. Algunas observaciones No se trata de una cuestión cerrada y se puede experimentar con unos y otros tipos de ítems durante el proceso de construcción. Ampliaremos este punto al tratar de la validez de contenido; se ha investigado mucho pero en relación a los tests de personalidad; tiene menos interés en las escalas de actitud.
  65. 65. Algunas observaciones En la primera redacción de los ítems puede ser conveniente expresar la misma idea de modos diferentes. Aunque la idea sea la misma, no siempre es previsible qué formulación va a ser más clara o más discriminante. Después del análisis de ítems se puede escoger la formulación más eficaz.
  66. 66. Algunas observaciones Como por ejemplo reproducimos seis ítems de una escala de actitud hacia el estudio; todos expresar la misma idea básica: nivel de aspiraciones; sin embargo su relación con el total es muy distinta.
  67. 67. Bibliografía Cea D’Ancona, M. A. (2004) Métodos de encuesta. Teoría y práctica, errores y mejora. Madrid: Síntesis. Martínez, V. C. (2004) Diseño de encuestas de opinión. Madrid: RA-MA. Morales Vallejo, P. (2006) Medición de actitudes en psicología y educación. 3ª. Edición. Madrid: Comillas. Silva Ayçaguer, L. C. (2000) Diseño Razonado de Muestras y Captación de Datos para Investigación Sanitaria. Madrid: Díaz de Santos.

×