17 de marzo de 2015

Validez de los instrumentos (ejemplos)

La validez y confiabilidad reflejan la manera en que el instrumento se ajusta a las necesidades de la investigación (Hurtado, 2012). La validez hace referencia a la capacidad de un instrumento para cuantificar de forma significativa y adecuada el rasgo para cuya medición ha sido diseñado. Es decir, que mida la característica (o evento) para el cual fue diseñado y no otra similar. 

La validez, no debe ser una característica propia del test, sino de las generalizaciones y usos específicos de las medidas que el instrumento proporciona (Prieto y otros, 2010). Lo cual quiere decir que, más que el test en sí mismo, lo que se somete a validación son las posibles inferencias que se vayan a realizar a partir de los resultados obtenidos.

 “La validez y confiabilidad son: “constructos” inherentes a la investigación, desde la perspectiva positivista, con el fin de otorgarle a los instrumentos y a la información recabada, exactitud y consistencia necesarias para efectuar las generalizaciones de los hallazgos, derivadas del análisis de las variables en estudio” (Hidalgo, 2005).

Validez de constructo
Un constructo es un concepto. Así, la validez de constructo “intenta determinar en qué medida un instrumento mide un evento en términos de la manera como éste se conceptualiza, y en relación con la teoría que sustenta la investigación…Un instrumento tiene validez de constructo cuando sus ítems están en correspondencia con sus sinergias o los indicios que se derivan del concepto del evento que se pretende medir” (Hurtado, 2012, p. 790, 792).

Una vez elaborado el instrumento, se puede aplicar técnicas de cálculo de la validez, las cuales se basan en los criterios que se muestran en el próximo cuadro. Más adelante se muestran ejemplos de los procedimientos descritos y una hoja de Excel (descargable) con ejemplos resueltos y las fórmulas aplicadas.

Tipos de validez y confiabilidad: criterios y técnicas de cálculo
Calidad del instrumento
Tipo de validez / confiabili-dad
Criterios en el que basa la validez
Procedimiento
Técnica de cálculo
Mide el evento que se quiere medir
Validez de constructo
Correspondencia teórica
Entre sinergias y concepto
Validez por jueces o expertos
Proporción de acuerdos
Entre ítems y concepto
Validez convergente
Correlación
Validez discriminante
Correlación
Correspondencia empírica
Entre ítems y la experiencia presente
Validez de criterio o empírica concurrente
Correlación instrumento criterio
Entre ítems y la experiencia futura
Validez de criterio o empírica predictiva
Correlación instrumento criterio
Entre sinergias y el evento observado
Validez estructural
Correlación ítem-sinergia
Análisis factorial
Mide todo el evento de estudio
Validez de contenido
Exhaustividad de los contenidos
Abarca las áreas, los contenidos o los conceptos
Validez por jueces o expertos
Proporción de acuerdos
Mide sólo el evento que se pretende medir
Confiabili-dad
Consistencia interna entre los ítems
Los ítems se correlacionan entre sí en una misma aplicación
Pruebas paralelas
correlación
División por mitades
correlación
Alfa de Cronbach
Alfa de Cronbach (escala de respuestas)
Küder Richardson
Küder Richardson
(respuestas dicotómicas)
Los ítems se correlacionan entre sí en aplicaciones sucesivas
Test-retest
correlación
Los ítems se correlacionan entre sí en aplicaciones simultáneas de dos evaluadores distintos
Acuerdo entre evaluadores
Proporción de acuerdos
Parece medir el evento que mide
Validez aparente
Redacción y diagramación

Revisión de estilo y diagramación
Cuadro original de Hurtado  (2012, p. 791)


Validación por jueces o expertos
Es una de las técnicas utilizadas para calcular el índice de validez de constructo. Se basa en la correspondencia teórica entre los ítems del instrumento y los conceptos del evento. Busca corroborar el consenso entre el investigador y los expertos con respecto a la pertenencia de cada ítem a las respectivas sinergias del evento y, de esta manera, apoyar la definición de la cual se parte. (Hurtado, 2012, p. 792). La autora recomienda seguir los siguientes pasos: 
1.     Desarrollar la tabla de operacionalización de eventos.
2.     Seleccionar a los jueces, quienes deben, en lo posible conocer el evento. Elegir entre tres y cinco expertos, según el nivel de exigencia requerido.
3.     Elaborar el juego de documentos para el experto:
3.1.      Carta explicativa con la solicitud de apoyo a la validación la cual debe contener:
3.1.1.     Información básica sobre la investigación a realizar
3.1.2.     El evento a estudiar con su definición
3.1.3.     Sinergias que componen el evento y su respectiva definición
3.1.4.     Copia del instrumento a validar
3.1.5.     Instrucciones para el registro de las respuestas
3.1.6.     Instrumento donde las alternativas son las sinergias del evento para cada ítem.

3.1.7.  Constancia de validación con los datos personales y profesionales del experto, apreciación general y firma.

No se entrega la tabla de operacionalización al experto, ni los objetivos de la investigación.
Los criterios para registrar acuerdos o desacuerdos son:
- Cuando los tres jueces coincidan en la sinergia a la cual pertenece el ítem, se considera que el ítem estaba bien formulado y se registra como un acuerdo (valor: 1).
- Cuando dos jueces coincidan en la sinergia, se registra como un acuerdo (valor: 1)
- Cuando sólo un juez coincida en la sinergia a la cual pertenece el ítem, se considera un desacuerdo (valor: 0).
- Cuando ningún juez coincida en la sinergia a la cual pertenece el ítem, se considera un desacuerdo (valor 0).
Luego, se obtiene un índice de validez, mediante la técnica de proporción de acuerdos. Este se calcula al contar todos los acuerdos y dividir el resultado entre el total de ítems. Hurtado (ob. cit.) indica que para instrumentos que miden eventos de las ciencias sociales, el índice obtenido debe superior a 0,70.

Ejemplos solicitud

DATOS DEL EXPERTO

Nombres: _______________            Apellidos: ______________________         Género: _____
Profesión: _________________       Último Título Obtenido: ______________________
Institución en Donde Trabaja: _______________________________________________
Asignatura que dicta: _____________________________________________________
Cargo: __________________________________________          Antigüedad: ________


Ejemplo: Definiciones de las sinergias del evento
Evento
Sinergias
Aplicación del libro electrónico:
Se define como un conjunto de piezas de información de naturaleza multimedia, organizados según una estructura susceptible de consulta no-secuencial, así como susceptibles de manipulaciones en función de la naturaleza de su información y del uso a que se destinen (Canals, 1995).

Estrategias cognoscitivas: Actividades mentales, no siempre conscientes, que realiza el lector para manipular y transformar la información en el texto escrito, con el propósito de hacerla más significativa; permiten procesar la información, resolver problemas de procesamiento, autorregular el procesamiento, explorar soluciones alternas, releer con propósitos específicos.
Diseño, concordancia y coherencia: Se refiere a la manera en que está estructurado el medio didáctico, tomando en cuenta aspectos gráficos, tipográficos, uso de la gramática y precisión semántica; todo lo cual permite lograr una unidad entre las partes y el todo, así como hacer viable la perspectiva del autor y del lector (Contreras, 2015).
Aprendizaje significativo: Sugiere el manejo de materiales de instrucción y recursos informáticos con el propósito de lograr que el educando sea activo, que razone y establezca relaciones, que acuda a su marco referencial inmediato y maneje el lenguaje verbal y escrito, dentro de un entorno que favorezca la comunicación alumno-docente. Persigue promover un pensamiento formal opuesto a lo "memorístico", que le permita al educando demostrar cuánto ha integrado a sus estructuras mentales, y cómo es capaz de expresarlo a través del lenguaje (Contreras, 2015).


Ejemplo de instrumentos para validación
Instrucción para el uso del presente instrumento: Marque con una X la dimensión a la cual considera que pertenece cada ítem.

A: Estrategias cognoscitivas            B: Diseño, concordancia y coherencia               C: Aprendizaje significativo


Ítem
A
B
C
Observación
1        




2        




3        




4        




5        




6        




7        




(…)




Observaciones y sugerencias:


Ejemplo de validación por jueces (Índice de validez)

Aplicar formato condicional a las celdas (Excel)
En Excel, se podrá aplicar formato en color rojo a medida que se registran los datos si previamente selecciona el rango de celdas (solo los jueces) que corresponden a cada sinergia, por separado.
Luego utilizar los siguientes comandos:
Inicio/Formato condicional/Nueva regla
Seleccionar un tipo de regla: Aplicar formato únicamente a las celdas que contengan:
Editar una descripción de regla:
Dar formato únicamente a las celdas con: Texto específico / que no contiene / Texto asignado a la sinergia (en este caso A, B o C).
Formato / Color / Rojo / Aceptar
Para aplicar formato condicional a los Acuerdos, se selecciona el rango de celdas que contiene los acuerdos y se sigue la ruta:
Inicio/Formato condicional/Nueva regla
Seleccionar un tipo de regla: Aplicar formato únicamente a las celdas que contengan:
Editar una descripción de regla:
Dar formato únicamente a las celdas con: valor de celda / no igual a / 1
Formato / Color / Rojo / Aceptar


 Ejemplo constancia de validación:

Constancia de Validación

Yo__________________________________, CI_____________
de profesión ___________________________, y ejerciendo actualmente como
__________________________________en la institución____________________
_______________________, hago constar que he revisado, con fines de validación el instrumento “Prueba de Conocimientos”, diseñado por el investigador ________, y luego de hacer las observaciones pertinentes, puedo formular las siguientes apreciaciones:

Deficiente
Aceptable
Excelente
Congruencia ítem-dimensión



Amplitud de contenidos



Redacción de los ítems



Ortografía



Presentación



En Caracas, a los _____ días del mes de _______________de 2013
Firma del validador


Bibliografía
1.    Hidalgo, L. (2005). Validez y confiabilidad en la investigación cualitativa. [Documento PDF en línea]. Venezuela: UCV. Disponible: www.ucv.ve/uploads/media/Hidalgo2005.pdf   [Consulta: 2013, Enero 12].
2.    Hurtado, J. (2012). Metodología de la investigación: guía para una comprensión holística de la ciencia (4a. ed.). Bogotá-Caracas: Ciea-Sypal y Quirón.
3.    OCW. La fiabilidad de los test
4.    Louis de Vivas, M. (1994). Investigación cualitativa. Manual de para la recolección y el análisis de la información. Caracas: El juego ciencia.
5.    Meliá, Jl. Problemas resueltos de psicometría
6.    Prieto, Gerardo; Delgado, Ana R. (2010). Fiabilidad y validez. Papeles del psicólogo. España: Consejo General de Colegios Oficiales de Psicólogos) ISSN 0214-7823.
7.    Suárez, M. (SF). Coeficiente de correlación de Karl Pearson
8.    Mora, H. (SF). Validez y fiabilidad con SPSS
Próximo tema:  Análisis de resultados (en elaboración)


Licencia Creative Commons
Educapuntes por Mario Contreras se distribuye bajo una Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional .
Basada en una obra en www.educapuntes.blogspot.com .