Validez de las Inferencias I

Introducción al concepto de validez

Se acepta que el término validez hace referencia al grado en el que el test mide aquello que pretende medir. El concepto de validez hace referencia al grado de relación entre el test y el constructo que se pretende medir.

En esencia, el concepto de validez no ha cambiado sustancialmente a lo largo de los años, lo que si ha cambiado es la forma de abordar y operativizar esa relación entre el test y el constructo.

Hasta los años 50 del siglo XX, los tests se valoraban fundamentalmente por su utilidad práctica, sobre todo para la selección y clasificación de personal (validez predictiva de los tests).

Poco a poco fue surgiendo otra forma de estudiar la validez de los tests, relacionada con criterios externos (validez concurrente).

Al mismo tiempo se fue perfilando un nuevo enfoque de la validez, relacionado con criterios externos al propio test: la validez de contenido.

Mas adelante surgió la validez de constructo.

Por todo ello se puede definir la palabra validación como “el proceso mediante el cual el constructor recoge la evidencia empírica para apoyar las inferencias que se van a realizar”.

Validez de contenido

El objetivo es analizar hasta qué punto los ítems que componen el test son una muestra relevante y representativa del constructo sobre el que se van a realizar las inferencias.

No existen procedimientos estadísticos apropiados. La forma típica de llevar a cabo un estudio de validación de contenido es utilizando un grupo de expertos que serán los encargados de analizar dos aspectos fundamentales:

1. Que el test no incluya aspectos irrelevantes del dominio de interés,

2. Que incluya todos los elementos importantes que definen el dominio.

Se trata de un análisis racional del contenido del test y, por lo tanto, los resultados del estudio estarán basados en los juicios subjetivos emitidos por los expertos.

Un tipo especial de validez de contenido es la Validez aparente, que se refiere a la necesidad de que el test parezca, dé la impresión a los que se aplica, de que es adecuado para medir lo que se pretende. Puede tener su importancia de cara a la motivación y actitud de los sujetos.

Validez de constructo

Es el concepto de validez que se considera más importante.

Debe sustentarse en teorías psicológicas.

Se refiere a recoger evidencia que garantice la existencia de un constructo psicológico.

Entre los procedimientos metodológicos más utilizados destacan dos:

La Matriz Multirrasgo-Multimétodo

Se evalúa a partir de una matriz de correlaciones, donde aparecen varios rasgos psicológicos (constructos) medidos por varios métodos.

• Hay Validez Convergente si son elevadas las correlaciones entre las medidas de un rasgo por distintos métodos.

• Hay Validez Discriminante si son bajas las correlaciones entre las medidas de distintos rasgos obtenidos por el mismo método.

• Hay Validez de Constructo si la Validez Discriminante es menor que la Validez Convergente.

El Análisis Factorial

El Análisis Factorial va a permitir determinar la estructura que subyace a las puntuaciones obtenidas por los sujetos en los distintos ítems del test o en un conjunto de tests.

Incluye una serie de técnicas estadísticas que tienen por objetivo representar y explicar un conjunto de variables observables mediante un menor número de variables latentes o inobservables, llamadas latentes:

• Cuando en un mismo factor se agrupan múltiples indicadores del constructo, se obtiene evidencia de la validez convergente.

• Cuando en el análisis se han obtenido medidas de otros constructos y éstas aparecen agrupadas en distintos factores, se obtiene evidencia de la validez discriminante.

Validación referida al criterio

Se trata de obtener evidencia acerca del grado en que las puntuaciones obtenidas en el test pueden utilizarse eficazmente para hacer inferencias acerca del comportamiento real de los sujetos en un criterio que no puede ser medido directamente.

El objetivo principal es evaluar la hipótesis de relación entre test y criterio.

Se suelen utilizar dos tipos de índices:

1. medidas correlacionales (rxy, CD, CA, CPV), y

2. medidas de error en la predicción (errores de estimación)

Este tipo de estudios se suelen realizar desde dos perspectivas diferentes:

1. Cuando los tests se van a utilizar para la selección o clasificación de personas (validez pronosticada),

2. Cuando se utilizan para hacer un diagnóstico (validez concurrente).

Según el diseño utilizado para calcular el coeficiente de validez se distingue entre:

• Validez predictiva: la medida del criterio se obtiene con posterioridad a la del test

• Validez concurrente: la media del criterio se obtiene al mismo tiempo que la del test.

La validación del criterio es un proceso en el que la teoría no juega un papel principal.

El problema de la selección y medición del criterio

Se trata de utilizar los tests para seleccionar aquellas personas que van a tener mayor probabilidad de éxito en el criterio.

¿Qué constituye el éxito en el criterio?

Todos los indicadores son parciales y no ofrecen una composición completa del criterio.

THORNDIKE y HAGEN consideran que los indicadores deben cumplir una serie de requisitos:

• Que sean relevantes.

  • Un indicador es relevante en la medida en que se corresponde con el criterio. No hay evidencia empírica que nos permita medir la relevancia. Es necesario apoyarse en el juicio de expertos.

• Que estén libres de sesgos.

  • Que las medidas del criterio representen la verdadera competencia de los sujetos y no estén determinadas por factores que actúen de manera diferencial en determinados grupos.

• Que sean fiables.

  • Las medidas del criterio que proporcionen los indicadores han de ser estables.

• Que sea accesibles.

Procedimientos estadísticos

Se pueden utilizar numerosos procedimientos, aunque los más utilizados están basados en correlaciones:

• Un único test predictor y un solo indicador del criterio.

  • Correlación y Regresión Lineal Simple. Según la naturaleza de las variables se utilizará uno u otro índice de correlación.

• Varios predictores y un solo indicador del criterio.

  • Correlación y Regresión Lineal Múltiple. Análisis Discriminante (si el criterio es cualitativo), y Regresión Logística (si el criterio es dicotómico).

• Varios predictores cuantitativos y varios indicadores cuantitativos.

  • Regresión Lineal Multivariante y Correlación Canónica.

• Procedimientos basados en la Teoría de la Decisión.

  • Técnicas Maximin y Mínimax, Teoría de la Utilidad Multiatributo.

Validación con un único criterio y un solo indicador del criterio

Correlación: para conocer el grado de asociación entre el test y el criterio.

Regresión Lineal: para pronosticar las puntuaciones en el criterio.

El Coeficiente de Validez se define como la correlación entre las puntuaciones de los sujetos en el test y las obtenidas en el criterio.

El tipo de correlación dependerá de la naturaleza de las variables implicadas:

• Si el test (X) y el criterio (Y) son cuantitativas: COEFICIENTE DE CORRELACIÓN DE PEARSON

• Si el test (X) es cuantitativa y el criterio (Y) es dicotomizada: COEFICIENTE BISERIAL

• Si el test (X) es cuantitativa y el criterio (Y) es dicotómica: COEFICIENTE BISERIAL-PUNTUAL

• Si el test (X) y el criterio (Y) son dicotómicas: COEFICIENTE PHI

• Si el test (X) es dicotomizada y el criterio (Y) es dicotómica: COEFICIENTE PHI BISERIAL

• Si el test (X) y el criterio (Y) son dicotomizadas: CORRELACIÓN TETRACÓRICA

Interpretación del coeficiente de validez

Coeficiente de determinación

• Equivale al coeficiente de validez al cuadrado.

• Representa la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede explicar, que está asociada, por la varianza de las puntuaciones en el test.

• Es directamente proporcional al coeficiente de validez.

• Es menor que el coeficiente de validez.

Coeficiente de Alienación

• Representa el grado de inseguridad, de azar, que afecta a los pronósticos en el criterio.

• Indica la proporción de desviación típica de las puntuaciones en el criterio que no es explicada por el test.

• Es inversamente proporcional al coeficiente de validez.

• Es inversamente proporcional al coeficiente de determinación.

• Es menor que el error típico de estimación.

Coeficiente de Valor Predictivo

• Representa el grado de seguridad con que se efectúan los pronósticos en el criterio.

• Es directamente proporcional al coeficiente de validez.

• Es el complemento del coeficiente de alienación. (CVP = 1 – CA)

Obtención empírica del coeficiente de validez

Si conocemos las puntuaciones de los sujetos en el test (X) y en el criterio (Y), lo obtendremos con la calculadora en el Mode REG

Si no conocemos las puntuaciones de todos los sujetos en X e Y, sabremos algo acerca de CD, CA o CVP:

Rxy = √ CD = √ (1-CA2) = √ (1 - (1-CVO)2)

Valor máximo: rxy es igual o menor que rxv

Pero rxy puede ser mayor que rxx’

Su valor varía de -1 a +1

rxy = ryy’ (correlación entre las puntuaciones reales y las pronosticadas en el criterio)

Estimación de las puntuaciones en el criterio

Las ecuaciones de regresión sirven para estimar cuál sería la puntuación que obtendría un sujeto en el criterio, conociendo sus puntuaciones en el test.

La predicción será tanto más ajustada cuanto mayor sea el coeficiente de validez.

ESTIMACIÓN PUNTUAL (en puntuaciones directas, diferenciales y típicas)

ESTIMACIÓN POR INTERVALOS (en puntuaciones directas, diferenciales y típicas)

Error de estimación en el criterio: Y’ – Y

• Individual

• puede ser + o –

Error típico de estimación

• Colectivo

• sólo puede ser +

• varía inversamente con el coeficiente de validez

• es otra forma de expresar el ajuste entre el criterio y los pronósticos

Error máximo de estimación en el criterio

Error típico por Zc

Relación fundamental: S2y = S2y’ + S2y.x