Validez de las Inferencias II

Validación con varios predictores y un solo indicador del criterio

Cuando se desea conocer el influjo de varias variables predictoras cuantitativas en otra también cuantitativa (criterio), los procedimientos estadísticos que van a permitir obtener esta información son la correlación múltiple y el modelo de regresión lineal múltiple.

Correlación Parcial

Permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras, eliminando de antemano el influjo que sobre dicha correlación pueda estar ejerciendo el resto de variables.

Correlación Semiparcial

Permite conocer el grado de correlación entre la variable criterio (Y) y una de las variables predictoras, eliminando el efecto que sobre esta variable predictora pueden estar ejerciendo el resto de las variables.

El Coeficiente de Validez Múltiple

Va a permitir analizar el grado de asociación entre la variable dependiente (el criterio) y el conjunto de variables predictoras.

Fórmula en función de los coeficientes de correlación.

Fórmula en función de los coeficientes de regresión múltiple tipificados.

El Modelo de la Regresión Lineal Múltiple

Ecuación en puntuaciones directas, diferenciales y típicas.

Sólo se ve el caso de 2 variables predictoras.

Error de Estimación Múltiple: Y’ – Y

• Individual

• puede ser + o –

Error Típico de Estimación Múltiple

• Colectivo

• Sólo puede ser +

• Varía inversamente con el coeficiente de validez múltiple.

Interpretación del Coeficiente de Validez Múltiple

Coeficiente de Determinación Múltiple

• Equivale al coeficiente de validez múltiple al cuadrado.

• Representa la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede pronosticar a partir del conjunto de variables predictoras.

• Representa la varianza común entre el criterio y las variables predictoras.

• Oscila entre 0 y 1.

Coeficiente de Alienación Múltiple

• Indica la proporción que representa el error típico de estimación múltiple respecto a la desviación típica de las puntuaciones en el criterio.

• Oscila entre 0 y 1.

• Representa la inseguridad, o el azar, que afecta a los pronósticos.

• El CA2 es el complemento del CD.

Coeficiente de Valor Predictivo Múltiple

• Es el complemento del CA.

• Se interpreta como la proporción de seguridad con que se hacen los pronósticos.

Métodos para seleccionar las variables predictoras más adecuadas

Hay varios métodos estadísticos:

Métodos Forward:

Dentro de estos métodos el más utilizado es el stepwise.

• Se calculan las intercorrelaciones entre las distintas variables.

• Se selecciona la variable predictora cuya correlación con el criterio sea más alta y se construye la ecuación de regresión.

• La segunda variable a incluir será aquella cuya correlación semiparcial con el criterio sea más alta.

• La tercera variable a incluir sería la que tuviera con el criterio una correlación más alta, después de haber eliminado la influencia debida a la asociación entre esa variable y las otras dos seleccionadas, y así sucesivamente…

• Cada vez que se incluye una variable predictora en la ecuación de regresión se calcula el aumento en el porcentaje de varianza del criterio que explican el conjunto de variables seleccionadas (aumento en el coeficiente de determinación múltiple) y se analiza si ese aumento es estadísticamente significativo o no. El proceso se detiene cuando el aumento no es significativo.

Métodos Backward:

Es un método inverso al anterior y menos utilizado.

• Se calcula la correlación múltiple al cuadrado (CD) entre la variable criterio y todo el conjunto de predictores de que se dispone.

• Se van eliminando una a una las variables menos relevantes, calculando en cada proceso de eliminación la reducción que se producen en el coeficiente de determinación.

• El proceso se detiene cuando la reducción observada sea significativa.

Validez y utilidad de las decisiones

Se trata de analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas por los sujetos en un test en relación a un criterio dicotómico.

Las puntuaciones obtenidas en el test se dicotomizan a partir de un punto de corte, de manera que permitan asignar a los sujetos en dos categorías.

La capacidad predictiva del test se analiza mediante unos índices que reflejen la consistencia o acuerdo entre las decisiones basadas en el test y la medida del criterio.

Índices de Validez

Coeficiente Kappa

• Ofrece un indicador general de la validez de las clasificaciones hechas por el test.

• Resta los aciertos debidos al azar.

• El valor máximo de K es 1; el valor mínimo no es 0, sino que depende de las frecuencias marginales.

Proporciones de clasificaciones correctas

Es la proporción de clasificaciones correctas hechas a partir del test.

Especificidad

Proporción de personas correctamente consideradas por la escala verdaderos negativos respecto al total de casos.

Sensibilidad

Proporción de personas correctamente detectadas por la escala respecto del total de casos existentes según los expertos, o proporción de aspirantes correctamente seleccionados mediante la prueba de admisión, respecto del total de los que tuvieron éxito en el criterio.

Razón de eficacia

Proporción de aspirantes seleccionados mediante la prueba de admisión que rindieron satisfactoriamente en el criterio.

Índices de Selección

Razón de idoneidad

Proporción de aspirantes que rindieron satisfactoriamente en el criterio.

Razón de selección

Proporción de aspirantes que han sido seleccionados mediante el test.

¿Dónde situar el punto de corte?

El valor del punto de corte tiene una gran importancia sobre la validez de la prueba:

• Si el punto de corte del test hace la selección más estricta, se reduce la tasa de falsos positivos, pero habrá un aumento en la tasa de falsos negativos.

• Si el criterio es el que se hace más estricto, disminuirá el número de falsos negativos, pero a costa de que aumente el número de falsos positivos.

¿Dónde situar el punto de corte?. Habría que buscar el valor que maximice la capacidad predictiva del la variable predictora. El punto de corte debería situarse en aquel valor con el que se cometa un menor número total de errores.

Hay que analizar las consecuencias de las decisiones tomadas, ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos positivos o falsos negativos), ello dependerá del tipo de decisión a tomar.

Cuando un decisor utiliza un criterio maximin, deberá elegir aquella alternativa que entre los resultados más desfavorables, le permite obtener la máxima ganancia (máximo de los mínimos).

Cuando utiliza el criterio mínimax, el decisor estudiaría las alternativas que le van a proporcionar las máximas pérdidas y dentro de esas alternativas elegiría aquella que le proporcionara una “pérdida” menor (mínimo de los máximos).

Modelos de Selección

Hay tres modelos básicos a los que se pueden añadir dos de tipo mixto.

Modelo Compensatorio

• Se selecciona a los sujetos con puntuaciones pronosticadas más altas en el criterio.

• Se lleva a cabo una combinación aditiva de las distintas puntuaciones de los sujetos en las distintas variables.

• Una forma de obtener esta combinación es mediante la regresión múltiple, asignando a cada predictor un determinado peso que vendrá determinado por el correspondiente coeficiente de regresión.

Modelo Conjuntivo

• Se selecciona a los sujetos que superen en todos y cada uno de los predictores un nivel prefijado de competencia.

Modelo Disyuntivo

• Se selecciona a los sujetos que superen un cierto nivel de competencia en, al menos, un predictor.

Modelo Conjuntivo-Compensatorio

• Una vez que se ha elegido según el modelo conjuntivo a los sujetos, se les aplica el modelo compensatorio, de manera que queden ordenados en función de la puntuación global obtenida.

Modelo Disyuntivo-Compensatorio

• Se hace una primera selección aplicando el modelo disyuntivo, y a los sujetos seleccionados se les aplica el modelo compensatorio.

¿Cómo estimar la eficacia de la selección?

Otra forma de estimar la eficacia de la selección es utilizando el modelo de regresión, que permite estimar la probabilidad de que los seleccionados tengan éxito en el criterio.

Factores que influyen en el coeficiente de validez

Un test tiene varios coeficientes de validez, tantos como criterios elijamos. Tres son los factores que son decisivos:

La Variabilidad de la muestra

El coeficiente de validez aumenta a medida que aumenta la variabilidad de la muestra = disminuye con la homogeneidad entre los sujetos.

La Fiabilidad de las puntuaciones en el test y en el criterio

El coeficiente de validez de un test se ve afectado por los errores en las puntuaciones en el test y en el criterio (errores de medida).

El coeficiente de validez aumenta al aumentar la fiabilidad del test y del criterio.

Fórmulas de atenuación: Conseguir los efectos de atenuación quiere decir eliminar el influjo de los errores de medida.

Validez y Longitud

Si se aumenta la longitud del test puede aumentar la validez.

Para saber la validez del test tras aumentar o disminuir la longitud (Rxy).

Para saber cuánto hay que aumentar o disminuir la longitud del test para alcanzar un coeficiente de validez determinado (n).