La observación
Perfil de la metodología observacional
La metodología observacional, que se desarrolla en contextos naturales o habituales, consiste en un procedimiento científico que pone de manifiesto la ocurrencia de conductas perceptibles, para proceder a su registro organizado y su análisis cualitativo y cuantitativo, mediante un instrumento adecuado y parámetros convenientes, posibilitando la detección de las relaciones de diverso orden existentes entre ellas y evaluándolas.
Son muchas las situaciones en las que la metodología observacional es la más adecuada o la única posible, como la evaluación de programas de baja intervención. Pero resulta interesante también en la evaluación de interacciones diversas, en la evaluación de la competencia social, repertorio conductual, análisis del movimiento en diversas actividades, pautas de socialización….
La observación de las situaciones, actividades, episodios y contextos requiere ajustarse a unos poco requisitos para poderse materializar, y los diferenciaremos en sus dos vertientes: sustantiva y metodológica.
Vertiente sustantiva
La primera decisión a adoptar consistirá en la delimitación temática del comportamiento perceptible del individuo o situación a evaluar, y a los que afectarán tres únicas restricciones:
Carácter perceptible, sea de forma total o parcial. Abogamos por la consideración de conductas manifiestas del sujeto/s observado/s y que ofrecen una mayor garantía en su acotación. Esta perceptividad marca un límite a las grandes posibilidades de la metodología observacional, dado que no toda operación perteneciente a la esfera cognitiva del individuo en sí misma no es perceptible, pero sí lo son los niveles de respuesta gestual, postural, de desplazamiento, intercambios de mirada, conducta verbal, conducta manipulativa…, que le acompañan.
Integración de la vida cotidiana y del entorno natural del sujeto a evaluar.
Relación interactiva con el contorno. Cualquier conducta requiere de un referente que tiene en cuenta el entorno en alguna de sus múltiples acepciones, y que aquí entenderemos como un conjunto molar compuesto por los lugares definidos en el espacio en que trascurren diferentes actividades.
Vertiente procedimental o metodológica
De dicha vertiente derivan las principales características que conforman el perfil básico de la metodología observacional:
Preferencias por el carácter idiográfico del estudio. Las posibilidades de la metodología observacional se incrementan cuando se observa un individuo, que es la posición clásica, pero también cuando se hace uso de dos nuevas acepciones del concepto idiográfico: un pequeño grupo que actúan como unidad, y por otro lado, cuando solamente se observan conductas pertenecientes a un solo nivel de respuesta, tanto si corresponden a un solo sujeto, como al mencionado grupo de individuos que actúan como una unidad.
Posibilidad de un cierto seguimiento temporal, que va más allá de una mera ocurrencia casual o esporádica de determinadas conductas.
Ausencia de instrumento estándar. El carácter espontáneo de las conductas que se estudian y el carácter habitual del contexto imposibilitan la existencia previa de unos instrumentos encorsetados y estándar, que obligarían a limitar el carácter natural de las conductas producidas. Así deben construirse ad hoc en cada caso, aunque en su elaboración contemos con otros instrumentos ya elaborados.
Reducción/eliminación del sesgo
Toda evaluación es un estudio científico y se deben reducir y eliminar los errores, debido a que las situaciones de observación son complejas, existe en ocasiones una movilidad intrínseca, muchas conductas son fugaces, los estudios habitualmente prolongados, etc. En las últimas décadas el avance tecnológico que se ha producido ha facilitado el rigor y la precisión del registro. En la actualidad, en casi todos los casos se puede disponer de la grabación de las sesiones de observación, motivo por el cual la operación metodológica de registro se disocia en las de grabación-visionado-registro a partir de la grabación, pudiéndonos ayudar mediante instrumentos mecánicos o tecnológicos. Muy frecuente es la posterior digitalización de las grabaciones, lo que permite una vez se hallan dispuestas codificarlas con mucha mayor precisión.
En la metodología observacional se contempla la ecuación funcional:
Observación = percepción + interpretación + conocimiento previo – sesgos
en donde la falta de equilibrio entre P, I y Cp genera sesgos de carácter estructural. El uso de la observación en evaluación implica el mantenimiento de un equilibro entre la percepción, la interpretación, y el conocimiento previo o contextualización.
Son muchos y diversos los sesgos y dificultades que acechan al observador, pudiéndose solventar en su práctica totalidad con una planificación adecuada y un correcto adiestramiento de los observadores. Los grandes grupos de sesgos son:
Reactividad. Consiste en la alteración de la naturaleza espontánea de las conductas de los sujetos observados que se ocasiona precisamente cuando se aperciben de que están siendo observados. Es un sesgo muy frecuente. Habitualmente es posible resolverlo mediante un acostumbramiento más o menos prolongado a la presencia del observador hasta que la integración de éste en el entorno percibido por el sujeto evaluado ya no genera ninguna alteración en el comportamiento, aunque se requiere una buena dosis de paciencia. En los casos en que no se vulnere principios se puede resolver mediante la utilización de espejos unidireccionales.
Expectancia. Surge en el observador en forma de previsiones de conductas no contextualizadas y en ocasiones, ni siquiera percibidas. Es un sesgo grave ya que el observador no sospecha que está afectado. Puede ocurrir porque el observador crea tener un completo conocimiento de la situación o porque esté fuertemente supeditado a un marco teórico y trate inconscientemente de obtener evidencia empírica.
Sesgos de carácter técnico. Son muy variados: ángulo de mira incorrecto, fallos de funcionamiento de medios técnicos, falta de sincronización entre los observadores de un equipo, insuficiente cobertura en la grabación, etc.
Observación como método y como técnica
En la observación como método, precisamente porque se trata de una de las modalidades del método científico, se siguen todas las fases del proceso, que son las mismas para todas las metodologías empíricas en Ciencias del Comportamiento. Existe una coherencia en todo el proceso.
La observación como técnica consiste en el uso puntal de algún recurso técnico propio de la metodología observacional inserto en el proceso propio de una metodología selectiva, experimental o cuasi-experimental. Mientras no especifiquemos lo contrario, nos referiremos a la metodología observacional.
Relación observador/observado
Observación no participante. Se caracteriza porque la figura del observador es claramente neutra, sin que se dirija al observado como iniciador de relación interactiva.
Observación participante. En la que el observador dispone de iniciativa para dirigirse interactivamente al sujeto observado. Pretende la obtención de datos mediante un contacto directo con el sujeto observado. Al principio puede ser no observante para con el transcurso del tiempo conformarse en participante.
Participación-observación. Resulta del progresivo acercamiento entre las figuras del observador y observado, dado que existe algún tipo de relación previa entre ellos.
Auto-observación. Situación en la cual coinciden las figuras de observador y observado. La autoobservación implica el grado más elevado de participación en la observación, donde el observador es a la vez, sujeto y objeto, y resulta especialmente interesante en la evaluación de conductas privadas, conductas que resultan opacas a observadores externos, conductas encubiertas o conductas que se supone que están precedidas por reacciones internas o estados emocionales. En la auto-observación hay que distinguir entre autoobservación de conductas heteroobservables, en la cual es posible el registro en paralelo de conductas por parte del sujeto que es objeto de estudio y también por parte de observadores externos y autoobservación introspectiva, que se refiere a vivencias experienciadas en primera persona y que presenta el importante riesgo de distorsión producida por la inferencia elevada que comporta.
Qué observar?
Lo primero que tenemos que saber con exactitud es qué queremos observar. Según la perspectiva desde la cual abordemos el estudio, nos pueden interesar elementos de orden diverso: de aprendizaje, de destrezas, habilidades sociales, de control del propio cuerpo… Y puede ocurrir que nuestro objetivo se focalice sólo en algunos de ellos o en varios simultáneamente.
En el ámbito de la evaluación ha de quedar claro que debemos registrar aquellos sectores del comportamiento que podamos percibir y nos permitan objetivar y después cuantificar su estudio. Todos los niveles clásicos de respuesta caben en el estudio de los comportamientos susceptibles de evaluación. Siendo conscientes de sus limitaciones, sugerimos la clasificación de niveles de respuesta de Weick que corresponden al contenido de la conducta a observar, y teniendo en cuenta que nos puede interesar uno o varios simultáneamente.
Conducta no verbal
Se refiere a las expresiones motoras que pueden originarse en distintas partes de su cuerpo. Se trata quizá del área más activa de las recientes investigaciones en metodología observacional. La conducta no verbal es extremadamente sutil para el registro, siempre que el observador esté entrenado y adiestrado y sea sensible a sus manifestaciones.
La propuesta inicial de Weick desglosaba la conducta no verbal en: expresiones faciales, intercambios de mirada y movimientos corporales. No obstante se incurre en dos problemas metodológicos: por una parte, entre expresiones faciales e intercambios de mirada no se cumple la mutua exclusividad, la segunda constituiría un subconjunto de la primera. Por otra, los movimientos corporales no hacen posible que sea efectiva la condición de exhaustividad con el resto, puesto que únicamente se contemplaría la conducta gestual (que es dinámica) pero no la postural (que es estática). La modulación introducida consistiría en contemplar expresiones faciales, conducta gestual y conducta postural.
Conducta espacial o proxémica
Presenta dos vertientes: una es de carácter estático y se refiere a la elección de lugar en un espacio; y la segunda es mucho más relevante en el ámbito infantil, y comprende el conjunto de los desplazamientos de un sujeto, realización de trayectorias, ocupación del espacio…
Conducta vocal o extralingüística
Estudia los diversos aspectos de interés en la vocalización, sin interés por el contenido del mensaje. Los desarrollos informáticos o el sonógrafo permiten la descomposición espectral de la voz, el cálculo de la energía producida en el instante de la emisión y la detección del formante (cada uno de los rasgos identificables de un sonido o un fonema, los cuales tienen un carácter personal e intransferible para el sujeto emisor). Las aplicaciones en el ámbito infantil son muy interesantes, especialmente en cuestiones relacionadas con el desarrollo del lenguaje, pero también en el ámbito forense con la identificación del formante.
Conducta verbal o lingüística
Se refiere al contenido del mensaje, y presenta una interesante aplicación en todos aquellos casos en que la conducta verbal es grabada y transcrita, transformándose en material documental, así como en aquellas situaciones en que inicialmente ya se obtiene la información en forma de texto. Ej: diario de una anoréxica.
Diseños observacionales
El diseño de un estudio es una estrategia que nos aporta la forma de desarrollarlo empíricamente, estructurando los datos de acuerdo con los objetivos que se deben cumplir y conduciéndolos hasta el desarrollo analítico adecuado. Los diseños observacionales se caracterizan por su elevada flexibilidad, de forma que actúan a modo de pautas útiles para saber qué datos conviene obtener y cómo se deben después organizar y analizar.
Se pueden establecer criterios muy diversos para establecer un mapa de los posibles diseños. Se está desarrollando una propuesta que cruza:
La dicotomía idiográfica (unicidad) / nomotética (pluralidad).
La dicotomía de registro puntual / seguimiento.
La dicotomía unidimensional / multidimensional.
Aplicando esta propuesta se dispone de ocho zonas en cuatro cuadrantes, que corresponderían a los ocho diferentes diseños. El diámetro vertical es el relativo a las unidades a evaluar, el horizontal a la temporalidad de la evaluación y los círculos concéntricos a la dimensionalidad.
Cuadrante I
Comprende los dos diseños (diacrónicos): idiográfico/seguimiento/unidimensional eidiográfico/seguimiento/multidimensional.
El seguimiento en un estudio idiográfico constituye una situación característica en evaluación, ya que consigue focalizar toda la atención en una unidad. Ej: un niño en un centro de acogida. A su vez si es unidimensional sólo interesaría evaluar un nivel de respuesta. Ej: su aprendizaje motriz.
Cuadrante II
Comprende los dos diseños: idiográfico/puntual/unidimensional e idiográfico/puntual /multidimensional. Una recogida de datos puntuales y a partir de un solo sujeto permite realizar únicamente evaluaciones de carácter sumativo, que pueden referirse a un solo nivel de respuesta o a varios. Son los dos diseños más débiles.
Cuadrante III
Comprende los dos diseños (sincrónicos): nomotético/puntual/unidimensional y nomotético/puntual/multidimensional. Cada vez son más frecuentes situaciones puntuales en las que es necesario evaluar elementos o comportamientos de diferentes individuos. Estos diseños siguen presentando la debilidad del corte transversal, pero se amplía sobre los del cuadrante II al no tener límite acerca del número de unidades observadas.
Cuadrante IV
Comprende los dos diseños (diseños diacrónico-sincrónicos o laglog): nomotético/seguimiento/unidimensional y nomotético/seguimiento/multidimensional. Dan lugar a diseños potentes que son muy frecuentes.
Desarrollo del proceso
Fase exploratoria
Antes de iniciar el estudio sistemático es recomendable dedicar una serie de sesiones a la fase exploratoria o pasiva, de carácter asistemático, que persigue la finalidad de acotar de forma precisa el objeto de estudio, disminuir o eliminar la reactividad del sujeto observado, incrementar el nivel de entrenamiento del observador, y recopilar un suficiente bagaje de información que permita adoptar con posterioridad y de forma motivada las decisiones precisas.
Durante esta fase se debe lograr un conocimiento detallado y una familiarización con la situación de observación.
Disposición previa
Antes del planteamiento del registro se deben materializar unos requisitos idóneos encaminados a facilitar la buena marcha del procedimiento, y que actúan como importante garantía para no cometer errores. Son los siguientes:
Mantenimiento de la constancia intersesional
Con el fin de garantizar el máximo de homogeneidad entre las diferentes sesiones de observación es imprescindible que se haya elaborado una relación de los requisitos mínimos que permiten caracterizar el perfil de las sesiones de observación que se ajustan al objetivo propuesto. Los criterios son variados (días, lugar, hora, actividad, entorno, etc.).
Mantenimiento de la constancia intrasesional
La constancia a lo largo de la sesión se rompe por un evento inesperado o circunstancia sobrevenida en el transcurso de la sesión de observación, que ocasiona a su vez una ruptura de la actividad. Se plantea si se puede aprovechar para su estudio el registro correspondiente a la parte de la sesión previa a este fin inesperado, adoptándose como criterio convencional positivo que en ella se cumpla la totalidad de las condiciones de constancia intersesional.
Tratamiento de las disrupciones temporales
Las disrupciones temporales consisten en un evento inesperado o circunstancia sobrevenida en el transcurso de una sesión de observación que ocasiona una interrupción de ésta, sin que se rompa el curso de la acción. La inobservabilidad pasajera que se genera se puede producir esencialmente por dos motivos: por hallarse momentáneamente el sujeto fuera del campo de observación o por causas técnicas.
Temporalización
Elaboración de un plan o agenda relativo a la sucesión de actividades a desarrollar a lo largo del proceso observacional: fase exploratoria, planteamiento del diseño de estudio, plan de muestreo observacional, elaboración del instrumento de observación, registro y obtención de parámetros, comprobación del control de calidad del dato, análisis de datos en función del diseño, interpretación de resultados y elaboración del informe.
Identificación de la sesión de observación
Aparte de datos identificativos de fecha y hora, se incluirá información relativa a los cuatro niveles básicos de todo contexto: entorno físico; actividad realizada; nivel social relativo al sujeto observado; e información de carácter institucional u organizativo.
Plan de muestreo observacional
El plan de muestreo nos permite planificar cuándo tenemos que observar para obtener el correspondiente registro. La situación óptima sería la de un registro continuo, equivalente a la totalidad de la realidad que queremos estudiar. Sin embargo, en muchas ocasiones no es posible. Así que conviene establecer dos niveles de muestreo, intersesional e intrasesional.
El nivel intersesional se establece a partir de adoptar una decisión acerca de: período de observación, periodicidad de las sesiones, número mínimo de sesiones, criterio de inicio de sesión y criterio de fin de sesión.
El nivel intrasesional se refiere a la información registrada dentro de cada sesión. Las diferentes posibilidades son:
Registro continuo de toda la sesión: no se da muestreo intrasesional
Muestreo de eventos: solo se registran determinados tipos de conductas o elementos.
Muestreo temporal: la selección de la información se efectúa en función del tiempo real. Existen diversas modalidades: muestreo instantáneo o de puntos de tiempo, muestreo de intervalos total y muestreo de intervalos parcial.
Muestreo focal: cuando se observan diversos sujetos, se reparte en partes iguales la duración de la sesión, y el muestreo se efectúa mediante rondas sucesivas de observación a cada uno de ellos.
Elaboración del instrumento
Dada la diversidad de las situaciones susceptibles de observación es necesario preparar instrumentos ad hoc para cada uno de los casos. Existen, como instrumentos básicos de la metodología observacional el sistema de categorías, el formato de campo, y de forma residual, las rating scales. El sistema de categorías es de mayor rango por su imprescindible soporte teórico, mientras que los formatos de campo constituyen un instrumento más flexible especialmente adecuado en situaciones empíricas de elevada complejidad.
Sistema de categorías
Se trata de una construcción del observador que permite disponer, en sentido figurado, de una especia de receptáculos o moldes elaborados a partir de la realidad, y de un marco teórico, y a los que se asignarán las conductas registradas. No sólo debe estudiarse la individualidad de cada una de las categorías, sino que es fundamental además la estructura de conjunto que forma el sistema.
El proceso es recurrente entre la realidad y el marco teórico. El punto de partida más recomendable es la elaboración de un repertorio o lista de rasgo de conducta. Para la correcta elaboración del instrumento, debe contarse con una presunción de exhaustividad, para lo que se requieren suficientes sesiones de observación y se fija una medida convencional, prueba de cautela, consistente en el establecimiento de un número mínimo de sesiones (al menos tres) sucesivas en las cuales no ocurra alguna nueva conducta distinta de las ya listadas.
El paso siguiente consiste en proponer unos criterios que permitan realizar agrupaciones por afinidad entre los rasgos de conducta y a las que se da una denominación provisional. A continuación se efectúa el visionado de nuevas sesiones, a la vez que se trata de asignar las conductas que nos interesan a las agrupaciones provisionales ya realizadas. Éste es el momento en que se analiza y revisa si existe un adecuado grado de homogeneidad entre las conductas registradas o si hay que modificar algo. Una vez realizadas las modificaciones, de nuevo se procede a visionar nuevas sesiones, asignando las conductas a la nueva propuesta de categorías, y así se va repitiendo el proceso de forma iterativa hasta que el conjunto de las categorías configura un sistema exhaustivo dentro del área o situación observada y mutuamente excluyente en cada una de las dimensiones o niveles implicados.
Un sistema de categorías debe ser exhaustivo y mutuamente excluyente. La exhaustividad se refiere a que cualquier comportamiento del ámbito considerado como objeto de estudio puede asignarse a una de las categorías. Y la mutua exclusividad significa el no solapamiento de las categorías que componen un sistema.
El sistema universal de notación de un sistema de categorías se expresa mediante A, B, C, D y E , siendo A, B, C, D y E los códigos de las respectivas categorías. No existe un límite en cuanto al número mínimo o máximo de categorías, aunque conviene tener presente que si hay muy pocas resulta un instrumento escasamente discriminativo, y si hay muchas se puede incurrir en errores de comisión (confusión entre ellas).
Las categorías tienen que definirse cuidadosamente, de forma que se contemplen todos sus matices y es recomendable que se acompañen con ejemplos y contraejemplos. Cada categoría consta del núcleo categorial, esencia básica de la categoría y del nivel de plasticidad o apertura, que se refiere al conjunto de las manifestaciones externas de las conductas asignadas a la misma categoría. Cuando no se produce ocurrencia de conducta, esta carencia deberá registrarse mediante la categoría formal Ø (conjunto vacío).
Dado que la elaboración de un sistema de categorías u otro no es única, sino que depende de quién lo elabore, los sistemas de categorías relativos a una determinada situación o comportamientos serán equivalentes si durante el proceso de categorización se adoptan los mismos criterios, pero se trata de una equivalencia en su conjunto, no categoría por categoría. Así tiene sentido la comparabilidad de dos o más sistemas de categorías.
Finalmente, debemos tener en cuenta la posibilidad de estructurar jerárquicamente un sistema de categorías, desde una mayor molaridad a una mayor molecularidad.
Formatos de campo
Su elaboración implica:
Establecimiento de criterios o ejes del instrumento, fijados en función de los objetivos del estudio.
Listado de conductas/situaciones (lista no cerrada, denominada catálogo) correspondientes a cada uno de los criterios, anotadas a partir de la información que proporcionó la fase exploratoria del estudio.
Asignación de un sistema de codificación decimal a cada una de las conductas/situaciones anotadas que deriven de cada uno de los criterios, lo que permite desplegar cualquiera de ellos en un sistema jerárquico de orden inferior.
Elaboración de la lista de configuraciones. La configuración es una unidad básica en el registro de formatos de campo, y consiste en el encadenado de códigos correspondientes a conductas simultáneas o concurrentes, el cual permitirá un registro exhaustivo del flujo de conducta, y una enorme facilitación para los análisis de datos posteriores.
Las configuraciones se rigen por los criterios sincrónico y diacrónico. Sincrónico, porque todos los códigos de cada configuración corresponden a conductas simultáneas, de forma que al modificarse uno o más códigos de una configuración, ello da lugar a la siguiente. El criterio diacrónico se apoya en la sucesión de configuraciones. Si en alguna configuración no corresponde registrar código de algún criterio, en su lugar se coloca Ø.
Combinación de formatos de campo y sistemas de categorías
Con frecuencia es recomendable anidar uno o más sistemas de categorías en uno o más de los criterios de los formatos de campo, de manera que la relación de conductas/situaciones que corresponden a este criterio serían las categorías que conforman el sistema, y así, son exhaustivas y mutuamente excluyentes a nivel intracriterio del formato de campo. Con esto logramos mantener la mayor flexibilidad de los formatos de campo a la vez que se incorporan unas categorías rígidas como desarrollo del criterio que lo precise.
Rating scale (escala de apreciación o escala de estimación)
Este instrumento de observación tiene un carácter residual debido al necesario registro de ordenación de un atributo o dimensión, que no siempre es posible ni fácil. Hay que contar con un importante riesgo de subjetividad en la mayoría de los casos. P. ej, una rating scale acerca del nivel de ejecución observada podría ser: mal, regular, bien.
Es muy importante la operativización de cada estimación, y que la distancia entre ellas debe ser constante. En muchas ocasiones no es posible determinarlo, y de ahí el carácter residual de este instrumento.
Registro y codificación
Las situaciones evaluativas son complejas. Así es relevante el planteamiento adecuado del registro.
Registrar implica recoger datos de la realidad y volcarlos a un soporte determinado (papel, magnético…). La transcripción de la realidad se realiza inicialmente mediante un registro descriptivo, que se irá descomponiendo en unidades de conducta para dar lugar a un registro semi-sistematizado. Este registro se deberá sistematizar progresivamente, a lo largo de una gradación con muchos eslabones intermedios, los cuales suele sucederse entre sí a medida que avanza el conocimiento del observador acerca de las conductas estudiadas y se acrecienta su rodaje específico.
La sistematización completa se logra mediante un sistema de códigos que pueden adoptar una estructura de cadena, modular, en cascada… Se puede llevar a cabo una codificación binaria o de un único tipo de elementos o bien una codificación simultánea de varios aspectos concurrentes, por lo que es posible elaborar una sintaxis completa de cualquier situación de observación, que alcanza un grado máximo de sistematización, sin requerir de ningún término descriptivo. En este caso conviene elaborar unas reglas de uso de los códigos.
La sistematización del registro y la construcción del instrumento son dos fases con orden intercambiable entre sí, se puede primero elaborar el instrumento y luego sistematizar el registro, o a la inversa. El avance tecnológico en los últimos años ha posibilitado el desarrollo de múltiples aplicaciones informáticas que permiten registrar toda conducta perceptible.
Métrica del registro u obtención de parámetros
Existen parámetros primarios y secundarios, los primarios básicos son: frecuencia u ocurrencia, orden y duración. La frecuencia consiste en un mero recuento de acciones u ocurrencias de conducta. Es el parámetro más débil, aunque ha sido tradicionalmente el más utilizado. El orden consiste en la explicitación de la secuencia de las distintas ocurrencias de conducta. Es portador de la información correspondiente a la frecuencia y de un plus de información que permite discriminar entre sesiones distintas que podrían aparecer como idénticas si sólo contempláramos el parámetro frecuencia. El parámetro frecuencia no es capaz de discriminar lo que sí diferencia el parámetro orden.
La duración es el parámetro del registro más consistente, y el que encierra mayor riqueza de información, ya que contiene la del orden y además la indicación del número de unidades convencionales de tiempo correspondientes a cada ocurrencia de conducta.
Control de la calidad del dato
Una vez realizada la recogida de datos, el observador debe tener la garantía necesaria sobre su calidad, y el más básico de los requisitos de control es la fiabilidad del registro observacional.
Un concepto fuertemente vinculado con el de fiabilidad es el de validez, consistente en conocer si estamos midiendo aquello que nos proponemos medir. Generalmente se ha supuesto que la concordancia entre observadores independientes refleja el tipo de consistencia necesaria para que un sistema de observación directa tenga validez, pero no es cierto, dado que los diferentes observadores pueden concordar en el error.
Dado que un instrumento es válido si mide lo que supone que mide, se ha llegado a argumentar que los registros de observación directa son obviamente válidos, dado que se descartan otros fuertemente influidos por la interpretación, como serían los autoinformes del profesional a quien le corresponde tomar decisiones críticas en el ámbito del acogimiento o adopción. Un instrumento de observación es fiable si tiene pocos errores de medida, si muestra estabilidad, consistencia y dependencia en las puntuaciones individuales de las características evaluadas.
Un concepto asociado a la fiabilidad es la precisión. Una medida es precisa si representa totalmente los rasgos de la conducta en cuestión, y la precisión se evalúa a través del grado de concordancia entre un observador y un estándar determinado. Entre los múltiples aspectos propios de la evaluación resulta obvio que existen una gran cantidad de factores que están incidiendo de forma diversa sobre las acciones que se ejecutan, es decir, si los datos observados son interpretables o si son el resultado de fluctuaciones aleatorias introducidas por el instrumento de observación empleado. Así, se han desarrollado dos formas cuantitativas básicas para hallar la fiabilidad de los datos observacionales: coeficientes de concordancia entre dos observadores y coeficientes de acuerdo, resueltos mediante la correlación.
Además es posible aplicar la teoría de la generalizabilidad cuando interesa integrar diferentes fuentes de variación en una estructura global. Existen muchos coeficientes que permiten controlar la calidad del dato. Además de las formas cuantitativas de control, cada vez la concordancia consensuada cuenta con mayor protagonismo. Se trata de lograr el acuerdo entre los observadores antes del registro, lo cual puede conseguirse siempre que se disponga de la grabación de la sesión. Presenta ventajas evidentes, y a la obtención de un registro único hay que añadirle un importante fortalecimiento del instrumento de observación.
Análisis de datos
El análisis de datos a efectuar depende del diseño observacional planteado. Una vez que se dispone del registro codificado y resulta satisfactorio el control de la calidad del dato, deben analizarse dichos datos. Cabe un análisis cualitativo del registro analizado, pero tenemos el riesgo de la subjetividad. De la fuerte polémica generada entre los partidarios de la opción de la metodología cualitativa frente a la metodología cuantitativa, emerge con fuerza la necesaria complementariedad entre ambas, que es la actualmente aceptada.
Precisamente la metodología observacional es la única que tiene un papel privilegiado de bisagra entre las opciones procedimentales cualitativa y cuantitativa. Cada uno de los ocho diseños observacionales sugiere determinados análisis de datos sin que se trate de una imposición restrictiva.
Formación de observadores
En las últimas décadas existe consenso en considerar que el observador se hace, no nace. La formación del observador es imprescindible, y se recomienda a todo profesional de la evaluación que vaya a utilizar la observación.
En el proceso de formación de los observadores deben distinguirse dos fases distintas: primero, el entrenamiento, que consiste en una formación genérica referida a cada una de las etapas a seguir durante un estudio observacional; segundo, el adiestramiento, relativo a la formación específica en algunas de estas etapas aplicadas a un estudio determinado.
La adquisición de la competencia para observar suponen un proceso cognitivo que implica superar una serie de etapas que se suceden entre sí. Este proceso se inicia con el conocimiento y comprensión de los conceptos básicos en metodología observacional, así como de los específicos a lo cual seguirán ensayos empíricos in situ, que deberán estar supervisados. La correcta ejecución de estos ensayos permitirá incorporar la estrategia adecuada, así como la adquisición progresiva del grado de dominio necesario para ampliar la envergadura de las actividades realizadas. Se genera así un enorme feedback, que el supervisor tratará que sea estimulante, y que permitirá una autonomía creciente en la realización de propuestas nuevas, modificación de las iniciales, tomas de decisión, etc.
El período de tiempo utilizado en la formación del observador es la mejor inversión de cara a su futuro trabajo como profesional o estudioso de la evaluación.