CAPTULO 6

EVALUACIN DE LA INTERVENCIN SOCIOEDUCATIVA.

1. LA EVALUACIN EN INTERVENCIN SOCIOEDUCATIVA.
La intervencin socioeducativa parte de un proyecto que planifica las acciones a realizar y le
aporta eficacia y carcter cientfico. Al disear un proyecto es necesario prever el momento y la
forma en que se pueda comprobar el funcionamiento del mismo, que nos permita ciertas
modificaciones, y la forma en que vamos a comprobar su eficacia.
La evaluacin es una parte importante en el proceso de diseo y ejecucin del proyecto, y nos va
a permitir explicar y valorar tanto el proceso de ejecucin como los resultados de las acciones
realizadas, dando respuesta a las preguntas: hemos logrado cambios?, qu hemos logrado?, en
qu medida? No es posible una buena evaluacin si no se ha realizado un diseo adecuado que
prevea una evaluacin de todos sus elementos.
Para Spinoza, evaluar es comparar en un instante determinado lo que se ha alcanzado mediante
una accin con lo que se debera haber alcanzado de acuerdo a una programacin previa.
Al analizar los resultados de la evaluacin, la comparacin se realiza con los objetivos
enunciados en el diseo. Qu nos habamos propuesto lograr?, qu hemos logrado?, en qu
medida hemos conseguido los objetivos? Este anlisis debe conducir a unas conclusiones que
servirn para reforzar los aciertos y modificar los aspectos no satisfactorios.
La evaluacin puede ser realizada por el propio equipo que ha diseado y ejecutado el proyecto
(evaluacin interna) o un equipo profesional externo y ajeno al diseo y a la ejecucin del
proyecto (evaluacin externa). El proceso es el mismo, evaluando todas las fases del proyecto y
segn unos criterios establecidos en el diseo del proyecto.
1.1.Importancia de la evaluacin.
La evaluacin se incluye en la planificacin, y su finalidad es comprobar, durante la ejecucin
del proyecto (evaluacion procesual) si su desarrollo es el adecuado y esperado, y al finalizar el
proyecto (evaluacin final) si se han conseguido los objetivos propuestos, es decir, su eficacia. Se
pueden utilizar tcnicas que se aplican al contexto, la planificacin, el proceso de desarrollo, los
resultados. Es un proceso de mejora que permite tomar las decisiones adecuadas y pertinentes
durante la ejecucin del proyecto y una vez finalizado el mismo.
La evaluacin nos va a permitir:
Emitir juicios sobre el proyecto.
Determinar la calidad del proyecto.
Proponer alternativas para mejorar el proyecto.
Proporcionar informacin sobre el proyecto.
Proporcionar elementos para la planificacin de acciones.
2. CRITERIOS E INDICADORES EN LA EVALUCACIN DE PROYECTOS DE
INTERVENCIN SOCIOEDUCATIVA.
Al disear un proyecto es necesario tener en cuenta unos criterios que nos servirn de gua en el
diseo del mismo y nos facilitarn la evaluacin:
Para el contexto: aplicabilidad y viabilidad. Que sea viable en ese contexto.
Para la planificacin: coherencia, pertinencia y adecuacin. Que haya coherencia entre
los distintos elementos del proyecto.
Para la ejecucin: eficiencia, ajuste y satisfaccin. Que el proceso se muestre eficaz para
los objetivos perseguidos y satisfactorio para los usuarios.
Para los resultados: eficacia, efectividad y satisfaccin. Que los resultados muestren el
logro de los objetivos.
Evaluacin diferida: repercusin, permanencia y proyeccin. Que los resultados permitan
la extrapolacin del proyecto o su continuidad.
Los indicadores son los parmetros que nos indican si se han cumplido o no esos criterios.
Castillo y Cabrerizo proponen unos indicadores para evaluar cada fase del proyecto:
Planificacin del proyecto: teniendo en cuenta los criterios establecidos para la fase de
planificacin, evaluaremos los indicadores siguientes:

Contenido.
Objetivos.
Finalidad.
Actividades.
Temporalizacin.
Evaluabilidad.

P.e.: si los objetivos son coherentes, si las actividades son adecuadas.

Metodologa del proyecto: la metodologa est incluida en la fase de planificacin, por lo
que los criterios son los mismos, pero con otros indicadores:

Adecuacin a los objetivos.
Evaluacin inicial.
Identificacin de necesidades.
Temporalizacin.
Funcionamiento.
Ejecucin del proyecto.
Contextualizacin del proyecto.


P.e.: si los objetivos son adecuados a la finalidad; si la ejecucin del proyecto ha sido
coherente.

Recursos utilizados: los criterios son los de la fase de ejecucin. Los indicadores:

Cantidad de recursos.
Calidad de los recursos.
Adecuacin a las necesidades.
Disponibilidad.

P.e.: si los recursos se ajustan a las necesidades del proyecto. Tambin es importante
evaluar el acceso y disponibilidad de los recursos no slo humanos, sino tambin
materiales.

Valoracin final del proyecto: indicadores:

Grado de satisfaccin general
Resultados y logros.
Valoracin de los resultados.
Posibilidades de continuacin de los
resultados.

Hay que tener en cuenta dos fases:
Evaluacin de los resultados: P.e., si los resultados han sido satisfactorios desde
el punto de vista de la eficacia y efectividad del proyecto.

Evaluacin diferida: P.e.: si los resultados permiten la extrapolacin del proyecto
o su continuidad.
3. PROCEDIMIENTOS, TCNICAS E INSTRUMENTOS PARA LA EVALUACIN DE
LA INTERVENCIN SOCIOEDUCATIVA.
Los tres elementos bsicos en la evaluacin son:
Procedimiento: conjunto de pasos y pautas a seguir para recabar la informacin necesaria
para la evaluacin de un proyecto, determinando las tcnicas e instrumentos requeridos.

Tcnica: conjunto de saberes prcticos para obtener el resultado deseado. Puede ser
aplicada en cualquier mbito humano. Requiere destreza manual o intelectual, y cada
persona la adapta a sus necesidades.

Instrumento: herramienta utilizada para conseguir un fin. Debe ser adecuado al fin
propuesto. Est al servicio de una estrategia de intervencin para alcanzar los objetivos.
El procedimiento nos indica el modo, el momento y con qu medio vamos a obtener la
informacin requerida para la evaluacin del proyecto.
La tcnica es la forma y la pericia para obtener la informacin utilizando instrumentos
adecuados. Cada tcnica requiere unos instrumentos concretos.
El procedimiento de evaluacin se adecuar al proyecto, la tcnica responder al procedimiento
diseado, y los instrumentos sern los adecuados a la tcnica.
4.1. Tcnicas e instrumentos ms usuales.
La seleccin de las tcnicas y los instrumentos es una decisin de la que depende el xito y la
fiabilidad de la evaluacin. Conviene tener en cuenta la finalidad, porque condiciona la seleccin:
si la finalidad es la recogida de datos, podemos utilizar tcnicas de observacin, interrogacin o
sociomtricas.; si lo que pretendemos es el anlisis de datos, utilizaremos tcnicas como el anlisis
de contenido, tests estandarizados, tcnicas de grupo, etc.


4.1.1. Tcnicas para la recogida de datos.
LA OBSERVACIN.
Tanto la directa como la indirecta, aportan gran cantidad de informacin que permite el estudio
del individuo en su propio medio, recoge datos de la realidad y de comportamientos del sujeto. La
recogida de datos se realiza con instrumentos muy variados, como rejillas de observacin, fichas
de registro, etc. Permite observar y analizar situaciones reales de las que obtenemos informacin
in situ sobre el sujeto y diversas facetas referidas a su relacin con su medio ecolgico.
Podemos establecer dos tipos de observacin:
Participante: el observador se implica y participa en el proceso que est observando,
formando parte del mbito y contexto. El inconveniente es que el sujeto se sienta
observado y no acte con naturalidad, en cuyo caso la informacin podra no ser fiable.
No participante: el observador mantiene la distancia con el observado y no se establece
ningn tipo de relacin entre ellos. En ocasiones se recoge la observacin con una cmara.
Las conductas observadas pueden ser de diversos tipos:
Conductas verbales: mensajes verbales, sintaxis y lxico utilizado, entonacin, volumen.
Conductas no verbales: expresin corporal, movimientos corporales, expresin facial,
gesticulacin, movimientos posturales.
Conductas relacionales: modos y formas de relacionarse con su entorno.
El procedimiento a seguir en la observacin seguir los siguientes pasos:
Delimitar el sujeto/objeto de estudio. Una vez acotado, se proceder a unas sesiones de
observacin para establecer que parmetros nos interesa observar y si la observacin va a
ser participante o no participante. Estas sesiones contribuirn a establecer el marco terico
que va a servir de fundamento al proceso y anlisis de los datos.
Decisin sobre el instrumento de registro. Quiz podemos utilizar un instrumento
estandarizado, pero en la mayora de las ocasiones ser necesario elaborar un instrumento
que se ajuste a nuestras necesidades. Debemos someterlo a prueba para cerciorarnos de su
adecuacin a la informacin que deseamos obtener.
Recogida de datos. Elaborado y probado el instrumento, comienza la recogida de datos,
que debe ser precisa y sistematizada, recogiendo slo aquella informacin preestablecida.
Previamente habremos establecido la periodicidad de las observaciones y registros de
datos y la temporalizacin de la recogida de datos.
Interpretacin de los resultados. Consiste en relacionarlos con el punto de partida de la
observacin y con el sujeto/objeto de la misma.
Segn la metodologa, podemos establecer dos modos de observacin:
Sistemtica: todo el proceso est rigurosamente sistematizado, estableciendo sistemas de
categoras para la observacin que garantizan su fiabilidad y validez. Instrumentos: listas
de control y escalas de estimacin.
No sistemtica: no existe tanto control, pero resulta muy til registrar la conducta
espontnea: el diario, las notas de campo, los registros anecdticos, etc.
LA INTERROGACIN.
La encuesta. Tcnica de recogida de informacin grupal caracterizada porque la informacin
la proporciona directamente el sujeto, se puede aplicar masivamente y obtener cantidad de
informacin de numerosos sujetos, y ofrece la posibilidad de obtener datos subjetivos, como
opiniones o creencias, difciles de obtener con otras tcnicas. El inconveniente es que el sujeto
puede responder segn la imagen socialmente deseable.

La encuesta se debe dirigir a todos los agentes implicados en el proyecto, beneficiarios, familias,
educadores, etc. El procedimiento es el siguiente:

Definir los objetivos. A partir del planteamiento del problema se definirn con claridad
y precisin los objetivos generales de la evaluacin, que suelen ser una declaracin de
intenciones que es necesario desglosar en objetivos especficos operativos.
Determinar la poblacin y la muestra objeto de estudio. Debe reflejar con precisin la
poblacin diana objeto de estudio y la muestra representativa.
Elaborar el cuestionario. Es necesario convertir los objetivos especficos en preguntas.
Es la parte ms compleja de la encuesta y requiere una formulacin cuidadosa de las
preguntas. Hay que poner especial cuidado en que sean comprensibles, objetivas (que
no condicionen la respuesta), con una formulacin neutra, y redactadas en forma
personal para implicar directamente al sujeto.
Las preguntas pueden estar formuladas de diversas formas: dicotmicas, cuando slo permiten
dos respuestas alternativas y excluyentes; categricas, con respuestas categorizadas; y abiertas,
cuando la respuesta es de libre eleccin del sujeto.
La entrevista. Se basa en la relacin directa y el dilogo intencional entre entrevistador y
entrevistado, con una finalidad preestablecida y asumida por ambos. Se utiliza con muchas
finalidades en los mbitos educativos y socioeducativos, y tiene distintas modalidades, segn la
finalidad:
Entrevista estructurada. La formulacin y secuencia de las preguntas est prefijada y
las respuestas son dirigidas.
Entrevista semiestructurada. No tienen una estructura tan rgida ni las respuestas
estn dirigidas.
Entrevista abierta: aunque tienen una finalidad determinada, no se establecen
previamente las preguntas, permitiendo libertad en las respuestas.
La entrevista estructurada ofrece mayor grado de control y de fiabilidad de datos. Responde al
esquema del cuestionario:
1. Fase de elaboracin y preparacin de la entrevista: se decide el tipo de entrevista y la
finalidad.
2. Fase de inicio de la entrevista: se expone al entrevistado la finalidad, se garantiza la
confidencialidad de la informacin, se expone la colaboracin que se espera del
entrevistado.
3. Fase de desarrollo de la entrevista: comenzar por aspectos poco comprometidos, hacer
referencia a informacin anterior, seguir una secuencia lgica de lo genrico a lo
especfico, y finalizar con un resumen de la informacin expuesta.
LAS TCNICAS SOCIOMTRICAS.
Permiten estudiar la relacin del individuo en su medio, nos ofrecen informacin del grado de
socializacin del sujeto, de su relacin con el medio, de su integracin social, etc. Son tiles para
prevenir y evaluar sujetos o colectivos en riesgo de exclusin social. Su aplicacin es frecuente en
los centros educativos para valorar las interacciones dentro del aula. En la evaluacin de proyectos
pueden ser tiles cuando los objetivos del proyecto iban dirigidos a una finalidad integradora o de
prevencin de la exclusin social. Nos permiten evaluar en qu grado han mejorado las
interacciones de un grupo si partimos de una evaluacin inicial.
El test sociomtrico es el de mayor aplicacin y el ms adecuado para estudiar los sistemas de
interacciones afectivas que se dan en un grupo, las relaciones interpersonales y las
comunicaciones. Consiste en formular determinadas preguntas a todos los miembros del grupo
para que elijan aqullos a los cuales ms deseara y menos deseara tener como compaeros para
hacer una actividad.
Los estudios sociomtricos revelan que ciertas personas son elegidas para todas las situaciones
como esas, pero, con mayor frecuencia, diferentes personas son elegidas para cada tipo de
actividad.
Con las respuestas se elabora una matriz sociomtrica, y a partir del anlisis de los resultados
podemos elaborar el sociograma que nos da una visin de las interacciones del grupo.
4.1.2. Tcnicas para el anlisis de datos.
La seleccin de la tcnica vendr determinada por el tipo de datos que hemos obtenido. Las ms
usuales son:
Anlisis de contenidos: es la ms usual para el anlisis de documentos escritos, historias
de vida, biografas, diarios, etc. Tcnica muy depurada y precisa que se basa en el anlisis
a partir de unos parmetros previamente establecidos.

Tests estandarizados: permiten estudiar determinadas dimensiones humanas abstractas
que no es posible estudiar de forma directa, como la inteligencia, las aptitudes, la
personalidad. Los procedimientos para evaluar estas dimensiones se basan en la utilizacin
de instrumentos que permitan cuantificar sus manifestaciones. Permiten una descripcin
cuantitativa del comportamiento de un individuo ante una situacin especfica, tomando
como referencia el comportamiento de los individuos de un grupo definido. Herramienta
importante para la evaluacin normativa.

En la evaluacin de un proyecto tienen utilidad cuando se utiliza la evaluacin inicial,
que nos sirve de marco de referencia para evaluar la eficacia del proyecto. Generalmente se
utilizan instrumentos estandarizados.

Las tcnicas de grupo: se pueden utilizar tcnicas de grupo como el Philips 6x6, la
discusin de grupo, el brainstorming, etc.


4. TIPOS DE EVALUACIN.
Al disear un proyecto es necesario prever el momento y la forma en que se pueda comprobar el
funcionamiento del proyecto y la forma y criterios en que vamos a comprobar su eficacia.
Dependiendo de esos criterios, disearemos la forma de evaluar. Una clasificacin a tener en
cuenta sera el modelo (orientada a contenidos o a valores). Otra clasificacin sera segn la
funcin de la evaluacin (optimizadora, sistematizadora, motivadora, etc.).
La clasificacin ms comn es la consideracin del momento de la evaluacin:

Evaluacin inicial: tiene una finalidad diagnstica, y es el punto de partida de un proyecto de
intervencin. Se realiza como diagnstico previo para determinar las necesidades de intervencin.
Se recogen datos de todo tipo para tener un conocimiento de todos los elementos, disear las
estrategias y acciones adecuadas y justificar la necesidad de un proyecto. Contribuye a tomar
decisiones fundamentadas, en funcin de los datos sobre el estudio de necesidades reales.

Ser el hilo conductor de la ejecucin del proyecto y el referente para su valoracin final. Si se
trata de un proceso de asesoramiento, sera realizada por el consultante con el fin de presentar la
situacin al consultor.

La evaluacin inicial debe comprender:

Anlisis y valoracin del contexto, utilizando instrumentos adecuados al caso.
Anlisis de la poblacin diana: nivel socioeducativo, dificultades, problemas, etc.
Deteccin de necesidades.
El resultado se reflejar en un informe de evaluacin, que servir para disear el proyecto en
funcin de las necesidades detectadas. El contenido del informe responder a estos aspectos:
Justificacin de la intervencin.
Procedimiento de recogida de informacin.
Necesidades detectadas.
Propuesta de intervencin.
Poblacin diana.
Propuestas y sugerencias.
Conclusiones.

Evaluacin procesual: tiene un carcter formativo, y su finalidad es analizar y evaluar el
proyecto de intervencin en distintos momentos de la ejecucin del proyecto, con el fin de detectar
posibles deficiencias y poder introducir los cambios necesarios. Sirve como estrategia de mejora,
ya que nos permite conocer los puntos dbiles del proyecto.

La evaluacin se realiza sobre todos los elementos del proyecto, pero tambin en ocasiones, si se
ha detectado un punto dbil, se puede hacer un seguimiento ms intenso slo de ese elemento,
realizando una evaluacin parcial.


La evaluacin procesual tiene un carcter de provisionalidad y de progreso. Conviene realizar un
informe de cada evaluacin procesual. En estos informes se recoger:

Anlisis de la situacin actual del proyecto en relacin a la situacin de partida.
Anlisis de los problemas que surjan para buscar las soluciones adecuadas.
Anlisis y control del seguimiento del proyecto para comprobar si se est desarrollando
con los mismos planteamientos y criterios iniciales.
Regulacin del proceso introduciendo los cambios o modificaciones necesarios.
Los informes son como los testigos y testimonios de cada momento del desarrollo del proyecto.
Evaluacin final: tiene carcter sumativo y es la resultante de las distintas evaluaciones
realizadas a lo largo del proceso de intervencin.

Aporta informacin de los resultados obtenidos, del logro de los objetivos y en qu nivel se
lograron, de la adecuacin de las acciones realizadas, de la adecuacin y suficiencia de los
recursos, etc. Los resultados pueden ser el punto de arranque de la evaluacin inicial del siguiente
proyecto. El carcter de esos resultados puede determinar su extrapolacin y su repercusin.

Se concreta en el informe final de la evaluacin, que tiene un carcter integral, sumativo y
definitivo, acreditando la ejecucin y terminacin del proyecto y los resultados logrados. A partir
de esos resultados, se aportarn orientaciones y sugerencias para otros proyectos.

Si se trata de un proceso de asesoramiento, el procedimiento es el mismo, aunque la evaluacin
estar integrada en el proceso colaborativo, tanto las evaluaciones procesuales como la evaluacin
final.

El informe final recoge los siguientes aspectos:

Introduccin:

Finalidad del informe.
Estructura el informe, especificando los apartados.
Caractersticas del proceso de evaluacin:

Contextualizacin.
Metodologa.
Destinatarios.
Finalidad.
Momento de la evaluacin.

Diseo de la evaluacin:

Objetivos.
Procedimientos y tcnicas de recogida de datos.
Informes de evaluacin procesual.
Temporalizacin de las actividades.
Resultados:

Presentacin y comentario de los resultados.

Conclusiones:

Interpretacin de los resultados obtenidos.
Recomendaciones para la toma de decisiones.

Valoracin de la evaluacin realizada:

Resumen de puntos fuertes y dbiles.
Limitaciones.

Perspectivas de futuro:

Propuestas de mejora.
Si el informe va dirigido a expertos, debe tener un carcter ms tcnico, incluyendo ms
especificaciones en cuanto a procedimiento de recogida de informacin, plan de muestreo,
planificacin de la recogida de datos, tratamiento y anlisis de datos, presentacin de los
resultados, y los anexos necesarios para completar la informacin.