TEMA 4

ESTNDARES,
CRITERIOS E
INDICADORES PARA
LA EVALUACIN

Asignatura: Evaluacin de programas de intervencin

Curso y Titulacin: 2 de Psicopedagoga
 2 Tema 4. Estndares, criterios e indicadores para la evaluacin

Objetivo bsico del tema:

Con el desarrollo del presente tema se pretende conseguir que el alumno pueda introducirse en la
evaluacin de diferentes programas de intervencin psicopedaggica, utilizando determinados
estndares, criterios e indicadores de evaluacin.

Otros objetivos del tema son:

a) Comprender el significado y la utilidad de algunos de los estndares, criterios e indicadores

que regulan la evaluacin de programas.
b) Elaborar criterios e indicadores de la evaluacin de programas.
c) Aplicar criterios, estndares e indicadores en la evaluacin de al menos un programa de
intervencin psicopedaggica.

Contenidos:

1. Criterios, estndares e indicadores. (pg, 3)

2. Algunas propuestas de criterios de evaluacin (pg. 5)
3. Formalizacin de indicadores de evaluacin (pg. 6)
4. Algunas propuestas de indicadores de evaluacin (pg. 11)
5. Utilidad de los indicadores en la evaluacin de programas (pg. 18)

Desarrollo del tema:

Se apoya en la explicacin de los conceptos ya indicados y en la presentacin de un caso prctico

que requiera la elaboracin de criterios e indicadores para la evaluacin de programas y su
aplicacin a un programa concreto.

Materiales:

1. Documento de desarrollo de los contenidos del tema, incluyendo ejemplos de criterios e

indicadores.
2. Programas de intervencin psicopedaggica.
3. Bibliografa (ver pg. 19).

Autoevaluacin:

Una vez finalizado el tema, se tratar de determinar si el alumno domina el objetivo bsico del
mdulo. Para ello, se utilizar una prueba escrita, con varias preguntas de respuesta breve.
Adems el alumno completar una prctica sobre la elaboracin y aplicacin de criterios e
indicadores para la evaluacin de programas (ver pg. 20).

2
 Evaluacin de programas de intervencin psicopedaggica 3

1. CRITERIOS, ESTNDARES E INDICADORES

Aunque se ha comentado con anterioridad, conviene recordar de nuevo que la evaluacin de

programas requiere valorar la informacin obtenida sobre los componentes de un programa
comparndola con algn referente interno o externo de calidad, es decir, con un criterio. En
alguna propuesta se ha planteado la posibilidad de abordar la evaluacin de programas sin
contar con criterios previamente establecidos (Cronbach, 1981). La idea de una evaluacin sin
criterios no supone, contra lo que la propia expresin parece sugerir, que se establezcan
valoraciones sobre un programa sin establecer elementos de comparacin; por el contrario,
plantea la posibilidad de criterios emergentes al proceso mismo de evaluacin.

Comencemos, no obstante, definiendo los trminos claves de este tema; criterio, estndar,
indicador, descriptor... Un CRITERIO ES UN OBJETIVO DE CALIDAD respecto del que puede ser
valorado un programa de intervencin psicopedaggica. Ese criterio puede establecerse en
forma de normas o estndares y en forma de criterios no estndares.

Las NORMAS (ESTNDARES) son UNIDADES DE MEDICIN (Dewey,1934). Las que se manejan
en el sistema educativo proceden, segn Noriega y Muoz (1996), de dos fuentes principales:

a) Legislativa: las disposiciones legales establecen multitud de declaraciones de

expectacin obligatorias en cuanto a su cumplimiento. Reciben el nombre
especfico de normas legales.
Cuando situamos como estndar de calidad de un proyecto curricular o de un
programa especial (p.e. adaptacin curricular) la adaptacin a las caractersticas
del entorno y los alumnos, simplemente nos estamos haciendo eco de una norma
legal que establece la necesidad de que el PCC u otros programas se elaboren
teniendo en cuenta las caractersticas del entorno y los alumnos.

b) Epistemolgica: los especialistas y profesionales en un determinado rea de las

Ciencias de la Educacin han llegado a una serie de conclusiones que sirven para
elaborar las directrices con las que guiar los procesos educativos.

Fijar normas o estndares de evaluacin requiere de un importante nivel de

consenso social, para que sean reconocidas tienen que ser aceptadas
colectivamente. As, respecto del contenido del programa un criterio estndar de
calidad es la coherencia entre el programa y las bases socio-psico-pedaggicas
(la teora) en que dice ampararse. Este criterio permitira, valorar la medida en
que el programa se apoya en unos fundamentos tericos slidos. En relacin con el
desarrollo del programa, un criterio que cuenta con el suficiente respaldo entre los
evaluadores es el de la conformidad con la planificacin: la constatacin de un
nivel aceptable de conformidad entre planificacin y desarrollo es un trmino que
permite establecer la calidad de la aplicacin de un programa.

3
 4 Tema 4. Estndares, criterios e indicadores para la evaluacin

Los estndares admiten diferentes gradaciones, desde un mnimo exigible hasta un ptimo
deseable. Esta caracterstica permite conducir el proceso de evaluacin a travs de estndares
que matizan la frecuencia o el grado de aproximacin de la realidad evaluada. La
cualificacin mtrica del estndar puede ser:

a) Por presencia/ausencia
b) Por frecuencia de aparicin del mismo, como se representara en una escala del
tipo Nunca....Siempre.
c) Por valoracin cualitativa, en escalas del tipo: Deficiente.... Excelente (Noriega y
Muoz, 1996: 10).

Los criterios NO ESTNDARES adoptan la forma de ARGUMENTACIONES o RAZONES en las que

se fundamentan las valoraciones sobre los componentes de un programa. En relacin con el
Proyecto Curricular de Centro, ejemplos de criterios de evaluacin seran: Atender las
necesidades de los alumnos mediante la orientacin y regulacin de los procesos de
enseanza y aprendizaje; Difundir los criterios y procedimientos de evaluacin para
democratizar su aplicacin; Establecer medidas de atencin a la diversidad para regular el
esfuerzo educativo de los alumnos, etc. Por supuesto, que establecer criterios no
estandarizados requiere previamente de un acuerdo intersubjetivo.

La valoracin de la ratio de egresados matriculados o el nmero de alumnos por

aula pueden considerarse como criterios con referencia a normas standar cuando
se utilizan en relacin con la media global, mientras que el tipo de metodologa
docente o el sistema utilizado en la evaluacin de los alumnos constituyen criterios
cuyas normas no son estndar y por tanto reclaman previamente un consenso
intersubjetivo para que cada observador pueda leer el mismo valor a partir de
los datos que ofrece un instrumento o indicador. De lo contrario, lo que para unas
personas son criterios de calidad para otras simplemente son datos(De Miguel,
1991:XXXII).

Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y
valoraciones, habilidad para proveerse de razones que justifiquen esos juicios y, por supuesto,
entender porqu unos criterios y no otros resultan relevantes para juzgar el programa que se
evala. Entonces, como seala Eisner (1993), aplicar criterios no estandarizados es una
empresa intelectualmente mucho ms compleja que aplicar una norma.

Normas y criterios no estndares, para ser aplicados en un proceso de evaluacin, tienen que
concretarse bajo la forma de un conjunto de variables empricamente observables y que
proporcionen informacin cuantitativa o cualitativa- pertinente sobre el programa objeto de
evaluacin, es decir, mediante INDICADORES.

Cuando el indicador tiene una expresin numrica se le conoce con el nombre de NDICE. La
ratio, la tasa, la frecuencia, etc. son ejemplos tpicos de ndices numricos utilizados en la
evaluacin de programas. Cuando el indicador no traduce una expresin numrica sino que se
define en forma escalar o aparece como valoracin o argumentacin se le denomina
DESCRIPTOR. Un descriptor puede, por tanto, indicarnos la presencia/ausencia de un elemento
a evaluar, el grado de consecucin del mismo o un juicio de valor/una argumentacin sobre el
elemento objeto de evaluacin.

4
 Evaluacin de programas de intervencin psicopedaggica 5

2. ALGUNAS PROPUESTAS DE CRITERIOS DE EVALUACIN

En el modelo de evaluacin de programas desarrollado por Prez Juste (1995) encontramos

referencias a los criterios de evaluacin recomendables en cada uno de los momentos en que
dicho modelo secuencia el proceso evaluativo: el programa en s mismo, el programa en su
desarrollo y el programa en sus resultados.

EL PROGRAMA EN S MISMO

Calidad intrnseca del programa

1. Contenido del programa:

Coherencia entre el programa y las bases socio-psico-pedaggicas en que
dice ampararse.
2. Calidad tcnica del programa:
Especificacin precisa y clara de las metas.
Congruencia externa entre metas y teora.
Coherencia interna entre las partes del plan.
Adecuacin de los sujetos, evitndose tanto la falta de motivacin cuanto
la inexistencia de desafo o el exceso de exigencia (falta de realismo).
3. Evaluabilidad del programa:
Claridad y precisin del lenguaje utilizado.
Claridad en relacin con los criterios y referencias de evaluacin.
Previsin de las decisiones a tomar.
Definicin inequvoca de las variables.
Explicitacin de los componentes fundamentales del programa.

Adecuacin al contexto

1. Necesidades y programas:
Existencia y calidad tcnica del diagnstico de necesidades.
Coherencia entre las necesidades detectadas y priorizadas y el programa
formulado.
2. Establecimiento de prioridades:
Atendiendo a elementos de carcter tcnico/experto (relevancia/
transcendencia/ gravedad, rentabilidad, inmediatez, eficacia y
responsabilidad.
Atendiendo a elementos eminentemente subjetivos (inters/motivacin
expresos, expectativas personales/grupales).

Adecuacin a la situacin de partida

1. Viabilidad:
Realismo en las metas del programa fruto de la adecuacin a medios y
recursos.
Aprovechamiento de medios y recursos mediante su adecuada
dinamizacin, plan y orden.

5
 6 Tema 4. Estndares, criterios e indicadores para la evaluacin

EL PROGRAMA EN SU DESARROLLO

Conformidad con la planificacin. Lo que supone revisar la existencia de

desfases/desajustes, resultados parciales y efectos no programados.
Incardinacin con el proyecto educativo, en el que el programa evaluado
puede coexistir con otros programas.
Satisfaccin del personal

EL PROGRAMA EN SUS RESULTADOS

1. Valoracin:
Cumplimiento de los niveles de logro preespecificados en trminos
- Criteriales: a partir de las metas y niveles previamente especificados
tcnicamente por los responsables
- Normativos: si existiera y en casos de competencia entre programas
- De naturaleza idiosincrtica: los niveles del programa son valorados
tomados en consideracin el conjunto de circunstancias o sus
resultados en situaciones precedentes

2. Continuidad:
Control interno del plan
Grado de participacin de los implicados
Sistema de revisin establecido sobre las decisiones tomadas

3. FORMALIZACIN DE INDICADORES DE EVALUACIN

Como ya hemos sealado un indicador supone una forma de concretar un criterio de evaluacin.
Lgicamente, lo que buscamos no son manifestaciones accidentales sino esenciales de aquello
que pretendemos evaluar. Por tanto, un indicador debe acercarnos a las manifestaciones
significativas de la realidad, debe guiarnos en los detalles bsicos que nos llevan al conocimiento
ms fidedigno y profundo de las cosas.

La realidad que evaluamos puede aparecer bajo formas externas controlables y observales o bajo
otras que estn implcitas en un modo de actuar cotidiano. Pues bien, el indicador debe hacer
referencia tanto a lo externo como a lo interno; as, indicar es dar a entender o significar, a
travs de indicios o seales, el conocimiento de lo oculto, o al menos, de lo desconocido. Pero,
adems, el indicador no slo informa del presente sino que como seala Lzaro, 1992:480-

6
 Evaluacin de programas de intervencin psicopedaggica 7

puede convertirse en el vestigio o huella de algo que ha sucedido; el indicador localiza

situaciones del presente con referencia a lo que ocurre en este momento como si son restos del
pasado.

Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una
relacin de dependencia del indicador respecto al objeto referido (el indicador adscribe
propiedades a aquellos objetos que indica), relacin que supone objetividad. Esa objetividad
no implica totalidad sino complementariedad, dado que el indicador se refiere tan slo a una
parte de lo que podra estudiarse y desde luego esa referencia est asociada a un espacio y un
tiempo determinados.

3.1. CARACTERSTICAS Y REQUISITOS EN LA FORMULACIN DE

INDICADORES

Un punto de partida en el tratamiento de este tema es el que establece Lzaro (1992), que
identifica tres grandes dimensiones en torno a las que se agrupan las caractersticas y requisitos a
tener en cuenta en la elaboracin de indicadores: las caractersticas del constructo, las
condiciones de medida y las condiciones formales.

3.1.1. LAS CARACTERSTICAS DEL CONSTRUCTO

Las caractersticas del constructo aluden a la relacin entre el indicador y el objeto al que se
refiere, es decir, estudian hasta qu punto el indicador es una gua o seal adecuada hacia un
referente. Desde este punto de vista, el contenido del indicador debe responder a las siguientes
condiciones:

1. Significatividad de la relacin entre el indicador y las propiedades del objeto que

seala. En esencia, el indicador debe recoger alguna propiedad del objeto evaluado.
Por ejemplo: si el referente a evaluar dentro de un programa son los procesos de
enseanza, un indicador como tiempo dedicado a la coordinacin y revisin de la
enseanza debera tener que ver con algn aspecto de los procesos de enseanza;
efectivamente, en este ejemplo de indicador ese aspecto es la coordinacin de la
enseanza.
2. Relevancia del indicador. La propiedad recogida por el indicador puede ser esencial o
accidental, siendo el indicador ms relevante cuanto mejor represente (lo dice es ms
atribuible) al objeto con el que se relaciona. Por ejemplo: con el referente anterior, un
indicador como ratio de asistencia a las clases puede ser menos relevante que otro
como nmero de horas dedicadas a la docencia en el curso en relacin con las
previstas.
3. Teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en
funcin de los objetivos y fines pretendidos, siquiera para un momento o poca
determinada en el que se desarrolla un programa. Un indicador puede ser vlido para
valorar la eficacia de un programa pero no para valorar las posibilidades de mejora
que introduce. As, el indicador tiempo dedicado a la coordinacin y revisin de la
enseanza podra ser adecuado para evaluar la eficacia de los procesos de enseanza
en el desarrollo de un programa, mientras que un indicador como la descripcin de

7
 8 Tema 4. Estndares, criterios e indicadores para la evaluacin

los sistemas establecidos para efectuar el seguimiento de la docencia y la revisin de

las enseanzas parece ms adecuado para evaluar las posibilidades de mejora de un
programa en lo que respecta a los procesos de enseanza.
4. Utilidad del indicador. Cualquier indicador ha de reclamar una informacin que
contribuya a la definicin del objeto de evaluacin, describa sus situaciones, defina
las problemas que le ataen y permita establecer predicciones. Un indicador como
tasa de egresados en relacin con los matriculados permite definir el objeto de
evaluacin los resultados de un programa- y establece una relacin que puede
permitir conocer aspectos claves relacionados con las exigencias acadmicas, la
dedicacin de los estudiantes, la calidad de la docencia, etc.
5. Complementariedad-totalidad. Cada indicador no puede ser interpretado
aisladamente, sino que se le debe relacionar con el sistema de indicadores al que
pertenezca. A partir de esa relacin puede determinarse la potencia relativa que
posee cada indicador, es decir, el sentido de progreso en el conocimiento de las cosas
que se alcanza gracias a la organizacin y normalizacin de un sistema de
indicadores.

3.1.2. CONDICIONANTES DE MEDIDA

Seala Lzaro (1992) que en todo indicador existe un componente de inferencia predictiva, de
modo que la informacin que obtenemos a travs del indicador (la parte observable de aquello
que evaluamos) presupone la existencia del objeto al que se refiere el indicador. Cuando
utilizamos un indicador como calificaciones obtenidas por el alumno a lo largo del curso, al
menos estamos aludiendo a la posibilidad de que en el programa evaluado los resultados que
obtienen sus usuarios se establecen a partir de un sistema de calificaciones.

La posibilidad de establecer inferencias a partir de los indicadores permite conocer si un

indicador es significativo lo describe adecuadamente- respecto a lo medido (significatividad o
representatividad) y si ese indicador describe ms y mejor que otros indicadores aquello que
mide (relevancia). Por otra parte, un indicador puede depender de otros indicadores bien porque
sea un anlisis detallado de un indicador ms amplio (nmero de alumnos que utilizan los
Servicios de apoyo a la docencia y nmero de Servicios de apoyo a la docencia) o porque
secuencial y temporalmente no se puede producir sin la existencia de otros anteriores (tasa de
costo por graduado y presupuesto por alumno).

En su calidad de medida, junto a los elementos ya indicados, todo indicador ha de cumplir las
siguientes condiciones:

1. Observable. El indicador tiene que hacer referencia a caractersticas, manifestaciones

o elementos del objeto evaluado que puedan ser analizadas y constatadas. Ha de ser
una realidad que permita replicacin y verificacin, por tanto no debe hacer
referencia a hechos ocasionales o meramente circunstanciales. Por ejemplo, un
indicador como visitas programas a los museos de Sevilla es un elemento menos
observable que nmero de actividades extraescolares organizadas en el centro,
dado que el lugar o el itinerario de las visitas puede modificarse en cualquier
momento.

8
 Evaluacin de programas de intervencin psicopedaggica 9

2. Aplicabilidad. Los medios y recursos que se utilicen para realizar la observacin y

recoger la informacin han de ser posibles y coherentes con los fenmenos
observados. Por ejemplo, un indicador como coherencia entre el programa y las
bases tericas en que se fundamenta puede apoyarse en el anlisis crtico de los
documentos que recogen la teora en que dice basarse el programa y su contraste
con la instrumentacin (diseo, materiales, etc.) propia del programa. Una lista de
control podra ayudar a anotar las coincidencias o carencias entre lo establecido en
la teora y lo plasmado en el programa.

3. Las fuentes deben ser accesibles a los objetivos de la evaluacin. Si se utilizan

fuentes inadecuadas, pero ms accesibles, pueden desvirtuarse los datos y la
significatividad de los mismos para el objeto de evaluacin. En este sentido, es
necesario seleccionar los indicadores que ms se ajusten al tipo de fuentes a las
que se tiene acceso, si bien procurando no limitar la definicin del objeto de
evaluacin a la existencia de determinadas fuentes relativamente accesibles al
evaluador. Por ejemplo, un indicador adecuado para conocer el impacto de un
programa puede ser determinar el tiempo entre la finalizacin de un programa y
el desempeo de la actividad profesional asociada al mismo; pues bien puede no
estar accesible la informacin que necesitamos (no hay registro en la entidad
organizadora del programa sobre los niveles de empleo de los egresados o bien no
se cuentan con direcciones de contacto fiables de stos), pero tambin puede
ocurrir que dicho indicador no se incluya en el sistema de indicadores porque no
exista el registro del nivel de empleo de los egresados y el evaluador estime
demasiado costoso sondear a los propios implicados a pesar de contar con sus
direcciones actualizadas.

4. Establecimiento de un sistema de codificacin. Es preciso que el sistema de

indicadores cuente con un esquema paralelo que permita anotar, valorar y reflejar
las manifestaciones observadas. En ese sistema de codificacin, la informacin
proporcionada por los indicadores puede convertirse en ndices (valores nmericos
que reflejan tasa, ratio o frecuencia) o en descriptores (que reflejen la
presencia/ausencia de un elemento o el grado de consecucin del mismo). La
consideracin de los indicadores en forma de ndices no debe hacernos olvidar que
el tratamiento de tales valores numricos debe respetar algunas reglas:
No deben sumarse indicadores cuando uno es causa de otro (ms de tres
suspensos-repeticin de curso).
No deben sumarse indicadores cuando uno forma parte del otro, el peso dado
al genrico se debe distribuir entre los que lo componen (calificaciones
obtenidas por el alumnado a lo largo de los cursos calificaciones en
matemticas en primer curso).
Si los objetivos o finalidades de cada indicador son diferentes, no parece
adecuado establecer ningn tipo de combinacin matemtica. Por ejemplo,
cuando los indicadores estn integrados en sistemas y objetivos diferentes, o
si se realizan anlisis utilizando ndices distintos (presupuesto por alumno
ratio de asistencia a las clases).

9
 10 Tema 4. Estndares, criterios e indicadores para la evaluacin

3.3.3. CONDICIONES FORMALES

Tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan
ser utilizados de la manera ms operativa posible. Algunas de estas condiciones apuntadas por
Lzaro (1992) seran:

1. Cada indicador tendr un referente determinado, claro y definido, esto es, cada
indicador ha de estar en conexin con un fenmeno especfico a estudiar, en
coherencia con una determinada variable y factor de un objeto.
2. En relacin con el punto anterior, cada indicador ha de solicitar informacin de una
sola manifestacin.
3. Tendr definida la situacin a observar determinada en un contexto preciso,
incluyendo un espacio y un tiempo determinado.
4. La formulacin ha de ser breve y concisa, de forma que se exprese con claridad y sin
ambigedades.
5. El enunciado del texto tender a ser directo y descriptivo.
6. Si existe una cadena de indicadores, se han de sealar y sistematizar en niveles de
cuasalidad y/o de dependencia.
7. Un indicador podr desglosarse en tems, es decir, concretar la peticin en forma de
tem o cuestin. Este formato puede constituirse por s mismo en el instrumento de
recogida de la informacin.

3.3.4. PROCEDIMIENTOS PARA EL ANLISIS DE INDICADORES

Las tres dimensiones consideradas para formular indicadores, relativas al constructo, la medida y
los aspectos formales, pueden traducirse en un instrumento que permita valorar la presencia o
ausencia de los elementos que definen esas dimensiones. De ese modo, resulta posible conocer si
los indicadores construidos para evaluar un programa o algn aspecto del mismo responden a los
rasgos definitorios de un indicador. El Cuestionario-Gua sobre requisitos de los indicadores
desarrollado por Lzaro (1991) es un buen ejemplo de este tipo de instrumentos para valorar la
formulacin de indicadores.

Cuestionario-Gua sobre requisitos de los indicadores

(Provisional, A. Lzaro, 1991)

REQUISITOS de CONSTRUCTO SI NO
1.- El indicador recoge y hace referencia a alguna propiedad del objeto.
(Significatividad)
2.- La propiedad referida es de tipo esencial.
(Relevancia)
3.- Los datos recogidos en el indicador estn en congruencia con los fines y objeti-
vos de la evaluacin pretendida.
(Teleologicidad)
4.- Los datos recogidos por el indicador tienden a ser permanentes.
(Caducidad)
5.- Con los datos recogidos por el indicador se pueden realizar influencias y predicciones.
(Utilidad)
6.- El indicador ofrece datos integrables en un sistema de indicadores.
(Coherencia)

10
 Evaluacin de programas de intervencin psicopedaggica 11

REQUISITOS de MEDIDA SI NO
7.- Los datos que reclama el indicador son observables.
(Observacin)
8.- Los datos que reclama el indicador pueden ser observados por diferentes evalua-
dores simultneamente o en situaciones distintas.
(Replicacin)
9.- Los medios que se utilizan para recoger los datos que reclama el indicador son adecuados
(Aplicabilidad)
10.- Las fuentes que facilitan la informacin solicitada por el indicador son accesibles.
(Accesibilidad)
1 1.- Los indicadores poseen una forma de anotar y valorar la informacin recogida.
(Codificacin)
12.- Los indicadores tienen un peso especfico dentro de un sistema de indicadores.
(Ponderacin)
13.- Los datos obtenidos por los indicadores pueden interpretarse numricamente.
(Expresin cuantitativa)
14.- Los datos obtenidos por los indicadores pueden relacionarse numricamente con
los de otros indicadores.
(Obtencin de ndices)

REQUISITOS FORMALES SI NO
15.- Cada indicador solicita informacin de una sola cosa.
(Universidad)
16.- La inforrracin solicitada se puede recoger en una situacin definida.
(Manifestacin de precisin)
17.- El indicador est expresado con claridad semntica sin ambigedad.
(Brevedad expresiva)
18.- La informacin reclamada se recoge en un mismo tipo de manifestacin.
(Concrecin)
19.- El enunciado ser directo y descriptivo.
(Claridad)
20.- El indicador se relaciona causalmente con otros.
(Dependencia)
21.- Se puede desglosar y especificar en items.
(Formalizacin)

4. ALGUNAS PROPUESTAS DE INDICADORES DE EVALUACIN

A continuacin vamos a presentar tres propuestas de indicadores que difieren, adems de en el

contenido de las dimensiones a evaluar, en la forma de presentacin de tales indicadores. En la
primera, realizada por Noriega y Muoz (1996: 28-31) se recogen dimensiones, estndares e
indicadores formulados estos de un modo declarativo- para la evaluacin de los centros
docentes. De su propuesta de indicadores slo hemos seleccionado la dimensin Funcin dado
que su contenido es el que es la ms similitudes guarda con el proceso de evaluacin de
programas.

11
 12 Tema 4. Estndares, criterios e indicadores para la evaluacin

DIMENSIN ESTNDARES INDICADORES

FUNCIN 1.-El proyecto ha 1.1.- Se han formulado correctamente los objetivos.

sido cuidadosamen- 1.2.- Se han tenido en cuenta las polticas o directrices emanadas
te planeado. de la superioridad.
1.3.- Se han sopesado las ligaduras o restricciones del proyecto (costos,
etc.).
1.4.- Se han analizado las estrategias de actuacin.
1.5.- Se ha elegido la estrategia ms eficiente.
1.6.- Se ha aludido a la formacin/preparaci6n/reciclaje de los
elementos humanos intervinientes.
1.7.- Se han realizado estudios/sondeos sobre la demanda del proyecto.
1.8.- Se han elaborado guas o instrucciones para el desarrollo del
programa.
1.9.- Se han diseado canales/medios de informacin.
1.10.- (Si el programa lo requiere), se han desarrollado mecanismos que
aseguren una certificacin objetiva y eficaz de los participantes.

2.- La programa- 2.1.- Las actividades definidas son coherentes con los objetivos.
cin es 2.2.- La red de actividades, en su caso, es correcta.
correcta 2.3.- Se ha efectuado la previsin de los medios rna-
teriales.
2.4.- Se ha efectuado la previsin econmica pertinente (presupuestos,
etc.).
2.5.- Se ha efectuado la previsin de personal adecuada.
2.6.- Se ha cuidado de la provisin de los medios materiales, econmicos
y personales.
2,7.- Se ha procedido a la sistematizacin y movili-
zacin/integracin de los medios de acuerdo con el
desarrollo del programa (anlisis de procedimiento).
2.8.- Se han adjudicado las responsabilidades a cada
uno de los participantes en el programa con atencin
a la coordinacin de actuaciones (fonnacin de equi-
pos de trabajo).
2.9.- Se han diseado/seleccionado documentos/so-
porte ad boc.

3. La operacin se 3.1. Se han diseado estrategias metodolgicas (nor-

desarrolla satis- mas de operacin).
factoriamente 3.2.- La actuacin de los elementos del programa es
correcta y adecuada a los objetivos previstos.
3.3.- El desarrollo de las actividades se adecua a la
temporalizacin prevista en la red.

4.- El control de 4.1. - Se establecen criterios y mtodos/medios de

calidad del evaluacin.
programa 4.2.- Se disean estndares de cantidad, calidad y
adecuado a sus oportunidad.
caractersticas 4.3.- Se fijan procedimientos e instrumentos de eva-
luacin.
4.4.- El control afecta a todos los elementos del pro-
grama.
4.5.- Se chequean todos los tems o, al menos, segn
un muestreo suficiente.
4.6.- El agente del control es el adecuado para garan-
tizar su objetividad.
4.7.- Los muestreos se toman a intervalos temporales
signdicativos.
4.8.- Los resultados del control se reflejan en informes, grficos, etc.

12
 Evaluacin de programas de intervencin psicopedaggica 13

DIMENSION ESTANDARES INDICADORES

4.9. Los resultados del control se someten a anlisis de acuerdo con los
objetivos previstos y las actividades realizadas.
4.10.-Se mantiene un registro de contabilidad sistematizado.

5.- La accin colec- 5.1.- Se efectan "inspecciones en la fuente" para una

tiva del control correccin "automtica" de las desviaciones (evaluacin
es eficiente. continua).
5.2.-Los resultados del anlisis del control tienen valor
diagnstico determinante para la accin correctiva.
5.3.- La accin colectiva se aplica a todos los elementos del proyecto
donde se detectan desviaciones signfficativas:
- En el planeamiento
- En la programacin
- En la operacin
- En el control
- En la accin correctivo
- En la retroalimentacin.
5.4.- La accin correctivo se aplica, en su caso, a los
elementos personales de la organizacin

6.- El out-put 6.1. - El producto (out-put) cumple las nomias de calidad establecidas.
o producto. 6.2.- El costo-estndar del producto es safisfactodo.
6.3.- La calidad del producto es la esperada.
6.4.- El anlisis de satisfaccin es positivo.

7.- Se establece feed- 7. 1.- Los resultados de la evaluacin se recogen en una Memoria.
back o retro- 7.2.- Las conclusiones de la Memoria se recogen en
alimentacin el planeamiento-programacin del ciclo siguiente.
del sistema
(cuando proceda).

Una segunda propuesta de indicadores es la que plantea Prez Juste (1995: 163-167) para la
evaluacin interna de programas educativos. En este caso los indicadores se presentan en forma
interrogativa.

I. MOMENTO INICIAL: EVALUACIN DEL PROGRAMA EN SI MISMO

1. CALIDAD INTRNSECA DEL PROGRAMA

1. 1. CONTENIDO DEL PROGRAMA:

1. Se han explicitado las bases cientficas y socio-psicolgicas del programa?.

2. El tratamiento dado a los acontecimientos, temas o teoras, es adecuado/distorsionado/desequilibrado?

3. Estn actualizados o desfasados los contenidos?

4. Los contenidos incluidos se consideran relevantes desde perspectivas cientficas, sociales, psicolgicas
y pedaggicas (valor formativo)?

13
 14 Tema 4. Estndares, criterios e indicadores para la evaluacin

1.2. CALIDAD TCNICA DEL PROGRAMA:

5. Se incluyen en el programa objetivos, actividades, medios -entre ellos, la metodologa- y sistema de

evaluacin?

6. La formulacin de los elementos anteriores es adecuada para orientar tanto la enseanza como el
aprendizaje?

7. Se puede considerar que los objetivos son congruentes con los planteamientos cientfico-curriculares,
con las demandas sociales y con las caractersticas evolutivas de los destinatarios?

8. Se da coherencia interna entre los diversos elementos del programa y de ellos en relacin con los
objetivos?

9. Se da adecuacin del programa a las caractersticas diferenciales -motivacin, intereses, capacidad- del
alumnado?

1.3. EVALUABILIDAD:

10. La informacin contenida en el programa de cara a su posterior evaluacin, se considera suficiente,

relevante y adecuada?

11. Se dispone de informacin clara y precisa sobre aspectos metodolgicos y de contenido del programa?

2. ADECUACIN AL CONTEXTO

12. Se da un funcionamiento democrtico, participativo e implicativo del centro, as como

corresponsabilidad en las tareas?

13. Los profesores responsables del programa, funcionan en autntico equipo?

14. Se da cooperacin con las familias cuando es necesaria para el desarrollo del programa?

15. Se dan reuniones con profesores de cursos anteriores de cara a la planificacin del nuevo
programa?

16. Existen datos (registros, informes, actas ... ) en el centro sobre las necesidades y carencias de los
alumnos?

17. Se cuenta con sistemas de deteccin de necesidades y carencias del alumnado, tales como
pruebas de carcter diagnstico, entrevistas ... ?

18. Se ha previsto un sistema de ajuste inicial a las carencias y dificultades detectadas, tales
como clases de recuperacin, sistemas de monitores...?

3. ADECUACIN AL PUNTO DE PARTIDA

19. Responde el Programa a demandas de los interesados?

20. Estn previstos los espacios, momentos en el horario, recursos y personal, necesarios para su
desarrollo?

21. Existen en el centro los medios necesarios para un correcto desarrollo de] Programa?

22. Se encuentran capacitados los responsables para el desarrollo del programa?

23. Est prevista la temporalizacin del programa?

14
 Evaluacin de programas de intervencin psicopedaggica 15

24. Se realizan reuniones del equipo de profesores responsables del programa'?

25. Se da entre el equipo de profesores, y en el centro en general, un trabajo de tipo cooperativo?

26. Ha sido aprobado el programa por el equipo?

27. Apoyan el programa el claustro de profesores, los padres y dems personal

implicado/afectado?

II. SEGUNDO MOMENTO: PROCESO APLICACIN DEL PROGRAMA

1. PUESTA EN MARCHA DEL PROGRAMA

28. La metodologa utilizada, resulta adecuada para el desarrollo de los objetivos del programa?

29. Muestran los alumnos inters/motivacin hacia las actividades del programa?

30. Se aprecia correccin en la secuencia de las actividades programadas?.

31. Se detectan desfases significativos en la ternporalizacin prevista?

32. Se respeta la planificacin en lo referente a espacios, tiempos, apoyos y recursos?

33. Los niveles parciales de logro se consideran alejados de, o acomodados a, los propuestos?

34. Se da rigidez/flexibilidad en la aplicacin del programa?

2. MARCO DE APLICACIN DEL PROGRAMA

35. Se aprecian conflictos y tensiones entre el personal del centro que puedan repercutir en el
desarrollo del programa?

36. Las relaciones con el alumnado se puede calificar de cordiales o de problemticas?

37. Se detecta algn conflicto entre los objetivos y/o planteamientos del programa con los del
proyecto educativo o con los de otros profesores del equipo o del centro?

38. Se da concordancia entre la organizacin y disciplina del aula en que se desarrolla el programa y
el sistema organizativo y disciplinar del centro?

39. Se da un clima de confianza en el xito por parte de alumnos y profesores?

III. TERCER MOMENTO: EVALUACIN FINAL DEL PROGRAMA

1. MEDIDA Y LOGROS

40. Se han tornado precauciones para asegurar la calidad tcnica de las pruebas con que se apreciarn
los niveles de logro del progrania7

41. Se planificaron las pruebas, y dems instrumentos elaborados para la recogida de datos, en el
momento de disear el programa, a fin de asegurar la mxima coherencia con los objetivos?

15
 16 Tema 4. Estndares, criterios e indicadores para la evaluacin

42. Se recurre a tcnicas variadas de recogida de datos, acordes con la diversidad de objetivos?

43. Se especificaron los criterios de calificacin y de los niveles de logro del programa?

2. VALORACIN

44. Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los
resultados?

45. Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias
tcnicas?

46. Se dispone de informacin, rica y matizada, sobre los momentos inicial y procesual del
programa, como base para valorar los resultados?

3. CONTINUIDAD

47. El estilo imperante entre los responsables del programa es participativo y colaborativo, o
directivo y autoritario?

48. Existe un proceso institucionalizado de evaluacin, de forma que los resultados se plasmen en
nuevos procesos programadores?

49. Se asignan tareas concretas a los diferentes responsables de los cambios a introducir?

La tercera propuesta fue realizada por la Consejera de Educacin y Ciencia de la Junta de

Andaluca dentro del Plan Andaluz de Evaluacin de Centros Docentes (1998). En esa propuesta
las dimensiones del proceso de evaluacin se concretan en indicadores (sic) y stos a su vez en
descriptores, que pueden ser tanto cuantitativos (v.g. correspondera a ndices en la terminologa
al uso en la literatura) o cualitativos (v.g. los verdaderos descriptores segn la literatura).
Veamos, a continuacin, un ejemplo de descriptores que tratan de evaluar la adecuacin del
Proyecto Curricular de Centro.

DESCRIPTORES

2-1. En su caso, en la elaboracin del PCC se ha tenido en cuenta el anlisis de los resultados de la
evaluacin del centro reflejado en los cursos anteriores.

0 1 2 3 4 5

2-2. El PCC es fruto de la discusin, puesta en comn y consenso entre los componentes del Claustro.

0 1 2 3 4 5

2.3. Los objetivos generales del PCC estn en consonancia con las Finalidades Educativas del centro.
0 1 2 3 4 5

2.4. En el PCC los objetivos de etapa y rea/materia se ordenan por ciclos/cursos manteniendo una
continuidad progresiva.
0 1 2 3 4 5

16
 Evaluacin de programas de intervencin psicopedaggica 17

2.5. La organizacin y secuenciacin de los contenidos se realizan en relacin directa con los objetivos
propuestos. En Educacin Secundaria se incluyen adems criterios para determinar la oferta de materias
optativas y para organizar los itinerarios de los Bachilleratos.
0 1 2 3 4 5

2.6. El PCC recoge contenidos conceptuales, procedimentales y actitudinales.

0 1 2 3 4 5

2.7. El PCC contiene orientaciones para incorporar los contenidos de carcter transversal del curriculum.
0 1 2 3 4 5

2.8. El PCC incluye decisiones de carcter general sobre metodologas didcticas. Adems, incluye criterios
para: agrupamientos, actividades y recursos (Primaria) / elaborar programaciones de Departamentos y
Mdulos (Secundaria).
0 1 2 3 4 5

2.9. Se explicitan estrategias didcticas concretas y adecuadas para atender a la diversidad del alumnado.

0 1 2 3 4 5

2.10. Estn definidos y compartidos los criterios de evaluacin para todas y cada una de las reas y ciclos. ( en E.
Primaria) / reas, materias, ciclos y cursos (en E. Secundaria).

0 1 2 3 4 5
2.11. Se organizan los distintos elementos del proceso de evaluacin del aprendizaje (fases, recursos,
procedimientos, instrumentos, registros, etc.).
0 1 2 3 4 5

2.12. Se han establecido los procedimientos e instrumentos para la evaluacin de los aprendizajes de las distintas
reas.
0 1 2 3 4 5

2.13. Se han establecido los criterios de promocin del alumnado.

0 1 2 3 4 5

2.14. Existe un Plan de Formacin que recoge, claramente definidas, las necesidades de formacin del
profesorado (de carcter didctico, pedaggico ... ) en funcin de las necesidades del centro:
0 1 2 3 4 5

2.15. El PCC promueve la investigacin educativa y la realizacin de actividades de perfeccionamiento que

repercutan en la prctica docente.
0 1 2 3 4 5

2.16. El Plan de Orientacin y Accin Tutorial incluye objetivos, actividades y tiempos adecuados a
realizar con el alumnado, el profesorado, padres y madres.
0 1 2 3 4 5

2.17. Se ha establecido un Plan de Evaluacin del PCC coherente con los objetivos planteados y
concretado criterios, estrategias e instrumentos para su aplicacin.
0 1 2 3 4 5

2.18. Estn establecidos criterios, estrategias e instrumentos para la evaluacin de la prctica docente.
0 1 2 3 4 5

2.19. El PCC responde a una propuesta original y adecuada al centro que contiene todos los apartados
exigidos por la normativa, est ordenado, sistematizado, justifica las propuestas, ha sido aprobado
por el claustro, etc.
0 1 2 3 4 5

17
 18 Tema 4. Estndares, criterios e indicadores para la evaluacin

2.20. El PCC es un instrumento pedaggico-didctico til y prctico que se concreta y aplica en otros
niveles de planificacin (ciclos y programaciones de aula).

0 1 2 3 4 5

5. UTILIDAD DE LOS INDICADORES EN LA EVALUACIN DE

PROGRAMAS

Existe una curiosa paradoja en relacin con el uso de indicadores en la evaluacin de programas
educativos. Mientra se concede cada vez ms importancia a la formulacin de indicadores como
elemento clave en la evaluacin educativa stos no terminan por incorporarse a los procesos
reales de evaluacin. El desconocimiento sobre el modo en que deben utilizarse los indicadores
en un proceso de evaluacin y la propia formulacin a posteriori (una vez desarrollado el
programa) y no a priori (al tiempo que se redactan los objetivos del programa) de los indicadores
puede explicar esta paradoja (De Miguel1, 1995: 181).

Una primera consecuencia que podra extraerse de lo dicho es que la eficacia e idoneidad de los
indicadores dentro de un proceso de evaluacin est en buena medida condicionada por el modo
ver apartado 3 de este tema- y por el momento en que se formulen. As, para que los
indicadores sean tiles deberan definirse a priori, en funcin de cada uno de los objetivos que
pretenden lograrse con el programa.

Hecha estas salvedades, hagamos referencia a algunas de las recomendaciones que pueden
realizarse para utilizar de un modo ms apropiado los indicadores en un proceso de evaluacin:

1. A partir de un marco terico, desarrollar un sistema de indicadores basado en

medidas mltiples con el fin de que posibilite obtener y contrastar la informacin
sobre un aspecto por diversas vas.
2. Avanzar en la construccin de indicadores com uestos y de ndices que nos aporten
informacin ms compleja y decisiva para las decisiones.
3. Complementar la informacin que aportan los indicadores con la que nos pueden
facilitar otras fuentes (especialmente los expertos).
4. Construir y utilizar indicadores sobre todas la fases del proceso de la evaluacin Y
no slo sobre los resultados o productos.
5. Evitar los juicios de valor durante la fase de elaboracin de los indicadores a fin de
no condicionar las etapas siguientes del proceso.
6. Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a
utilizar y dar la mxima publicidad a la informacin obtenida. (De Miguel, 1995:
182-183).

18
 Evaluacin de programas de intervencin psicopedaggica 19

5.1. VENTAJAS QUE OFRECE EL USO DE INDICADORES

La recomendacin del uso de indicadores en la evaluacin educativa en general y en la

evaluacin de programas en particular est justificada porque ofrece al evaluador las siguientes
ventajas:

1. Aportan informacin vlida, verificable y relativamente neutral.

2. Posibilitan establecer comparaciones en funcin de diversos criterios.
3. Permiten que los juicios de valor -valoraciones- se apoyen sobre datos bastante
objetivos.
4. Facilitan el consenso entre la audiencia implicada.
5. Otorgan credibilidad a la toma de decisiones.
6. Aaden transparencia a todo el proceso evaluador (De Miguel, 1995: 181-182).

5.2. PRINCIPALES DIFICULTADES EN EL USO DE INDICADORES

Cuando utiliza indicadores el evaluador se enfrenta igualmente a una serie de dificultades e

inconvenientes, entre los que cabra citar los siguientes:

1. Con frecuencia se elaboran a partir de modelos tericos muy sencillos por lo que el
indicador ofrece una informacin muy simple y limitada.
2. En algunos casos, muchos indicadores se utilizan por razones polticas y con un
determinado sentido,introduciendo sesgos en la evaluacin.
3. Habitualmente existen problemas en la recogida y anlisis de los datos,
especialmente los referidos al nivel de agregacin, lo que cuestiona la objetividad
y viabilidad del indicador.
4. La falta de homogeneidad en los criterios -dado que en cada contexto se entienden
de forma diferente- impide obtener medidas comparables.
5. Problemas derivados de sus costos y mbito de aplicacin frecuentemente
determinan que muchos indicadores se utilicen de forma distorsionada.
6. Finalmente cabe sealar que pueden orientar toda la ejecucin de los programas
con el fin de alcanzar los indicadores y alterar, tambin, la toma de decisiones (De
Miguel, 1995:182).

BIBLIOGRAFA

1. Eisner, E. W. (1993). Why standards may not improve schools. Educational Leadership,
50(5), 22-23.

2. Lzaro, A. (1992). La formalizacin de indicadores de evaluacin. Bordn, 43(4), 477-

494.

3. Miguel de, M. (1991). Indicadores de calidad en la docencia universitaria. I Congreso

Internacional sobre calidad de la enseanza universitaria (p. XXV-LI). Cdiz: ICE
de la Universidad.

19
 20 Tema 4. Estndares, criterios e indicadores para la evaluacin

4. Miguel de, M. (1995). Indicadores de rendimiento y evaluacin de programas. en R. Prez

Juste, J. L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de
programas y centros educativos (pp. 169-192). Madrid: UNED.

5. Newman, D. L., & Brown, R. D. (1992). Violations of evaluation standards. Evaluation

Review, 16(3), 219-234.

6. Noriega, J., & Muoz, A. (1996). Indicadores de evaluacin del centro docente. Madrid:
Editorial Escuela Espaola.

7. Prez Juste, R. (1995). Evaluacin interna de programas educativos. en R. Prez Juste, J.

L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programas y
centros educativos (pp. 131-168). Madrid: UNED.

8. Salzer, M. S. e. al. (1997). Validiting quality indicators. Evaluation Review, 21(3), 292-
309.

9. Simmons, W., & Resnick, L. Assessment as the catalyst of school reform. Educational
Leadership, 50(5), 11-15.

Otras referencias:

Consejera de Educacin y Ciencia (1998). Evaluacin de centros docentes. Plan de evaluacin

de centros docentes en la Comunidad Autnoma Andaluza. Junta de Andaluca.

Dewey, J. (1934). Art as experience. New York: Minton Balch and Company.

Guba, E.G. y Lincoln, Y. (1981). Effective evaluation. California: Sage Publications.

AUTOEVALUACIN

20