LA EVALUACION:

UN PROCESO CUANTICUALITATIVO PARA DESCRIBIR REALIDADES

EDUCATIVAS
Lic. Hayde PEZ de DE SOUSA
Profesora de la Facultad de Ciencias de la Educacin Universidad de Carabobo
Casi todo lo que llamamos razonamiento
consiste en encontrar argumentos para
seguir creyendo lo que creemos
James H. Robinson
A MANERA DE PRESENTACIN
La evaluacin es un campo influenciado por muchos factores que, en menor o mayor grado
condicionan la marcha de todo el proceso educativo. Es una tarea compleja tanto en la adopcin
de posturas tericas que orienten la toma de decisiones como en la praxis pedaggica.
La evaluacin no sigue pautas nicas de orientacin en virtud de la abundancia y heterogeneidad
de criterios, posturas y filosofas cultivadas por el personal involucrado en ese proceso. Si algn
aspecto ha de considerarse importante en el proceso educativo es el relativo a la evaluacin de
dicho proceso, sus fases, mtodos, procedimientos, tcnicas, recursos, etc. Evaluar ha sido
tradicionalmente sinnimo de examinar, medir exclusivamente el rendimiento estudiantil. Pero la
evaluacin debe referirse no slo al grado en que el alumno aprende un conjunto de habilidades o
un tipo de conocimiento, sino debe tambin responder al porqu debe aprender esto y no aquello,
qu ha aprendido adems de lo establecido por el docente o institucin y qu ha dejado de
aprender. Esto indudablemente requiere de un tipo de informacin distinta a una cuantificacin,
requiere de una informacin de tipo cualitativo.
La evaluacin educacional requiere entonces una metodologa sensible a las diferencias, a los
acontecimientos imprevistos, al cambio, al progreso, a las manifestaciones observables y a los
significados subyacentes. Una metodologa basada en el anverso de los presupuestos del
paradigma positivista, psicoestadstico de evaluacin educacional, una metodologa que vaya de
la generalizacin estadstica basada en las medidas de tendencia central al estudio de lo
ideosincrtico; de la operacionalizacin de las variables a la consideracin de la vida como un
sistema abierto, complejo, humano y por lo tanto complejo y cambiante; de la necesidad de
control riguroso de las variables a la observacin directa y flexible de la vida natural del proceso
educativo.
Admitiendo que no es sta la concepcin de evaluacin dominante en nuestra realidad educativa
se presentan en este trabajo dos posturas o enfoques metodolgicos inscritos dentro de las
metodologas cualitativas de evaluacin educacional: la crtica artstica y el naturalismo.
ACERCA DE LA EVALUACION EDUCACIONAL
Segn Prez Gmez (1985), el concepto de evaluacin es uno de los que ms ha sufrido los
rigores de la estrechez positivista. Desde Bobbit (1918) con sus mas de quinientos objetivos que
deban ser acometidos por la escuela para formar un ciudadano apto para vivir en democracia,

pasando por Mager (1962), Thomdike (1971), De Landsheere (1981) y otros, el concepto de
evaluacin se ha restringido de tal manera que, para la mayora de los educadores e
investigadores se refiere simplemente al proceso de medida del xito de la enseanza en trminos
de las adquisiciones observables de los alumnos. Evaluar ha sido entonces, histricamente,
sinnimo de examinar, y el examen concierne casi exclusivamente al alumno en lo que a su
rendimiento se refiere. De esta concepcin provienen los conceptos de la evaluacin por
objetivos, enfoque sistmico de evaluacin y otras posturas metodolgicas comunes en este
campo.
Ms, cualquiera metodologa de evaluacin est basada en las ciencias sociales. La evaluacin es
un proceso de enjuiciamiento humano aplicado a los resultados de un objeto o ente examinado. Y
este proceso de enjuiciamiento debe considerar todos los factores, incluido lo evaluado, que
pudieran haber producido los efectos observados, ya que todo comportamiento humano es
complejo y multi causal.
Los evaluadores, cualquiera sea el criterio metodolgico asumido para conducir la evaluacin,
tratan de observar las reglas de la investigacin cientfica porque asumen que estn buscando la
verdad acerca del programa o ente evaluado y que encontrarla depende de los esfuerzos que
haga.
LA EVALUACION EDUCACIONAL Y LOS ENFOQUES ALTERNATIVOS
La estrechez del paradigma positivista en sus aplicaciones a la elaboracin y evaluacin de
proyectos educativos ha conllevado al desarrollo paralelo de los llamados enfoques alternativos
con presupuestos ticos, epistemolgicos y tericos bien diferentes. A partir de la dcada de los
sesenta se produjo un rpido y acelerado incremento del inters por la posicin o perspectiva
llamada evaluacin cualitativa, representada por autores como Scriven (1967), Stake (1967),
Cronbach (1972), Parlett y Hamilton, (1972), Mc Donald (1976), Eisner (1981), Guba (1983).
Tal auge o inters se debi en gran medida al reconocimiento de que los tests o pruebas
estandarizadas de rendimiento no eran el mejor medio para tratar de explicar el porqu los
profesores ensean lo que ensean y los alumnos aprenden lo que aprenden.
Esta evaluacin cualitativa se apoya en las siguientes caractersticas:
-

La objetividad en la ciencia y en la evaluacin es siempre relativa y de ninguna forma

puede considerarse su objetivo central ni prioritario. La ciencia trata de comprender la
realidad y la evaluacin entender y valorar los procesos y resultados de un programa
educativo. Esta comprensin, como empresa humana intencional y tentativa, est sujeta a
limitaciones y errores.
Interpretar una situacin donde interactan hombres con intencionalidad y significados
subjetivos requiere tomar en consideracin las diferentes posiciones, opiniones e
ideologas mediante las cuales los individuos interpretan los hechos y reaccionan en los
intercambios.
Ni la educacin ni la evaluacin pueden concebirse desligados de los valores. La
evaluacin no puede estar circunscrita a una tarea asptica de determinar en qu medida
se han logrado unos objetivos preestablecidos, observables y cuantificables. Como lo
seala Eisner (1981), los profesores y la escuela como institucin ensean ms de lo que
se proponen y hay que buscar ese ms, su porqu y como se dan, tarea que va ms all de
la simple determinacin de la medida en que se han logrado unos objetivos.

El objetivo de la evaluacin no se restringe a las conductas manifiestas, a los efectos

previsibles y a los resultados a corto plazo. Los efectos secundarios y a largo plazo son a
veces tanto o ms importantes.
Si se busca la comprensin de significados, los resultados a considerar sern los procesos
de pensamiento, anlisis, interpretacin, capacidades complejas de investigacin,
comprensin y solucin de problemas, los cuales no pueden limitarse a simples
mediciones de la conducta observada.
Comprender el significado de productos complejos, explcitos y ocultos requiere un
cambio del nfasis en el producto a un nfasis en los procesos. Los mtodos cualitativos
de evaluacin estn orientados en gran medida para enfocar los procesos de la prctica
educativa, con el objeto de proporcionar informacin para la formulacin y reformulacin
racional de atarea didctica. La bsqueda de significados y procesos supone la traslacin
desde las generalizaciones estadsticas al anlisis e interpretacin de lo singular e
irrepetible. La evaluacin centrada en los procesos de enseanza-aprendizaje intenta
capturar la singularidad de los hechos concretos, las caractersticas particulares que
definen una situacin y que pueden considerarse responsables del curso de los
acontecimientos y de los resultados de la actividad en el aula.

La evaluacin cualitativa requiere pues una metodologa sensible a las diferencias, a los
acontecimientos imprevistos, al cambio y al progreso, a las manifestaciones observables y a los
significados latentes, a la consideracin de la totalidad de la vida peculiar de un sistema abierto,
cambiante, complejo, a la observacin directa, abierta y flexible de la naturalidad del aula, a la
sensibilidad para el cambio previsto e imprevisible. La evaluacin cualitativa incorpora pues, el
conjunto de tcnicas, orientaciones y presupuestos de la metodologa etnogrfica, de la
investigacin de campo de la Escuela de Chicago. Su propsito es comprender la situacin
estudiada mediante la consideracin de las interpretaciones, intereses y aspiraciones de quienes
en ella interactan, para ofrecer la informacin necesaria e intervenir del modo ms adecuado.
Todo ello, porque la finalidad de la educacin segn Sten" house (1988) es desarrollar la
comprensin de situaciones sociales, de actos humanos y de las discusiones sobre valores
controversiales sostenidas por un grupo. As, el informe de evaluacin debe proporcionar
informacin sobre lo evaluado respetando la intimidad de todos los que participan en el hecho
educativo. Los datos e informaciones deben contrastarse desde la perspectiva de los diferentes
grupos implicados, dentro de un proceso de triangulacin (Elliot,1988), en tanto segn este autor,
la validez de cualquier evaluacin descansa en su utilidad para aquellos que realmente influyen
en la realizacin del programa.
Los enfoques de investigacin cualitativa son parte del paisaje intelectual de la evaluacin
educativa y no constituyen una entidad monoltica pues existen diversos enfoques: orientados
artsticamente, fenomenolgicos, naturalista, iluminativa, etc. En la actualidad se da un
pluralismo metodolgico y epistemolgico en la evaluacin educacional por lo que se puede
hablar de una revolucin cientfica silenciosa en este campo y todo se debe al cambio en los
paradigmas subyacentes en el mtodo y la finalidad de la investigacin educativa. Los
evaluadores se estn alejando del paradigma positivista y acercndose a la aceptacin y al uso de
conceptos y tcnicas fenomenolgicos o cualitativos. Como en cualquier cambio en la ciencia, el
giro es gradual, haciendo consideraciones de tipo objetivo y subjetivo. An los proponentes del
enfoque positivista como Campbell (1988) han aceptado que cuando las evaluaciones
cualitativas sean contrarias a los resultados cuantitativos, stos deben mirarse con suspicacia

hasta que las razones de las discrepancias sean bien entendidas. Si un evaluador conoce los
diversos enfoques cualitativos y est consciente d las consecuencias que puede traer mezclarlos,
puede entonces combinar diferentes enfoques al realizar un estudio ya que la validez de un
enfoque cualitativo aumenta cuando se utilizan tcnicas propias de una u otra posicin
metodolgica.
ENFOQUES CUALITATIVOS DE EVALUACION EDUCACIONAL
Dentro de los enfoques cualitativos de evaluacin educacional se presentarn en este reporte el
modelo de evaluacin basado en la crtica artstica propuesto por Elliot Eisner (1981) y el
modelo naturalista de evaluacin educacional propuesto por Egon Guba e Yvonna Lincoln
(1983).
EVALUACION EDUCACIONAL BASADA EN LA CRITICA ARTSTICA
Este modelo propuesto por Eisner (1981) rompe definitivamente con los modelos experimentales
de evaluacin educacional. Es uno de los modelos de enjuiciamiento que utiliza el ser humano
como instrumento de medicin. La recoleccin de los datos, su anlisis, procesamiento e
interpretacin se producen dentro de la mente del juez y por lo tanto no estn sujetos a la
observacin directa de los dems. Todo proceso de enjuiciamiento se hace dentro del cerebro del
juez basndose en la crtica educativa que ese juez haya internalizado en virtud de su
entrenamiento y experiencia. El mismo se fundamenta en la concepcin de la enseanza como
arte y de la tarea del docente como la tarea del artista. "El evaluador es un experto en educacin
que interpreta lo que observa tal y como ocurre en un medio cultural lleno de significados".
(Esner, 1981, p. 7). Seala este autor que las prcticas educativas, como trabajo artstico que son,
son extremadamente complejas. El crtico, en virtud de su formacin, es capaz de apreciar las
caractersticas y cualidades del fenmeno estudiado, con mayor profundidad que un laico en el
rea. Esa interpretacin indudablemente depende de la comprensin del contexto, de los
smbolos, reglas y tradiciones de los que participa cualquier persona, objeto, fenmeno o
acontecimiento. La finalidad de la crtica no es discernir sobre el carcter y las cualidades
constitutivas del ente evaluado sino informar en trminos lingsticos sobre lo que ha
encontrado, de manera que los que no son expertos en el rea puedan entender tambin lo
acontecido. La funcin de la crtica es educativa.
La crtica educativa, entonces, toma la forma de un documento escrito cuya finalidad es ayudar a
otros a ver, comprender y valorar la calidad de la prctica educativa y sus consecuencias. Ese
documento est constituido por tres aspectos:
1. La Descripcin. En este primer aspecto se presenta una descripcin viva y detallada de la
situacin. Contiene un enfoque factual y otro artstico. En lo factual, el evaluador
presenta informacin de lo acontecido en el aula con profesores y alumnos. En lo artstico
le corresponde presentar de tal modo la informacin que realmente trasmita al lector las
emociones y sentimientos registrados. Como las emociones juegan un papel importante
en la comprensin debe utilizar el lenguaje de modo que revele la riqueza del proceso a
travs de ellas y de la representacin de los hechos.

2. La Interpretacin. El evaluador da cuenta de las interacciones que percibe en las

interacciones escolares. Interpretar supone buscar significados, entender lo que ocurre
ms all de lo observable, inferir y detectar interacciones complejas y latentes.
3. El Enjuiciamiento. El tercer aspecto se refiere a la emisin de juicios de valor acerca de
los mritos educativos de lo que ha sido descrito e interpretado. La evaluacin en todo
caso significa valorar situacionalmente, no con criterios estndar, universales y
definitivos, sino en funcin de las peculiaridades que singularizan y definen cada
situacin educativa concreta. La crtica educativa es esencialmente cualitativa y
procesual, sensible a las caractersticas del aula, singular, relevante y debe mostrar las
relaciones que definen el comportamiento de las personas y el desarrollo de los procesos.
Este enfoque requiere del evaluador un entrenamiento adecuado, una experiencia directa y una
potente preparacin terica. Estas condiciones son necesarias para desarrollar satisfactoriamente
este tipo de evaluacin cualitativa. La crtica educativa cuestiona los supuestos del paradigma
positivista en la definicin nica y excluyente de los conceptos de confiabilidad y validez de los
instrumentos y procedimientos de recoleccin de datos. Para Eisner, si estos procedimientos
estn predeterminados, estarn tambin contaminados por los presupuestos tericos de partida.
Para l, la validez interna y externa de la evaluacin se consiguen a travs del proceso de
corroboracin estructural y adecuacin referencial.
La corroboracin estructural se refiere a que todas las piezas deben encajar perfectamente como
en un rompecabezas. As, los participantes contrastan sus opiniones, comparten sus significados
y reformulan sus criterios. De esa contrastacin emergen nuevos significados y sentimientos
compartidos. Es esa corroboracin estructural la que proporciona validez a la evaluacin
realizada por el crtico. Por su parte, la adecuacin referencia alude a la posibilidad de encontrar
en el programa criticado las caractersticas a las que apunta la crtica; es la contrastacin
emprica de la crtica con el fenmeno y su resultado debe capacitar a los participantes para
percibir lo que de alguna otra manera estara oculto.
El propsito fundamental de la crtica educativa entonces, es reeducar la capacidad perceptiva, la
comprensin y valoracin de aquellos que participan en los programas o experiencias educativas
(docentes, educandos, directivos), retratndoles de manera viva y profunda las situaciones y
procesos, actuaciones y cualidades emergentes sobre la consideracin de los resultados, la
bsqueda de significados sobre la constatacin de la eficacia; en resumen, la evaluacin
mediante la crtica artstica pretende conceptualizar la enseanza ms como un proceso artstico
que como un proceso tecnolgico. La crtica artstica como metodologa de evaluacin
educacional propuesta por Eisner tiene el mrito de haber sido la primera en romper con el uso
del paradigma cientfico en evaluacin (Guba and Lincoln, 1983) abriendo una nueva ventana
para estudiar la prctica educativa. No obstante, este modelo tiene sus puntos dbiles en tanto no
proporciona una orientacin operacional al evaluador que lo va a seguir y coloca todo el peso del
xito del proceso en la capacidad o competencia del evaluador. Realmente pocos pueden ser
totalmente expertos en el campo tal como lo exige el enfoque, an cuando se reconozca que,
ciertamente, los profesores actan como expertos en la enseanza cuando, en el aula, pasan de un
contenido programtico a otro o de una actividad instruccional a otra porque juzgan que los
estudiantes han logrado aprender o dominar el objetivo perseguido (Eisner,1977). Realmente, es
cierto que los docentes ordinariamente toman estas decisiones en base a su experiencia y quizs a
un sexto sentido que le indica cuando las cosas van bien o mal en el aula.

Obviamente, un enfoque como ste de la evaluacin educacional representa una separacin

dramtica de las metodologas usadas corrientemente por los educadores y evaluadores. Ms,
cmo saber si se puede confiar en los crticos educativos?, cmo se puede estar seguros de que
lo que el crtico dice es realmente parte de la situacin y no un producto de su imaginacin?,
cmo saber si la descripcin, interpretacin y evaluacin hecha por el crtico de lo que pasa en
el aula es confiable?. No se puede dar una respuesta nica a estas preguntas, pero con toda
seguridad esas respuestas contendrn mucho ms informacin e informacin ms significativa
acerca del proceso educativo y de las personas involucradas en l, que la proporcionada por un
simple y fro nmero.
LA EVALUACION NATURALISTA
Ernest House, en 1976, defina-la evaluacin naturalista como aqulla que intenta llegara
generalizaciones naturales, que est dirigida a un pblico que no es tcnico como los profesores
o el pblico en general, que usa un lenguaje corriente, que se basa en el razonamiento informal
cotidiano y que usa extensivamente argumentos que intentan establecer la estructura de la
realidad. Wolf y Tymitz (1977) sugieren que esta evaluacin es un proceso dirigido a descubrir
las historias idiosincrticas importantes contadas por la propia gente, acerca de hechos reales, de
manera natural y real. As, la evaluacin se conduce ante un problema que surge de la
observacin, de la experiencia, de los datos y en esto no se diferencia de la evaluacin
emprendida por medios cuantitativos.
Relevancia del Paradigma Naturalista para la Evaluacin Educacional.
En el rea de la investigacin en las ciencias de la conducta ya se ha dicho que las variables
discretas y sus relaciones presentes en las ciencias fsicas no parecen ser suficientes para tratar
con las complejas interacciones y patrones de la conducta humana. De igual manera, los
investigadores no slo reaccionan ante su objeto de investigacin, sino que a su vez son
cambiados por a calidad de su interaccin con lo investigado. Por ello, las generalizaciones en
estas ciencias sociales o de la conducta tienden a tener una vida muy corta; llegando a ser como
lo afirma Cronbach (1980) ms parte de la historia que de la ciencia.
Naturalmente, hay casos en que la investigacin social est muy ligada a las ciencias fsicas,
como por ejemplo en los estudios de la psicologa e evolutiva que estn muy ligados al desarrollo
fsico y que permiten al investigador considerarse aparte del objeto investigado y generalizar. Y
ciertamente habr aspectos o preguntas que podrn ser mejor respondidas enmarcadas dentro de
un cuadro fisiolgico y necesitarn del uso del paradigma cientfico, pero lo referente a los
procesos mentales ser mejor comprendido dentro del paradigma naturalista.
Hay muchos campos dentro de la investigacin en ciencias de la conducta en los cuales es
tambin preferible utilizar el paradigma naturalista y uno de esos campos es el de la evaluacin
educacional. Porqu?. Porque cualquiera actividad evaluativa, en ltima instancia debe
establecer el valor del ente evaluado en su relacin con un contexto y unas caractersticas propias
muy particulares. Howe (1988) seala que la intencionalidad de los datos (stos incorporan
valores, creencias, intenciones) es lo que caracteriza lo cualitativo desde el punto de vista
ontolgico. Y ese valor, esa importancia del ente evaluado se determina en relacin a las
caractersticas demogrficas, los valores, factores motivacionales, etc inherentes al contexto o
ambiente donde aqul se inscribe. Para tratar sobre valores, factores motivacionales, el

investigador tiene que ver con las personas en cada contexto. La investigacin de campo
requerida en este caso definitivamente no puede ser llevada a cabo de manera experimental sino
natural; porque mientras el investigador cientfico est propenso a encontrar sus problemas de
investigacin en la teora, en la literatura o en la estructura conceptual de su rea, el investigador
naturalista prefiere encontrarlos en la observacin directa, en la experiencia, en los datos; es
decir, prefiere encontrarlos en el terreno.
Recomendaciones para Conducir una Evaluacin Naturalista.
Para llevar a cabo una evaluacin naturalista, Guba and Lincoln (1983) sealan una serie de
recomendaciones a seguir.
A.-Establecer el mbito de la evaluacin.
Como en cualquiera actividad investigativa, la evaluacin debe comenzar por el planteamiento o
formulacin de un problema, pero en este caso, el problema no es especificado a priori por el
evaluador sino por los afectados por la situacin. El evaluador naturalista inicia su tarea con una
actitud descubridora; postura que puede llevarlo a comprender la situacin de una forma
determinada y esa comprensin debe ser verificada. Esa verificacin lo lleva a nuevos
descubrimientos y as sucesivamente. De manera que cualquier situacin ocultada intencionalmente puede llegara ser descubierta por el evaluador ys ervirle como recurso para tratar de
explicar la situacin problemtica. Tiene tambin el evaluador naturalista que interactuar con el
personal que se desenvuelve en el contexto evaluado, de manera de captarlos en su justa
dimensin.
B.- Delimitar el problema.
Los problemas a tratar surgen del anlisis, la categorizacin e interpretacin de resultados o
situaciones dadas en el ambiente natural. De stos surgen dos tipos de problemas: de
convergencia y de divergencia.
1.- Problemas de convergencia.
Este tipo de problema surge porque el evaluador naturalista debe derivar, inferir, deducir
categoras con las que va a clasificar e interpretar los resultados observados. De hecho, la
evaluacin naturalista es un proceso de dos pasos: a) la identificacin de los problemas e
inquietudes del personal involucrado y b) la recoleccin de informacin pertinente a esos
problemas e inquietudes.
Ahora, como recolectar esa informacin?. Primero debe sealarse la distincin entre problemas
e inquietudes. Un problema es cualquier materia o asunto de inters o de importancia para uno o
ms tipos de personal que puede sentirse amenazado o sentir que las consecuencias sern
nefastas o que ellos piensen canalizar de manera positiva. Una inquietud por su parte es cualquier
afirmacin, proposicin hecha bajo diferentes puntos de vista; alguna proposicin ante la cual
puede haber desacuerdos, etc.
Para estudiar esos problemas e inquietudes, el evaluador debe cumplir una serie de tareas; a
saber:

a) Categorizar. Una vez identificados los problemas e inquietudes y recolectada la informacin

por medio de la observacin y de la entrevista, el evaluador debe convertir esa informacin en
categoras. segn Howe (1988) es esta medicin por categoras lo que define a la metodologa
cualitativa desde el punto de vista del tratamiento de los datos o sea, desde el punto de vista de la
medicin realizada. Esta tarea es difcil y requiere de un proceso altamente intuitivo y es por ello
subjetiva.
Para establecer esas categoras, el evaluador busca cuales son las regularidades observadas en los
hechos. Aunque algunos datos puedan no calzar en alguna categora detectada, no deben ser
desechados por el evaluador. Los primeros datos o los datos recolectados en las primeras etapas
de la investigacin pueden dar lugar a un primer grupo de categoras que deben ser sometidas a
prueba, refinadas y sometidas a constante y posterior verificacin, a medida que se avanza en la
evaluacin. La categorizacin, entonces, es algo dinmico, que cambia y mejora constantemente.
El evaluador tendr que contentarse con categoras discretas que no tienen un orden particular.
En todo caso, debe buscar obtener categoras unidimensionales, internamente homogneas,
retratadas en su justa dimensin, de acuerdo a la realidad.
b) Jerarquizar. Una vez obtenidas las categoras, el evaluador debe entonces darle un orden o
prioridad en el proceso. Para ello puede basarse en la frecuencia de respuestas sobre una
situacin considerada por el personal como problema o inquietud; en la creencia de ese personal
de que se encuentra ante un problema; en la determinacin de problemas nicos o su generis; en
aquellas categoras que ofrezcan la posibilidad de abrir nuevos horizontes de exploracin de
otros campos o reas dentro del contexto evaluado. Debe sealarse adems que el evaluador
inevitablemente se encontrar con problemas e inquietudes, que a pesar de ser interesantes, no
son posible de investigar porque no haya suficiente tiempo para ver sus resultados, porque no se
domine la metodologa requerida, porque no se posean los recursos necesarios, etc. En otros
casos, puede ser que el problema no sea intrnsecamente interesante pero debe ser abordado, en
tanto es de inters de los administradores de la educacin.
c) Determinar la integridad de las categoras. El evaluador debe examinar las categoras
obtenidas y ver su validez interna y externa. Internamente, stas deben ser consistentes;
externamente, deben representar un cuadro completo de la situacin y ser reproducibles por otro
evaluador, no porque ste vaya a asumirlas en su propia evaluacin, sino porque debe ser capaz
de verificar que las categoras son significativas a la luz de los datos recaudados y que stos a su
vez han sido correctamente asignados a cada categora. La funcin de un segundo evaluador es
similar a la de un auditor en una empresa comercial. Por otra parte, las categoras deben
representar realmente el opinin del personal que la emiti; es lo que se denomina adecuacin
contextual y que los socilogos llaman "member checks".
2. Problemas de divergencia.
Una vez establecidas las categoras, el evaluador naturalista debe filtrarlas a travs de la
recaudacin de informacin que describa en detalles los problemas o inquietudes planteados; que
los visualice y que arroje-suficiente evidencia para juzgarlos. Cmo cumplir con esta tarea?.
Para ello se puede:
a) Utilizar estrategias que le permitan llenar los posibles vacos de informacin. Una de esas
estrategias es la extensin, o sea, se comienza con la informacin de que se dispone y sobre esa
base, se hacen ms preguntas o se orienta el examen de los documentos y records, tendiendo un

puente entre lo desconocido y lo conocido. Otra estrategia es la de conectar piezas separadas de

informacin, consideradas separadas porque todava no se conoce su interrelacin, para
completar con una estrategia de consolidacin en forma de proposicin de una nueva
informacin que debe ser buscada y encontrada en el campo evaluado. Esta actividad es similar
al planteamiento de hiptesis; obedece a una lgica de la situacin problemtica. Obviamente,
estas estrategias tienen ms carcter artstico que cientfico, pero no por ello deben ser
rechazadas. Despus de todo, las ciencias dependen del investigador artista y el uso de la
intuicin es un derecho de todo cientfico.
b) Criterios de exclusin e inclusin. El evaluador puede incorporar o desincorporar informacin
que se considere valiosa dentro de los lmites de la evaluacin.
c) Cierre. La ltima pregunta sobre divergencia que se hace el evaluador naturalista es hasta
cuando recolectar informacin. En raras ocasiones se encuentra con que ya no hay ms
situaciones que observar, sujetos que entrevistar, procesos que describir o documentos que
analizar. En este caso es obvio que ya no se puede seguir buscando informacin. Pero como eso
no es lo comn, el evaluador generalmente trata de reciclar el proceso de descubrimiento de
informacin, de triangular fuentes o de usar estrategias de extensin, conexin y consolidacin.
Si este proceso proporciona informacin redundante, es la seal de que debe cerrarse el proceso.
En ocasiones puede darse el caso de que se sature el proceso sin haber obtenido una visin
integral, completa de la situacin problemtica debido al reducido nmero de informantes, a su
negativa en proporcionar informacin o porque los elementos cruciales que definen la situacin
no llegaron a aflorar a la superficie, a pesar de toda la logicidad del proceso y de toda la
expertisia del evaluador.
El Evaluador Naturalista y el Cientfico.
Puede observarse entonces que, a pesar de la ausencia de un preestablecimiento de resultados a
travs de reglas establecidas a priori, es posible que el evaluador naturalista resuelva los
problemas convergentes y divergentes y encuentre un ncleo significativo para su trabajo. Pero,
son sus soluciones menos significativas y crebles que las del evaluador que estipula los
resultados a priori?. Si se revisan los problemas de convergencia, el problema de deducir
significados a partir del anlisis de los datos es idntico en las dos posiciones. La diferencia est
en cuando se establecen las reglas para hacer ese anlisis.
Para el evaluador positivista, todas las categoras son definidas previamente y tpicamente estn
basadas en hiptesis derivadas lgicamente de alguna teora previa. Piensa este evaluador que
con esto asegura un mayor grado de objetividad. Ms, por el contrario, no ser mejor llegar a
esas especificaciones como producto de una realidad particular, como producto de una teora
proveniente y verificada por los mismos datos de esa realidad?. Las hiptesis del evaluador
naturalista casi siempre son acertadas porque su direccin es indicada por la informacin
recaudada, la del evaluador positivista es una especie de adivinanza y si adivina mal?.
Simplemente se rechaza la hiptesis y aqu no ha pasado nada.
En cuanto al rigor de la evaluacin, tanto el evaluador positivista como el naturalista son
absolutamente rigurosos en los procesos seguidos para ganarse la confianza de sus seguidores.
Para ello cuida todo lo referente a: la nocin de verdad, aplicabilidad, consistencia y neutralidad.
Estos aspectos son denominados, respectivamente, por el evaluador positivista y el naturalista:
validez interna y credibilidad; validez externa o generalizacin y adecuacin; confiabilidad y
auditabilidad y objetividad y revalidacin o confirmacin.

Criterio de verdad. El evaluador positivista seala que la verdad depende del grado de
isomorfismo entre el estudio de los datos y el fenmeno estudiado. Para ello slo tiene en sus
manos una realidad y, la informacin obtenida es vlida si describe esa realidad y permite
controlarla y manipularla. El evaluador naturalista est ms preocupado por probar la
credibilidad de sus hallazgos y de su interpretacin sobre diversas realidades, por las diversas
fuentes de quienes provino esa informacin. No pretende controlar ni manipular esas realidades
porque son diferentes. Es lo que Eisner (1981) llama corroboracin estructural. Si las evidencias
de esas realidades apuntan en una direccin, aumenta la credibilidad. Los procesos de
triangulacin, el examen cruzado y las observaciones repetidas brindan al evaluador naturalista
mayor asidero para hacer creble, verdadera su interpretacin. La credibilidad, entonces, de cierta
manera es una funcin del tiempo y esfuerzo invertido por el evaluador.
Igualmente, las fuentes de invalidacin de la validez interna de los estudios cientficos
positivistas sealadas por Campbell y Stanley (1970): seleccin diferencial, historia, maduracin,
instrumentacin, mortalidad, etc amenazan tambin al evaluador naturalista y de ellas, la
instrumentacin amenaza ms al evaluador naturalista por cuanto l mismo es un instrumento de
recoleccin de datos y la fatiga, los cambios es sus concepciones, diferencias de entrenamiento,
destrezas y experiencia pueden afectar los resultados. La historia, maduracin, la seleccin
pueden ser controladas por el evaluador naturalista porque continuamente est haciendo
observaciones, notando los cambios e impactos histricos y considerndolos a medida que el
estudio progresa. De manera que en cuanto a la validez interna se refiere, los dos enfoques corren
los mismos riesgos saliendo quizs ms airoso el naturalista.
Aplicabilidad. En algunos casos, por ejemplo, cuando se desea saber cual texto es ms adecuado
y cual es una buena estrategia para ser usada con los alumnos, la validez externa o generalizacin
puede ser irrelevante. En otros casos, como cuando se quiere poner en prctica una innovacin
en ambientes escolares distintos no lo es. As, qu hace el evaluador cuando se le pide una
evaluacin con el propsito de generar informacin que pueda ser aplicada en diferentes
contextos?. De nuevo, esa validez externa depender de la validez interna del estudio. El
evaluador naturalista al no establecer controles a priori est libre de uno de los problemas que
afectan al positivista: la carencia de isomorfismo entre el laboratorio y el mundo real. Pero el
problema est en que se debe determinar cuan representativa es esta realidad de las otras
realidades y en que la generalizacin tiene que ser afirmaciones libres del contexto y, tratndose
del ser humano, esto es completamente imposible porque cul conducta del hombre no se debe
a una causa? y esto es vlido para los dos paradigmas. Por ello, es quizs mejor hablar de
hiptesis de trabajo y de probar el grado de adecuacin entre el contexto en que se gener esa
hiptesis y el contexto en que ser aplicado. Adecuacin es el trmino y no generalizacin. De
nuevo, al ser contextual, la evaluacin naturalista parece quedar en mejor posicin.
Consistencia. Este es un asunto fundamentalmente emprico. Las evaluaciones, debe recordarse,
son singulares, se llevan a cabo para fundamentar una decisin, para responder a una crtica o
preocupacin o para determinar la efectividad de un mtodo, etc. De manera que la posibilidad
de replicar un estudio para esos efectos es mnima, ya que el diseo de investigacin naturalista
es emergente, no preestablecido, depende de la situacin particular. Debe admitirse entonces que
la consistencia de una evaluacin naturalista es ms difcil de establecer y que est limitada a la
posibilidad de ser avalada por otro evaluador, quien despus de examinar el trabajo hecho, puede
concluir en que probablemente sus conclusiones hubieran sido las mismas. De all la preferencia
por el trmino auditabilidad (Guba and Lincoln, 1983).

Neutralidad. Los trminos objetivo y subjetivo tienen muchas acepciones. Acompaando a

Scriven (1972), desde el punto de vista cualitativo, la diferencia entre estos dos trminos hace
referencia a la calidad del testimonio o evidencia de un hecho o fenmeno. As, subjetivo
significa no confiable, total o parcialmente parcializado, opinin y, objetivo significa confiable,
fctico, confirmable o confirmado. Ms lo que un individuo siente no tiene que ser
necesariamente parcializado, as como no tiene que ser necesariamente confiable lo que un grupo
de personas exprese. Dependiendo de la experiencia, entrenamiento y cualidades de un
evaluador, su reporte puede ser ms confiable que el de un grupo. De manera que lo que un
individuo siente puede ser igual al sentimiento del grupo pero un reporte parcializado no puede
ser igual a un reporte factual, confirmable. Desde el punto de vista cuantitativo, objetivo y
subjetivo se refiere a lo que le ocurre a un sujeto individual, sus experiencias, cualidades y
disposiciones, mientras que objetivo se refiere a lo que siente un grupo de sujetos ante un
fenmeno pblico. As, cualitativamente, objetividad y subjetividad son posiciones polares pero
cuantitativamente pueden ser idnticas, por lo que no habra razn para desconfiar del resultado
de una evaluacin naturalista si los datos han sido obtenidos objetivamente. El punto neurlgico
estar entonces en la confirmacin o revalidacin de la informacin una vez obtenida. Pero, a
menudo, la objetividad se relaciona con el investigador mas pensar que ste, por un acto de libre
albedro o debido a una estrategia inteligente va a deslastrarse de su subjetividad es la peor
fantasa. Ningn ser humano puede ser objetivo en ese sentido. Los valores no se pueden hacer a
un lado simplemente por tomar las decisiones procedimentales antes de la investigacin y no
durante ella. An ms, al tomar decisiones apriorsticas, el evaluador pierde la posibilidad de
comprender situaciones emergentes y de establecer un terreno adecuado para sus hiptesis y
preguntas. De nuevo, el evaluador naturalista no es peor ni menos cientfico que el positivista en
alcanzar la neutralidad requerida por la ciencia y, en ocasiones, puede ser mejor debido a su
estudio comprensivo de las situaciones a medida que se producen.
A.- MANERA DE CONCLUSIN
Es un hecho innegable que las conductas humanas complejas que interesan al investigador
educacional son por su naturaleza impredecibles si es que no fueran indeterminadas. Esta
condicin por si misma hace que surjan serios cuestionamientos acerca de la validez de un
enfoque positivista, experimental, cuantitativo de la investigacin y de la evaluacin
educacional. Los argumentos para afirmar esos cuestionamientos estn basados en las diferencias
individuales, en el caos o posibilidad de obtener un resultado inesperado en las ciencias fsicas
an teniendo el conocimiento preciso y necesario sobre las condiciones iniciales, la naturaleza
evolucionista del aprendizaje y del desarrollo, en el papel de la conciencia y del libre albedro en
la conducta humana existentes en un individuo a pesar de los planteamientos sobre su
inexistencia de Watson y Skinner y en las implicaciones de la mecnica cuntica que ha puesto
sobre el tapete, desde mediados de este siglo, la indeterminacin y azar de los fenmenos
subatmicos (Cziko,1989). As se tiene el estudio de Cronbach y otros (1980) en el cual se seala
que las diferencias individuales interactan con los tratamientos educacionales de tal manera que
el mtodo que parece ser efectivo para ensear al alumno A puede ser completamente ineficiente
para ensear al alumno B. Y no slo interacta el mtodo sino tambin el tiempo y otros factores
que determinan en realidad el aprendizaje logrado por un estudiante o grupo de estudiantes.
Considerando que esos factores estn cambiando constantemente, los autores concluyen en que
experimentos de carcter definitivo y explicativos de una realidad son imposibles de lograr en las

ciencias sociales y que slo se puede lograr una interpretacin temporal de lo sucedido. Para
Cronbach la conducta humana no es impredecible ni azarosa por s misma sino que no se pueden
establecer generalizaciones y constructos para formular teoras a partir de la observacin de la
conducta humana. Esta es una posicin indudablemente determinista pero que alude a la
naturaleza cierta del objeto de estudio de la investigacin educacional: el ser humano. En
consecuencia, se puede argumentar que la investigacin educacional que intenta predecir y
controlar ciertos resultados educativos no puede tener xito, por cuanto esa investigacin debe
centrarse en la provisin de descripciones e interpretaciones de los fenmenos educativos que
proporcione hallazgos que puedan ser usados para mejorar nuestra comprensin acerca del
porqu se produce un aprendizaje y, acerca del desarrollo y de la educacin para facilitar todo el
proceso que implica su evolucin. Esto porque la investigacin cientfica es amplia y variada y
dentro de ella es posible hacer investigacin educativa aunque filsofos de la ciencia como
Popper (1979) y Nagel (1961), no lo admitan.
Es esta epistemologa de la investigacin educacional la que ha ocupado gran parte de los temas
discutidos en la literatura desde finales de los aos setenta y durante la dcada de los ochenta
tratando de dirimir argumentos y lograr posiciones como paradigmas cientficos, significando
stos "toda la constelacin de creencias, valores, tcnicas, etc que comparten los miembros de
una comunidad dada" (Kuhn,1983, p. 269). En este orden de ideas debe sealarse que sigue
predominando el enfoque positivista, cuantitativo dentro de la investigacin educacional tal
como se demuestra en los planteamientos de Elmore y Woehlke (1988) al hacer un balance de
los mtodos estadsticos empleados en las investigaciones publicadas en las revistas de la Asociacin Americana de Investigacin Educativa durante el decenio 19781987. Los autores
puntualizan el uso en investigaciones de las tcnicas de anlisis estadstico siguientes: 47
correlaciones de dos variables, 42 t-test, 137 ANOVAIANCOVA, 95 correlaciones/ regresiones
mltiples y apenas 13 meta-anlisis, 3 simulaciones y 4 investigaciones cualitativas. Esta
situacin no se aparta mucho del enfoque que le dan los maestros a la verificacin del fruto de su
diario quehacer instruccional; es decir, el enfoque que le da el docente a la evaluacin de su
labor.
Evaluacin es una de esas palabras que pueden tener muchos significados, parece querer decir
algo distinto para cada persona ms para un docente, la evaluacin es una parte importante y
fascinante, tan importante que sin ella sera prcticamente imposible ensear. Ella le proporciona
informacin acerca de las capacidades de sus estudiantes, sus logros pasados, sus intereses, sus
puntos fuertes y dbiles, etc. Estos rubros indican que el trmino evaluacin implica algo mas
que aplicar pruebas y calificar.
Evaluar es asignar un valor a algo, juzgar. En educacin, normalmente evaluar significa juzgar a
un estudiante, a un profesor, a un programa educativo o a un curso. De hecho, los profesores
continuamente evalan: si estn cumpliendo con las tareas asignadas; si dichas tareas son
difciles o adecuadas para el logro de los objetivos; si los instrumentos de evaluacin son
adecuados; si realmente est enseando, etc. Se pregunta muchas veces el docente: ,cmo lee
Jaime?, sera Alba capaz de ser lder del grupo?, cunto inters tienen mis alumnos en
aprender sistemas numricos con base distinta a 10?, tienen mis alumnos mayor motivacin
porta profesin de zootecnista una vez concluida la mesa redonda sobre las posibilidades de
estudio a nivel medio diversificado y profesional?. De estas preguntas unas son fciles de
contestar otras no lo son tanto pero todas tienen en comn que necesitan emitir un juicio. Y ese
juicio debe estar fundamentado en una informacin, informacin que puede ser tan simple y
objetiva como el nmero de sustantivos que ha podido identificar el estudiante en un prrafo

dado o tan subjetiva como el tipo de sentimiento que experimenta cuando lo lee. En cualquier
caso, el docente tendr que buscar esa informacin y una vez obtenida tendr que interpretarla y
tomar una decisin. As, las decisiones educativas se toman sobre la base de unos juicios, y los
juicios a su vez, se emiten sobre la base de una informacin que como ya se ha visto puede ser de
tipo cuantitativo o de tipo cualitativo, en tanto, en educacin, la mayora de la informacin que
se necesita es aqulla referida a las respuestas que dan las personas a su medio ambiente.
Se puede entonces acompaar a Tenbrink (1981) sealando que la evaluacin es "el proceso de
obtencin de informacin y de su uso para formular juicios que a su vez se utilizarn para tomar
decisiones" (p.19). Pero para tomar esa decisin, como para tomar cualquier otra, se necesita
informacin cuanti-cualitativa. Se parte de la premisa de que sin algn tipo de informacin es
casi imposible formular juicios y tomar decisiones vlidas y de que con una informacin
adecuada y precisa se pueden emitir los juicios que llevarn a decisiones slidas. Segn Carreo
(1985) en la actualidad pedaggica "el empirismo ha sido sustituido por la tecnologa, la
intuicin por el conocimiento y la costumbre o el capricho por los principios cientficos" (p.15).
Esto claramente implica la existencia y consecuente posibilidad de implantar mecanismos ms
racionales, justos y tiles en el proceder evaluativo. Siendo que la evaluacin puede recaer en
diferentes objetos del campo de la educacin es factible enjuiciar, utilizando diversos criterios y
valoraciones, la utilidad, el rendimiento, la eficiencia, la adecuacin, la flexibilidad, la
orientacin de ese objeto, por cuanto segn el mencionado autor, la evaluacin debe culminar en
apreciaciones, juicios y valoraciones sobre el aprendizaje, que sirvan de base lgica para el
establecimiento de los cambios que el proceso requiere para mantenerse vigente o mejorar en la
consecucin de su finalidad, que es el logro de los objetivos programados.
Para Carreo (1985), evaluar es la accin de juzgar, de inferir juicios a partir de cierta
informacin desprendida directa o indirectamente de la realidad, o bien, atribuir o negar
cualidades al objeto evaluado o, finalmente, establecer reales valoraciones en relacin a lo
enjuiciado. Para hacerlo, es innegable que las alternativas metodolgicas cualitativas de
evaluacin educacional comentadas en este reporte son ms adecuadas que la medicin
positivista.
BIBLIOGRAFIA CONSULTADA
-

ANDERSON, Scarvia B., Ball, Samuel, Murphy, Richard T. and Associates.

Encyclopedia of Educational Evaluation. Concepts and techniques for evaluation
education and training programs. San Francisco, Jossey-Bass Inc. Publishers, 1983.
BOBBIT, Franklin. The Curriculum. Boston, Houghton Mifflin Company, 1918.
CAMPBELL, Donald T. y Stanley, Julian C. Diseos Experimentales y Cuasi
experimentales en la Investigacin Social. 6ta reimp. Buenos Aires, Amorrortu Editores,
1970.
CAMPBELL, D. T. Degrees of freedom and the case study. In Fetterman, David.
Qualitative approaches to educational evaluation. Educational Researcher. Vol. 17 (8),
November 1988, pp.jg 17 -23.266
CARREO H., Fernando. Enfoques y Principios Tericos de la Evaluacin. Mxico,
Editorial Trillas, 1985.
CRONBACH, Lee. Course improvement through evaluation. In Taylor, Peter A. and
Cowley, Doris M. Readings in Curriculum Evaluation. Dubuque, Iowa, WM C. Brown
Company Publishers,1972.

CRONBACH, Lee J. et alius. Toward Reform of program Evaluation: Aims, Methods

and Institutional Arrangements. San Francisco, Jossey-Bass Inc. Publishers, 1980.
CZIKO, Gary A. Unpredictability and indeterminism in human behavior: arguments and
implications for educational research. Educational Researcher. Vol. 18 (3), April 1989,
pp. 17 - 25.
DE LANDSHEERE, Gilbert y De Landsheere, Viviane. Objetivos de la Educacin. 2da
ed. Barcelona, Espaa, OIKOS-TAU S.A., 1981.
EISNER, Elliot W. On the differences between scientific and artistic approaches to
qualitative research. Educational Researcher. Vol. 10 (4), April 1981, pp. 5 - 9.
EISNER, Elliot W. On the uses of educational connoisseurship and criticism for
evaluation classroom life. Teachers College Record. 78, February, 1977, pp. 345 - 358.
ELLIOT, John. Teachers as researchers: implications for supervision and teacher
education. Valencia, 1988 (mim.).
ELMORE, Patricia B. and Woehlke. Statistical methods- employed in American
Educational Research Journal, Educational Researcher, and Review of Educational
Research from 1978 to 1987. Educational Researcher. Vol. 17 (9), December 1988, pp.
19-20
FETTERMAN, David M. Qualitative approaches to educational evaluation. Educational
Researcher. Vol. 17 (8), November 1988, pp. 17 - 23.
GUBA, Egon G. and Lincoln, Yvonna S. Effective Evaluation. Improving the usefulness
of evaluation results through responsive and naturalistic approaches. San Francisco,
Jossey-Bass Inc. Publishers, 1983.
HOUSE, E. R. Justice in evaluation. In Guba, Egon and Lincoln, Yvonna. Effective
Evaluation. San Francisco, Jossey-Bass Inc. Publishers, 1983.
HOWE, Kenneth R. Against the quantitative - qualitative incompatibility thesis or
dogmas die hard. Educational Researcher. Vol. 17 (8); November, 1988, pp. 10 - 16.
KUHN, T. S. La Estructura de las Revoluciones Cientficas. 5ta reimp. Mxico, Fondo de
Cultura Econmica, 1983.
GIMENO S., J. y Prez G., A. (comp.). La Evaluacin. Su Teora y su Prctica.
Cuadernos de Educacin. No. 126. Caracas, Cooperativa Laboratorio Educativo, 1985.
MAC DONALD, B. Evaluation and the control of education. In Tawney, D. Curriculum
Evaluation Today. Trends and implications. London, Mac Millan Publishers, 1976.
MAGER, Robert. Preparing Instructional Objectives. Palo Alto, California, Fearon
Publishers, 1962.
MARTINEZ, Miguel. Comportamiento Humano. Nuevos Mtodos de Investigacin.
Mxico, Editorial Trillas, 1989.
NAGEL, Ernest. La Estructura de la Ciencia. Buenos Aires, Editorial Paids, 1961.
POPPER, K. R. Objective Knowledge: an evolutionary approach. Oxford, Clarendon
Press, 1979.
SCRIVEN, Michael. The methodology of evaluation. In Taylor, Peter A. and Cowley,
Doris M. Readings in Curriculum Evaluation. Dubuque, Iowa, WM C. Brown Company
Publishers, 1972.
SCRIVEN, Michael. Objectivity and subjectivity in educational research. In Guba, Egon
and Lincoln, Yvonna. Effective Evaluation. San _Francisco, Jossey-Bass Inc. Publishers,
1983.

SMITH, John K. Quantitative versus qualitative research: an attempt to clarify the issue.
Educational Researcher. March, 1983, pp. 6 - 13.
STAKE, Robert. The countenance of Educational Evaluation. In Taylor, Peter A. and
Cowley, Doris M. Readings in Curriculum Evaluation. Dubuque, lowa, WM C. Brown
Company Publishers,1972.
STENHOUSE, E. In Elliot, John. Teachers as Researchers: Implications for Supervision
and Teacher Education. Valencia, 1988, (mim.).
TENBRINK, Terry D. Evaluacin. Gua Prctica para Profesores. Madrid, Narcea, S. A.
de Ediciones, 1981.
THORNDIKE, Robert (Ed.). Educational Measurement. 2nd ed. New York, Mc GrawHill Book Company, 1971.
WOLF, R. L. and Tymitz, B. Toward more natural inquiry in education. CEDR
Quarterly, 1977, 10, 7-9. In Guba, Egon and Lincoln, Yvonna. Effective Evaluation. San
Francisco, Jossey-Bass Inc. Publishers, 1983.