04-Capítulos 1 Al 3

Anlisis cientimtrico, conceptual y metodolgico de la investigacin espaola sobre evaluacin de programas educativos (1975/2000).
CAPTULO I. INVESTIGACIN EVALUATIVA Y EVALUACIN DE PROGRAMAS.
Una de las actividades bsicas de todo profesional de la educacin es disear y aplicar programas para dar respuesta a la cada vez ms numerosa demanda educativa por parte de la sociedad... ... Por tanto el diseo y evaluacin de programas es una actividad fundamental, hoy da, del profesional de la educacin. (Cols, 2000)
1.1. INTRODUCCIN.
En cualquier mbito social, en cualquier Sistema Educativo, no puede entenderse una intervencin sin el establecimiento de un programa, de unas lneas claras de actuacin ordenadas temtica y temporalmente que ofrezcan coherencia y sentido a dicha intervencin (Forner y Latorre, 1996). Sobre todo encontrndonos en un periodo de reordenacin educativa en el que hay que justificar poltica, econmica y socialmente las actuaciones de intervencin.
Captulo I. Investigacin evaluativa y evaluacin de programas.
En el mismo sentido, puede entenderse lo necesario de la evaluacin de las intervenciones pedaggicas para promover su eficacia, mejora y justificar su rendimiento. La evaluacin que desde la L.G.E.1 de 1970 ha recibido una atencin creciente, no solo como medio a travs del cual mejorar el rendimiento de los estudiantes sino tambin de todo el proceso educativo, como criterio de su calidad (Prez Carbonell et al., 1999).
En 1987, con el proyecto de Reforma de la enseanza, la evaluacin sigue considerndose en trminos semejantes, aunque se ampla su mbito introducindose la evaluacin de todas las personas involucradas en la accin educativa. Es un periodo en el que se producen grandes cambios sociales que generan innumerables demandas del proceso evaluativo. Siendo en estos momentos la LOGSE2 el mejor marco para fomentar y favorecer la Evaluacin Educativa y de forma ms concreta la Evaluacin de Programas.
En el mismo sentido que se plantea la necesidad del diseo e implementacin de planes y programas como medio de intervencin educativa, lo hace la evaluacin de stos, por lo que podra decirse que la evaluacin de programas es, en la actualidad, inherente al hecho educativo.
Los contenidos de este primer captulo aluden a la gnesis de los estudios evaluativos y a la delimitacin de evaluacin de programas como campo disciplinar en la investigacin educativa.
En su primer epgrafe se realiza una introduccin a la caracterizacin de la Investigacin Educativa (IE, en adelante) en general, y particularmente, a aquella orientada hacia un sentido evaluativo de las realidades analizadas. Haciendo mencin especfica a los estudios de sntesis, como mecanismos de obtencin de visiones globales acerca de un campo de investigacin.
1 2
L.G.E.: Ley General de Educacin. L.O.G.S.E.: Ley de ordenacin general del sistema Educativo.
A continuacin, se describe como los procesos de investigacin evaluativa aplicados al campo de la evaluacin de programas han alcanzado unas caractersticas especficas en cuanto a su objeto de estudio y los medios para estudiarlo, de forma que se ha constituido en un campo disciplinar diferenciado de la I.E.
Este campo de investigacin posee ciertas peculiaridades derivadas de la convergencia en l de numerosas disciplinas pedaggicas, que han determinado su desarrollo. Las relaciones que mantiene con ellas son analizadas en un epgrafe especfico de este captulo.
Captulo que finaliza, con una visin en sentido diacrnico y sincrnico, del desarrollo histrico de la disciplina de la evaluacin de programas en el mbito internacional y en el contexto especfico espaol.
1.2. LA INVESTIGACIN EDUCATIVA, LA INVESTIGACIN EVALUATIVA Y LOS ESTUDIOS DE SNTESIS.

El origen de la investigacin educativa se halla estrechamente vinculado al nacimiento de la pedagoga como disciplina cientfica (Cols y Buenda, 1998), que por reivindicar tal carcter pretende generar conocimientos cientficamente aceptables de los hechos educativos.
Pero este establecimiento de una
ciencia de la educacin como
disciplina social estuvo asociado a numerosas dificultades, como el abandono de una perspectiva moral, para adoptar una adecuacin positivista en la que se hiciera posible la objetivacin y por tanto un carcter emprico consustancial al mtodo cientfico. Y tambin, el abandono de los planteamientos, metafricos y simbolistas, basados en la descripcin de la accin educativa; por la posibilidad de actuacin y transformacin con vistas al desarrollo y mejora.
Esta incorporacin del mtodo cientfico-experimental al estudio de la educacin, lo relaciona Garca Hoz (1978) con la transferencia desde disciplinas afines como la medicina y la psicologa, al intentar desvelar cuestiones relacionadas con temas educativos.
Desde este particular origen, el enraizamiento y desarrollo de la investigacin educativa no se produce simultneamente en los distintos contextos, sino que ha dependiendo en gran cuanta de las condiciones socio-polticas particulares.
As, en Estados Unidos la investigacin pedaggica ha alcanzado un alto nivel de desarrollo, siendo precisamente all dnde en 1882 apareci el primer seminario con el propsito de crear una pedagoga de carcter cientfico.
Bartolom (1984) sintetiza los logros generales de la investigacin educativa norteamericana en la introduccin de instrumentos de medida y evaluacin, desde los tests de rendimiento a los ms recientes de carcter ecolgico. Desde la incorporacin del mtodo experimental a los estudios pedaggicos (Campbell y Stanley, 1982), la introduccin de nuevos diseos mejor adaptados a las peculiares condiciones de los contextos educativos, cuasiexperimentales de Cook y Campbell (1979) y de caso nico de Kratochwill (1978).
Y tambin, desde una perspectiva funcional, la mejora del tratamiento de datos mediante la incorporacin de mtodos multivariados apoyados por los soportes informticos; o la potenciacin de la difusin de la informacin a travs de diversos soportes como la realizada por la A.E.R.A.3, que sintetiza, recopila y publica las principales aportaciones empricas en el mbito educativo. Todo ello en un fuerte mbito de apoyo econmico y poltico.
A.E.R.A.: American Educational Research Association.
En Europa, sin embargo, la investigacin educativa se ha realizado en general de una forma mucho ms aislada, con escaso reconocimiento e insuficiente colaboracin de las instituciones oficiales, de una manera dispar.
La tradicin investigadora sobre educacin se remonta, en Gran Bretaa, a la creacin del Instituto de Pedagoga de la Universidad de Londres en 1931. Destacando entre sus contribuciones ms relevantes, por medio de la creacin de centros de prestigio y la relevancia de ciertas figuras, o la publicacin de revistas de prestigio mundial como British Journal of Educational Tecnology, Research into Higher Education, Educational Research o British Journal of Educational Psychology, la construccin de tests, la exploracin de la inteligencia y delimitacin de diferencias individuales, el diagnstico de aptitudes escolares o la prediccin del rendimiento, tomando como factor las implicaciones sociales.
En Alemania, la investigacin educativa tiene sus orgenes
en los
institutos psicolgicos que han tratado aspectos diferenciales y psicolgicos del desarrollo, siendo de gran importancia las aportaciones metodolgicas cualitativas y la filosofa humanista, bajo el liderazgo de la escuela de Franckfurt y autores como Habermas y Dilthey.
Cabe citar, en el mbito francfono, el prolfico pasado en la primera veintena del siglo veinte, de las instituciones educativas belgas, como la Universidad de Bruselas. Y de las francesas a partir de los aos cuarenta.
Desde la revolucin bolchevique de 1923, en Rusia, se hace patente la preocupacin por la pedagoga, que lleva a fundar en 1943 la Academia de las Ciencias Pedaggicas. Enmarcndose todos sus estudios en planes quinquenales con planes de evaluacin, centrados en el estudio de los contenidos curriculares, de mtodos de enseanza y formacin del profesorado.
En el caso de Espaa, desde el primer tercio del siglo veinte se aprecia una sensibilizacin hacia la investigacin educativa, plasmada en los aos treinta
con la creacin de las secciones de pedagoga en las Universidades, o con la edicin de la Revista Espaola de Pedagoga una dcada ms tarde.
Si embargo no es hasta los movimientos polticos, econmicos y sociales de los aos sesenta, que culminan con el establecimiento de una poltica educativa regida por la Ley General de Educacin de 1970, cuando se comienza a hacer hincapi en ella coordinndola, asignndole fondos y creando instituciones como los ICEs4 encargados de llevarla a cabo.
La investigacin en estos centros se caracteriza por su conexin con la formacin del profesorado y la bsqueda de nuevas soluciones a los problemas de la sociedad y de la educacin, el predominio del enfoque descriptivo, apoyado especialmente en la encuesta, observacin y elaboracin de pruebas y materiales, con una introduccin creciente de mtodos explicativos, predictivos y experimentales. Aunque de importancia, Tejedor, Castro y Mnguez (1988) caracteriza estas aportaciones de irregulares y declinantes.
Con posterioridad, el perfeccionamiento del profesorado, de los niveles bsicos y secundarios, pasa a los CEPs5. Asignndole tambin a stos funciones de investigacin aplicada, que Escolano (1982) describe con una clara orientacin prctica y corte didctico, con la adopcin de una metodologa eminentemente empirista, realizada por equipos de investigacin y con una proyeccin de planes en el mbito nacional.
Este tipo de actuaciones para el desarrollo de la investigacin pedaggica, en los niveles primarios y secundarios del sistema educativo, segn Tejedor, Castro y Mnguez (1988) apenas ha tenido incidencia efectiva en la realidad educativa, ni influencia en las estructuras administrativas, ni generado innovaciones en las instituciones.
4 5
I.C.E.: Instituto de Ciencias de la Educacin, asociados a las Universidades. C.E.P.: Centros de Profesores.
La labor investigativa en educacin ha quedado sobre todo relegada al mbito universitario, por medio de trabajos que Cols y Buenda (1998)
describen como trabajos personales, no de equipo; con temticas que pudieran tener gran importancia cientfica y el uso de avanzadas y sofisticadas metodologas, pero con escaso inters prctico; y con una escasa continuidad, que dificulta la generalizacin y profundizacin de lneas de investigacin.
Todos estos graves problemas de la investigacin educativa, han tratado de solucionarse en las ltimas dcadas del siglo veinte, por medio de su reconsideracin conceptual y metodolgica, y el desarrollo de nuevos planteamientos sobre la autntica finalidad de la investigacin y la relacin que sta debe guardar con la prctica educativa.
La dinamizacin de todas estas propuestas debe comenzar por la formacin y desarrollo profesional, en el que las tcnicas y mtodos de investigacin ocupan un papel relevante. Formacin que debe comenzar por los estudios universitarios sobre educacin, alcanzando profesional. tambin a la prctica
De forma concreta deben plantearse concepciones y aproximaciones metodolgicas ms adecuadas a la realidad educativa actual, que permitan un mayor impacto de los hallazgos.
En este sentido, Cols y Buenda (1998), describen la evolucin metodolgica en los ltimos aos hacia la ampliacin de las formas de proceder, una investigacin orientada a la toma de decisiones que va ganando terreno a la investigacin orientada a la obtencin de decisiones. Y la apertura de nuevos campos de investigacin tales como la investigacin evaluativa, y la potenciacin de la investigacin-accin como forma de vincular la innovacin y la prctica escolar.
Estas nuevas prcticas profesionales, generadas desde los intereses y necesidades de los propios profesionales, conciben la investigacin como una actividad prxima a la prctica educativa e imprescindible en el que hacer profesional, desde nuevos planteamientos metodolgicos, como es el caso de las perspectivas cualitativas o de la investigacin-accin.
Perspectiva desde la que a los profesionales de la educacin, como queda patente en los nuevos diseos curriculares de las enseanzas, se les asigna un nuevo rol en la participacin de construccin del conocimiento cientfico. Conocimiento para solucionar problemas y promover el desarrollo de la calidad educativa.
Es desde esta perspectiva, desde dnde puede entenderse la autntica finalidad de la investigacin en el campo educativo, en los trminos que especfica Hernndez Pina (1998a), como el estudio de los mtodos, los procedimientos y las tcnicas utilizadas par obtener un conocimiento, una explicacin y una comprensin cientfica de los fenmenos educativos, as como para solucionar los problemas educativos y sociales. Orientndose ms hacia planteamientos prcticos, que a la generacin y resolucin de problemas tericos.
Tambin en la organizacin y financiacin de la investigacin se observa tambin una mayor diversificacin de centros y programas y la ampliacin de los canales de financiacin y difusin, con el incremento de los seminarios y congresos y la generacin de fuentes de publicacin de gran importancia, como es el caso de la Revista de Investigacin Educativa.
Sin embargo, en general, la investigacin educativa sigue adoleciendo de las limitaciones de las disciplinas incipientes o en proceso de reestructuracin. Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los procesos metodolgicos, aumento de los canales y estilos en la comunicacin harn generar la suficiente consistencia cientfica como para ofrecer mayor
10
credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y Pogrow, 1998).
La caracterizacin de la investigacin evaluativa, entendiendo sta como aquella que posee una finalidad valorativa, en cualquiera de los objetos de estudio a los que pueda referirse, sigue como investigacin educativa un proceso similar de implantacin y desarrollo.
Arnal et al. (1992), muestran estas coincidencias entre la investigacin educativa general, la investigacin evaluativa y de forma especfica la referida al campo de la evaluacin de programas, en la que se puede apreciar tambin un periodo de profundos cambios.
La investigacin evaluativa bebe entenderse como un proceso riguroso, controlado y sistemtico de recogida y anlisis de informacin valida y fiable para tomar decisiones acerca del programa educativo; y as aumentar la racionalidad de las decisiones acerca de la puesta en marcha, sobre su desarrollo y evaluacin evitando la excesiva dependencia de las decisiones polticas (Tejedor, GarcaVarcrcel y Rodrguez, 1994).
En su aspecto general es similar a cualquier proceso investigativo, distinguindose ms por los objetivos que por los mtodos empleados; por lo que podramos entenderla como una mera extensin, con ciertas caracterizaciones propias, hacia un campo prctico concreto. Sin embargo, siendo algunas sus diferencias, como seala De la Orden en 1985, conviene resaltar ciertas caractersticas propias de la investigacin evaluativa:
En todo el proceso de investigacin evaluativo, desde la seleccin
del problema hasta la aplicacin de una metodologa concreta, viene acompaado de juicios de valor acerca del programa.
11
La complejidad de su objeto de conocimiento y los contextos en
que se desempean hacen enormemente complejo tanto la formulacin de hiptesis precisas, como un completo control de las variables intervinientes, limitndose el uso de los diseos con carcter ms experimental.
La recogida de datos queda condicionada a la viabilidad del
proceso y posibilidades de los sujetos intervinientes.
La replicacin, dadas las peculiares e irrepetibles caractersticas de
la ejecucin, es prcticamente imposible.
La toma de decisiones sobre la paralizacin, sustitucin o
repeticin del programa no queda en manos del evaluador; adaptndose al igual que el informe a las exigencias de quien lo financia.
Tambin, Tejedor, Garca-Varcrcel y Rodrguez (1994), caracterizan la investigacin evaluativa, en una comparacin con la investigacin educativa general, en algunos aspectos fundamentales:
Mientras el propsito de la investigacin es el incremento del
conocimiento para sacar conclusiones generalizables a otros mbitos, el proceso de evaluacin de programas es de intervencin en la toma de decisiones de problemas prcticos limitados a un grupo de referencia.
En la investigacin el inters personal o cientfico delimita el
problema sobre el que se lanzan unas hiptesis explcitas. Por medio de un proceso replicable, basado en un diseo preestablecido y una metodologa usualmente cuantitativa, el investigador controla y manipula las variables para obtener datos de una muestra aleatorizada, e intentar alcanzar de manera autnoma un conocimiento objetivo.
12
Sin embargo, en la investigacin evaluativa, son numerosos los aspectos que pueden venir asignados por condicionantes externos, como son el tema y/o el grupo de inters, impidiendo un muestreo aleatorizado. Es un proceso a travs de diseos
difcilmente replicable el que sin hiptesis explcitas,
flexibles en los que difcilmente se van a poder controlar las variables, y por medio de metodologas diversas, el investigador intenta asignar criterios de valor a un determinado programa.
En otros aspectos, mientras la investigacin encuentra su validez
internamente, externamente y mediante constructos tericos, se interpretan los datos de acuerdo a reglas definidas, adaptando los informes a la comunidad cientfica; la evaluacin de programas, basa su credibilidad en la propia utilidad que permita valorar el programa, adaptando sus interpretaciones a los gestores y usuarios.
Precisamente en periodos de transicin como stos, en los que han variado las cosas en evaluacin educativa, su uso se ha profesionalizado e institucionalizado (Madaus, 1983), han aumentado sus objetos, mtodos y
audiencias (Stufflebean, 1987), y se proponen la elaboracin de estudios de evaluacin o metaevaluacin (Scriven, 1974; Stufflebean, 1974,1978; Cook y Gruder, 1978).
1.3. LA EVALUACIN EDUCATIVA Y LA EVALUACIN DE PROGRAMAS COMO CAMPO DISCIPLINAR.

El origen de la palabra evaluacin se encuentra en valore, del latn tasar, valorar o atribuir valor a una cosa.
En la lengua espaola muestra, por tanto, una clara descendencia etimolgica al considerar sinnimos los trminos valorar y evaluacin. Aunque pese a tal sinonimia, existen matices y diferencias en su aplicacin, puesto que incluso atendiendo a cuestiones de valoracin social, se estima ms el trmino 13
valorar. En otras lenguas, como la inglesa, se realizan distinciones entre trminos, como evaluation o assessment, si se evalan objetos o personas.
Como en su origen, no existe una definicin nica de evaluacin de programas, pues la aceptacin de una, presupone la aceptacin de algunas
consideraciones bsicas que determinan a sta. As puede ser entendida, como el proceso de determinar en qu medida los objetivos de un programa se han cumplido (Tyler, 1950), suponer la estimacin del mrito de un objeto (Scriven, 1967) o poner a examen los resultados o efectos de un programa (Levin, 1975).
Funcionalmente, la evaluacin de programas comienza a ser una preocupacin dentro del mbito educativo en los aos setenta, como medio par valorar la eficacia de los programas de accin social que se estaban llevando a cabo y comprobar la consecucin de sus objetivos previstos.
Este accin de estimacin o juicio de valor de un determinado programa exige un proceso contextualizado de anlisis normativo cientfico, en el que se recoja, analice e interprete informaciones validas y fiables que conduzca a la evaluacin de dichos procesos y a la toma de decisiones (Mateo, 1991). Es decir, una evaluacin debera poseer los rasgos caractersticos de una investigacin cientfica.
As, la evaluacin de programas hay que entenderla como un proceso sistemtico de obtencin y anlisis de informaciones significativas en las que basar juicios de valor sobre estos programas. De forma ms especfica (Fernndez Ballesteros, 1996) como un conjunto de conocimientos tericos y metodolgicos, con mbito de aplicacin en las Ciencias Sociales, para dar respuesta a la necesidad de enjuiciamiento de ciertas decisiones polticas cuyo fin es el beneficio de la intervencin social. Pero dicho mecanismo debe suponer una secuencia dinmica de diseo, aplicacin, evaluacin, re-diseo (Alvarez Rojo y Hernndez Fernndez, 1997).
14
Este proceso puede llegar a ser enormemente complejo, como seala Cols (1993) ya que en la medida que un programa de actuacin pblica o carcter social sea ms ambicioso, ms complejas son las realidades a analizar que adems se desarrollan dinmicamente en sistemas interdependientes.
La gran diversidad de propuestas y planteamientos hace de ste un campo difcil de concretar y conceptualizar, resaltando cada autor los aspectos que le resultan ms relevantes. Aunque buscando patrones de similitud podemos encontrar dos tipos bsicos de apreciaciones: los que ponen hincapi en la dimensin tcnica y los que ponen el nfasis en los aspectos ideolgicos, aunque ni siquiera estas caracterizaciones extremas pueden considerarse tan distintas puesto que realmente no son opuestas ni contradictorias, resultando en el fondo complementarias y de importancia ms sustancial, dependiendo del momento del proceso evaluativo: seleccin del contenido del programa, toma de decisiones, implicacin de los participantes, recogida y anlisis de la informacin, etc.
En esta diversidad de propuestas sobre evaluacin de programas existen algunos aspectos claves que se han pretendido enmarcar en unos parmetros o estndares claros que la delimitasen (Sanders, 1985; Stufflebean, 1987; Joint Committe, 1998). Aunque este esfuerzo de definicin ha recibido numerosas crticas (Cronbach et. al., 1980; Stake, 1981; Talmage, 1982 y Guba, 1988), por considerarlo como una restriccin conceptual del campo disciplinar.
Aunque se parta de una gran diversidad epistemolgica y/o metodolgica, de forma comn, la evaluacin se entiende un proceso dinmico, en el que aplicando procedimientos cientficos, se recogen informaciones vlidas y fiables, se realizan juicios de valor para tomar decisiones contextualizadas sobre un determinado programa.
Su finalidad puede entenderse desde la medicin de la implementacin y resultados de un programa (Rutman, 1980) a la toma de decisiones para una intervencin (Cronbach, 1982), que puede servir a una intervencin poltica
15
(Talmage, 1982). As podremos definir, la evaluacin de programas como un conjunto de conocimientos tericos y metodolgicos con mbito de aplicacin en las ciencias sociales, pretende dar respuesta a la necesidad de enjuiciamiento de ciertas decisiones polticas cuyo fin es el beneficio de la intervencin social (Fernndez-Ballesteros, 1996). Pero no slo describe los resultados de la evaluacin, en otro sentido tambin pretende explicar los hallazgos encontrados (relacin entre variables, incidencia de unas en otras,...) construyendo su propio campo de conocimiento (Tejedor, Garca-Varcrcel y Rodrguez, 1994).
Para Alvira (1991), algunas de las circunstancias que han contribuido a conformar este campo de actuacin seran:
Mayor interrelacin entre las actividades de evaluacin y
programacin. Si en una perspectiva clsica, las actividades evaluativas se posponan a la planificacin y desarrollo del programa, en la actualidad son procesos paralelos.
La evaluacin de programas desde una perspectiva metodolgica es
investigacin evaluativa. Es investigacin, con todos los condicionamientos epistemolgicos, metodolgicos y tcnicos; centrada en el carcter evaluativo.
En la evaluacin de programas se produce una mayor implicacin
de las partes interesadas, tanto de quienes patrocinan el trabajo, como de los potenciales beneficiarios.
En la evaluacin de programas pueden integrarse estrategias de
investigacin muy diversas y complementarias, siendo la naturaleza del programa y la habilidad del evaluador, la que determine una o varias opciones.
En los ltimos aos la evaluacin de programas, aunque de forma rpida y desordenada, se ha desarrollado como campo disciplinar con gran potencial de crecimiento en el futuro (Municio, 1992). Es un campo disciplinar porque en l
16
precipitan mltiples disciplinas (Psicologa, pedagoga, sociologa,...). Y ha ido perfilndose como un campo concreto, delimitado por una terminologa propia, un conjunto de herramientas conceptuales y analticas especficas, y unos procesos y fases tambin especficos.
En su desarrollo se ha tendido a consolidar una teora de sntesis (Shadish, Cook y Levinton, 1991), la realizacin de evaluaciones sofisticadas y la publicacin de gran cantidad de libros, artculos e informes de evaluacin.
Algunos autores como Cols (1993), Gairn (1991) o Prez Juste (2000) sealan aspectos bsicos de caracterizacin general la investigacin y evaluacin de programas y que facilitan su delimitacin como campo disciplinar especfico:
La evaluacin de programas no debe entenderse como un proceso
uniforme con un modelo nico de evaluacin o con una nica metodologa.
La evaluacin de programas se ajustar inicialmente a la idea que
se tenga de la evaluacin. La concepcin ms amplia es aquella que entiende que evaluacin es el conocimiento emprico del mrito o valor de las actividades y objetivos de un programa.
Ir referida a un programa o conjunto sistemtico de actuaciones
que se ponen en marcha para alcanzar unos objetivos.
Junto a la funcin educativa, el programa debe estar cumpliendo
otras funciones de carcter ideolgico o poltico.
Planificacin y evaluacin deben pensarse simultneamente.
Considerando incluso la evaluacin de necesidades como un tarea previa a la planificacin de un programa.
17
Los modelos de evaluacin deben ser al mismo tiempo modelo de
anlisis y de toma de decisiones. Detallando la planificacinevaluacin de un programa para facilitar las tareas de un control posterior.
El evaluador debe estar familiarizado con el objeto de la evaluacin
procurando, mediante el contacto y la negociacin previa, la participacin de los interesados, ya que aportan validez al proceso y garanta de utilidad y aplicabilidad a los resultados. Aunque en algunos diseos no se incluye de forma explcita o se duda de su utilidad, el problema actual no se plantea en trminos de admitir o rechazar la participacin de los interesados (gestores y destinatarios) en el proceso evaluativo, sino en delimitar la forma y el grado en que debe realizarse.
Los criterios o indicadores son bsicos en la evaluacin as como el
establecimiento de estndares o grados aceptables de xito.
La evaluacin se entiende como proceso, confirindole un carcter
dinmico. El concepto concreto de evaluacin que se adopte marcar la eleccin de posibles modelos tericos y enfoques metodolgicos a seguir, as como otros aspectos a considerar (tema, actividades, rol del evaluador, audiencia o informes).
Deben
aplicarse
procedimientos
cientficos,
que
incluyan
estrategias de diseo, recogida y anlisis de informacin rigurosos y sistematizados, lo que no excluye en modo alguno la diversidad de enfoques metodolgicos (tcnicas de recogida y anlisis de datos o estrategias de toma de decisiones). Tampoco el carcter cientfico del proceso evaluador debe hacernos concebir dicho proceso como una actividad exclusivamente terica, mera aplicacin de los procedimientos cientficos.
Actualmente el nfasis de la tarea evaluativa se pone en la emisin
del juicio de valor, a partir de una adecuada recogida y anlisis de la informacin pertinente.
18
Deben superarse las opciones excluyentes de metodologas
especficas, la evaluacin de programas permite utilizar de forma conjunta y coordinada metodologas distintas.
No todos los diseos son vlidos, debiendo responder a criterios de
validez y utilidad. Adems de a diversas tipologas dependiendo del momento o fase del programa que quiera analizarse: de necesidades, de proceso, de producto...
Debe tener como proyeccin la toma de decisiones, lo que implica
otorgarle una utilidad a la evaluacin.
Se remarca el carcter contextualizado, en el sentido que ha de
estar condicionada por las circunstancias y ha de ajustarse a las condiciones reales en las que se aplica el programa objeto de la evaluacin.
Hay que prestar especial atencin a los efectos no previstos, ya que
pueden deberse tanto a la potencialidad del programa como a su incorrecta aplicacin. El xito del programa no se mide nicamente por la consecucin de los objetivos ya que hay programas que no los formulan o que se plantean desde otras perspectivas menos funcionales.
Todos estos aspectos dejan patente la delimitacin de la investigacin sobre evaluacin de programas como un campo de la investigacin educativa con caractersticas especficas diferenciales. No sin dificultades, como sealan Cols y Rebollo (1993), por las escasas realizaciones sistemticas y el predominio de determinados enfoques. Siendo una consecuencia de este panorama la dificultad de su conceptualizacin, encontrndose mltiples definiciones en la que cada autor destaca lo que ms le interesa.
19
1.4. RELACIN ENTRE LA EVALUACIN DE PROGRAMAS Y LAS DISCIPLINAS PEDAGGICAS.

La Evaluacin de Programas podra ser uno de los campos disciplinares del mbito educativo que reciben un mayor nmero de influencias de diversas disciplinas pedaggicas. Esta multiplicidad produce variadas interacciones entre ellas.
As en un sentido, stas ofrecen su corpus axiolgico como principios de ordenacin de las realizaciones terico prcticas delimitando consistentes diseos de investigacin y facilitan procesos metodolgicos, aportando instrumentos de recogida y anlisis de informaciones vlidos y fiables. En definitiva, vierten toda una serie de principios que orientan la investigacin en E.P.
Pero a su vez todas stas disciplinas requieren de la E.P. que sta centre su objeto de conocimiento en contenidos especficos del inters particular, mediante aproximaciones y realizaciones investigativas acordes con los principios terico prcticos especficos de cada una de ellas.
Por ello es comn que en la investigacin sobre E.P. se recurran a teoras propias de la Orientacin o de la Didctica, se empleen procesos examinados en la Metodologa de la Evaluacin o se apliquen instrumentos caractersticos de multitud de disciplinas pedaggicas. Centrando a su vez su objeto de conocimiento en aspectos del inters de cada una de estas disciplinas.
Esta actuacin de diversas reas en un mismo mbito puede entenderse como un rasgo de riqueza disciplinar o plantear contradicciones si en lugar del empleo de aproximaciones complementaristas se acude a absurdas posturas solapadas y/o excluyentes.
El origen de la evaluacin de programas se encuentra muy vinculado a la Orientacin Educativa, puesto que los modelos de intervencin por programas 20
comienzan a utilizarse en EEUU en los aos sesenta, introducindose su implementacin en Espaa en los aos ochenta con la implementacin de los servicios de orientacin educativa (lvarez Rojo y Hernndez Fernndez, 1997). Es por ello que es sta un rea de conocimiento habitual en las temticas evaluativas.
La E.P. como campo disciplinar eminentemente emprico y aplicado, en el que vierten sus conocimientos numerosas disciplinas, ha sido un caldo de cultivo excelente en el que plantear diseos y mtodos de la ms diversa ndole desde perspectivas complementarias y eclcticas, por lo que tambin ha sido foco de atencin para la Metodologa de la Investigacin. Prueba palpable de ello es el papel crucial que juegan los Departamentos de Mtodos de Investigacin como filiacin institucional de los autores ms importantes en este campo.
Las intervenciones por programas limitados y las consiguientes evaluaciones de stos, ofrecen tambin una oportunidad excelente a la Didctica de considerar y experimentar diversos aspectos. Es por ello que son comunes las evaluaciones de programas que centran gran parte de su inters en cuestiones especficas, como la Didctica de Idiomas, la Didctica para la atencin a N.E.E. o las Didcticas para la intervencin en contextos sociales desfavorecidos.
Pero quizs una de las relaciones ms paradjicas de la E.P. es la que establece con la Teora de la Pedagoga. Puesto que pese a ser la E.P. un campo de experimentacin prctica no se ha desarrollado especialmente como centro de ensayo de las teoras pedaggicas, sino que ms bien se ha limitado a emplear un puado relativamente pequeo de ellas como justificacin epistemolgica de sus realizaciones. Es precisamente sta una de las debilidades de este campo, denotando las en ocasiones difciles relaciones entre la terica y la prctica educativa real y aplicada, suponiendo una prdida de oportunidades por parte de los investigadores educativos.
21
Para completar esta demarcacin, desde una perspectiva diacrnica, se considera su gnesis y desarrollo histrico como disciplina en el siguiente epgrafe.
1.5.
LA
EVALUACIN
DE
PROGRAMAS
EN
EL
MBITO
INTERNACIONAL. DESARROLLO HISTRICO.
El empleo de programas como estrategia de intervencin educativa tiene una historia relativamente reciente, en la que es posible constatar la evolucin de la propia concepcin de los que es un programa y cmo debe ser su evaluacin, como los avatares de su coexistencia con el resto de la investigacin educativa.
Como en muchos otros campos de la investigacin educativa, la evaluacin de programas encuentra a sus pioneros en EEUU, donde desde finales del siglo XIX el sentido de la evaluacin era entendido como sinnimo de aplicacin de test para marcar diferencias individuales dentro de un grupo normativo, con poca relacin con la evaluacin de programas (Guba y Lincoln, 1985).
En
los aos
30 del siglo XX, se comienzan a promover modelos
centrados en la experimentacin para comprobar la relacin entre objetivos/ resultados. Focalizando la evaluacin su atencin en la deteccin de diferencias individuales, mediante puntuaciones especficas y comprobar el nivel de cumplimiento de parmetros previamente establecidos. Consolidndose esta etapa entorno a los aos cincuenta, en los trabajos de Tyler, que hacen referencia a los objetivos del programa y a la descripcin de la medida.
Para algunos autores es aqu dnde comienza y se consolida la Evaluacin de Programas, tal y como hoy se entiende, en el entorno de las actividades de evaluacin de objetivos desarrolladas por Tyler. Modelo que ha tenido una gran influencia posterior debido a su lgica bsica, y a que era cientficamente aceptable y fcil de aplicar (Carballo, 1990). 22
En los planteamientos de este autor, el principal papel de la evaluacin consista en verificar la consecucin de los objetivos propuestos de forma previa a la realizacin de la actividad. Y cuanto ms claramente estaban especificados estos objetivos, ms sencilla resultara su evaluacin, mediante la medidas pre y post programa.
La sustitucin de estos modelos basados en las concepciones taylerianas se produce precisamente por su reduccionismo, ya que la consideracin exclusiva de la consecucin de objetivos no parece un factor para medir el xito global de un programa.
En los aos sesenta con la promulgacin de la Ley E.S.E.A. en la que se concede gran importancia a los mecanismos evaluativos dentro del propio proceso educativo, se comienza a hablar de programas, sobre todo en el mbito de la orientacin psicoeducativa, en su doble faceta profesional de guidance y counseling. Siendo en esta segunda mitad del s. XX, cuando se produce un gran auge de la disciplina, evolucionando de la etapa de inocencia al realismo.
Las nuevas pretensiones no alcanzan tan slo a aspectos como la medida, sino que adems se pretende describir e interpretar; aunque todava bajo el predominio de la evaluacin como investigacin positivista, mediante el empleo de procedimientos estandarizados para la recogida y el anlisis de datos orientados a la toma de decisiones.
Durante los aos 70, la evaluacin centra su objeto y atencin en los programas formativos, existiendo una gran demanda y voluntad de rendir cuentas sobre el mrito y efectividad de los programas educativos accountability; y realizndose un gran esfuerzo por garantizar la exactitud de las medidas que se toman, mediante el establecimiento de unas claras pautas metodolgicas, que como las ofrecidas por Campbell y Stanley (1982), siguen orientando en cierto sentido, la investigacin evaluativa actual.
23
Incluso durante este periodo, se produce una profesionalizacin de la evaluacin, y se elaboran normas para la evaluacin de programas y materiales (Joint Committee on Standars for Educational Evaluation, 1981/1998).
Este desarrollo culmina en EEUU, Canad y algunos pases europeos durante los aos ochenta, cuando comienza a producirse un asentamiento cientfico y la aceptacin social de la evaluacin de programas educativos. Y aunque se cuestiona la viabilidad de los estudios experimentales en el mbito de las Ciencias Sociales, se abren nuevas perspectivas que suponen la incorporacin de nuevos modelos evaluativos y de nuevas estrategias metodolgicas, tanto cuantitativas (diseos correlacionales, series, tcnicas de clasificacin,...) como cualitativas.
Algunas de estas mltiples concepciones, propuestas desde una pluralidad de perspectivas, han sido en ocasiones consideradas exageradamente como modelos (Alvira, 1991), sin tener el rigor y validez propio de stos. Siendo ste uno de los principales handicaps en el desarrollo de la disciplina como campo cientfico.
Hoy en da, nadie duda de lo complejo del objeto de estudio de las Ciencias Sociales, de las diversidades metodolgicas de su investigacin y los problemas que plantea su evaluacin. Y tampoco, que esta situacin encuentra algunas dificultades al no existir una concepcin paradigmtica lo suficientemente fuerte y unitaria que oriente la teora y sustente la prctica investigativa y evaluativa de forma diferencial a otras. Las posibilidades de la evaluacin de la investigacin como proceso de mejora, se ven empaadas por una escasa mentalidad y concienciacin evaluativas.
A escala internacional, la situacin actual se define por la utilizacin de mltiples modelos que se aplican a distintos contenidos (necesidades, diagnstico, productos o impacto), la multidisciplinaridad (anlisis etnogrfico y estadstico), y
24
la multidimensionalidad en objetivos, en perspectivas y niveles de valoracin (validez, credibilidad, costes, rentabilidad, aplicabilidad). En sntesis, mltiples metodologas, mltiples impactos, mltiples formatos de informa,... Es una multiplicidad de lo mltiple (Cols y Rebollo, 1993, citando a Corner).
Una consecuencia de este panorama es sin duda la dificultad de conceptualizar la evaluacin de programa como campo, encontrndose mltiples definiciones en la que cada autor destaca lo que ms le interesa. Sin embargo, prueba de la importancia que se le comienza a ofrecer a esta tarea evaluativa es que en algunos pases la evaluacin de programas est institucionalizada, no slo como ajuste de las intervenciones pblicas a unos estndares o criterios y a un gasto pblico, sino como proceso de mejora y perfeccionamiento.
Algunos de estos problemas de la evaluacin educativa en general y de la evaluacin de programas en concreto, lo expresan Worthen et. al. (1997), en los siguientes trminos:
Los modelos de evaluacin fracasan como modelos cientficos. Para Cook y
Reichardt (1986) la relacin entre paradigmas y mtodos es instrumental, siendo la metodologa una simple coleccin de tcnicas y procedimientos, no siendo axiomticos ni deductivos y con limitaciones en su generalizacin.
Es necesario imprimir una dinmica evaluativa como proceso constructivo
formativo/sumativo, utilizando metodologas complementarias, diversidad de instrumentos y tcnicas, que permitan una evaluacin vlida y eficaz con alto grado de responsabilidad social. Su valor reside en ayudarnos a pensar, ser fuente de nuevas ideas o tcnicas y servir de esquema mental de cuestiones a considerar o que no debemos olvidar.
Se hacen necesarias fuentes de triangulacin en diversos aspectos del proceso:
datos, investigador, teora y metodologa (Denzin, 1989). Existiendo dos tendencias actuales, una hacia la complementariedad metodolgica, pero
25
primando las metodologas cualitativas, y otra el "amateurismo" al considerar que cualquier docente puede investigar, an sin preparacin especfica.
Y desde la perspectiva de la prctica evaluativa, los problemas que habr que cuidar en la evaluacin de programas se refieren sobre todo a la tendencia del programa o centro a cambiar mientras se est siendo evaluado, las relaciones entre evaluadores/evaluados y el hecho de que el sistema socio poltico en el que se inserta el programa determine ste incluso en cuestiones que no debera.
Por tanto, en general, la investigacin evaluativa sigue adoleciendo de las limitaciones de las disciplinas incipientes o en ciernes de reestructuracin. Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los procesos metodolgicos, aumento de los canales y estilos en la comunicacin harn generar la suficiente consistencia cientfica como para ofrecer mayor credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y Pogrow, 1998).
1.6. LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS EN ESPAA.
1.6.1. El contexto diacrnico. Una perspectiva histrica.
La evolucin de la investigacin educativa en nuestro pas guarda semejanzas con los desarrollos de sta en el mbito internacional, pero con ciertas peculiaridades especficas.
Prueba de la importancia ofrecida en sta a la evaluacin y por extensin a la evaluacin de programas, puede encontrarse en la relevancia del marco legal desarrollado y dedicado en ciertos aspectos a su orientacin.
26
A partir de 1970 con la Ley General de Educacin, la evaluacin recibe una atencin creciente, no slo como medio a travs del cual mejorar el rendimiento de los estudiantes sino tambin todo el proceso educativo, y reflejar su calidad.
Aunque en ella se habla explcitamente de evaluacin no slo para valorar el rendimiento de los alumnos sino tambin como proceso educativo de mejorar, y concretamente en la O.M. 16/11/706 algunos procesos de esta evaluacin se refieren a evaluacin de programas, son muy escasos los estudios durante este periodo.
Con esta Orden Ministerial de 16/11/1970 se regulan los principios que deben regir los procesos de evaluacin e indirectamente se refiere a la Evaluacin de Programas. En su apartado de principios y normas generales ya se define la evaluacin como una actividad sistemtica, integrada en un proceso educativo, cuya finalidad es el mejoramiento del mismo mediante un conocimiento lo ms exacto posible del alumno en todos sus aspectos de personalidad y una informacin ajustada sobre el proceso educativo y los factores personales y ambientales que en ste inciden.
Algunas de las finalidades de la evaluacin all previstas son: Valorar los mtodos y procedimientos empleados, determinar el contenido de los programas seleccionndolos por su valor formativo, determinar en que medida se alcanzan los objetivos previstos en la programacin educativa y contrastar su validez.
Mientras en EEUU parece perderse cierto inters por la evaluacin de programas durante los aos 80, sobre todo por una restriccin de los fondos dedicada a esta tarea investigativa, en otros pases comienza a surgir los modelos de intervencin y la preocupacin de evaluacin de programas.
O.M.: Orden Ministerial.
27
En Espaa comienza a cobrar auge, a existir preocupacin por el tema y a cobrar significacin esta lnea de investigacin educativa (Garanto, 1989), con un nfasis creciente en que las evaluaciones sean tiles. Producindose un rpido pero descompensado crecimiento.
Los Reales Decretos 69/1981 y 710/1982 ordenan la E.G.B. en tres ciclos a efectos de programacin y evaluacin de los alumnos y se insiste de nuevo en la necesidad de una evaluacin no limitada exclusivamente a la comprobacin de los resultados obtenidos al trmino de unos periodos ms o menos amplios, sino que centrada en el grado de cumplimiento de los objetivos propuestos, durante el desarrollo del proceso educativo, con el fin de hacer posible una reordenacin del mismo.
Durante esta dcada se producen grandes cambios sociales que requieren cambios educativos en el propio sistema, desde los procedimientos metodolgicos hasta nuevas demandas al proceso evaluativo.
En 1987, con el proyecto de Reforma de la enseanza y la implementacin de la LOGSE, los poderes pblicos comienzan a prestar una atencin mayor a la evaluacin del sistema educativo, como uno de los factores favorecedores de la calidad y mejora de la enseanza. La evaluacin sigue
considerndose en los mismos trminos, aunque se introduce la evaluacin de todas las personas involucradas en la accin educativa.
Este marco legal es en esos momentos el mejor marco para fomentar y favorecer la Evaluacin Educativa, al quedar especificado en algunos de sus artculos, como el 55, la importancia y funcionalidad que se le concede:
Los poderes pblicos prestarn una atencin prioritaria al conjunto de factores que favorecen la calidad y mejora de la enseanza, entre ellos la evaluacin del sistema educativo". (Art. 55)
28
De manera mucho ms explcita y ampliando el artculo anterior en cuanto a los mbitos evaluativos:
"La evaluacin del sistema educativo se orientar a la permanente adecuacin del mismo a las demandas sociales y a las necesidades educativas y se aplicar sobre los alumnos, el profesorado, los centros, los procesos educativos y la propia administracin. ( Art. 62)
Incluso en el art. 28 se plantea la creacin de un centro especfico para la evaluacin general del sistema educativo, el I.N.C.E.7.
De esta forma, el mbito de la evaluacin se desarrolla desde los procesos de enseanza / aprendizaje a todo lo que se refiera al sistema educativo en su totalidad y a los agentes que intervienen en l. Se produce un gran auge de la evaluacin, de proyectos experimentales, se convierte en un instrumento imprescindible para implementar la reforma educativa experimental, 1981/1989 empiezan a aparecer trabajos en el campo de la salud y de los servicios sociales.
Pese a este apoyo de la Administracin, patente desde la normativa legal establecida, no fue la comunidad cientfica el principal canal de comunicacin y debate, siendo en los 90 cuando se produce un periodo de expansin del modelo de intervencin por programas en el mbito educativo - orientador y de servicios sociales, aumentando el nmero de reuniones y congresos dedicados a la evaluacin (AEDES8, AIDIPE9...).
7 8
I.N.C.E.: Instituto Nacional de Calidad y Evaluacin. A.D.E.S.: Asociacin Espaola de Desarrollo de la Educacin Especial. 9 A.I.D.I.P.E.: Asociacin Interuniversitaria De Investigacin Pedaggica Experimental.
29
A finales del 95, con la aprobacin de la L.O.P.E.G.10 adems de ampliar los mbitos de la evaluacin se plantea como un proceso con carcter continuo, implantando procesos amplios para la evaluacin de Centros Pblicos (Orden 29 de febrero de 1996). Encontrndose en un momento trascendental de clara preocupacin por la calidad educativa de las instituciones y del sistema educativo, reflejado en el propio marco legal, en el que la evaluacin de programas es una exigencia ineludible para la bsqueda progresiva y permanente de una mejor educacin.
La situacin actual de la evaluacin, que ya denotaron Tejedor, GarcaVarcrcel y Rodrguez (1994) y confirma este mismo autor (Tejedor, 2000), podra calificarse de plural y compleja, en la que las nuevas perspectivas no sustituyen, complementan a las anteriores. Se ha pasado de la postura tradicional de la evaluacin como el empleo de mtodos cientficos para medir los logros educativos e iluminar la toma de decisiones; a la situacin actual, en la que la evaluacin es entendida como el conocimiento del mrito o valor de un programa para tomar decisiones ajustadas a las necesidades de los usuarios y/o responsables.
1.6.2. El contexto sincrnico. La situacin actual.
En Espaa la fase de evaluacin de programas ha recibido paradjicamente mayor atencin que las de diseo e implementacin, por la necesidad de demostrar, por parte de los gestores de los programas, la efectividad de sus propuestas.
Velaz de Medrano et. al. (1996) sealan que hasta esa fecha el 73% de las investigaciones financiadas por el C.I.D.E. se referan a evaluacin de programas y de forma especfica: 17% Reformas y programas experimentales, 60% Programas curriculares de aplicacin restringida y 22.8% Programas de formacin del profesorado.
10
L.O.P.E.G.: Ley de Participacin, Evaluacin y Gobierno de los Centros Educativos.
30
Es por tanto un campo consolidado y con entidad propia, que produce evaluaciones externas, formativas, globales, normativas y criteriales al mismo tiempo, fundamentalmente cuantitativas experimentales, con mtodos mixtos en algunos casos. Bartolom (1990) seala un notable aumento de los estudios evaluativos, sobre todo al amparo de la LOGSE, aunque en los ltimos aos se ha realizado una sola metaevaluacin.
Tambin se ha producido en Espaa importante literatura sobre el tpico (Gelpi, 1987; Repetto, 1987; Alvira, 1991; Cols y Rebollo, 1993; Medina y Angulo, 1994; Rodrguez, 1995; Sanz Oro, 1996; Cruz, 1997; Sobrado y Ocampo, 1998), utilizando unos pocos modelos (CIPP de Stufflebean, evaluacin democrtica, iluminativa...). Sin embargo, se requiere ampliar el mbito de la evaluacin de programas al propio mundo acadmico y a la difusin cientfica y tcnica, para que los informes de evaluacin no queden en las bibliotecas y puedan ser discutidos por los tcnicos y los propios interesados.
Como afirmaba Garanto (1989) estamos asistiendo a un gran desarrollo de la evaluacin de programas educativos, similar al proceso ocurrido en EEUU hace algunos aos, en el que concurren factores similares a los sealados por Talmage (1982): preocupacin por la mejora de la enseanza, necesidad de controlar el gasto pblico y la participacin de los ciudadanos en la gestin y dinmica de las estructuras formativas.
En la actualidad y en nuestro contexto estos factores sobre la necesidad de evaluacin de las intervenciones educativas quedan justificados (Cols, 2000) en aspectos concretos: Por la necesidad de justificar la rentabilidad poltica y econmica de los programas educativos.
31
Por los cambios sociales de valores, en el proceso de construccin europeo y autonmico, que requieren la puesta en marcha / evaluacin de nuevas y mltiples intervenciones. Por los nuevos retos generados por el gran avance tecnolgico en el ltimo cuarto de siglo, entre los que aparecen nuevos tipos de intervenciones, metodologas y materiales educativos.
Es decir, la evaluacin de programas educativos, como principio de calidad, ms que en una necesidad se ha convertido en una exigencia econmica, poltica y social. Por tanto la actividad cientfica en este campo necesita del establecimiento de pautas y criterios de orientacin claros que permiten un firme desarrollo de la disciplina, aspectos que intentan establecerse en el siguiente captulo de este trabajo.
32
CAPTULO II. LA EVALUACIN DE PROGRAMAS COMO ACTIVIDAD CIENTFICA.

La evaluacin de programas, como tcnica de investigacin sobre los procesos de intervencin socioeducativos, es una estrategia que contempla en su realizacin un potencial riqusimo para contribuir a la mejora de la calidad educativa pues tiene todos los requerimientos exigibles a la investigacin educativa til. (Tejedor, Garca Varcrcel y Rodrguez, 1994)
2.1. INTRODUCCIN.
La evaluacin de programas o educational evaluation, en trminos anglosajones, desde los aos sesenta que emergi con fuerza, se ha convertido en un ncleo terico-prctico de la investigacin educativa, que al igual que toda ella se rige por unos principios propios del conocimiento cientfico.
Adems de estos requerimientos generales, la investigacin sobre evaluacin de programas se fundamenta en una gran diversidad y complejidad de teoras y modelos, derivados de las ciencias sociales, que exigen unos adecuados conocimientos tcnicos para llevarla a cabo con garantas.
33
El propsito en este captulo es ofrecer el marco oportuno para realizar una delimitacin tcnica de la disciplina de la evaluacin de programas, en aquellos rasgos que permiten caracterizar las investigaciones.
Se parte, en el primer epgrafe, del establecimiento de unos conceptos bsicos y planteamientos generales, haciendo mencin de los elementos diferenciales que distinguen alas investigaciones en este campo evaluativo.
Estas investigaciones, por las propias caractersticas de la disciplina y de su objeto de estudio, se enfrentan a una serie de problemas, que se describen a continuacin.
En el origen de estos procesos de evaluacin se origina una cuestin clave entorno a qu evaluar. Esta cuestin requiere, en el cuarto epgrafe del captulo, el desarrollo de los contenidos objeto de estudio en las evaluaciones de programas (necesidades, contextos, procesos, productos...), que pueden plantearse en distintas fases o momentos del programa y cuya finalidad en ltima instancia es la toma de decisiones acerca del desarrollo de ste.
Procesos que se fundamentan en unas determinadas posiciones epistemolgicas y paradigmticas, que ofrecen modelos prcticos de evaluacin que delimitan y orientan el funcionamiento emprico investigativo. Adems en este captulo se describen las principales consideraciones metodolgicas propias de la investigacin en evaluacin de programas, como son los diseos, las fuentes de datos y las tcnicas ms adecuadas para la recogida de informacin, y los anlisis y presentaciones de datos ms usuales.
La intencin al ofrecer todas estas informaciones es delimitar la investigacin sobre evaluacin de programas como disciplina cientfica, ofreciendo para ello aproximaciones y categorizaciones generales a distintos aspectos de ella, remitindose a la consulta de literatura especializada y de manuales especficos para una mayor profundizacin.
34
Para finalizar esta caracterizacin de la investigacin en este campo disciplinar ofrecida en este captulo, se sealan los principales avances en evaluacin de programas. Haciendo mencin especial a los estudios metaevaluativos y de sntesis.
2.2.
CONCEPTOS
BSICOS,
PLANTEAMIENTOS
GENERALES Y ELEMENTOS DIFERENCIALES EN LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS.

La educacin, como actividad humana sistemtica, se orienta al perfeccionamiento y mejora de las personas, por medio de acciones intencionadas de los educadores generalmente concretadas en planes o programas.
Como en cualquier mbito, el ser humano ha propuesto el conocimiento del mbito educativo. Y aunque el saber pedaggico ha partido de planteamientos y conocimientos cercanos a procesos casi artsticos, pronto se observ la necesidad del establecimiento de mtodos rigurosos, que permitieran respuestas vlidas a los mltiples problemas y cuestiones que se plantean en este campo con rigor cientfico.
En la actualidad la educacin puede entenderse como tecnologa, en el sentido ofrecido por Bunge (1981), aplicada a la mejora de la vida de las personas; aunque en un sentido amplio como planteaba lvarez Rojo (1994). Generando conocimientos a los que se le asignan finalidades para su comprensin profunda, explicacin y transformacin de la realidad natural o social.
As, la investigacin evaluativa ha sido uno de los campos ms desarrollados dentro de las Ciencias Sociales. En concreto, la evaluacin de programas reclama procesos de anlisis y reflexin que nos ayuden a precisar su alcance y significado en un contexto general de investigacin cientfica (De Miguel, 1999). 35
La delimitacin de las intervenciones educativas mediante el empleo de programas hay que entenderla desde la lgica que considera a stos planes sistemticos diseados por el educador como medio al servicio del desarrollo de las metas educativas. No debiendo faltar en ellos (Prez Juste, 2000): Unas metas u objetivos, acomodados a las caractersticas de los destinatarios; un establecimiento claro y exhaustivo en cuanto a estrategias, medios y recursos suficientes y adecuados para llevarlo a cabo; y la consideracin de un sistema que permita su valoracin.
Este concepto de actuacin mediante la elaboracin de programas, queda justificada en cualquier accin de tipo educativa para autores como Barr y Cuyjet (1991) o lvarez Rojo, et al. (1994). Y se puede especificar en definiciones como las ofrecidas por diversos autores para este trmino:
Actividad educativa continua diseada para producir cambios esperados en la conducta de los sujetos que se exponen a ella (Astin y Panos, 1971)
Conjunto especificado de acciones humanas y recursos materiales diseados e implementados organizadamente en una
determinada realidad social con el propsito de resolver algn problema. (Fernndez Ballesteros, 1992)
Sistemticos
esfuerzos
realizados
para
lograr
objetivos
planificados con el fin de mejorar la salud, el conocimiento, las actitudes y la prctica. (Fink, 1993)
Es decir los procesos educativos quedaran establecidos en acciones sistemticas y planificadas, especificando acciones y recursos materiales, para cambiar su conducta y/o actitud, mejorar su salud o su conocimiento y en definitiva solucionar sus problemas.
36
Este mismo razonamiento aboca a la evaluacin de tales intervenciones mediante procesos evaluativos, que de forma general se han venido justificando a partir de dos funciones: la rendicin de cuentas (accountability) y la mejora del programa (improvement) y los procesos. Pero adems, resaltando el carcter investigativo de esta evaluacin, se puede generar una comprensin ms profunda de este objeto de conocimiento a la que no se debe renunciar, ya que permite una mayor comprensin y explicacin de los fenmenos sociales (Chelimsky, 1997).
Estos procesos de evaluacin no deben entenderse como una medida puntual, sino como instrumento de valoracin crtica y formativa que puede ayudar a mejorar el proceso de enseanza (Carrera, 1987; Bartolom, 1990).
As, la valoracin de los programas tiene como finalidad especfica la facilitacin de la toma de decisiones orientada a la consecucin de la calidad para la mejora (Wroeijenstijn y Acherman, 1990). Entendindose en este sentido, la evaluacin como un proceso de bsqueda de conocimientos respecto a las estrategias y factores que facilitan o inhiben los procesos de mejora, comprometindose como mecanismo fundamental del cambio social.
Por ello, debe orientar sus intervenciones a promover el desarrollo de las polticas ms adecuadas o conseguir programas ms eficaces, mediante la
participacin activa y democrtica de los protagonistas en los propios procesos evaluativos. Siendo ste un compromiso del evaluador con la educacin cvica, el desarrollo humano y la emancipacin social (Smith, 1998).
Fernndez Ballesteros (1996) realiza una conceptualizacin entorno a otras cuestiones bsicas que rodean la evaluacin de programas entorno a qu es, cmo se realiza, para qu se hace y qu se evala en los procesos.
La primera cuestin sobre a qu se refiere la evaluacin de programas se plantea desde la consideracin que se ha dado a la investigacin evaluativa desde
37
su desarrollo histrico, que parte desde la obra de autores como Tyler (1957), Scriven (1967) o Levin (1975) que asociaban la evaluacin a la estimacin del mrito de un objeto y especficamente en la evaluacin de los programas a la consecucin y cumplimiento de las metas planteadas y al examen de sus resultados. Hasta las ms relacionadas con la toma de decisiones para la mejora de las personas y contexto donde se aplican. Actuaciones que el Joint Committe trata de sistematizar en 1981.
Evaluar un programa consiste, por tanto, en recoger informacin sistemtica sobre las operaciones implicadas en ese conjunto de acciones encaminadas a unos objetivos (Hernndez, 1990). Dicha informacin debe servir para establecer un juicio acerca de la bondad, mrito o valor de dicho programa (Fernndez Ballesteros, 1983), que permita a los encargados tomar decisiones acerca de lo que dio resultado y lo que no sirvi para nada, qu es lo que debera adaptarse en todo sistema o de lo contrario modificarse. Cuestiones a las que slo puede responderse fundamentadamente y presentando pruebas mediante la evaluacin (Weiss, 1975).
En este mismo sentido ha evolucionado la funcionalidad de la evaluacin, desde esta justificacin de las decisiones evaluativas ofrecida por Weiss, a planteamientos para medir la implementacin y los resultados (Rutman, 1980), para la toma de decisiones sobre intervencin (Cronbach, 1982) o para la justificacin da las actuaciones y gastos pblicos (Fernndez Ballesteros, 1984).
Este mismo autor, delimita la funcionalidad de estas evaluaciones en diversos campos adems de la contabilidad pblica o base para decisiones
presupuestarias y el de la justificacin de decisiones, en la realizacin de ajustes del propio programa y la constatacin de teoras que subyacen en los propios modelos evaluativos.
Los modelos de ingeniera en la utilizacin de la evaluacin (Alback, 1988 y Fischer, 1990) utilizan la evaluacin de programas como procesos en los
38
que los usuarios identifican problemas sociales, establecen objetivos y formula preguntas, para juzgar los resultados y emplearlos en la toma de decisiones.
Los modelos de iluminacin o uso conceptual de la evaluacin incorporan los resultados gradualmente al marco del usuario influyendo ms en su pensamiento que en la accin directa (Weiss, 1975).
Incluso podran delimitarse empleos de la evaluacin como mera legitimacin del poder y medio de racionalizacin de la toma de decisiones, que en un sentido poco lcito, permitira su uso tctico en la eliminacin de responsabilidades.
Esta necesidad de la evaluacin de los planes y programas, queda incluso especificada en la normativa legal, ya que en el artculo 2.3 de la LOGSE habla de la evaluacin de nuestro sistema educativo, la valoracin de los procesos educativos y de la propia enseanza y aprendizaje.
Es ste un tipo de investigacin, al que Briones (1991) delimita su objeto, en el anlisis de la estructura, del funcionamiento y de los resultados de un programa con el fin de proporcionar informacin de la cual se deriven criterios tiles para la toma de decisiones en relacin con su administracin y desarrollo. Para Cook y Shadish (1986), la evaluacin de programas es un modelo racional de solucin de problemas de carcter psicolgico, social o educativo, que requiere que:
Los problemas se definan con claridad y a partir de los que.... Se genere una amplia variedad de soluciones potenciales... Algunas de las cuales se implementan y... Finalmente se evalan. El conocimiento de las soluciones positivas se presenta a los responsables polticos quienes...
39
Lo utilizarn para tomar las decisiones polticas que correspondan.
Pero como se puede constatar en la descripcin de estos procesos, suponen situaciones complejas en las que se relacionan elementos de diversas naturalezas, lo que implica una serie de dificultades, descritas por Prez Juste (2000).
La primera de ellas se relaciona precisamente con la complejidad de las acciones evaluativas que requiere la existencia de profesionales expertos en el campo, que no siempre se encuentran en nmero necesario, ni con la formacin adecuada. En muchas ocasiones no son reconocidos en competencia y experiencia por los evaluados, lo que unido al recelo que levanta en personas e instituciones a ser evaluado, hace que estas acciones pierdan una enorme efectividad.
En cierto sentido, las relaciones necesarias entre los distintos implicados en los procesos evaluativos son las que determinan la mayora de sus dificultades. As la necesaria participacin de todos ellos o la complementariedad metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las decisiones definitivas que rigen estos procesos, en el que no siempre es posible llegar a consensos en sesiones evaluativas y que stos sean aceptados por las instituciones.
Estos problemas tambin se refieren a la relacin entre los expertos contratados para la realizacin de evaluaciones y las instituciones que las encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las condiciones de quienes las contratan. Incluso se pueden constatar influencias de carcter eminentemente poltico.
40
Otra dificultad se relaciona con la consecucin de evaluaciones factibles, en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la adquisicin de informaciones relevantes y los recursos empleados para conseguirlas, que no siempre son suficientes y adecuados.
Y por ltimo, el problema tpico de la investigacin social referido a la comparabilidad de los datos, en momentos en los que se opta por la descentralizacin curricular y la autonoma de centros y profesores, debe solucionarse no por la comparacin en estndares nacionales o externos, sino por la comparacin diacrnica con valores propios y especficos, cuya finalidad sea siempre las opciones de mejora y calidad.
Este aspecto, es slo parte de las dificultades derivadas de la diversidad de teoras, modelos y metodologas, que ha embarcado a muchos autores en polmicas sobre su uso (Guba, 1978), solo superable por un multiplismo necesario en acciones investigativas en situaciones complejas como son las que se encuentran en los entornos sociales.
Todas estas peculiaridades, del objeto de estudio y los procesos evaluativos en E.P., hacen que la investigacin evaluativa en este campo posea unas peculiaridades especficas y elementos diferenciales con respecto al resto de la investigacin educativa.
Una de estas caractersticas que distingue la investigacin evaluativa sobre programas es la de su realizacin en un marco de accin. Es decir, adems de la investigacin, su objeto el programa, est ocurriendo simultneamente. Para Weiss (1975) hay que tener claro que la investigacin es secundaria, no supeditarla al desarrollo del propio programa. Es por tanto un campo en el que domina la investigacin aplicada.
Este objeto de conocimiento, aunque se plantee en una nica forma como programa, posee naturalezas diversas, puesto que el contenido de stos puede
41
abarcar conceptos propios de cualquiera de las disciplinas pedaggicas. Esta diversidad plantea situaciones en las que an respetando las condiciones generales evaluativas, se plantee la necesidad de adaptacin a cada disciplina concreta en aspectos como sus conceptos bsicos, temticas, mtodos e incluso vocabulario especfico.
Las investigaciones sobre E.P. quedan delimitadas en modelos tericos, que fundamentados en los paradigmas usuales de la investigacin educativa, establecen unas condiciones o criterios bsicos de accin que orientan los procesos evaluativos de forma global ofreciendo coherencia de las acciones evaluativas.
Desde algunos de estos modelos bsicos, en los que es usual la eponimidad, como son el modelo de Tyler o el de Scriven entre otros, se realizan adaptaciones casi tan diversas y especficas a situaciones concretas como autores transitorios caracterizan las realizaciones en este campo. Aplicaciones empricas que por la dificultad que contemplan y la carencia de experiencia no siempre poseen las garantas suficientes, lo que en definitiva supone un detrimento de la credibilidad del propio campo disciplinar.
Con cierta lgica, los contenidos de las evaluaciones guardan coherencia con el rea o disciplina en la que se desarrolla el programa evaluado y los contenidos desarrollados en la implementacin de ste. Es por ello que siendo ste un campo disciplinar en el que convergen numerosas reas de conocimiento, los contenidos evaluativos puedan ser muy diversos en distintas evaluaciones e incluso posean cierta variedad en la evaluacin de un mismo programa por ser abordado ste desde perspectivas dispares pero complementarias.
Adems esos contenidos quedan relacionados con los momentos del proceso de implementacin del programa a los que se refieran, pudiendo referirse al contexto a necesidades de implementacin, diseo o planificacin, evaluacin del proceso y del producto.
42
En cuanto a los procesos empricos concretos se suelen emplear una extensa variedad de diseos y metodologas de investigacin usuales en cualquier otra rea de la investigacin educativa. En la que, dado lo complejo de los contextos en que se desarrollan, las dificultades de aleatorizacin y manipulacin/control de variables, abundan los diseos cusiexperimentales con connotaciones descriptivas orientadas a la descripcin de procesos.
Estas caractersticas metodolgicas determinan el uso de tcnicas de recogida de informacin y anlisis e interpretacin de datos tpicos de los estudios descriptivos. Siendo el cuestionario un instrumento casi omnipresente en este tipo de trabajos, hasta el punto que puede considerarse de cierto abuso (Fernndez Cano, 2002a) por el reduccionismo emprico que supone.
Las peculiaridades diferenciales de las investigaciones sobre E.P. llegan hasta la elaboracin y uso de los informes de investigacin. Ya que si la finalidad de la evaluacin del programa es aportar informacin vlida para valorar una intervencin educativa, el uso y explotacin de estas informaciones debe quedar al alcance de las audiencias a las que se dirige (Worthen y Sanders, 1987; Santos, 1990 o Alkin y Ellett, 1990). Siendo por tanto determinante quin evala e programa, para qu, cmo lo hace y sobre todo para quin.
En la mayora de ocasiones, la finalidad ltima de las investigaciones educativas es revertir los conocimientos adquiridos en el corpus terico de conocimiento de la disciplina tratada, para a partir de ah promover acciones prcticas para el cambio y mejora en la educacin. Sin embargo, en la investigacin sobre E.P. la aplicacin es ms directa es sobre la propia prctica educativa, pues en primer lugar se plantea la mejora del programa desarrollado, para con posterioridad realizar generalizaciones e inferencias que pueden alcanzar los principios tericos desde los que se derivan las diversas acciones implementadas en el programa o desarrolladas en las acciones evaluativas.
43
2.3. PROBLEMAS CENTRALES EN LA EVALUACIN DE PROGRAMAS.

El campo de la evaluacin de programas supone la puesta en marcha de situaciones complejas en las que se relacionan elementos de diversas naturalezas, adoleciendo estos procesos de una serie de problemas centrales paralelos al propio desarrollo de la investigacin educativa en general y de la investigacin sobre evaluacin de programas en particular. Estas dificultades, descritas en algunos aspectos por Prez Juste (2000), son de diversa ndole y pueden agruparse en los siguientes aspectos:
El primero de ellos se deriva del propio carcter semntico de la evaluacin, que como proceso de emisin de juicios y valores se basa en la asignacin de significados previos: de su carcter, proceso y criterios valorativos. As dependiendo de lo que se entienda por evaluacin, cmo debe llevarse a cabo, con qu finalidad, qu criterios se emplean para ello, los procesos adoptaran y requerirn una dinmica determinada.
Muestra de las caractersticas semnticas asignadas al campo de la E.P. es la diversidad de definiciones adoptadas por cada uno de los autores, desde qu se entiende por programa o evaluacin, hasta cmo debe realizarse sta. Significados planteados de forma acorde a sus propuestas tericas y adaptadas a los desarrollos evaluativos que plantean.
Este aspecto, es slo parte de las dificultades derivadas de la diversidad de teoras, modelos y metodologas, que ha embarcado a muchos autores en polmicas sobre su uso (Guba, 1987), solo superable por un multiplismo necesario en acciones investigativas en situaciones complejas como son las que se encuentran en los entornos sociales.
44
Existe una clara tendencia a valorar la investigacin aplicada frente a la bsica o fundamental, lo que a la larga limita las posibilidades de impactar transformando la prctica y poltica educativa (Fernndez Cano, 1997).
El propio objeto de conocimiento de la investigacin sobre evaluacin de programas puede ser, como ente social, adems de enormemente complejo en continua evolucin. Esto dificulta los procesos de investigacin pues requiere combinar la fortaleza y credibilidad de la metodologa cientfica con la flexibilidad de procesos con la suficiente capacidad adaptativa. As, las nuevas necesidades sociales demandan nuevos modelos de intervencin y por tanto nuevos modelos evaluativos (Bartolom et. al., 2000).
Otro de los principales problemas para Wholey (1983 y 1987) es que como en la mayora de prcticas evaluativas, existe una resistencia por parte de los individuos e instituciones a participar en procesos evaluativos y a desarrollar procesos de cambio mientras se est siendo evaluado.
Las dificultades metodolgicas en los procesos de evaluacin de programas son numerosas, comenzando por la falta de claridad en el establecimiento de asunciones tericas y prioridades de la evaluacin, y de lgica entre las acciones y los resultados esperados. Las, en ocasiones, difciles relaciones entre los evaluadores y el personal del programa o centro. Las dificultades de plantear procesos de revisin adecuados o la escasa utilizacin de los resultados de las evaluaciones.
Los procesos que con una naturaleza eminentemente emprica se asocian a hechos distintos al de la propia investigacin, como es la existencia de un programa, deben establecerse de forma concurrente a ste. La evaluacin no debe entenderse como un proceso paralelo o ajeno al desarrollo del programa, ni supeditarse a la implementacin de ste, si no que forma parte de l en todas sus fases requiriendo un constante esfuerzo de crtica constructiva.
45
El hecho de que el programa se encuentre insertado en un sistema psicosocial ms amplio y de que la naturaleza de dicho sistema determine de alguna manera la evaluacin, hace que este proceso pueda encontrar un mayor nmero de dificultades.
Estos procesos evaluativos en contextos sociales se encuentran delimitados por la toma de numerosas decisiones evaluativas acerca de quin establece el valor de un programa educativo, con qu criterios de esfuerzo, efectividad o impacto se realiza, o cmo se emplea la informacin obtenida, lo que puede acarrear numerosos problemas de ndole tico y deontolgico (Suchman, 1967; Talmage, 1982).
Estas acciones complejas para el desarrollo de la evaluacin tambin encuentran en su sentido ms material dificultades de tipo logstico. Puesto que aunque en el mejor de los casos se cuenten con los suficientes recursos humanos y materiales para realizar un conveniente proceso evaluativo, en ocasiones ste queda tan slo sujeto a la voluntad y decisin de la autoridad poltica o institucional.
Pese a lo complejo de los procesos evaluativos, la produccin cientfica sobre evaluacin de programas descansa en manos de demasiados autores ocasionales con escasa especializacin en el campo. As la existencia de profesionales expertos en el campo, no siempre se encuentran en nmero necesario, ni con la formacin adecuada.
Esta falta de experiencia hace que en muchas ocasiones los profesionales de la evaluacin no son reconocidos en competencia y experiencia por los evaluados, lo que unido al recelo que levanta en personas e instituciones a ser examinado, hace que estas acciones pierdan una enorme efectividad.
46
En cierto sentido, las relaciones necesarias entre los distintos implicados en los procesos evaluativos son las que determinan la mayora de sus dificultades. As la necesaria participacin de todos ellos o la complementariedad metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las decisiones definitivas que rigen estos procesos, en el que no siempre es posible llegar a consensos en sesiones evaluativas y que stos sean aceptados por las instituciones.
Estos problemas tambin se refieren a la relacin entre los expertos contratados para la realizacin de evaluaciones y las instituciones que las encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las condiciones de quienes las contratan. Incluso se pueden constatar influencias de carcter eminentemente poltico.
As, la investigacin queda en ocasiones supeditada a agendas o lneas de investigacin prioritarias establecidas centralmente por autoridades autonmicas, nacionales o internacionales. Siendo ste un problema tpico de la investigacin social referido a la comparabilidad de los datos, en momentos en los que se opta por la descentralizacin curricular y la autonoma de centros y profesores, debe solucionarse no por la comparacin en estndares nacionales o externos, sino por la comparacin diacrnica con valores propios y especficos, cuya finalidad sea siempre las opciones de mejora y calidad.
Otra dificultad se relaciona con la consecucin de evaluaciones factibles, en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la adquisicin de informaciones relevantes y los recursos empleados para conseguirlas, que no siempre son suficientes y adecuados.
Adems existen dificultades de difusin y utilizacin de la investigacin que podran calificarse casi de endmicas, limitando o incluso haciendo estril su
47
uso. Sobre todo debido a la escasa difusin e impacto internacional de las fuentes de publicacin espaolas, que provocan por la dependencia de ciertas fuentes de gran relevancia un colonialismo investigativo.
2.4.
FASES Y CONTENIDOS DEL PROCESO EVALUATIVO.

La evaluacin de los programas puede plantearse en muy diversos
momentos: durante su planificacin, en el desarrollo del mismo o en sus logros y resultados. Dependiendo adems del momento del contenido asignado a cada uno de ellos, una gran diversidad de propuestas.
Los procesos evaluativos deben partir para Prez Juste (2000) de la consideracin de aspectos como lo educativo como referente, el tamao y complejidad del programa, el papel que adoptar el evaluador, cual sern las unidades de anlisis y qu informaciones se recogern. Y se concretan en diversos momentos:
1.
El primer momento de evaluacin abarca al programa en su
globalidad, aportando opciones preventivas de mejora y optimizacin, incluso antes de su puesta en marcha.
Su finalidad es establecer formativamente la calidad tcnica del programa, recogiendo datos sobre su fundamentacin, formulacin y relacin con las demandas e intereses de los destinatarios.
Emplea metodologas basadas en el anlisis de contenido, estudios prospectivos, tcnica Delphi, juicios de expertos y el empleo de pruebas diversas de evaluacin inicial. Y criterios de calidad, pertinencia y realismo de objetivos y su adecuacin a los destinatarios. Suficiencia de apoyos y compromiso e implicacin de los agentes relacionados.
48
Y sobre la calidad tcnica, tanto del proceso de evaluacin, como del propio programa, en aspectos relacionados con la coherencia y congruencia de sus componentes y sus facilidades para ser evaluado; para tomar decisiones eminentemente formativas.
Este momento evaluativo, previo a la puesta en marcha del mismo programa, esta orientado para Cols y Rebollo (1993) a dos contenidos
prioritarios y diferenciados: La evaluacin del contexto y de necesidades del programa y la evaluacin del diseo y planificacin del programa.
La evaluacin del contexto y de necesidades tiene por objeto servir de gua para la seleccin de problemas y asignacin de prioridades. Abarca cuestiones sobre las caractersticas especficas del entorno donde se desarrollar el programa; quines son los participantes; qu condiciones exigen su realizacin y qu recursos materiales, temporales y humanos son necesarios; qu necesidades pretende cubrir o qu expectativas tienen los receptores.
Para Stufflebean y Shinkfield (1987) esta es una etapa de diagnstico de necesidades del contexto institucional y poblacional.
La evaluacin del diseo y planificacin del programa se cie a identificar y valorarla planificacin de estrategias y procedimientos que el programa plantea para su desarrollo, atendiendo a cuestiones como la correcta definicin de objetivos, si la secuencia de actividades est expresada claramente para su puesta en marcha y su temporalidad est ajustada, o si la planificacin general del programa se ajusta al contexto donde se desarrollar.
La omisin de algunos de estos aspectos (conceptos, organizacin, materiales, etc.) en la evaluacin pude. Como planteaba lvarez Rojo (1991), incluso falsear el resto de la evaluacin.
49
Para la valoracin y juicio de estos objetos Fernndez Ballesteros (1996) propone juicios relativos a su pertinencia (si responden a necesidades concretas bien establecidas) y suficiencia (si los medios que se proponen son los suficientes).
2.
Como segundo momento hace referencia a las medidas evaluativas
de la implementacin del programa, para la toma formativa de decisiones de mejora.
Se recogen informaciones sobre el desarrollo del programa, sus efectos intermedios y los no deseados; mediante instrumentos como la observacin, dilogos, entrevistas o pruebas intermedias, que se analizan en sesiones de grupo y debates.
La pretensin es descubrir durante el proceso los defectos de planificacin y describir y juzgar las actividades que se estn realizando. Es decir, los criterios de evaluacin giran entorno al progreso propuesto por King, Morris y Fitz-Gibbon (1987) y cumplimiento de los planes previstos, a su eficiencia y a la satisfaccin de los usuarios. Para promover medidas de ajuste.
Los contenidos de la evaluacin se refieren a cuestiones como cul es la percepcin que tienen los interesados de la ejecucin del programa, si se ajustan las actividades al plan previsto, cules son las dificultades y logros ms importantes, cmo funcionan los grupos y cmo es el nivel de participacin; y en definitiva, cul es el desarrollo real del programa.
3.
El tercer momento de evaluacin posee un carcter sumativo para
comprobar la eficacia del programa y los resultados de su aplicacin.
Se basa en el anlisis de la consecucin de objetivos, mediante criterios de eficacia (logro de objetivos propuestos), eficiencia (logros en relacin con los
50
medios disponibles) y efectividad (efectos beneficiosos no previstos). Satisfaccin de los implicados e impacto del programa sobre el contexto en el que se aplica.
4.
Suponiendo un cuarto momento para la institucionalizacin de
la evaluacin del programa, basada en procesos cclicos de evaluacin y mejora, en el que los individuos e instituciones asimilan los cambios que el programa pretenda provocar.
La finalidad de todo proceso evaluativo es valorar, interpretar y juzgar los logros de un programa. Esta valoracin no slo hay que considerarla sumativamente tras su implementacin, sino que como se ha sealado con un carcter formativo, parte incluso antes de la propia elaboracin del proyecto y afecta a cada una de sus fases.
Como efecto patente de esta toma de decisiones, las acciones a realizar se pueden enmarcar en tres posibles mbitos: Sobre la valoracin del programa en cada momento evaluativo puede decidirse que en lneas generales es positiva, neutra o negativa; esta valoracin determina a su vez acciones relativas a la modificacin de las actuaciones diseadas o que incluso se estn implementando, en cuanto a mantenerlas o modificarlas si no se consideran adecuadas o al menos se consideran mejorables; el tercer mbito de decisin implica la continuidad o abandono del proceso evaluativo y del propio diseo, desarrollo e implementacin del programa, por los juicios considerados y generados desde la consideracin de su inadecuidad total o parcial en aspectos humanos o materiales.
ESTOS MBITOS DE DECISIN Y LAS POSIBLES ACCIONES DERIVADAS EN ELLOS AFECTAN AL
PROCESO EVALUATIVO EN CUALQUIERA DE SUS FASES, ESTABLECIDAS ECLCTICAMENTE POR LAS
CONSIDERACIONES DE PREZ JUSTE (2000).
COLS Y REBOLLO (1993) Y
51
2.5. ENFOQUES TERICOS Y MODELOS EN EVALUACIN DE PROGRAMAS.

Existe un gran intento de formalizacin de modelos sobre la evaluacin de programas en funcin de mltiples factores como el objetivo de la evaluacin, los tpicos y metodologas, las funciones e incluso el propio concepto de evaluacin. Esta proliferacin ha supuesto un cierto confusionismo para el usuario. Incluso para algunos autores (Alvira, 1991), en la mayora de los casos no se puede hablar de modelos en sentido estricto, sino ms bien de diferentes aproximaciones a unas pocas variantes bsicas de la metodologa investigativa.
En evaluacin de programas, el paradigma evaluativo supone una conceptualizacin general del modo ms apropiado para llevar a cabo. Es decir, las resoluciones que se tomen en el mbito terico determinarn la prctica evaluativa desde aspectos generales como el diseo de investigacin, el modelo, contenidos y objetivos evaluativos y metodologa; hasta aspectos tan concretos como el plan, secuencia, proceso recogida, anlisis e interpretacin de datos o el tipo de informe de evaluacin.
Aunque esta seleccin del modelo se realice siguiendo las caractersticas especficas del programa ha desarrollar, existen pautas de carcter general que pueden ayudar a realizar tal seleccin, como la propuesta de Daniels, et al. (1981), que se muestra en la figura 2.1.
De la Orden (1985) hace un repaso de las principales tipologas de modelos de evaluacin mostrando la multiplicidad de modelos existentes. De igual modo Talmage (1982) ensaya una clasificacin haciendo referencia a clasificaciones previas de Ross y Cronbach (1976), Guba (1978), Stufflebeam y Webster (1980), House (1980) y Popham (1980). Utilizndose mltiples consideraciones, tanto en el mbito terico como prctico (finalidad, contenidos, efectos de la evaluacin o enfoque evaluativo), para clasificar los diversos modelos de evaluacin. 52
Figura 2.1. Meta-modelo de evaluacin de programas (Daniels, 1981) 1. Decisin de evaluar un programa. 3. Obstculos internos. 4. Obstculos externos.
2. Decidir la seleccin de un modelo d d
3A. OBJETIVOS DE LA EVALUACIN.
4a. Poblacin que se pretende evale.
3b. Problemas que la evaluacin pretende resolver. 3C. SUPUESTOS CONSENSUA DOS DEL MODELO
4b. Mtodos de recogida viables.
4c.Competencia tcnica y habilidad
5. Seleccin del modelo de evaluacin.
6. Evaluacin del programa orientador.
7. Modificacin del programa.
Atenindose tal diversidad a la lgica de la propia evolucin del concepto de evaluacin y del desarrollo histrico de la investigacin educativa, como seala Carballo (1990).
53
Popham (1980) clasifica los modelos de evaluacin de programas por los siguientes aspectos: Modelos de concrecin de metas, como el caracterizado por el establecimiento de
Modelo de Tyler,
metas y objetivos definidos en
trminos operativos, la ordenacin de los objetos en amplias clasificaciones, establecer en qu condiciones puede demostrarse la consecucin de objetivos, explicar los propsitos de la evaluacin a los destinatarios, recopilar datos y realizar comparaciones de los datos con los objetivos del programa. Modelos de enjuiciamiento que acentan criterios intrnsecos, en los que el evaluador tiene un papel muy importante, al realizar planteamiento tcnico-profesional, pero sin conexin con el contexto. Modelos de enjuiciamiento que acentan criterios extrnsecos. Como el Modelo de Scriven, el que se realiza una distincin entre la evaluacin formativa y sumativa, demandando especialmente el inters de los objetivos. O el modelo de evaluacin respondente de Stake. Modelos orientados a la toma de decisiones como el Modelo de Cronbach, el Modelo CIPP de Stufflebeam o el Modelo CSE de Alkin (variante CIPP). Modelos que se basan en la negociacin como el Modelo respondente constructivista de Guba y Lincoln. un
En ocasiones resulta difcil delimitar los diferentes paradigmas y encontrar modelos que puedan incluirse en una sola de estas categoras. Para Cols y Rebollo, (1993) los principales modelos en evaluacin pueden agruparse atendiendo a criterios tales como su finalidad, su contenido, a quin se evala, quin toma las decisiones o qu papel tiene el evaluador en objetivistas o
54
positivistas, subjetivistas o interpretativos y crticos; incluyendo en cada categora los modelos que ms se ajusten. (Tabla 2.1.)
Los modelos de evaluacin objetivistas, ya sea la basada en objetivos de Tyler, la planificacin evaluativa de Cronbach, el modelo C.I.P.P. de Stufflebean o la evaluacin sin referencia a objetivos de Scriven; poseen un determinismo hacia la eficacia. Propugnan evaluaciones promovidas externamente, en la que analizando con neutralidad y rigor los datos intentan explicar, predecir y controlar.
Mientras, la finalidad de los modelos subjetivistas, como el de evaluacin respondente de Stake, la evaluacin iluminativa de Parlett y Hamilton o la evaluacin democrtica propuesta por Mc Donald; se diferencian sobre todo en la concepcin de la realidad y en la forma de entender el conocimiento. De forma que, es la colaboracin con los sujetos centros o instituciones la que permite la comprensin de las relaciones internas profundas. Mediante una concepcin
voluntarista y creativa se buscan visiones globales en las que el contexto en el que se desarrolla el programa juega un papel importante.
Si embargo, es en los modelos crticos (Parley, McKinney o Brown) donde ms implicacin se requiere con el objetivo principal de transformar la realidad mediante la evaluacin. La evaluacin se centra en el anlisis de las circunstancias personales, sociales y polticas y posee una finalidad emancipativa de los destinatarios del programa.
Para algunos autores no hay modelos explcitamente vinculados a esta modalidad, aunque si hay experiencias que siguen las pautas marcadas (Martnez et al., 1990; Pozo et al., 1990).
Cada modelo presenta tambin caractersticas diferenciales en cuanto a la metodologa y diseo de evaluacin a emplear, descritas en la Tabla 2.2.
55
Las evaluaciones cientificistas se basan en modelos cientficos clsicos en los que se intenta recoger informaciones vlidas y fiables, para que con un anlisis de tipo estadstico comprobar si se cumplen las hiptesis de partida.
Los modelos interpretativos son ms abiertos y flexibles, su pretensin no es la generalizacin, sino el proporcionar un conocimiento comprensivo desde la ptica de los implicados en el desarrollo del programa evaluado.
Los procesos de tipo crtico se fundamentan en procesos dialcticos, slo aplicables en un contexto determinado, en el que se buscan explicaciones consensuadas, vlidas y prcticas con una finalidad transformadora.
En definitiva, estas concepciones tericas que pueden servir de marco orientativo y delimitador del proceso evaluativo no deben ser excluyentes ni hermticas. Debe ser el evaluador/es los que decidan y utilicen aquellas tcnicas, procedimientos y concepciones que se adecuen ms al problema y contexto de evaluacin planteado.
Las aproximaciones complementaristas o eclcticas pretenden mediante un conocimiento terico-prctico generar teoras o resolver problemas. En sus prcticas evaluativas se incorporan los valores y los supuestos contextuales, as como la labor del evaluador como factor humano.
56
Tabla 2.1. Modelos para la evaluacin de programas.
DENOMINACI N
DEL MODELO TAYLER
FINALIDAD
CONTENIDO
UNIDADES EVALUACION
TOMA DECISIONES
PAPEL EVALUADOR
Producto Proceso
CRONBACH
Producto OBJETIVISTAS C: Contexto I: Inputs, Prescripcin

STUFFLEBEAN
Autoridad que encarga Beneficiarios del programa la evaluacin Externo
Diseo Planificacin P: Proceso P: Producto
SCRIVEN Sin referencia a objetivos
Contexto Proceso Producto Descripcin,
Contrato autoridad/ evaluador Contrato
STAKE Diseo respondente
relato completo y holstico del programa
Proceso Producto
Sujetos y centros
evaluador/ clientes
Cooperacin
SUBJETIVISTAS
PARLET Y HAMILTON Modelo Iluminativo
Prescripcin
Proceso Contexto
Centros e instituciones
Cooperacin
Participantes
McDONALD Evaluacin Democrtica
Transformar
Autoridad: Evaluador/ clientes
CRITICO
PARLEY COLAS McKINNEY BROWN
Todos los participantes
Implicacin y compromiso
57
Tabla 2.2. Metodologas y diseos en los distintos modelos de evaluacin de programas. Aspectos metodolgicos
TIPO DE MODELO EVALUATIVO

OBJETIVISTAS SUBJETIVISTAS Comprensin y valoracin de los procesos y los resultados del programa. Centrada tambin en la
CRITICOS
Grado de transformacin de los participantes en el programa. Anlisis profundo de las circunstancias personales, sociales, polticas y econmicas que rodean a los individuos en las propias acciones. Tanto el proceso de la
evaluacin
Criterio
Grado de productividad. Grado de eficacia resultados/coste.
evaluacin
Funcin
Valorar la productividad para conseguir los objetivos marcados.
valoracin de los efectos secundarios, a largo plazo, as como los procesos explcitos y ocultos.
Metodologa de la evaluacin
Contenidos
evaluacin
Inputs y resultados segn esas entradas.
Procesos, con la intencin de reformular las acciones educativas.
toma de decisiones, como el resultado de las acciones derivadas de stas.
Cientficos clsicos (hipottico deductivo) evaluacin Mtodos Se valora la rigurosidad, Centrados en entender y valorar las situaciones Carcter cclico y no predeterminado, se altera durante el proceso.
capacidad de replicacin particulares o singulares, y posibilidades de generalizacin. no busca generalizacin.
evaluacin Seleccin Diseo muestreo
Estructurado, prefijado en el proyecto inicial.
Abierto, flexible y emergente. Ajustado al tipo y
Dialctico, se genera mediante la reflexin y discusin crtica. Propio grupo que aborda
Diseo de la
Representativo estadsticamente.
cantidad de informacin, la investigacin no prefijado. (no generalizable).
58
Tcnicas cuantitativas, recogida Instrum. datos Vlidos y fiables. Carcter abierto en pero sobre todo
interpretacin y enfoque. cualitativas.
Anlisis datos
Proceso cclico Estadstico. interactivo para delimitar el problema y la hiptesis. Preocupacin por la
Proceso cclico grupal. Alto ndice de abstraccin (relacionan factores personales, sociales...).
Factores
claves
Validez interna y externa.
credibilidad de
Explicaciones validadas
resultados (triangulacin, consensualmente. rplica paso a paso). Proporcionar
Finalidad
Comprobar si se cumple la hiptesis de partida.
conocimiento y comprensin desde la ptica de los implicados.
Dar una explicacin prctica y transformadora.
Actualmente
hay
una
clara
tendencia
la
bsqueda
de
la
complementariedad de los diferentes enfoques, evitando la oposicin y descalificacin, para acogerse a esta posicin eclctica, que vinculada a mayores dosis de pragmatismo, entiende que la relacin entre paradigmas y mtodos es meramente instrumental, siendo la metodologa una simple recoleccin de tcnicas y procedimientos (Cook y Reichardt, 1986). Pareciendo ms que evidente, que cualquier problema puede ser abordado desde diversas perspectivas.
Esta complementariedad se genera en aspectos funcionales de los procesos evaluativos. Siendo la propia necesidad social la que ha solicitado de la investigacin evaluativa argumentos firmes para la resolucin de sus problemas reales, recurriendo si fuera necesario a planteamientos pragmticos y heterodoxos frente a consideraciones ms cercanas a la filosofa de la ciencia.
59
Es por tanto, de esta necesidad, de dnde surge la disposicin para utilizar todos los planteamientos, metodologas e instrumentos necesarios para resolver dichas situaciones en un contexto plural.
Como argumenta De Miguel (1999), la consecuencia lgica de toda evolucin hacia una evaluacin pluralista ha tenido claras repercusiones sobre los paradigmas de investigacin, siendo la evaluacin de programas uno de los mbitos de la investigacin social donde se hace ms patente la superacin del debate entre metodologa cualitativa y cuantitativa (Cook, 1997).
Las caractersticas especiales y especficas de los programas obligan a abordar los procesos evaluativos con planteamientos integradores y enfoques multimtodos, dejando la polmica paradigmtica en un segundo plano, como ya planteaban (Fetterman, Kaftarian y Wandersman, 1966), frente a la necesidad de avanzar en el conocimiento de la realidad social.
As, se ha venido consolidando una corriente epistemolgica que intenta promover como marco terico para este tipo de investigacin un paradigma orientado hacia la explicacin social realista (Pawson y Tilley, 1997) siguiendo la tradicin que sita la explicacin cientfica entre el positivismo y el relativismo (Sayer, 1984).
2.6.
CONSIDERACIONES
METODOLGICAS
EN
LA
EVALUACIN DE PROGRAMAS EDUCATIVOS.
2.6.1. Los diseos de investigacin evaluativa para su aplicacin en

evaluacin de programas.
La evaluacin de programas es un proceso de generacin de explicaciones tiles sobre una determinada intervencin innovadora. Que en un sentido crtico de su utilidad puede emplearse para mejorar los procesos de accin 60
educativa, razn por la que en el mbito metodolgico, puede entenderse como un proceso de investigacin evaluativa (Tejedor, Garca-Varcrcel y Rodrguez, 1994; Prez Juste, 1995; Amzcua, 1996; Martnez Mediano, 1996 y Tejedor, 2000).
Se entiende como diseo a un plan o esquema del investigador que recoge las estrategias que se utilizarn en el estudio. En los diseos evaluativos se fijan qu medidas y cuando sern tomadas en el curso del proceso de evaluacin.
Estos planes, conllevan una resolucin terica determinada en los principios que fundamenten el proceso investigativo reflejados en el modelo terico seleccionado, aspectos especificados en el anterior epgrafe de este mismo captulo.
Anguera (1992) define al diseo de investigacin como estrategia integral de proceso y en consecuencia el curso de accin o secuencia de decisiones acerca de cmo recoger, ordenar y analizar los datos, siempre subordinado al cumplimiento de los fines del programa.
En su concrecin, la variedad de diseos de investigacin y de intentos de clasificar stos es amplsima, pero es cierto que dadas las peculiares caractersticas de la investigacin educativa hay diseos ms adecuados para investigar la intervencin mediante programas. Aunque su tratamiento minucioso supondra una tarea compleja, ardua e intil, dada la abundancia de manuales monogrficos, se exponen a continuacin unas clasificaciones generales en las que se puedan fundamentar los datos de esta investigacin en este aspecto concreto.
Fitz-Gibbon y Morris (1987) hacen referencia en su propuesta a siete modalidades de diseo: Diseos pretest post-test con grupo de control. Diseo post-test (nicamente) con grupo de control.
61
Diseo pretest post-test con grupo de control no equivalente. Diseo de series temporales con un nico grupo de control (experimental solamente). Diseo de series temporales con grupo de control no equivalente. Diseo antes-despus.
Es sta una clasificacin simple, en la que se olvidan determinadas estrategias que Tejedor diferencia (1994) y actualiza (2000).
Por lo que para ofrecer una perspectiva completa, todas estas propuestas de ordenacin son asimiladas y contextualizadas aqu en los diseos clsicos de investigacin, sealados por programas: Cols y Rebollo (1993), para la evaluacin de
a.
Diseos para la investigacin cuantitativa, agrupados en descriptivos,
correlacionales y experimentales:
a.1. Diseos descriptivos que tienen como principal objeto la descripcin sistemtica de hechos y caractersticas de una poblacin o rea de inters de forma objetiva y comprobable. Poseen gran capacidad para identificar aspectos relevantes o sugerir factores explicativos de situaciones.
Entre ellos destacan los de tipo Descriptivos - comparativos (Tipo survey) con diversa temporalidad: Longitudinales secuenciales (diacrnico) y transversal (sincrnico).
a.2. Diseos correlacionales, que trabajando en entornos naturales y sin manipulacin previa de variables, tratan de investigar las relaciones entre ellas.
62
Son una amplia familia tanto en la forma de proceder como en los objetivos cientficos que pretenden alcanzar. Entre ellos destacan los que analizan la correlacin y regresin (discontinuidad en la regresin), los estudios predictivos y las tcnicas de clasificacin, entre las que se pueden considerar los anlisis factoriales (simplificar y organizar estructuras), los anlisis discriminantes (diferenciar grupos por perfiles) y los anlisis de conglomerados (clasificar sujetos en grupos). As como los diseos causales.
a.3. Diseos tcnicos experimentales, que integran numerosas modalidades, pero que Pereda (1987) diferencia por la manipulacin directa de la variable independiente o tratamiento y por el control de las posibles variables contaminadoras. Atendiendo a criterios sobre su validez interna y externa se clasifican en: Preexperimentales: Pretest con un solo grupo, Pretest postest con un solo grupo y Diseo de comparacin esttica. Cuasiexperimentales: Pretest postest con grupo de control no equivalente y de Series temporales con pretest y postest con un solo grupo o con grupo de control Experimentales (intergrupo e intragrupo): Pretest con grupo de control, Pretest postest con grupo de control, N=1 (lnea base), Intrasujetos y Diseos Complejos.
b.
Diseos para la investigacin cualitativa que
siguen una secuencia
interactiva flexible y abierta, propia de esta metodologa, entre las fases de recogida de datos, hiptesis, muestreo y elaboracin de teoras.
Se basan fundamentalmente en tcnicas observacionales y pueden clasificarse de modos muy diversos teniendo en cuenta diversos aspectos. Atendiendo al nmero de sujetos sobre los que se focaliza la atencin pueden
63
destacarse; estudio de casos, estudios de grupo, estudios de comunidades o etnogrficos y estudios de situaciones o contextos.
c. Diseos de investigacin desde la perspectiva crtica, muy vinculados a la accin e intervencin, como el de investigacin- accin. Con procesos cclicos de naturaleza dialctica en los que los implicados se convierten en agentes activos, se realizan interpretaciones colectivas de las situaciones para la mejora.
Los planteamientos establecidos para la seleccin de un diseo en una determinada situacin investigativa son muy diversos. En la tradicin experimental clsica se ha venido ateniendo a criterios exclusivamente metodolgicos relacionados con cuestiones como su precisin, simplicidad o validez.
Cols y Rebollo (1993) adecuan estos criterios a las peculiaridades en la evaluacin de programas, contemplando como criterios para su seleccin el anlisis previo de las cuestiones a evaluar y el examen de la situacin real donde se va aplicar. Para seleccionar el diseo que mejor se adapte a la situacin y contexto especfico (lvarez Rojo, 1991).
Pero en ocasiones, la complejidad de los contextos sociales en los que deben aplicarse estos diseos de investigacin hace que ninguno de ellos se adapte completamente o respete las condiciones de stos, por lo que autores como Fernndez Ballesteros (1996) propugnan una necesaria complementariedad metodolgica en estos casos.
Adems de las cuestiones referidas al diseo de investigacin, en los procesos de evaluacin de programas hay que tomar decisiones sobre aspectos referidos a las fuentes de informacin de las que se extraern las informaciones, qu instrumentos se emplearn para ello, y a qu tipo de anlisis se sometern estos datos. Todo ellos bajo la perspectiva del control de los posibles sesgos que se puedan asumir como corresponde a los procesos de investigacin educativa.
64
2.6.2. Fuentes de datos.

Un problema asociado al diseo y que se relaciona a los instrumentos de recogida de informacin es la delimitacin de las fuentes de datos y los lugares de los que se extraen las informaciones.
Cuando se aborda la evaluacin de programas se siente la tentacin de evaluar a todos y cada uno de los individuos sobre los que acta ste, lo que no siempre es posible. Apareciendo la extraccin de muestras como mecanismos plausibles que permiten segn Som (1996) una mayor economa de costos y temporal, el tratamiento de espectros ms amplios de informaciones, una mayor fiabilidad y una mejor calidad general de los trabajos.
Existen formas muy diversas de seleccionar la muestra, que se pueden agrupar de forma muy general en mtodos probabilsticos y no probabilsticos. Los primeros son importantes en la evaluacin de programas, ya que cubren extensas poblaciones, pudiendo ofrecer resultados vlidos y fiables y con capacidad de generalizacin. Mientras que los segundos, y en concreto el intencional muy utilizado en los enfoques cualitativos, se hace recomendable cuando se desea obtener informaciones extensas y profundas sobre una determinada cuestin.
El tipo de muestreo que se puede plantear para la seleccin de la muestra en los procesos de investigacin, siguiendo a Gaviria (2000) que los relaciona especficamente con la evaluacin de programas institucionales, planteando adems de las numerosas ventajas que supone la extraccin de muestras, los problemas derivados de su representatividad poblacional.
Para este autor, los procesos y tcnicas concretas de seleccin de la muestra deben partir de un establecimiento claro de la poblacin objetivo y una delimitacin de las poblaciones implcita y explcitamente excluidas. As como del establecimiento de un tamao muestral, no determinado por el tamao de la
65
poblacin, sino por el error que se est dispuesto a sumir, la desviacin tpica de la variable medida y la correlacin intra-clase en el caso de muestreos por conglomerados.
Igualmente asume la necesidad del establecimiento de ponderaciones en los muestreos por dominios o subdivisones de la muestra (estratos o conglomerados) para que stos posean una representacin real y acorde con su tamao especfico.
2.6.3. Tcnicas e instrumentos de recogida de informacin.

El esfuerzo econmico, temporal y personal realizado en la implementacin de un programa, debe ser evaluado. Lo que supone, para Fernndez Ballesteros (1996), el uso de instrumentos y procedimientos de recogida de informacin y el anlisis y la interpretacin de los datos obtenidos.
El empleo de estas tcnicas, queda determinada para Cook (1984), por la necesidad de su complementariedad como medio de captacin de un nmero de informaciones lo suficientemente amplio o completo, como para permitir la descripcin de los complejos contextos sociales en los que tiene lugar el hecho educativo.
Complementariedad que a su vez facilita la triangulacin de tcnicas y procedimientos, necesarios como para que estas informaciones posean una fiabilidad adecuada a procesos de carcter investigativo (Denzin, 1970). Esta complementariedad como enfoque ms acertado debe llevarse a cabo empleando de forma complementaria enfoques, mtodos y tcnicas tambin en el anlisis de datos (Lizasoain y Joaristi, 2000).
Existen numerosas clasificaciones atendiendo a diversos criterios. Fernndez Ballesteros (1996) categoriza estos procedimientos para la recogida de 66
informacin en tcnicas cualitativas y cuantitativas. Existiendo evaluaciones en las que se intenta integrar datos desde ambas perspectivas, aunque slo sea porque por separado ambos comparten el mismo reduccionismo en su intento de descubrir la realidad (Dvila, 1994). Cuantitativa para extraer datos
aprovechables, y cualitativa para organizar las cantidades obtenidas, pues es imposible dejar a un lado lo subjetivo incluso en el plan ms estructurado, como supona Patton (1984).
En el mismo trabajo de Fernndez Ballesteros se describen los principales instrumentos de recogida de informacin en evaluacin de programas atendiendo al sujeto de la evaluacin. Por su parte Cols y Rebollo (1993), basndose en lo expuesto por Pourtois y Desmest (1988), describen los instrumentos de recogida de informacin de una manera aplicada, segn las cuestiones que se pretenden evaluar.
Aqu se intentan integrar ambas perspectivas resumindolas en la presentacin de tcnicas sintetizadas en la tabla 2.3.y 2.4.
Esta diversidad de tcnicas no debe llevar a la confusin, pues hay que aplicar todas aquellas que sean tiles sin ms limitacin que las restricciones derivadas de sus propias caractersticas, basndose los criterios de seleccin de una tcnica o instrumento concreto en algunas de sus caractersticas como:
Aplicabilidad (que el procedimiento se pueda llevar a cabo en el programa). Adecuacin (a las condiciones del objeto de estudio e hiptesis de trabajo). Rigor (conocer las condiciones propias de aplicacin). Competencia tcnica del evaluador/es y asequibilidad de las tcnicas. Obtencin de la mxima riqueza y precisin de los datos. Rentabilidad temporal, de esfuerzo y econmica.
67
Adaptabilidad (dar respuesta a las expectativas del personal, cliente o audiencias a las que se dirige).
Y sobre todo, teniendo en cuenta las dimensiones evaluativas de las que se desea o necesita extraer informacin, como la inteligencia; las aptitudes particulares y personalidad, conductas y acciones; el conocimiento; situaciones y procesos de intervencin o dimensiones sociales del grupo, valores, intereses y roles; unas pruebas sern ms adecuadas que otras.
Tabla 2.3. Tcnicas de recogida de informacin en evaluacin de programas (I)

TCNICAS Y PROCEDIMIENTOS SUJETO DE EVALUACIN FORMA Y PROCESO DE APLICACIN Entrevistador delimita el experto, propsito y MBITO DE APLICACIN
Responsables. Entrevista estructurada Gestores.
Evaluacin diagnstica.
objetivos, que convierte en cuestiones. Personal experto que define
Evaluacin producto.
objetivos, disea la prueba, Evaluacin diagnstica Gestores. Encuesta/ Cuestionario Usuarios. decide la muestra codifica de e Evaluacin producto
aplicacin,
interpreta las informaciones, (aptitudes, percepciones o aplicada por Encuestadores posiciones personales).
C U A N T I T A T I V A S
Indicadores sociales, Poblacin General. Poblacin Objetivo. econmicos y de salud Observacin Contextos de aplicacin de programas. Tcnicas de autoinforme Usuarios.
entrenados. Autoaplicacin. Evaluacin procesual. Evaluacin Observadores expertos procesual. formativa o formativa o
registran aspectos concretos Evaluacin diagnstica. de las conductas o del Evaluacin contexto. del producto
(Interpretacin de xito y fracaso de acciones).
Personal contratado recoge informacin estructuradas. en plantillas Evaluacin diagnstica.
68
Poblacin Objetivo. Test Usuarios. Poblacin
Personal
experto
que
selecciona la prueba, aplica y corrige en condiciones y normas especficas. Personal experto que
Evaluacin diagnstica.
Evaluacin producto.
determina la actitud a medir, Evaluacin diagnstica. Escalas de actitud Objetivo. redacta y elabora la prueba, y analiza e interpreta los Evaluacin producto. Usuarios. Usuarios. datos. Personal contratado recoge informacin. en plantillas estructuradas. Evaluacin diagnstica. Evaluacin personal sobre realizacin de actividades Evaluacin de productos.
Fuentes documentales y Datos de archivo sobre usuarios o el programa
Documentacin escrita sobre el programa.
Evaluadores expertos.
Tabla 2.4. Tcnicas de recogida de informacin en evaluacin de programas (II)

TCNICAS Y PROCED. SUJETO DE EVALUACIN Responsables. FORMA Y PROCESO DE APLICACIN MBITO DE APLICACIN Evaluacin diagnstica. Moderador con dominio de tcnicas de animacin.
C U
Grupos discusin
de
Gestores.
Evaluacin procesual.
Usuarios.
Evaluacin de productos. Evaluacin diagnstica.
A L
Observacin Contexto de aplicacin de los programas. Agente de campo u observador participante
que se introduce en el contexto de aplicacin Evaluacin formativa o del programa como un miembro ms del procesual. mismo. Evaluacin de productos.
I T A T I V A S
participante
Evaluacin diagnstica del Analizadores sociales tcnicas sociomtricas y Poblacin objetivo. Obtencin de analizadores en cuanto a claves explicativas del funcionamiento de los grupos. grupo.
Evaluacin procesual (dimensiones educativas, clima social y gua de acciones).
Expertos. Grupos de expertos a los que el evaluador Evaluacin diagnstica. Mtodo Delphi Gestores. enva cuestionarios y resultados de los mismos. Responsables. Evaluacin de productos.
69
2.6.4. Anlisis e interpretacin de datos.

Todo el proceso de evaluacin caracterizado hasta aqu requiere un continuo procesamiento de informaciones, que si no se organizan y tratan de la forma correcta pueden convertirse en una tarea ardua, derivar en interpretaciones incorrectas y conseguir que la evaluacin sea infructuosa.
Por tanto, las principales funciones asignadas a los procesos de anlisis de datos son:
Describir de forma comprensiva los datos brutos. Ayudar a decidir si la relacin entre datos se puede admitir con confianza o azar. Estimar magnitudes, cantidades de cambio o diferencias. Determinar si los efectos que aparecen en la informacin alcanzan un nivel relevante en el contexto de aplicacin del programa.
Con todo ello, el propsito de la interpretacin es combinar los resultados obtenidos con los valores asumidos, en criterios y patrones, para elaborar conclusiones juicios y recomendaciones. En este proceso de interpretacin influyen tanto los mtodos lgicos empricos, propios de las ciencias estadsticas, como los valores del investigador (Worthen y Sanders, 1987).
Pero antes de hacer explcito cualquier procedimiento concreto para el anlisis de datos es necesario realizar una serie de consideraciones preliminares acerca de la perspectiva de anlisis a emplear, establecer unas fases ordenadas acordes con ste enfoque, y seleccionar las tcnicas y procedimientos ms adecuados a los datos de los que se disponga.
Existen diversas formas de realizar los procesos de anlisis de datos, determinadas por ejemplo por la naturaleza cuantitativa o cualitativa de stos. En
70
lneas generales, basndose en la propuesta fundamentada de Fernndez Ballesteros (1996) un procedimiento de anlisis de datos posee las siguientes fases:
1. Preparacin y organizacin de los datos, que en datos de tipo cuantitativo consiste en el vaciado y organizacin de la informacin en variables y categoras, y en los de tipo cualitativo en la determinacin de las unidades bsicas de anlisis.
En esta etapa es muy importante la creacin de matrices de datos bien organizadas y en caso necesario el establecimiento de las escalas de medida que sern necesarias para analizar los datos.
2. Introduccin de los datos en un procesador informtico, que permite con el apoyo del software adecuado, una enorme posibilidad de anlisis. Existiendo programas adecuados tanto para el tratamiento de datos cuantitativos (S.P.S.S., B.M.D.P. o Statistics) y cualitativos (The etnograph, Aquad o Nudist Vivo).
3. Aplicacin de estndares parea fijar categoras y definiciones comunes. Categorizacin y conceptualizacin de los datos cualitativos.
4. Seleccin del tipo de anlisis a realizar dependiendo de la naturaleza de los datos y del tipo de conclusiones a las que se quiere llegar.
5. Aplicacin
de
los
primeros
resultados.
En
los
procesos
cuantitativos se suele comenzar por un anlisis descriptivo de las variables por medio de estadsticos como porcentajes, frecuencias o moda.
6. Anlisis inferencial de datos, que permite la extrapolacin de los datos de la muestra a la poblacin.
71
En los anlisis cuantitativos de datos, se realiza un contraste de hiptesis para determinar si un resultado se debe al azar al cumplir ciertas hiptesis, se utilizan estadsticos muestrales para estimar y determinar su valor probable en la poblacin y para determinar la significacin estadstica de los resultados obtenidos.
En los procesos cualitativos se realiza una inferencia con los datos obtenidos para elaborar hiptesis o proposiciones lgicas que expliquen diversos aspectos de la realidad descrita.
En ambos procesos, ya sean referidos a datos de naturaleza cuantitativa o cualitativa, la finalidad es el establecimiento de teoras, explicaciones o razonamientos fundamentados que permitan la toma de decisiones acerca del programa evaluado.
A estas fases primarias puede aadirse fases de carcter secundario propias de los procesos metaanalticos. En los que se trabaja con resmenes de estudios o investigaciones primarias, recuperados tras la revisin de la literatura, y seleccionados atenindose a unos criterios especficos.
Esta metodologa de revisin puede considerarse como una respuesta a la necesidad de desarrollar procedimientos objetivos y cuantificables en la revisin evaluativa de la investigacin (Glass, 1976; Wolf, 1987 y Snchez Meca y Ato, 1989).
La interpretacin sucede al anlisis de datos y supone la asignacin de significados otorgndole sentido a los resultados obtenidos. sta debe partir de una lectura lo ms exacta posible de los datos, incluso en los casos ms negativos, pues de ellos se pueden extraer jugosas e interesantes conclusiones.
Los datos deben contrastarse con los objetivos propuestos en la evaluacin y con los extrados en situaciones similares, intentando conectarlos
72
con explicaciones generales ofrecidas por teoras explicativas. Todas las interpretaciones realizadas deben a su vez estar fundamentadas y avaladas por los datos obtenidos.
Una ltima consideracin a tener en cuenta en el anlisis de datos y la discusin de sus resultados es la contemplacin de las distintas perspectivas de los agentes implicados y relacionados con la evaluacin del programa. Este aspecto no slo debe considerarse en la comunicacin final de conclusiones, atendiendo a criterios estticos y de contenido del informe, sino que debe originarse en el propio proceso de tratamiento de datos previo, mediante el uso de procedimientos adecuados como son los grupos de discusin.
2.7. AVANCES Y NUEVAS PERSPECTIVAS EN LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS. LOS ESTUDIOS
METAEVALUATIVOS Y DE SNTESIS.
La evolucin y desarrollo de la investigacin sobre evaluacin de programas se encuentra ligada al de la propia investigacin educativa en general.
Desde el punto de vista epistemolgico, las aproximaciones eclcticas o integradoras suponen un avance en la superacin de los principios excluyentes. En el sentido que ofrece Merton (citado en Wittrock, 1989) las nuevas teoras no sustituyen a las anteriores sino que las complementan, permitiendo prestar atencin a hechos y fenmenos que podran pasar desapercibidos desde un nico punto de vista.
Este principio permite ofrecer una visin cada vez ms completa y adecuada de las realidades examinadas. Sobre todo teniendo en cuenta que el objeto de conocimiento de las ciencias educativas se centra en contextos y realidades de enorme complejidad humana y social en mbitos interculturales. Por lo que en estos estudios se requieren el empleo de diseos complementarios, cada
73
vez ms aceptados y empleados por los investigadores, como medios adecuados de investigacin de estos entornos.
Desde un punto de vista eminentemente emprico se ha producido la superacin del debate cuantitativo vs. cualitativo (Reichardt y Rallis, 1994 y Cook, 1997). Permitiendo la metodologa de base cuantitativa la bsqueda de relaciones entre las variables bajo precisas condiciones de control, aleatorizacin, medida y diseo, para alcanzar mejores niveles de generalizacin; mientras que los mtodos cualitativos ofrecen mejores y ms detalladas descripciones de los procesos. Consiguiendo con una conjugacin de ambos estudios muy compactos.
Es desde estas nuevas consideraciones tericas y procesos de investigacin desarrollados, desde donde se han ido considerando una mayor participacin de los destinatarios y afectados por los programas evaluados tanto como informantes de los procesos como su conversin en agentes activos de ellos. Ofreciendo informaciones ms profundas desde la perspectiva interpretativo humanstica y una tica de participacin ms democrtica.
Esta evolucin de la investigacin sobre E.P. como realidad compleja ha derivado en la aplicacin de anlisis de datos ms sofisticados que permiten alcanzar unas interpretaciones de mayor calado, riqueza y especificidad. Jugando en estos procesos un papel crucial la aplicacin de nuevas tecnologas que permiten la gestin de grandes cantidades de informaciones y el tratamiento de mltiples datos por medio de variados anlisis.
La consideracin de procesos de investigacin amplios como medio de explicacin de contextos complejos ha desarrollado la atribucin de nuevas funciones a la evaluacin de los programas mediante los que se interviene en dichos mbitos. As, como indica Chelimnsky (1997) o De Miguel (1999), adems de funciones como rendicin de cuentas (accountability) o mejora del programa (improvement), las evaluaciones tambin comienzan a considerarse generadoras
74
de conocimientos y explicaciones de los problemas sociales, y por tanto determinantes para promover sus cambios y mejoras.
Al igual que en el resto de la investigacin educativa las nuevas tecnologas aplicadas al proceso de bsqueda, registro y tratamiento de informaciones basados en redes informticas, desarrollo y disponibilidad del hardware o aplicabilidad de software especfico, han supuesto una revolucin al poner en manos de los investigadores educativos potentes medios que facilitan enormemente los procesos de investigacin en Evaluacin de Programas. Implicaciones que incluso afectan a aspectos posteriores al propio proceso de investigacin como es agilizar la difusin de los hallazgos y facilitar mayores mbitos de impacto.
Como investigacin en el mbito social de carcter eminentemente prctico, son numerosos los factores sociales que han influenciado el desarrollo de la investigacin sobre evaluacin de programas, siendo uno de los de mayor importancia el derivado de la mayor preocupacin social por aspectos sobre la cualidad de la educacin. Preocupacin que ha hecho que las instituciones desarrollen procesos de intervencin por programas de espectro ms amplio y de aplicacin a contextos especficos por medio de mecanismos en los que la cultura evaluativa se acepta y considera como mecanismo ineludible para la consecucin de la ansiada calidad educativa.
Uno de los mayores avances alcanzado en E.P. supone un refinamiento metodolgico, como es el caso de las investigaciones mediante metaanlisis y estudios de sntesis, que permiten realizar inferencias desde supuestos ms amplios ofreciendo una mayor extensin de los resultados obtenidos.
Los estudios de sntesis de carcter secundario se distinguen por el empleo como fuentes de datos de investigaciones primarias sobre un tpico determinado, para por medio del empleo de estadsticos que permitan realizar sntesis de los resultados obtenidos, permitir y facilitar el replanteamiento del
75
campo de investigacin de una disciplina al ofrecer visiones globales y replantear nuevas lneas de actuacin.
La pertinencia de estudios metaevaluativos y de sntesis es usualmente sealada e indicada por autores en el mbito internacional (Scriven, 1974; Stufflebean, 1978, 1981; Shadish, Cook y Levinton, 1991) y nacional (Bartolom, 1990; De la Orden y Martnez de Toda, 1992 o Fernndez Cano y Bueno, 1998).
El desarrollo actual de los servicios evaluativos, hasta alcanzar un grado de profesionalizacin (Madaus et. al., 1983), es una muestra de la patente preocupacin social por la educacin en la que el empleo de estos servicios se muestra como aval de su calidad. Sin embargo, a pesar de las muchas razones para ello no ha existido tradicionalmente una cultura evaluativa, sino ms bien como sealaba Scriven (1974) una resistencia a ser evaluado y una escasez de revisin de los estudios de evaluacin.
Si evaluacin es la emisin de un juicio sobre el valor o mrito de algo, metaevaluacin es enjuiciar la propia evaluacin. De la Orden y Martnez de Toda (1992) conceptualizan los procesos de metaevaluacin como sistema de garanta y responsabilizacin ante la sociedad de los servicios evaluativos ofrecidos, basndose en el desarrollo especfico de las normas establecidas por el Joint Committee (1998).
As los procesos metaevaluativos pueden adoptar diferentes funciones o utilidades en la investigacin educativa: La primera de ellas hace referencia a la metaevaluacin como evaluacin de la evaluacin (Stufflebean, 1981; Landsheere, 1982 y Joint Committee, 1998) incluso en el sentido de revisin para el cumplimiento de los procesos evaluativos desde una perspectiva de profesionalidad (Stufflebeam, 1987).
76
Esta valoracin de la evaluacin para atestiguar su calidad, puede proceder de una perspectiva sumativa (Cook y Gruder, 1978) o formativa (Scwandt y Halpern, 1988), convirtindose la metaevaluacin en una herramienta de mejora de la evaluacin mediante un proceso de identificacin de sus sesgos. Los procesos metaevaluativos poseen un carcter unificador al proveer procedimientos para resumir y sintetizar los resultados de varias valoraciones referidas al mismo programa o conjunto de programas (Stufflebean, 1981). Procesos que permiten ofrecer visiones amplias desde distintos planos como la funcin valorativa general de una organizacin o las realizaciones en un determinado campo o disciplina. Siendo muy tiles, sobre todo en procesos de reconstitucin y reforma, los estudios de sntesis. Los
contextos
mbitos
de
intervencin
necesitan
de
intervenciones por programas cada vez ms amplias y complejas, que a su vez delimitan procesos evaluativos de caractersticas similares, por lo que si cabe, la revisin metaevaluativa adquiere an un sentido mayor. Estos procesos insertos en una dinmica constante de crtica constructiva, hacen trascender la prctica evaluativa particular hacia aspectos ms amplios como vehculo potenciador de mejoras educativas (Worthen y Sanders, 1987).
La importancia y trascendencia que puede derivarse de cada una de estas funciones, hace que el desarrollo de procesos metaevaluativos y estudios de sntesis en la investigacin sobre evaluacin de programas parezca tan irrenunciable como el de la propia evaluacin de stos.
En algunas de estas caractersticas, como la complementariedad, su carcter de sntesis y el empleo de nuevas tecnologas, los procesos desarrollados
77
en esta Tesis Doctoral se basan en los nuevos desarrollos y pueden suponer un avance en el campo de la E.P.
Complementariedad que puede ser entendida desde mltiples aspectos tericos y empricos, como la consideracin de anlisis de aspectos cientimtricos, conceptuales y metodolgicos de la investigacin; el empleo de una metodologa descriptiva desde una perspectiva sincrnica y diacrnica o los anlisis de datos, que aunque eminentemente cuantitativos, se recurre al empleo de procesos cualitativos en aquellos aspectos en los que la naturaleza especfica de los datos lo requiere. No existiendo precedentes en el campo de la E.P. de estudios de sntesis de este tipo.
Tambin puede parecer novedoso el empleo de las nuevas tecnologas en todas las fases del proceso investigativo, desde la bsqueda por medio de enlaces electrnicos on line en diversas bases de datos mediante el empleo de motores de bsqueda basados en palabras clave, el registro de datos en bases digitales y tratamiento por medio del empleo de software especfico, a la elaboracin de informes de conclusiones.
78
CAPTULO III. CIENCIOMETRA Y EDUCACIN.

Los indicadores cienciomtricos pueden ser un instrumento til para la evaluacin de la investigacin educativa. Pero se ha de poner el mximo cuidado para su uso correcto, evitando simplificaciones excesivas como intiles refinamientos. (Maltrs, Quintanilla y Vidal, 1998)
3.1. INTRODUCCIN.
Uno de los apelativos que definen con mayor claridad la poca actual es el que la denomina como Era de las Comunicaciones. Sea cual sea la disciplina en la que nos situemos, la cantidad de informacin generada y sus posibilidades de difusin son tan elevadas que se requiere un esfuerzo de estructuracin (Galante y Sanchidrian, 1996). De hecho, ya en el segundo Congreso de la Ciencia, celebrado en Londres en 1931, se perfilaban lo que seran las directrices bsicas de este anlisis estructural de la informacin que posteriormente constituira el cuerpo metodolgico conocido con el nombre de Bibliometra o Cienciometra.
La importancia que la ciencia y la tecnologa han llegado a adquirir en la sociedad, ha ido imponiendo la necesidad de su evaluacin. Son numerosos los 79
recursos humanos y econmicos que la sociedad dedica a la investigacin en el desarrollo de trabajos cientficos, como medio de su propia evolucin y sostenimiento, que a su vez sta exige un control y evaluacin de sus tareas que justifiquen tal aporte. Siendo la metodologa cienciomtrica una de las ms comnmente utilizadas.
Se trata de estudiar cientficamente la actividad de la investigacin no para discernir su naturaleza o para relativizar su alcance, sino para favorecer su desarrollo.
La Cienciometra o cientimetra, tambin denominada Metodologa Bibliomtrica es ante todo un corpus metodolgico inicialmente centrado en el anlisis estructural y prognosis de la informacin, contenida principalmente en publicaciones de investigacin cientfica.
Lpez Piero (1972) la denominaba "ciencia de la ciencia", considerndola como un autntico programa de investigacin de carcter interdisciplinar que interesaba a disciplinas complementarias: la informacin cientfica propia de los documentalistas, la historia de la ciencia y la sociologa de la ciencia; dimensiones a las que se podra aadir la evaluacin cientfica de las producciones, propia de la Metodologa de la Investigacin (Fernndez Cano y Bueno, 1998).
Debido a su metodologa los estudios cienciomtricos poseen un carcter eminentemente descriptivo, por lo que poseen gran importancia para obtener visiones globales de un determinado campo de estudio.
Se suele partir, en estos estudios, del anlisis de la frecuencia de aspectos tales como: autores; fechas y fuentes de publicacin; nmero, lengua, antigedad y variabilidad de las citaciones. Para, mediante el clculo de valores promedio y porcentajes, realizar una descripcin diacrnica de la produccin de una disciplina o de un campo determinado de una disciplina cientfica.
80
3.2. LA COMUNICACIN EN CIENCIA Y TECNOLOGA.

El desarrollo de la Cienciometra ha sido posible gracias a un rasgo caracterstico de la ciencia desde el siglo XVII: la comunicacin cientfica (Lpez Lpez, 1996). Quedando as el desarrollo cientfico ntimamente asociado a su comunicabilidad.
Para Ziman (1980) la ciencia slo puede existir en estrecha dependencia con la comunicacin, ya que es esencial para establecer criterios de registro de resultados, observaciones o teoras que sirvan como referencia a los cientficos. Facilitando a su vez la crtica, refutacin y perfeccionamiento de los hechos y trabajos cientficos.
Aunque es sta una postura abierta a muchas crticas, Price (1973, p.69) tambin asocia la existencia, de la ciencia a la de la comunicacin hasta tal punto que no podra existir sin ella, definiendo la ciencia como lo que se edita en las publicaciones cientficas y al cientfico como el hombre que en algn momento de su vida ha colaborado escribiendo alguna de esas publicaciones.
Incluso desde una perspectiva sociolgica la comunicacin cientfica parte de la consideracin de la ciencia como una organizacin dentro de la propia estructura social. Y en todo sistema organizativo de carcter social, como seala Gtor (1982), el establecimiento de un sistema de comunicacin es inherente al propio desarrollo de la organizacin.
Pero en palabras de Carpintero y Peir (1981), incluso la comunicacin cientfica ofrece caractersticas significativamente diferentes a la comunicacin en cualquier otra organizacin, puesto que al convertirse en la prueba ms efectiva de las realizaciones y productos de los cientficos, se ha convertido en un fin en s misma.
81
Es decir, como planteaba Price (1973), el hecho y proceso cientfico quedara incompleto sin la comunicacin, mediante la publicacin, de los hallazgos para su discusin y aceptacin por la comunidad cientfica. Y por tanto una de las finalidades de la ciencia, debe ser su comunicacin y su publicacin.
Partiendo de este papel central asignado a la comunicacin en la ciencia (Carpintero y Peir, 1981), el estudio de dicha comunicacin puede facilitar informaciones tiles acerca de su estructura organizativa. Convirtindose este planteamiento en uno de los pilares que ofrecen racionalidad al empleo de la metodologa cientimtrica.
En este proceso de comunicacin, que hace de la ciencia un conocimiento compartido, el anlisis de los canales de comunicacin es prueba y medida del desarrollo cientfico en un determinado contexto. Estos pueden poseer para Montoro y Carbonell (1989) naturalezas muy diversas adoptando desde aspectos informales como la correspondencia o entrevistas; o eminentemente formales como Tesis Doctorales, literaturas de congresos, informes o revistas de investigacin.
Estas ltimas convertidas en el vehculo por excelencia de la comunicacin cientfica, han aumentado de forma ingente como canal comunicativo (Callon, Courtial y Penan, 1995).
Queda por tanto, patente la relacin unvoca entre ciencia, comunicacin y publicacin en fuentes cientficas, principalmente revistas especializadas. Siendo este el principal objeto de estudio de la Bibliometra/Cienciometra, que Garfield (1979a) define como la cuantificacin de la informacin bibliogrfica susceptible de ser analizada.
Esta asociacin entre el trabajo cientfico y la necesidad de publicar en el mundo de la ciencia ligada a la industria necesita adems de otra literatura tecnolgica como son las patentes. Estas pese a soportar un gran volumen de la
82
produccin cientfica mundial, quedan restringidas enormemente por lo poco accesible de su lenguaje.
3.3.
LA
CIENCIOMETRA.
NOTAS
HISTRICAS
DELIMITACIN CONCEPTUAL.
El origen de esta disciplina surge de la convergencia de estudios de diversas disciplinas, en momentos y lugares distintos. Solapndose trminos utilizados para definir este tipo de trabajos desde su origen, que algunos autores utilizan indistintamente, como son los de Ciencia de la Ciencia, Bibliografa Estadstica, Bibliometra, Cienciometra o Infometra. No siendo ms que fruto de su propio desarrollo, desde las aplicaciones espordicas hasta la conceptualizacin metodolgica de la disciplina, que cada vez se hace ms amplia, tanto en su objeto como en el campo de conocimiento.
Desde la antigedad se han venido realizando estudios bibliomtricos, aunque sin el desarrollo lgico de una disciplina establecida. Mndez (1986), indica que el primero en utilizar un enfoque de este tipo fue Alphonse de Condolle, que en 1885, en su trabajo Histoire des sciencies et des savants depuis deux siecles realiza un estudio sobre catorce pases europeos y Estados Unidos, aplicando mtodos matemticos a factores relacionados con el desarrollo cientfico.
El primer estudio en el que podramos determinar rasgos ciertamente bibliomtricos es el de Cole y Eales, que en 1917, realizaron un anlisis
estadstico de las publicaciones sobre anatoma comparativa entre 1543 y 1860 con la distribucin por pases y campos, cmputos, categoras y las divisiones del reino animal; trabajos que segn (Sancho, 1990) todava tienen cierto inters bibliomtrico.
83
Pero hasta 1923, no se realizan referencias literarias a ste tipo de estudios atribuyndoles un carcter especfico, mediante el trmino de bibliografa estadstica. Referencias realizadas por Hulme en sus conferencias en la Universidad de Cambridge o en sus estudios de historia de la ciencia, en los que analiza autores y revistas referenciadas en el International Catalogue of Scientific Literature en el periodo 1910-1913, analizando la relacin entre publicaciones cientficas, condiciones econmicas y crecimiento de la civilizacin moderna.
Tambin Gross y Gross (1927), comienza a utilizar este trmino como primer paso diferenciador de una materia emergente, al analizar las referencias hechas en artculos de revistas sobre qumica indizadas en The Journal of American Chemistry Society. En 1926, el ruso Borichevski esboza en un artculo la constitucin de un nuevo campo de investigacin cuyo objeto es el estudio de la naturaleza intrnseca de la ciencia, considerndola como ciencia de la ciencia (naukovodemia).
Tambin en este mismo ao, Lotka (1926) formula su conocida ley de la productividad de los autores cientficos; y todava en 1934, cuando Bradford realiz su trabajo sobre la distribucin de artculos en revistas sobre geofsica aplicada y en investigaciones sobre lubricantes, ahora conocido como Ley de Bradford segua utilizndose el trmino de bibliografa estadstica para describir este tipo de trabajos de la ciencia de la ciencia. Sin embargo, con posterioridad, se consider que no era un trmino satisfactorio para describir esta actividad cientfica, debido a que poda ser interpretado errneamente como bibliografa sobre estadstica.
Al margen de su denominacin, el desarrollo de la disciplina continu afianzndose, basndose en el carcter prctico de sus realizaciones. Pues es comn la asociacin del desarrollo de una ciencia, por empleo de bibliografa o el nmero de descubrimientos, con el desarrollo social y econmico.
84
Y aunque el origen de su denominacin especfica se lo atribuyen algunos autores a Paul Olet, no es hasta 1969, cuando Alan Pritchard considerando tosco y poco descriptivo ese trmino, acua el de bibliometra. Pritchard defini la bibliometra como la aplicacin de la matemtica y los mtodos estadsticos para analizar el curso de la comunicacin escrita y de una disciplina. Es decir, la aplicacin de tratamientos cuantitativos a las propiedades del discurso escrito y los comportamientos tpicos de ste.
Pero al abogar por una ciencia de la ciencia, ampliaba considerablemente la perspectiva de la Bibliometra, ms restringida a recuentos de producciones en determinadas disciplinas o incluso a estudios ms detallados. La ciencia de la ciencia debera ir ms all en la elaboracin y aplicacin de instrumentos
estadsticos. Su finalidad es identificar las leyes y regularidades sobre el funcionamiento de la actividad cientfica en su globalidad.
El pleno desarrollo de esta disciplina est asociado a los trabajos de dos grandes pioneros, que realizaron sus trabajos de forma paralela. Price, que en 1963 y 1964, apoyndose en toda una serie de estudios de carcter bibliomtrico anteriores, publica respectivamente: Little Science, Big Science y Science since Babylon. Y Garfield, que desde la aparicin en 1963 del Science Citation Index, publicado por el Institute for Scientific Information (ISI) fundado por l mismo en Filadelfia, ha contribuido enormemente al desarrollo de este campo cientfico.
As mismo, de gran importancia para la transformacin profunda y diversificacin fue la aparicin, en 1979 de una fuente de publicacin especfica, como fue la revista Scientometrics que ofreca una existencia visible a esta rea de conocimiento.
El trmino Cientimetra o Cienciometra surgi en la URSS y Europa Oriental (Naukometriya) y fue practicado especialmente en Hungra.
Originalmente se refera a la aplicacin de mtodos cuantitativos a la ciencia y el progreso tecnolgico (Egghe, 1988).
85
En 1935 aparece bajo la pluma de Ossowski la expresin Nauka o nause, designando un amplio programa de investigacin que subraya la necesidad de impulsar estudios histricos, sociolgicos y psicolgicos consagrados al estudio de las ciencias. Pero el cambio hacia anlisis eminentemente cuantitativos no se produce hasta que Dobrov entra en relacin con Price y sistematiza las intuiciones de ste ltimo. Crendose rpidamente un Instituto dedicado a la investigacin sobre estos aspectos y apareciendo los primeros libros sobre la nueva materia.
Diferencialmente la bibliometra estudia la organizacin de los sectores cientficos y tecnolgicos a partir de las fuentes bibliogrficas y patentes para identificar a los actores, sus relaciones y tendencias. Mientras que la cienciometra, por el contrario, se encarga de la evaluacin de la produccin cientfica mediante diversos indicadores numricos como pueden ser de publicacin o patentes, entre otros.
En las primeras definiciones y delimitaciones conceptuales se consideraba la cienciometra como la medicin del proceso informtico, donde el trmino informtico no posea las connotaciones actuales referidas a equipos informticos, sino a la ciencia que estudia la estructura y las propiedades de la informacin cientfica y las leyes del proceso de comunicacin (Mikhilov et al, 1984).
El significado ampliado que tiene hoy en da el trmino cienciometra, que sustituye al de ciencia de la ciencia, fue promovido por Price, quien impuls este campo de la investigacin en la dcada de los aos sesenta desde la Universidad de Columbia, en Estados Unidos.
La cienciometra aplica tcnicas bibliomtricas, de carcter matemtico y anlisis estadstico, para investigar las caractersticas de las ciencias, tanto fsicas, naturales como sociales. Pero la Cienciometra va ms all de las tcnicas bibliomtricas, pues tambin examina el desarrollo y las polticas cientficas. Sus anlisis cuantitativos consideran a la ciencia como una disciplina o actividad
86
eminentemente social, en algunos de sus mltiples aspectos econmicos y polticos, por lo que podra considerarse como un instrumento de la sociologa de la ciencia.
Pero este campo de conocimiento sigue en evolucin con el desarrollo de nuevas consideraciones, como muestra la aparicin de nuevas denominaciones como la Infometra, que amplan su campo de accin.
Algunos autores usan bibliometra e infometra como sinnimo (Rousseau, 1990), aunque otros consideran que la segunda incluye un rea mucho ms amplia.
La infometra se basa en las investigaciones de la bibliometra y cienciometra, y comprende asuntos tales como el desarrollo de modelos tericos y las medidas de informacin, para hallar regularidades en los datos asociados con la produccin y el uso de la informacin registrada.
De acuerdo con Brookes (1990), el trmino infometra fue propuesto por primera vez por Nacke, director del Institut fr Infometrie und Scientometrie de Bielfeld, Alemania en 1979. Trmino que fue inmediatamente adoptado por el VINITI de la URSS, cuyos estudios consideran que la infometra comprende a la bibliometra y la cienciometra (Gorkova, 1986).
La infometra trata de la medicin de todos los aspectos de la informacin, el almacenamiento y su recuperacin, por lo que incluye la teora matemtica y la modelizacin. En sentido amplio estudia los aspectos cuantitativos de la informacin, no solamente la registrada como los registros bibliogrficos, sino todos los aspectos de la comunicacin formal o informal, oral o escrita.
87
Las aplicaciones prcticas de todos estos tipos de estudios evaluativos se dan en contextos tan variados como la recuperacin de la informacin, la administracin de archivos o bibliotecas, la historia de la ciencia, la poltica cientfica, la lingstica cuantitativa, la econometra. Y en cuanto a su contenido, absolutamente en todas las reas o disciplinas cientficas.
La cienciometra ha alcanzado su edad adulta siendo su crecimiento espectacular. Y aunque la variedad de sus orientaciones y aplicaciones podra haber puesto en tela de juicio su integridad como disciplina, sta se ha mantenido, ya que los estudios cienciomtrico comparten tres convicciones inamovibles:
La primera de ellas es que el estudio de las ciencias y de las tcnicas pasa necesariamente por el anlisis sistemtico de las producciones literarias de los investigadores: ciertamente, la cienciometra no se limita exclusivamente a este objeto, pero le concede un lugar esencial.
La segunda es que los estudios cuantitativos, siempre que no constituyan un fin en s, enriquecen la comprensin y la descripcin de la dinmica de las tecnociencias.
Y la tercera es la prioridad absoluta y casi obsesiva que conceden a la concepcin de instrumentos de anlisis slidos y fiables.
Actualmente las investigaciones de cienciometra y bibliometra se realizan con mayor intensidad en Estados Unidos, Canad y Europa Oriental. Destacando tambin por su importancia las elaboradas en Japn y Europa Occidental.
88
3.4. LA CIENCIOMETRA EN ESPAA.

Aunque contemporneamente a los estudios de Bradford, Ortega y
Gasset plantea en su obra La misin de bibliotecario de 1935 (Riao, 1991) la necesidad de una estadstica de las ideas que permita facilitar la comprensin de su origen, su periodo de desarrollo y expansin y declive, no es hasta la dcada de los setenta en la que comienza a tomar cuerpo esta idea en nuestro pas.
Durante el desarrollo de la dcada de los setenta se conforman tres grandes grupos de investigacin desde los que comienza a desarrollarse esta metodologa cientimtrica:
A principios de la dcada, y entorno a la figura de Lpez Piero y Terrada, pertenecientes a la Facultad de Medicina y al Instituto de Estudios Documentales e Histricos sobre la Ciencia de la Universidad de Valencia y C.S.I.C.11, se comienzan a publicar trabajos de este tipo. Entre los que destacan El anlisis estadstico y sociomtrico de la literatura cientfica o Hacia una Ciencia de la Ciencia - Traduccin de la obra de Price, Little Science - (Lpez Piero, 1972 y 1973) y tambin, un estudio desarrollado por Terrada (1973), que bajo el ttulo La literatura mdica espaola contempornea, se centra en un anlisis estadstico y sociomtrico.
ste es el germen de la cientimtria en nuestro pas, publicndose varios artculos atendiendo a este enfoque por parte de discpulos de estos autores, como los realizados por Carpintero (1981) o Carpintero y Tortosa (1993), desde la Facultad de Filosofa y CC. E. de Valencia.
El segundo de los grupos mencionados, liderado por Prez lvarezOssorio y Lara Guitard desde el I.C.Y.T./C.I.N.D.O.C.12 en Madrid, posee una perspectiva ms dirigida al anlisis de la poltica cientfica, de cuya lnea de
11
CSIC.: Centro Superior de Investigaciones Cientficas.
89
investigacin es muestra alguno de los trabajos realizados por autores como Gmez y Bordons (1996a,b).
El tercer grupo desde cuyos planteamientos se ha desarrollado esta disciplina en nuestro pas, desarrolla trabajos desde la Universidad de Salamanca centrados en aspectos relativos a la difusin del conocimiento, como los de Maltrs y Quintanilla (1992), Vidal (1993) o Maltrs (1996).
Todos estos trabajos establecen el germen del desarrollo de la metodologa de esta disciplina, determinando lneas de investigacin todava activas y consolidadas en la dcada de los noventa, como queda patente en las numerosa y diversa literatura producida por autores como Alonso y Gra (1994), Jimnez Contreras (1994) o Lpez Yepes (1995).
En la Universidad de Granada, comienzan a desarrollarse algunos trabajos fundamentados en esta perspectiva. Como son los elaborados por autores como Delgado Lpez-Czar (1999), Fernndez Cano y Bueno (1998, 1999) o Torralbo (2001). Siendo precisamente en este contexto concreto, en el que se desarrolla la lnea de trabajo del grupo de investigacin sobre Evaluacin de la investigacin y de programas educativos andaluces, desde el que parte el desarrollo de esta tesis doctoral.
Parece por tanto, que en la investigacin espaola sobre este campo disciplinar, realizada desde estos centros universitarios, se pueden estar comenzando a establecer lneas de investigacin con cierta especializacin o cuanto menos con cierta especificidad.
12
I.C.Y.T. /C.I.N.D.O.C.: Instituto de Informacin y Documentacin en Ciencia y Tecnologa,
90
3.5. INDICADORES BSICOS Y LEYES CIENTIMTRICAS.

Un indicador es un parmetro empleado en la evaluacin de cualquier actividad, que puede ajustarse a patrones tericos establecidos en investigaciones previas en enunciados o leyes de algn campo de la ciencia, en este caso la Cienciometra. La informacin cientfica puede por tanto adquirir una serie de caractersticas, mediante el uso de unos indicadores descritas mediante el establecimiento de las que se han venido en llamarse, quizs con alguna licencia lingstica, Leyes Cientimtricas.
Mediante el empleo de una serie de indicadores bibliomtricos y la comprobacin de su ajuste a los patrones propuestos en las leyes cientimtricas se pretende, en este estudio, describir algunos aspectos de la produccin cientfica en el campo de evaluacin de programas en el mbito y periodos estudiados, tales como la productividad y la citacin.
En el primer nmero de Newsletter publicado por el Comit de Infometra de la Federacin Internacional de Documentacin, Rivicandra Rao consider que entre los diversos patrones de la bibliometra, los siguientes pueden ser estimados como significativos: Ley de Dispersin, Ley cuadrtica inversa de la productividad cientfica o Ley de Lotka, Ley del mnimo esfuerzo o Ley de Zipf, Modelos logartmicos y Proceso de la ventaja acumulativa de Price.
Teniendo en cuenta que el nmero de indicadores que puede emplearse para describir estos aspectos es enorme, a lo que habra que aadir las
peculiaridades al referirse a autores personales, institucionales o editoriales, su enumeracin se limita aqu a una descripcin general de los empleados de manera especfica. Por lo que la descripcin realizada es de tipo general, remitiendo a referencias de manuales especficos.
actualmente Centro de Informacin y Documentacin Cientfica.
91
Sancho (1990) ordena estos indicadores por su referencia a la calidad de la investigacin establecida por jueces expertos, a la actividad o nivel de productividad cientfica de los autores, del impacto de su investigacin mediante anlisis de las citas; y de las asociaciones temticas, por la citacin, referencias y palabras comunes.
Por su parte, Callon, Courtial y Penan (1995) clasifican los anlisis cienciomtricos en dos categoras, atendiendo a si la referencia de los indicadores es la actividad o la relacin entre los autores. As, mientras los primeros proporcionan datos sobre el volumen e impacto de la investigacin; los segundos rastrean los lazos e interacciones entre autores, instituciones y reas de conocimiento.
Partiendo de estas clasificaciones y basndose en la ofrecida por Fernndez Cano y Bueno (1998), se establece una priorizacin y ordenacin de indicadores y leyes bibliomtricas bsica, ya experimentadas en trabajos previos (Expsito, 2000).
3.5.1. Indicadores de productividad.

Los indicadores de produccin informan cuantitativamente sobre el tamao de la produccin cientfica de una determinada fuente institucional o personal. Aunque de forma general, puede referirse a la produccin sobre una disciplina o tpico de investigacin en un mbito o periodo temporal concreto.
Los indicadores cientficos de productividad pretenden medir la cantidad de investigacin producida por los cientficos. Suele referirse a la cantidad de publicaciones producidas por un autor, institucin o pas; aunque otras medidas incluyen la cantidad de investigadores por disciplina.
92
El empleo de informaciones sobre la produccin suele partir de distribuciones de frecuencias y porcentajes empleando diversos tipos de intervalos. Si estos poseen naturaleza temporal, su estudio ofrecer una visin diacrnica y si se limitan a un campo, mbito o disciplina, una perspectiva sincrnica.
Productividad general: Referida a cmputo del nmero y distribucin de
publicaciones de una disciplina, temtica o mbito geogrfico es uno de los indicadores bsicos en los estudios cienciomtricos.
Aunque se ha encontrado correlacin entre el nmero de publicaciones y la consistencia o calidad de sta, el empleo exclusivo de indicadores cienciomtricos puede limitar la consideracin de su calidad (Bellavista et al. 1997).
Productividad de autores: generalmente mensurada a partir del nmero
de trabajos originales que publica. Para la aplicacin de este indicador es necesario un nmero lo suficientemente completo de referencias y que stas cubran un periodo diacrnico lo suficientemente amplio.
A partir de este indicador o asociados a l pueden aparecer otros que describan la colaboracin y coautora, ya sea por medio del establecimiento de promedios generales, estableciendo diferencias por gnero, lugares de firma.
Existen ndices de proporcionalidad que relacionan el nmero de autores con el nmero de pginas del informe. Y tambin, que establecen los autores con una determinado porcentaje de la produccin total considerada, como el ndice de transitoriedad o de autores transitorios.
93
En este mismo sentido, el anlisis de la productividad queda muy determinado por los supuestos tericos establecidos en algunas leyes cientimtricas, descritas a continuacin, como la de crecimiento exponencial de Price o la Ley de Lotka.
Productividad institucional/reas de Conocimiento: en los mismos
trminos que la referida a autores, pero partiendo del registro de la Institucin o del rea de Conocimiento a la que stos pertenecen.
Productividad de fuentes editoras: los indicadores relativos al estudio
de la productividad de las fuentes de publicacin quedan muy determinados por su clasificacin entorno a un tpico o disciplina. Suponiendo un principio terico de relevante importancia la distribucin propuesta por Bradford, referida al vehculo por excelencia de comunicacin cientfica, la revista de investigacin.
En general, todos estos indicadores e ndices de productividad giran entorno a la idea de la hiptesis enunciada por Cole y Cole (1972), que atribuyen al filsofo Ortega y Gasset la produccin/colaboracin entre cientficos. Est de acuerdo con un principio estratificado de la ciencia, opera con un criterio universal por el que los cientficos que publican trabajos ms significativos reciben el reconocimiento amplio que merecen, mientras que los que no publican trabajos de significacin son ignorados.
Aunque tambin Turner y Chubin (1976, 1979) presentan una interpretacin alternativa de tal hiptesis, que basada en una paradoja del Eclesiasts, asigna el 80% de la produccin cientfica de los autores a slo el 20% de stos.
94
3.5.2. Indicadores de citacin.

El anlisis de citacin suele referirse a patrones y frecuencias de las citas hechas y recibidas por autores, revistas, disciplinas o de las relaciones entre documentos citados.
En los estudios de citacin se consideran dos supuestos bsicos (Spinak, 1996): Que un artculo cientfico no es una entidad aislada, sino que est inmerso en una literatura sobre el tema del que trata, por lo que la obra del autor se construye sobre la obra de sus predecesores. Y que en el estudio del impacto de la investigacin, a travs de su nivel de citacin, hay que tener en cuenta que estas citas se hacen no a la literatura usada sino a la publicada.
Este anlisis, usualmente de la frecuencia y patrones a los que se ajustan las citas recibidas por autores, fuentes o disciplinas, es asumida por algunos autores como una rama de la propia bibliometra.
Su permite determinar el conjunto de autores o documentos que constituyen significativamente una disciplina, el promedio de referencias por documento, formas de la literatura citada (monografas, artculos, etc.) y la distribucin geogrfica o idiomtica de los documentos citados, desde distribuciones diacrnicas o sincrnicas.
Algunos autores (Garfield, 1979) asumen el ndice de citacin como una caracterizacin de la excelencia del trabajo de un determinado autor, empleado incluso para la distincin de premios de gran prestigio internacional como los Premios Nobel.
Sin embargo, no faltan las crticas al anlisis de la citacin y al anlisis cientimtrico general, fundamentas tanto en el desarrollo de mtodos sin una investigacin adecuada de sus supuestos (Brooks, 1985); como a problemas inherentes a citaciones incompletas, sesgadas o negativas (McRoberts y
95
McRoberts, 1989); a trabajos que rompiendo con paradigmas dominantes planteen cambios radicales sin la adecuada fundamentacin (Lindsay, 1989), o a las dificultades derivadas del intento de operativizar las citaciones en sistemas de investigacin no vinculados al mbito anglo-americano (Fernndez Cano y Bueno, 2002).
Pero tanto, crticos como proponentes de estos mtodos estn de acuerdo que el uso de indicadores, como la citacin de un trabajo, no es aplicable para medir la calidad del trabajo de un individuo en particular. Ya que el trabajo cientfico como trabajo social, que describe hechos en no inmutablemente objetivos, mide su calidad en la medida que es importante para la comunidad cientfica y por lo tanto es citable por ella.
Citacin general: A partir del estudio de la distribucin de citas se
pueden establecer ndices generales como promedio del nmero de citas, de su antigedad o su variabilidad. Siendo, en ocasiones, de importancia relevante el anlisis del desarrollo diacrnico de los mencionados ndices.
Factores de impacto: Referidos a la aceptacin u uso de los
hallazgos de un autor por otros, puede referirse a dos ndices diferentes: Al que resulta del cociente de la cantidad de citaciones de un autor por el nmero de artculos que ha escrito. Y otro, ms elaborado al factor de impacto de revistas.
En los mismos trminos puede referirse a la importancia o impacto de una determinada fuente de publicacin o revista dentro de una disciplina concreta al relacionar mediante su cociente, el nmero de citas que reciben las fuentes que se consideran ncleo de tal disciplina y la cantidad de artculos publicados por la fuente. Mediciones que pueden establecerse en periodos temporales arbitrarios.
Citacin especfica: Estudio de citacin por criterios/aspectos
concretos como el tipo de fuentes citadas (libros, revistas, otros o literatura gris) o el idioma de las referencias a las que se citas.
96
Para ofrecer una visin descriptiva por medio de la metodologa cienciomtrica, adems del empleo de unos indicadores bsicos como los descritos, tambin se hace necesario comprobar el ajuste de la distribucin de sus datos a los patrones tericos ofrecidos en hiptesis, postulados y leyes bsicos de tal metodologa.
3.5.3. Ley de crecimiento exponencial de la literatura cientfica.
Dentro de los estudios sobre capacidad investigadora, existe una amplia tradicin sobre medicin de tal capacidad haciendo uso de la variable frecuencia de publicaciones o productividad (Fernndez Cano, 1995).
As, siempre ha sido convencionalmente aceptado un crecimiento exponencial de la produccin cientfica, expresado como Ley de desarrollo acelerado, pero no es hasta 1956, en el que Price plasma este principio en la Ley de Crecimiento Exponencial de la Ciencia.
En sta, Price constata que el nivel de crecimiento de la informacin cientfica es muy superior al de otros fenmenos sociales como pueden ser el de la poblacin o nivel de su renta. De forma que, en un periodo temporal de entre diez y quince aos tales informaciones se duplican.
Esta tasa se puede apreciar de manera similar en el nmero de revistas cientficas, repertorios de resmenes (ejemplificados en el grfico 3.1), libros editados, bases de datos, nmero de investigadores y otros muchos indicadores de crecimiento cientfico.
97
Grfico 3.1. Nmero total de revistas cientficas y de repertorio de resmenes, en funcin de la fecha. Reproducido de D.J. de Solla Price (1965)
Sin embargo el nivel de crecimiento no puede ser indefinido sino que posee lmites que Price explica relacionndolos con los recursos limitados de la sociedad para duplicar cada pocos aos los recursos asignados a la ciencia. As, como queda patente en el grfico 3.2, la curva de crecimiento exponencial adquiere un punto de inflexin en el que se transforma un crecimiento logstico, ms afn con la explicacin de fenmenos naturales.
98
Grfico 3.2. Forma General de la Curva Logstica. Reproducido de D.J. de Solla Price (1965)
3.5.4. Ley de envejecimiento u obsolescencia de la literatura cientfica.

Mediante el estudio diacrnico de las referencias bibliogrficas en distintas especialidades, Price observ que mientras el nmero de publicaciones se multiplica por dos aproximadamente cada 13,5 aos, el nmero de citas que reciben tales publicaciones se divide por la mitad aproximadamente cada trece aos.
Profundizando en la medida del envejecimiento, Burton y Kebler (en Lpez Piero, 1972) idean el concepto de semiperiodo, que referido al tiempo en que ha sido publicada la mitad de la literatura cientfica de una determinada disciplina, se define como la mediana de la distribucin de frecuencias segn el ao de procedencia. Encontrando que la vida media de las referencias, en los aos setenta, eran en Fsica 4,6; en Ingeniera Qumica 4,8; en Fisiologa 7,2; en Matemticas 10,5 y en Geologa 11,8 aos; diferenciaron entre literatura efmera y clsica. 99
Estos estudios de Price, basados en los primeros estudios sobre citacin de Garfield, establecen diferencias en la citacin a la literatura cientfica en una disciplina: Un 50% se distribuye entre la totalidad de la literatura anterior, y otro 50% en un nmero reducido de trabajos anteriores, producido por autores importantes en la disciplina o tpico investigativo (colegio invisible), de referencias que enlazan los artculos cientficos de un ao con los trabajos del colegio invisible, lo llam Price frente de investigacin.
Otra indicador tpico de medida de la obsolescencia de la literatura cientfica es el ndice de Price13, que indica cun recientes son las citas en un documento o disciplina, calculando la proporcin del nmero de referencias que no poseen ms de cinco aos de antigedad.
3.5.5. Leyes de dispersin de la literatura cientfica. 3.5.5.1. Ley de Bradford.

Formulada por Bradford en 1934 en un trabajo clsico, aunque con escaso impacto hasta que la public en su libro Documentacin (1948).
Este autor plantea una preocupacin por la duplicacin de esfuerzos, y la insuficiencia de cobertura por parte de las agencias de indizacin y resmenes, de los artculos de revistas cientficas. Y en un esfuerzo de optimizacin, analiza la produccin de artculos en Geofsica y Lubricacin.
Mediante la representacin grfica semilogartmica de las frecuencias de los artculos por revistas, comprueba la relacin entre el logaritmo de la
acumulacin de stas y la cantidad de artculos que se ajustaba a una recta, lo que le llev a enunciar la siguiente formulacin terica o verbal:
13
No confundir con el ndice de inmediatez de una revista cientfica, que se refiere al nmero de citas realizadas en ao n a artculos publicados en este ao, dividido por el nmero de artculos publicados slo en ese ao. (Para tasas de impacto por citacin, vase Fernndez Cano, 1995, pp.226-230).
100
Si las revistas cientficas se ordenan en secuencia decreciente de productividad de artculos sobre un tema dado, stas pueden dividirse en un ncleo dedicadas ms en particular al tema y varias zonas concntricas que con el mismo nmero de artculos que el ncleo presentan un nmero de revistas con relacin 1: n : n2 ... (Bradford, 1934:75)
Esta formulacin ha generado bastante literatura, pues existen ciertas incongruencias entre la formulacin terica y su expresin grfica, que Bradford no advirti.
Vickery (1948) comprob tomando datos de 1600 publicaciones, que la parte rectilnea de la grfica slo se ajustaba a la parte superior de la distribucin. Demostrndose en estudios posteriores que la distribucin de Bradford no era logartmica en toda su extensin, sino potencial en este ncleo y exponencial en las zonas exteriores. Incluso Ferreiro (1993) determina otros valores de composicin de la distribucin.
Estas desavenencias entre el modelo terico o verbal y grfico han generado una gran diversidad de modelos matemticos, identificando Quiu en 1990 hasta veintids. Algunos ofrecen ms consistencia a la ley grfica (Brookes, 1968 o Wilkinson, 1972) y otros a la terica (Leimkuhler, 1967).
A principio de los sesenta, el matemtico ingls Kendall demostr que la dispersin propuesta por Bradford es en realidad un caso particular de una distribucin elaborada por Zipf (1935) que expresa cierta propiedad universal, inherente a cualquier lengua del mundo, conforme a la cual la parte ms importante de cualquier texto queda conformada por unas pocas palabras de uso frecuente. Cualidad que algunos autores no slo consideran aplicable a palabras, sino tambin a segmentos ms amplios como artculos de revistas, por lo que la Ley de Bradford sera un caso particular de la Ley de Zipf.
101
En cualquier caso lo importante de las propuestas de Bradford es la idea de distribucin o dispersin de fuentes por zonas de diferente intensidad productiva con respecto a un tema determinado.
Grfico 3.3. Productividad de revistas en reas de dispersin (Bradford, 1934)

258 revistas (79,14%)
59 revistas (18,10%)
9 revistas (2,76%)
NUCLEO
429 artculos (32,21%)
ZONA 1
499 artculos (37,46%)
ZONA 2
Garfield (1979) simplifica una ley elaborada por Bradford (1950), la Ley de Bradford en; las revistas ordenadas en orden decreciente de la calidad de los artculos (calculada sta por la frecuencia de citacin), sobre un tema dado, tales revistas podran dividirse en un ncleo, que recibe la mayor parte de las citaciones, y varias zonas concntricas que, conteniendo el mismo nmero de artculos del ncleo, siguen una sucesin de productividad (1, 1/a, 1/a2...), dnde a se refiere al nmero de artculos.
102
3.5.5.2. Ley de Lotka

La cienciometra ha generado ciertos patrones sobre productividad, uno de los cuales es la Ley de Lotka, que viene a decir que la productividad de autores sigue una ley cuadrtica inversa, o lo que es lo mismo, que el nmero de autores que hacen n contribuciones es alrededor de 1/n2 de los que hacen una sola (Lotka, 1926).
Grfica 3.4. Funcin grfica de la Ley de Lotka, para 100 autores y tabular para 2000. Tomada de Fernndez Cano (1995, pp. 51-52).
120 n de autores 100 80 60 40 20 0 1 10 n de artculos/autor
Autores Si 2000 500 (2000/2x2) 222 (2000/3x3) 125 (2000/4x4) 80 (2000/4x4)
Artculos/autor 1 2 3 4 5
Esta es una ley fundamental de la cientimetra verificada en estudios de productividad en psicologa y pedagoga (Budd, 1991), aunque no se tiene constancia de verificacin en la variable impacto por conteo de citaciones.
Aunque en algunos estudios espaoles (Blasco y Benavent, 1993) no se verifica, en general, en distribuciones amplias parece ajustarse bastante bien a datos empricos de nmero de artculos publicados, excepto en sus extremos.
Su interpretacin recuerda que la mayora de la produccin cientfica acerca de un tpico de investigacin se realiza por un nmero significativamente escaso de autores consagrados como expertos en ese campo.
103
3.6.
ANLISIS
CIENTIMTRICOS
EN
ESTUDIOS
EDUCATIVOS. UTILIDAD DE LOS INDICADORES MS USUALES Y DIFICULTADES DE EMPLEO.
Los estudios bibliomtricos permiten construir visiones generales y sistemticas de un campo, en nuestro caso de cmo se ha venido acometiendo en el contexto espaol la investigacin acerca de la evaluacin de programas educativos. Aunque no se debe sacralizar sus indicadores pues poseen abundantes limitaciones (Gmez y Bordons, 1996). Sin embargo, por su carcter descriptivo pueden ser tiles como estudios pre-evaluativos o como mecanismos complementarios y correctores de otras aproximaciones.
Las dificultades asociadas al empleo de este tipo de indicadores las sita Maltrs (1996) en la propia naturaleza de su origen, pues la literatura cientfica no tiene entre sus funciones prioritarias la evaluacin externa de la ciencia. No careciendo la propia disciplina, en la realizacin de anlisis estadsticos y sociomtricos de la literatura cientfica, de puntos dbiles asociados a una insuficiente base emprica; al empleo de mtodos en ocasiones improvisados y poco precisos; explicaciones poco consistentes, por su superficialidad o por su osada; y en general, por la audiencia de lneas de investigacin lo suficientemente claras.
En Espaa en los aos sesenta y setenta la actitud de rechazo por parte de la comunidad cientfica hacia el uso de estos indicadores, Terrada y Piero (1990) la relacionan con el desconocimiento de la actividad cientfica y objetivos de la Cienciometra y con una ideologa poco evaluativa al considerar una prdida de privilegios sociales del cientfico la revisin/evaluacin de su trabajo. Y de forma muy importante por la asimilacin de principios y valores ajenos, inculcados por el dominio cientfico anglosajn, que bloqueando la tradicin cientfica propia parece dejar como opcin una resignacin al dominio y globalidad cientfica de las grandes potencias.
104
En el polo opuesto se sita una actitud realmente positiva hacia el anlisis cienciomtrico que permita el estudio realmente objetivo de la realidad cientfica, quizs con cierta ingenuidad acerca de la posibilidad de una ciencia absolutamente neutra.
As, en los ltimos aos las ideas bsicas de la Cienciometra han recibido mltiples crticas, y sus mtodos se han sometido a continuos cambios, debido sobre todo a diversidad de trabajos sobre el tpico y a la ampliacin de su base emprica. Siendo stas caractersticas propias de una disciplina emergente, a la que ms que criticar su valor se critica el uso inadecuado que puede hacerse de ella.
En cuanto a los estudios cienciomtricos en investigacin educativa realizados en Espaa, la mayora se refieren a investigaciones universitarias o al estudio de los artculos publicados en revistas determinadas, siendo la Orientacin una de las disciplinas ms atendidas. No existiendo ningn estudio referido a la evaluacin de programas (Fernndez Cano y Bueno, 1998).
De entre la gran diversidad de indicadores bibliomtricos utilizados en Cienciometra, en nuestro contexto los ms utilizados se refieren a la productividad, ya sea individual o institucional, y a la citacin.
Algunas de las dificultades que podemos encontrar para realizar anlisis cientimtricos en educacin, adems de las propias de la disciplina, se refieren a cuestiones acerca de la bsqueda, acceso y tratamiento de la informacin.
Las revistas de investigacin educativa espaolas no estn indizadas en ndices internacionales (SSCI, Eas y CIJE)14, siendo escasas las que poseen un prestigio cientfico internacional, y tan slo a escala nacional.
14
S.S.C.I.: Social Sciencies Citation Index (Indice de citacin en Ciencias Sociales). C.I.J.E.: Current Index to Journal in Education (Indice actualizado de Revistas Educativas). E.A.: Educational Abstracts (Resmenes de investigacin educativa).
105
En este mismo sentido, tradicionalmente los trabajos de investigacin educativos no han estado registrados en base de datos, o incipientemente lo han estado en algunas poco consistentes y diseminadas.
El registro de los datos e informaciones necesarios para elaborar estudio cienciomtricos no es en ocasiones todo lo riguroso que debiera o puede encontrarse con las dificultades y sesgos como los sealados por Spinak (1996) en los anlisis de citaciones:
La auto citacin puede ensombrecer los ndices de citacin en una disciplina, tanto como los sesgos y propensin de autores y revistas a citar a trabajos, idiomas o autores determinados (Campbell, 1990).
La autora mltiple, los homgrafos por el empleo de un solo apellido o iniciales y sinnimos dificultan el registro de este tipo de datos.
Suelen darse enormes variaciones y errores en el registro de las referencias bibliogrficas, incluso realizndose algunas de manera implcita o mediante el uso de epnimos.
En ocasiones no existen o se siguen parmetros claros en el registro de informaciones, existiendo variaciones en la forma de registro segn las disciplinas o los pases (Muruguesan y Moravssik, 1978; Irvine y Martin, 1985).
En general, la mayora de problemas y dificultades se derivan de la escasa consideracin del registro de la informacin como un valor cientfico importante (Fernndez Cano, 2000). Y por lo tanto la realizacin de esta tarea de forma muy laxa.
106
3.7. EL ARTCULO DE REVISTA CIENTFICA COMO FUENTE DE INFORMACIN.
Una de las principales formas de comunicacin de los hallazgos cientficos a la comunidad es la publicacin de un informe/artculo en una revista especializada. Formato de edicin que adoptan la mayora de informes de investigacin identificados como posible muestra en esta Tesis, como se indica en las secciones dedicadas al estudio emprico, y que recuperados, son la principal fuente de datos.
El origen histrico de la publicacin de revistas cientficas hay que buscarlo en la necesidad de comunicacin entre los cientficos para mejorar tanto el desarrollo de sus trabajos como la difusin de stos. Comunicacin que con un origen epistolar deriv en una comunicacin publica, organizada y formal asociadas al desarrollo de los colegios profesionales.
Este inicio gremial de las revistas ha hecho, en palabras de Crane (1972), que se tornen en un lobby epistemolgico, smbolo de un colegio invisible de investigadores que comparten intereses comunes. Cuestin que puede ser enormemente positiva al permitir el desarrollo de disciplinas especficas; y no tanto, si endogmicamente limitan la publicacin en aspectos temticos, metodolgicos o de autora.
Las dos revistas ms antiguas, que datan de 1665, fueron Journal des Savants de Pars15 y Philosophical Transactions of the Royal Society of Medicine de Edimburgo.
La funcionalidad de estas fuentes parte de la superacin de las limitaciones

15
que ofrecan las cartas, folletos y libros como vehculos de
El Diario de los sabios, ya recomendada por Feijoo en su Teatro Crtico Universal (1726-40/1988, p. 12).
107
comunicacin cientfica, con perspectivas sociales y didcticas, que no epistmicas; aunque su uso como fuente de publicacin de nuevos conocimientos es relativamente reciente.
En la actualidad, con una visin ciertamente papirocntrica, el punto final de cualquier investigacin es su publicacin en una revista cientfica, como medio de reivindicacin de la propiedad intelectual de los trabajos. Hecho, que condicionado y mediado usualmente por una revisin previa de expertos o revisin por pares, es tomado como una declaracin y reconocimiento de la comunidad cientfica de la originalidad y valor del trabajo publicado.
Esta condicin, que transform estas fuentes de un artefacto social en una tcnica de acumulacin de la informacin, ha planteado que la motivacin inicial para leer sus contenidos parezca, como plantea Fernndez Cano (1995b) menor que la motivacin para publicar en ellas.
Pero para publicar en una fuente determinada, adems de la revisin del contenido de los informes/artculos, se requiere la adopcin de unas condiciones, estructura de los trabajos, y adecuacin de las caractersticas del trabajo a aspectos propios de la fuente de publicacin en la que se editan, establecidas por los Consejos Editoriales de stas.
Este aspecto, que en cierto sentido puede procurar una cierta homogeneidad de formatos que facilitaran su revisin y registro en trabajos de revisin; a su vez provocan una serie de limitaciones relacionadas con el estilo de publicacin en el que se tiende en numerosas ocasiones a la realizacin de sntesis, por el limitado espacio ofrecido a cada trabajo, que puede dificultar la apreciacin de matices y cuestiones fundamentales para la comprensin de las investigaciones desde una perspectiva global.
108
En algunos casos, la necesidad de publicacin como reconocimiento de la labor cientfica, como en la investigacin educativa y en el mbito espaol, presenta serias dificultades por la escasez de fuentes con un reconocido prestigio internacional.
109
110

04-Capítulos 1 Al 3

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

04-Capítulos 1 Al 3

Diunggah oleh

Hak Cipta:

Format Tersedia

Anlisis cientimtrico, conceptual y metodolgico de la investigacin espaola sobre evaluacin de programas educativos (1975/2000).

CAPTULO I. INVESTIGACIN EVALUATIVA Y EVALUACIN DE PROGRAMAS.

Captulo I. Investigacin evaluativa y evaluacin de programas.

1.2. LA INVESTIGACIN EDUCATIVA, LA INVESTIGACIN EVALUATIVA Y LOS ESTUDIOS DE SNTESIS.

Pero este establecimiento de una

ciencia de la educacin como

Captulo I. Investigacin evaluativa y evaluacin de programas.

A.E.R.A.: American Educational Research Association.

En Alemania, la investigacin educativa tiene sus orgenes

Captulo I. Investigacin evaluativa y evaluacin de programas.

Captulo I. Investigacin evaluativa y evaluacin de programas.

En todo el proceso de investigacin evaluativo, desde la seleccin

Captulo I. Investigacin evaluativa y evaluacin de programas.

La complejidad de su objeto de conocimiento y los contextos en

La recogida de datos queda condicionada a la viabilidad del

proceso y posibilidades de los sujetos intervinientes.

La replicacin, dadas las peculiares e irrepetibles caractersticas de

la ejecucin, es prcticamente imposible.

La toma de decisiones sobre la paralizacin, sustitucin o

Mientras el propsito de la investigacin es el incremento del

En la investigacin el inters personal o cientfico delimita el

difcilmente replicable el que sin hiptesis explcitas,

En otros aspectos, mientras la investigacin encuentra su validez

1.3. LA EVALUACIN EDUCATIVA Y LA EVALUACIN DE PROGRAMAS COMO CAMPO DISCIPLINAR.

Captulo I. Investigacin evaluativa y evaluacin de programas.

Captulo I. Investigacin evaluativa y evaluacin de programas.

Mayor interrelacin entre las actividades de evaluacin y

La evaluacin de programas desde una perspectiva metodolgica es

En la evaluacin de programas se produce una mayor implicacin

En la evaluacin de programas pueden integrarse estrategias de

La evaluacin de programas no debe entenderse como un proceso

uniforme con un modelo nico de evaluacin o con una nica metodologa.

La evaluacin de programas se ajustar inicialmente a la idea que

Ir referida a un programa o conjunto sistemtico de actuaciones

que se ponen en marcha para alcanzar unos objetivos.

Junto a la funcin educativa, el programa debe estar cumpliendo

otras funciones de carcter ideolgico o poltico.

Planificacin y evaluacin deben pensarse simultneamente.

Considerando incluso la evaluacin de necesidades como un tarea previa a la planificacin de un programa.

Captulo I. Investigacin evaluativa y evaluacin de programas.

Los modelos de evaluacin deben ser al mismo tiempo modelo de

El evaluador debe estar familiarizado con el objeto de la evaluacin

Los criterios o indicadores son bsicos en la evaluacin as como el

establecimiento de estndares o grados aceptables de xito.

La evaluacin se entiende como proceso, confirindole un carcter

Actualmente el nfasis de la tarea evaluativa se pone en la emisin

Deben superarse las opciones excluyentes de metodologas

No todos los diseos son vlidos, debiendo responder a criterios de

Debe tener como proyeccin la toma de decisiones, lo que implica

otorgarle una utilidad a la evaluacin.

Se remarca el carcter contextualizado, en el sentido que ha de

Hay que prestar especial atencin a los efectos no previstos, ya que

Captulo I. Investigacin evaluativa y evaluacin de programas.

1.4. RELACIN ENTRE LA EVALUACIN DE PROGRAMAS Y LAS DISCIPLINAS PEDAGGICAS.

Captulo I. Investigacin evaluativa y evaluacin de programas.

INTERNACIONAL. DESARROLLO HISTRICO.

30 del siglo XX, se comienzan a promover modelos

Captulo I. Investigacin evaluativa y evaluacin de programas.

Los modelos de evaluacin fracasan como modelos cientficos. Para Cook y

Es necesario imprimir una dinmica evaluativa como proceso constructivo

Se hacen necesarias fuentes de triangulacin en diversos aspectos del proceso:

Captulo I. Investigacin evaluativa y evaluacin de programas.

1.6. LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS EN ESPAA.