Procesos de acreditacin: Informacin e indicadores

Judith Scheele* Con la colaboracin de Jos Joaqun Brunner

Documento de Trabajo CPCE N 8 http://www.cpce.cl/ Septiembre, 2009

Trabajo preparado en el marco del Convenio entre el Comisin Nacional de Acreditacin (CNA), por un lado y, por el otro, el Centro de Polticas Comparadas de Educacin, Universidad Diego Portales, y el Departamento de Ingeniera Industrial de la Facultad de Ciencias Fsicas y Matemticas, Universidad de Chile, para disear un Sistema de Informacin e Indicadores de la Educacin Superior. Cont asimismo con el apoyo del Programa Anillo (SOC01) de la Comisin Nacional de Investigacin Cientfica y Tecnolgica (Conicyt) en Polticas de Educacin Superior. Las opiniones vertidas y los anlisis corresponden exclusivamente a los autores y no comprometen a las instituciones mencionadas. * Correo de contacto: judith.scheele@cpce.cl

ndice
Introduccin ................................................................................................................................. 3 1. Caractersticas bsicas de los sistemas de acreditacin ....................................................... 4 1.1. Enfoques y metodologas ................................................................................................... 5 1.2. Criterios, estndares e indicadores .................................................................................... 9 1.3. Evaluacin y control de los procesos de acreditacin ..................................................... 22 2. Aplicacin prctica de sistemas de acreditacin: ejemplos nacionales ............................ 29 2.1. Estados Unidos de Amrica ........................................................................................... 30 2.2. Australia y Japn ............................................................................................................. 35 2.3. Unin Europea.................................................................................................................. 38 Conclusin .................................................................................................................................. 42 Bibliografa ................................................................................................................................. 44 Anexo 1: Lista de indicadores claves de performance (ICPs) ...................................................... 46 Anexo 2: Ejemplo de un informe de meta-acreditacin - Evaluacin de la Agencia Nacional de Evaluacin y Acreditacin de la Calidad, Espaa ........................................................................ 53

Cuadros
Cuadro 1.1. Indicadores Claves de Performance (ICPs) para la evaluacin de la calidad de instituciones de educacin superior (ejemplo) ........................................................................... 11 Cuadro 2.1 Indicadores para evaluar la calidad de instituciones, facultades y estudiantes ...... 32 Cuadro 2.2 Japn: indicadores claves para la auto-evaluacin y su subdivisin en temas esenciales, recomendables y opcionales .................................................................................... 37

Figuras
Figura 1.1. Mtodo del semforo para visualizar el progreso institucional ............................... 12 Figura 1.2. Modelo de evaluacin y acreditacin de programas de educacin superior ........... 15 Figura 1.3. Estndares e indicadores para la evaluacin de calidad segn el modelo CIPOF .... 16

Introduccin
La acreditacin como forma de asegurar la calidad de la educacin superior existe hace ms de veinte aos con aplicacin relativamente generalizada en los pases desarrollados.

La mayora de los pases del mundo ha establecido procedimientos y sistemas de aseguramiento de la calidad. Los modelos tradicionales e informales de autorregulacin acadmica considerados durante siglos medios suficientemente efectivos para garantizar la calidad fueron sustituidos por mecanismos formales de aseguramiento de la calidad que conllevan varios procedimientos externos de evaluacin e inspeccin.

En este contexto, la nocin de calidad se transform en un instrumento imprescindible para la evaluacin de programas e instituciones de educacin superior, con efectos potencialmente decisivos (como la denegacin de fondos pblicos a las instituciones que no cumplen con los criterios de calidad) (Van Damme, 2004: 134-5).

Por medio de estndares formales los consejos (nacionales) de acreditacin establecen el nivel mnimo de calidad o en algunos casos el nivel de excelencia que las instituciones de educacin superior deben poseer para obtener el estatus de acreditadas. De esta manera, se puede distinguir entre instituciones y programas de estudio de buena calidad y aquellos que, segn los criterios externos, no alcanzan el nivel mnimo de calidad.

Dados los continuos cambios y desarrollos en la educacin terciaria internacionalizacin, desregulacin, autonoma creciente de las instituciones e intervencin de mecanismos de mercado en el sector la calidad se convierte en un criterio cada vez ms importante para que gobiernos, estudiantes y acadmicos puedan determinar cules instituciones de educacin superior merecen una preferencia. A su vez, la acreditacin es el mtodo por excelencia empleado para asegurar y estimular la calidad.

Este ensayo analiza la acreditacin y los modelos de inspeccin y evaluacin involucrados en ella. Primero, consideraremos las diferentes formas de acreditacin con los correspondientes mtodos de evaluacin. En este marco se analizan tambin los estndares bsicos de calidad, establecidos por los organismos de acreditacin como benchmarks (inter)nacionales, y los indicadores que sirven para medir el desempeo de los programas e instituciones de educacin superior.

Despus, el segundo captulo se centra en algunos ejemplos concretos de acreditacin en pases desarrollados. Examinando varios sistemas nacionales de acreditacin, mostraremos las diferencias entre pases en cuanto al enfoque y contenido de estos procesos.

1. Caractersticas bsicas de los sistemas de acreditacin

La acreditacin es uno de los procedimientos de hecho, el ms comn-- utilizado contemporneamente para el aseguramiento de calidad de la educacin terciaria. Su propsito es controlar y asegurar la calidad de la educacin superior, permitiendo proteger a los clientes (estudiantes) y a los proveedores de educacin superior de aquellas instituciones que mantienen prcticas de enseanza y administracin que no cumplen con las exigencias mnimas de calidad. Mediante agencias e informes de evaluacin, el modelo de acreditacin apunta a mejorar la calidad de un programa de estudio o de una institucin de educacin superior. La acreditacin puede realizarse a travs de la autoevaluacin (self-study) y/o de evaluaciones peridicas llevadas a cabo por acadmicos externos (peer review) (Vlsceanu et.al., 2007: 25). El proceso se divide generalmente en tres etapas. 1) Etapa de autoevaluacin realizada por la facultad, los administradores y los acadmicos responsables de la institucin o carrera, quienes redactan un informe centrado en los estndares y criterios establecidos por la organizacin de acreditacin. 2) Visita de estudio realizada por un equipo de acadmicos seleccionado por la organizacin de acreditacin que evala las prcticas e instalaciones de la institucin y entrevista a los administradores y acadmicos, resultado de lo cual se genera un informe de evaluacin que incluye una recomendacin al organismo acreditador. 3) Estudio por parte del organismo de acreditacin, habitualmente su consejo, de la evidencia propuesta por el equipo de acadmicos; le permite tomar una decisin final (un s o un no) que se comunica a la universidad correspondiente y a todos los interesados (ibd.: 25-6). Cuando la agencia u organismo evala positivamente a una institucin, otorgndole el estatus de acreditada, no lo hace por un tiempo indefinido; fija un plazo de vigencia de dicho estatus y, cuando ste expira, el proceso de acreditacin comienza nuevamente. Tiene, por tanto, un carcter cclico. Si una institucin, luego de sucesivas evaluaciones, no logra cumplir con los estndares de calidad, la agencia le otorga un perodo de libertad condicional` (tpicamente un ao) para mejorar los programas de estudio y las prcticas de administracin. Si luego de transcurrido este perodo la institucin no aprueba la inspeccin del organismo, pierde su estatus de acreditada y, en el peor de los casos, pierde adems el derecho a inscribir a nuevos estudiantes (Mihailescu, 2004: 36). Existen varios tipos de acreditacin, dependiendo del sistema educacional de cada pas y del objetivo de los procesos de acreditacin. En el modelo de acreditacin institucional se evala a la institucin completa. Es decir, se consideran todas las prcticas administrativas y docentes que influyen en la calidad de la educacin impartida por la institucin, como tambin los procesos de admisin y evaluacin de estudiantes, las instalaciones, los servicios estudiantiles 4

y las tutoras. Los criterios y estndares que se aplican para este tipo de acreditacin son generales y tienden a estar basados en las mejores prcticas` de universidades tradicionales. En cambio, la acreditacin especializada se centra en programas o unidades individuales (por ejemplo, la enseanza profesional) y, por tanto, utiliza estndares especficos para la evaluacin de currculos y programas de estudio (Vlsceanu et.al., 2007: 26). Adems, las organizaciones de acreditacin hacen uso de diversas metodologas durante el proceso de evaluacin: desde la utilizacin de `estndares de excelencia (excellence standards approach) hasta evaluaciones de `aptitud para el propsito (fitness for purpose approach) (Van Damme, 2004: 132). A continuacin (seccin 1.1), nos focalizaremos en diversas metodologas y enfoques adoptados por distintos organismo de acreditacin en el mundo.

1.1. Enfoques y metodologas

A pesar de las diferencias existentes entre diferentes enfoques y organismos de acreditacin, es posible identificar ciertas caractersticas que comparten todas las formas de acreditacin (Hmlinen et.al., 2004: 18): El objetivo de la acreditacin es certificar en el caso de un curso, programa, unidad acadmica o institucin, el cumplimiento de ciertos estndares de calidad predeterminados; Una agencia o consejo calificados realiza la evaluacin; Los estndares se utilizan como benchmarks; Los estndares pueden representar un requisito mnimo o un estadio de excelencia; La decisin del organismo de acreditacin incluye un elemento binario, que se expresa siempre en un s o un no; Las decisiones de acreditacin tienen un lmite de tiempo.

Generalmente, la acreditacin es impulsada por el Estado, con el propsito de asegurar un nivel mnimo de calidad de la educacin terciaria. En algunos pases son las propias universidades quienes introducen procedimientos de (auto)evaluacin o bien contratan a organizaciones de acreditacin para buscar formas de mejorar continuamente la calidad de su enseanza y sus procesos administrativos. Hmlinen, Mustonen y Holm (2004) argumentan que las universidades tienen la responsabilidad de proveer a sus estudiantes educacin de calidad. Asimismo, tendran la responsabilidad de desarrollar un sistema adecuado de evaluacin de la calidad, preferentemente a travs de un organismo independiente.

Por otro lado, sostienen que los intereses de los distintos actores dentro del mbito educativo pueden ser muy divergentes. Por ejemplo, los intereses de los estudiantes y los empleadores que contratan a graduados pueden diferir considerablemente de los intereses de la administracin acadmica. En ese caso, un sistema de acreditacin impulsado por el Estado puede defender los intereses de los estudiantes y empleadores, dando nfasis a la responsabilidad que las universidades tienen hacia la sociedad (ibd.: 20). La necesidad de introducir procedimientos de acreditacin puede surgir de varios factores y es expresin, habitualmente, de desarrollos polticos o sociales que influyen en las relaciones de poder y la posicin de las universidades en la sociedad. Entre tales factores suelen mencionarse dos principalmente. Primero, la emergencia de universidades privadas que funcionan con independencia del Estado, por lo que el gobierno no tiene modo de controlar la gestin y los programas de estudio de estas instituciones (Mihailescu, 2004: 33). Por medio de un sistema de acreditacin, en combinacin con subsidios condicionados, los gobiernos logran influir sobre el funcionamiento de estas instituciones (y, tambin, de las instituciones pblicas) o, a lo menos, distinguir entre las instituciones que cumplen con las exigencias mnimas de calidad y aquellas que no son capaces de alcanzar este umbral. Segundo, la globalizacin y la diversificacin de la educacin terciaria hacen posible que los estudiantes tengan la oportunidad de desplazarse hacia, o de estudiar en, institutos de educacin terciaria no-universitaria, distintos de las universidades tradicionales. Es importante que los ttulos que obtengan en estas instituciones sean reconocidos por las universidades (en caso que los estudiantes deseen continuar su educacin en una universidad extranjera o distinta a aquella donde realizaron sus primeros estudios) y por los empleadores. Luego, la acreditacin controla la calidad de los programas de estudio y determina si una institucin merece ser reconocida por el Estado como una legtima proveedora de servicios de educacin superior, lo cual significa que los crditos de estudio y los ttulos o diplomas que la institucin otorga son confiables y se hallan formalmente fiscalizados por el Estado y los organismos de aseguramiento de la calidad (ibd.: 34). Los sistemas de acreditacin no slo funcionan como un modelo de aseguramiento de la calidad. Tambin generan informacin sobre los programas e instituciones de educacin superior, por medio de lo cual promueven la transparencia y ayudan a los (futuros) estudiantes al momento de elegir una universidad y un programa de estudio. A su vez, las instituciones se benefician de dicha informacin pblica y la utilizan en los procesos de admisin de estudiantes provenientes de otras instituciones, facilitndose as la aceptacin de certificados y crditos de estudio obtenidos previamente. Es decir, la transparencia generada por los procesos de acreditacin ayuda a las universidades a tomar decisiones sobre la transferencia de crditos de aprendizaje y a hacerse responsable por sus resultados ante la sociedad; a los estudiantes a ejercer informadamente su derecho a elegir y a la autoridad pblica a guiar el sistema de educacin superior. 6

Adems, la acreditacin estimula procesos de autoevaluacin en las instituciones al exigir evaluacin interna, proceso durante el cual se espera que las instituciones elaboren un informe sobre la calidad de sus programas. Usualmente, este informe debe incorporar una estrategia de mejoramiento de la calidad, de modo que la institucin asume un compromuiso de mejorar sus servicios (Ewell, 2004: 8). Van Damme sostiene que la acreditacin, aparte de vigilar el mantenimiento de la calidad de la educacin superior, cumple con las siguientes necesidades y ambiciones (Van Damme, 2004: 138): Asegura el reconocimiento internacional de crditos y ttulos universitarios para garantizar el cumplimiento de ciertos estndares bsicos de calidad. Hace posible comparaciones de tipo `benchmarking internacional en relacin con estndares y requisitos y de programas y ttulos acadmicos promoviendo la movilidad de estudiantes y la transferencia de servicios en educacin. Fortalece a los organismos de aseguramiento de la calidad en su capacidad de informar a los estudiantes y al pblico general sobre las prcticas de las instituciones de educacin superior y las responsabilidades que asumen con la sociedad. Permite desarrollar otras formas de regulacin y programas de fomento pblico va el financiamiento fiscal, el apoyo experto, el reconocimiento de instituciones y programas nuevos a partir de juicios de calidad.

Con todo, el objetivo primero y esencial del modelo de acreditacin es determinar el nivel de calidad de los programas e instituciones de educacin terciaria y diferenciar a las instituciones que cumplen con los criterios de un nivel mnimo de calidad de las que no (`poder discriminativo: el poder de diferenciar las instituciones buenas de las de menor calidad) (Miclea, 2004: 170). No todos los sistemas de acreditacin se centran en la evaluacin peridica de instituciones y programas ya existentes, sin embargo; en algunos pases, los procedimientos se focalizan en los nuevos programas de estudio. En este contexto, la acreditacin sirve para reconocer oficialmente el programa y, a partir de ah, abrir el camino para el financiamiento pblico (Hmlinen et.al., 2004: 18). Una institucin de educacin superior que introduce un nuevo programa de estudio o que establece una nueva facultad, tiene que dirigirse al organismo de acreditacin para obtener una autorizacin provisional. No slo las instituciones nuevas tienen que pedir la aprobacin del organismo de acreditacin; tambin las universidades tradicionales deben someter sus nuevos programas o carrera y facultades o escuelas a una evaluacin externa para obtener la correspondiente autorizacin provisional. La autorizacin provisional constituye una fase de prueba para la acreditacin. Los programas nuevos que durante el perodo de autorizacin provisional demuestran que cumplen con los estndares y criterios legales, entran en la fase de acreditacin. Cuando el consejo de 7

acreditacin, despus de varias evaluaciones, otorga el estatus de acreditado al instituto o programa nuevo, la institucin correspondiente dispone de autonoma y del derecho a otorgar diplomas y ttulos legalmente reconocidos (Mihailescu, 2004: 36). Importante es sealar que la acreditacin conlleva consecuencias econmicas dado que los fondos pblicos a menudo estn condicionados a la obtencin del estatus de acreditada por parte de la institucin o programa. Las instituciones acreditadas tienen el derecho de recibir fondos del Estado y sus estudiantes pueden postular a becas y cupos profesionales que el Gobierno reserva para los estudiantes de universidades acreditadas (Van Damme, 2004: 130). La OCUFA (Confederacin de Asociaciones de Facultades Universitarias de Ontario) sostiene que la vinculacin entre acreditacin y financiamiento pblico tiene tambin un lado negativo. El gobierno decide sobre la entrega de subsidios en base a criterios generales que valen para todo el sistema de educacin terciaria. En consecuencia, las instituciones que tienen una visin y estructura distintas a las de las universidades tradicionales se ven obligadas a concentrarse en satisfacer exigencias externas, determinadas por el gobierno o por un organismo de acreditacin, en vez de seguir su misin institucional especfica (OCUFA, 2006: 11). El sistema de educacin superior puede perder diversidad si todas las instituciones ajustan su enfoque para conformarse al mismo conjunto de criterios predeterminados, basados en los estndares tradicionales de la educacin universitaria. La OCUFA, adems, advierte acerca del impacto que el financiamiento pblico condicionado puede tener sobre los recursos de las instituciones pequeas. Las universidades nuevas y pequeas no disponen de los mismos recursos que las universidades tradicionales y deben invertir una parte relativamente grande de su presupuesto en el cumplimiento de los estndares legales. Parte de las universidades pequeas o nuevas no es capaz de invertir el dinero necesario en el mejoramiento de la calidad y no consigue, por lo tanto, el estatus de acreditada. Si los fondos del Estado son accesibles solo para instituciones acreditadas, significa que son justamente las instituciones con menores recursos o con proyectos ms innovadores las que no pueden acceder a los subsidios estatales (ibd.). La acreditacin es parcialmente igual a la evaluacin externa. En muchos pases ambos procedimientos tienen los mismos objetivos: mejorar la calidad de la educacin, proporcionar informacin pblica y asegurar que la enseanza cumpla con algunos estndares de calidad predeterminados. Ambos son formas de asegurar la calidad de la educacin a travs de la evaluacin de un programa o institucin en funcin de ciertos criterios de referencia (i.e., estndares o benchmarks). La diferencia est en que las evaluaciones juzgan en trminos ms generales, enfocndose en los puntos fuertes y dbiles de un programa o institucin, mientras que la acreditacin tiene un objetivo limitado: decidir si el programa o la institucin cumple o no con los estndares y criterios de calidad vigentes para obtener el estatus de acreditada (una decisin si/no). Estos estndares y requisitos son determinados externamente por un organismo de aseguramiento de la calidad o por un consejo dedicado especficamente a la acreditacin. Se puede

argumentar, por tanto, que la acreditacin es el ltimo paso de la evaluacin (Hmlinen et.al., 2004: 20). Los organismos de acreditacin se componen habitualmente de expertos acadmicos seleccionados por las propias instituciones de educacin superior. En algunos pases el Parlamento debe ratificar el nombramiento de todos o algunos de los miembros de los consejos de acreditacin. Estos trabajan con la colaboracin de comits de pares expertos especializados en los diversos campos disciplinarios (y de la gestin acadmica), cuyos integrantes disponen de las cualificaciones necesarias para definir los estndares bsicos de calidad de un programa o institucin (Mihailescu, 2004: 35). Los comits expertos, luego de realizar una visita e inspeccionar in situ la institucin, unidad o programa, presentan sus resultados en un informe al consejo de acreditacin. El organismo central elabora, entonces, un informe propio basado en las conclusiones de los comits expertos y tambin en el informe de autoevaluacin de la institucin. Finalmente decide si otorgar o no la acreditacin. En suma, puede sostenerse que los comits de pares realizan la evaluacin de las instituciones y programas mientras que el organismo de acreditacin y su consejo dispone de la facultad legal para discernir y determinar si las pruebas aportadas demuestran un desempeo suficiente para otorgar a la institucin, unidad o carrera el estatus de acreditada (ibd.: 38).

1.2. Criterios, estndares e indicadores

Cualquier modelo de acreditacin que se desee implementar exige definir algunos estndares requisitos bsicos que sirven para determinar el nivel de calidad de los programas e instituciones evaluados. Los estndares funcionan como benchmarks; es decir, puntos de referencia para medir el desempeo de las instituciones y determinar su nivel de calidad. Para cada estndar se determinan uno o ms indicadores que sirven para evaluar y, en lo posible, medir las caractersticas y desempeos especficos de las instituciones. Los organismos de acreditacin utilizan estos indicadores para recolectar pruebas que demuestran si el programa o la institucin cumplen o no con los estndares predeterminados. Los indicadores difieren de los estndares en que su incumplimiento normalmente no es suficiente para negar la acreditacin, mientras que la evaluacin negativa de estndares bsicos puede resultar en una denegacin o retiro del estatus de acreditado (Van Damme, 2004: 130-1). Aparte de los estndares e indicadores, el procedimiento de la acreditacin necesita varios criterios que orientan los procesos decisorios de la acreditacin y que determinan cuando el cumplimiento de, o la conformidad con, los estndares es satisfactoria como para emitir un juicio afirmativo. Los estndares y criterios, adems de los indicadores y benchmarks, frecuentemente son establecidos explcitamente por la ley o por los organismos de acreditacin, pero tambin pueden ser ms o menos implcitos. En general existe una combinacin de criterios y requisitos explcitos e implcitos (Freny y Rozsnay, 2004: 59). 9

La evaluacin del desempeo de programas e instituciones a partir de determinados estndares, i.e. benchmarking, es el mtodo estandarizado para la acreditacin puesto que resulta adecuado para la recoleccin y el procesamiento de datos de funcionamiento que despus pueden ser utilizados para la comparacin de diferentes instituciones. En general, el enfoque del benchmarking se centra en la definicin de buenas prcticas, el diagnstico de problemas y la identificacin de puntos fuertes y dbiles con el propsito de motivar a las instituciones a mejorar su desempeo (Vlsceanu et.al., 2007: 35). Los modos en que se aplica el mtodo de benchmarking en los procesos de acreditacin difieren, dependiendo del enfoque y el objetivo de la acreditacin. As, la literatura distingue varias diferentes formar de benchmarking. Benchmarking interno: consiste en la comparacin del desempeo de programas similares en diferentes sectores o facultades de una determinada institucin. Esta forma de benchmarking se usa normalmente para la autoevaluacin de grandes instituciones descentralizadas. Benchmarking competitivo (externo): se focaliza en la evaluacin y comparacin del desempeo de diferentes instituciones que se consideran competidoras en dominios considerados importantes. En la evaluacin se utilizan indicadores mensurables especficos. Benchmarking funcional (externo y colaborativo): implica la comparacin de procesos, prcticas y resultados entre instituciones similares que no son competidoras inmediatas. Benchmarking implcito: se centra en la produccin y publicacin de datos e indicadores de desempeo que pueden servir para un anlisis comparativo. Esta forma no est fundada en la participacin voluntaria y pro-activa de instituciones (como en otros tipos de benchmarking) sino que es el resultado de la presin de los procesos de mercado y del financiamiento pblico. En Europa gran parte de los sistemas de acreditacin utilizan una forma de benchmarking de esta ndole. Finalmente, el Benchmarking basado en procesos no slo hace una comparacin de datos e indicadores convencionales de desempeo, sino que evala cualitativamente los procesos que generan los resultados (ibd.: 38-9). La aplicacin del mtodo de benchmarking exige el establecimiento de una lista de indicadores que funcionan como puntos de referencia para determinar el nivel de calidad. Estos indicadores difieren de un pas a otro, as como su cantidad y tipo. Los indicadores ms comunes son los estndares de calidad bsicos o de excelencia, benchmarks e Indicadores Claves de Performance (Key Performance Indicators). En el Reino Unido las organizaciones de acreditacin y los consejos de evaluacin de calidad trabajan con Indicadores Claves de Performance (ICPs) que sirven para indicar los puntos fuertes y dbiles de un programa o institucin. En general, un nmero de diez ICPs es suficiente para hacer una adecuada evaluacin, pero la mayora de las universidades utiliza entre diez y veinte indicadores (CUC, 2008: 13). El Comit de Ctedras Universitarias (CUC) evala los sistemas de aseguramiento de calidad y hace recomendaciones a las universidades para fomentar el uso eficaz de los ICPs. El CUC propone un sistema de dos super o meta ICPs 10

con siete a diez ICPs que se relacionan directamente con la estrategia y los objetivos de la institucin (Cuadro 1.1.). Cuadro 1.1. Indicadores Claves de Performance (ICPs) para la evaluacin de la calidad de instituciones de educacin superior (ejemplo) Sper ICPs Sostenibilidad Institucional Otros ICPs Experiencia de los Estudiantes Administracin & Direccin Estado Econmico Involucramiento Regional Excelencia en Investigacin Perfil Acadmico y Posicin de Mercado Diversidad Estudiantil Recursos Humanos y Personal (profesorado) Propiedades Comercializacin Ingresos de Investigacin

Fuente: CUC (Committee of University Chairs) (2008) CUC Report on the implementation of Key Performance Indicators: case study experience, p.14. Disponible en: http://www.shef.ac.uk/cuc/pubs/CUC_Report.pdf.

El CUC no obliga a las universidades a utilizar estos indicadores especficos, sino que les recomienda elegir dos reas en que se centre el proceso de acreditacin (los sper ICPs) y definir un mximo de diez indicadores adicionales. En los Anexos 1 y 2 al final de este documento se encuentra una lista con todos los ICPs establecidos por el CUC. Las instituciones de educacin superior seleccionan los indicadores que coinciden con sus objetivos y con los criterios determinados por el organismo nacional de acreditacin. El proceso de evaluacin se basa en los datos y en la evidencia cualitativa que las instituciones proporcionan al CUC. Cada informe de evaluacin incluye un anlisis de los resultados a la luz de los objetivos y criterios de los ICPs. Un mtodo efectivo de evaluacin continua del desempeo de instituciones es el `modelo del semforo en el que se muestran los resultados de los ICPs principales en cuatro colores: verde, ambarino-verde, ambarino y rojo. Las definiciones de los colores son simples y claras, mostrando de un solo golpe de vista el desempeo de los ICPs, lo que contribuye a reforzar la utilidad del modelo (CUC, 2006: 7).

11

Figura 1.1. Mtodo del semforo para visualizar el progreso institucional Verde Resultados buenos: funciona segn los criterios de performance, bajo riesgo de perturbar el desempeo general. Resultados satisfactorios: algunas preocupaciones respecto al desempeo en este campo, revisin deseada. Resultados mixtos: algunas preocupaciones significativas respecto al desempeo, revisin necesaria, atencin a los puntos dbiles, riesgo mediano. Resultados alarmantes: problemas serios amenazan el desempeo en este campo, alto riesgo para la calidad general de la institucin.

Ambarino-verde

Ambarino

Rojo

Fuente: CUC (Committee of University Chairs) (2006) CUC Report on the monitoring of institutional performance and the use of Key Performance Indicators, p. 7. Disponible en: http://www.shef.ac.uk/cuc/pubs/KPI_Booklet.pdf.

Varias instituciones y organismos de acreditacin (incluso algunos departamentos de gobierno) utilizan este `modelo del semforo para evaluar y juzgar el desempeo de las instituciones en campos como la direccin, el perfil acadmico, la gestin financiera y la infraestructura (ibd.: 14). El CUC entrega a las instituciones de educacin superior recomendaciones y modelos de aplicacin eficaz de los ICPs, pero no las obliga a utilizarlos. La junta directiva (board) de las instituciones eligen cules recomendaciones del Comit aplicar y tienen libertad para decidir sobre cuestiones tales como el nmero y alcance de los ICPs. La mayora de las instituciones prefiere los ICPs que abarcan todos los aspectos del desempeo, aunque tambin hay instituciones que sostienen que los ICPs son ms efectivos cuando son selectivos y cubren slo los temas de mayor importancia para los miembros del board e inspectores o auditores (ibd.: 7). Un modelo de acreditacin frecuentemente utilizado evala el desempeo y la calidad de las instituciones de educacin superior por medio de estndares bsicos. Estos definen los requisitos y condiciones que las instituciones deben incorporar en sus prcticas para alcanzar un nivel mnimo de calidad de acuerdo a las especificaciones del organismo acreditador. Adems de los estndares, estos organismos establecen algunos indicadores complementarios y ofrecen criterios para medir el desempeo (Van Damme, 2004: 143). El nmero de estndares e indicadores difiere entre los pases porque no existen directrices internacionales formales que instruyan a las instituciones y organizaciones de acreditacin sobre el modo de aplicar un modelo de acreditacin. En los Pases Bajos, por ejemplo, el consejo de acreditacin nacional (Dutch Accreditation Agency) utiliza un modelo de seis estndares y 24 indicadores, mientras que el modelo de la Asociacin de Acreditacin Universitaria de Japn contiene ms de doscientos sub-estndares o indicadores. 12

A pesar de la carencia de directrices formales, se supone que el nmero de estndares e indicadores no puede ser demasiado grande para no desanimar a las instituciones en su decisin de mantener un sistema efectivo de aseguramiento de la calidad. La carga administrativa de las evaluaciones y el nmero de estndares deben estar directamente relacionados con los objetivos del sistema y con los beneficios para las instituciones. Es decir, la cantidad de medidas e informacin que piden los organismos de acreditacin debe ser proporcional a los beneficios de fomento de la accountability, reputacin del programa o la institucin y mejoramiento de la calidad (ibd.: 146). Al limitar el nmero de estndares e indicadores se facilita organizar el proceso de evaluacin en dos fases: Primero, una fase de evaluacin interna que se encuentra completamente bajo la responsabilidad de la institucin correspondiente y, segundo, una fase de evaluacin externa realizada por organizaciones de acreditacin independientes. En la fase de evaluacin interna se consideran todos los aspectos que la institucin designa como relevantes para su performance y distincin. En cambio, en la fase de evaluacin externa, los sistemas de acreditacin y aseguramiento de la calidad se limitan exclusivamente a los aspectos, estndares e indicadores relevantes para los objetivos de calidad a nivel nacional o suprainstitucional (ibd.: 148). La Asociacin Europea para el Aseguramiento de la Calidad en la Educacin Superior (European Association for Quality Assurance in Higher Education ENQA) ha establecido varios estndares para proveer a las instituciones de un marco de referencia para el proceso de evaluacin interna. De este modo la ENQA ayuda a las universidades a desarrollar sus propios sistemas de aseguramiento de la calidad, lo que promueve la evaluacin regular y la recoleccin de datos dentro de las instituciones de educacin superior. Los estndares son universales, es decir, vlidos para todas las instituciones de Europa, sin distincin de estructura, misin, tamao o sistema nacional en que se encuentren. Los criterios europeos para el proceso interno de aseguramiento de la calidad incluyen siete aspectos relevantes (ENQA, 2005: 15-9): 1. Polticas y procedimientos para el aseguramiento de calidad Las instituciones deben tener una poltica y unos procedimientos para el aseguramiento de la calidad de sus programas y ttulos. Adems, deben comprometerse explcitamente a desarrollar una cultura interna que reconozca la importancia de la calidad y del aseguramiento de sta. Para lograrlo, las instituciones deben elaborar y aplicar una estrategia para el fomento continuo de la calidad. La estrategia, la poltica y los procedimientos deben tener un estatus formal y ser accesibles al pblico. Deben tambin definir un rol para los estudiantes y otras partes interesadas. 2. Aprobacin y revisin peridica de los programas y de los ttulos o certificados otorgados Las instituciones deben disponer de mecanismos formales para la revisin regular de sus programas y de los ttulos que otorgan. 13

3. Evaluacin de estudiantes Los estudiantes deben ser evaluados por medio de criterios, regulaciones y procedimientos publicados, aplicados consecuentemente. 4. Aseguramiento de la calidad del profesorado Las instituciones deben asegurarse de que el personal que ensea y supervisa a los estudiantes dispone de las calificaciones y capacidades necesarias. Las evaluaciones del profesorado deben ser accesibles para inspectores externos y las instituciones tienen la obligacin de informar acerca de sus resultados. 5. Recursos educativos y asistencia a los estudiantes Las instituciones deben asegurarse de que las instalaciones, el material educativo y los servicios de asistencia a los estudiantes sean apropiados para los programas de estudio correspondientes. 6. Sistemas de informacin Las instituciones deben asegurarse de recolectar, analizar y utilizar la informacin relevante para la gestin efectiva de sus programas de estudio. 7. Informacin pblica Las instituciones deben publicar regularmente informacin actualizada y objetiva, tanto cuantitativa como cualitativa, sobre los programas y ttulos que ofrecen a sus estudiantes. La ENQA sostiene que los criterios no implican que las universidades deban incorporar un modelo de procedimiento especfico, porque reconoce que los procedimientos forman parte importante de la autonoma institucional. Son las instituciones las que deben decidir, en colaboracin con los organismos locales de acreditacin, las consecuencias relativas a la estructura de los procedimientos que tienen la incorporacin de estos estndares de evaluacin interna (ibd.: 11-2). Igual que los organismos internos, las agencias de acreditacin externas a las universidades usan un modelo de estndares bsicos para la evaluacin de programas e instituciones de educacin superior. Realizan sus procesos de evaluacin sobre la base de varios estndares predeterminados, medidos y analizados mediante indicadores, i.e. variables mensurables empricamente que indican tendencias en el desempeo (Vlsceanu et.al., 2007: 59). Hmlinen, Mustonen y Holm (2004) proponen un modelo para la evaluacin de programas de estudio compuesto de cinco categoras: Objetivos Recursos Programa Resultados Aseguramiento de calidad interno. Dentro de estas categoras, determinan los aspectos que son indicadores importantes de la calidad del programa (Figura 1.2.).

14

Figura 1.2. Modelo de evaluacin y acreditacin de programas de educacin superior Recursos - Personal Objetivos
- Estudiantes

Programa

Resultados

- Contenido del currculo

- Diseo del currculo - Formas de enseanza - Vnculos c/ investigacin - Tutora - Formacin prctica - Enlaces con el mundo laboral - Internacionalizacin - Evaluaciones, exmenes y tesis final

- Gestin
-Instalaciones servicios - Financiamiento y

- Objetivos cumplidos - Movilidad constante de estudiantes - Duracin de los estudios - Posicin de los graduados - Influencia en la regin

Aseguramiento de calidad interno - Feedback/estudiantes, personal, graduados, mercado laboral, sociedad

- Gestin de calidad/mecanismo de aseguramiento de la calidad Fuente: K. Hmlinen, K. Mustonen y K. Holm (2004) Standards, criteria, and indicators in programme accreditation and evaluation in Western Europe, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education , Bucarest: CEPES. p. 24.

Como muestra este esquema, no todas las categoras tienen una cantidad similar de estndares y aspectos de evaluacin. Las (sub)categoras que abarcan un nmero elevado de aspectos son: Objetivos (aunque no todos los modelos relacionan los objetivos con otros elementos del programa de estudios como mtodos de estudio); Instalaciones, material y servicios; Contenido y diseo del currculo; Formas de enseanza y Mecanismo de aseguramiento de la calidad. Las reas que menos aspectos incluyen son: Personal, Enlaces con el mercado laboral, Formacin prctica, Internacionalizacin, Asistencia a los estudiantes, Influencia en la regin, y Vnculos con investigacin (Hmlinen et.al., 2004: 24-5). Se supone que las reas y aspectos de evaluacin incluidos en este tipo de modelos sirven para la definicin de algunos estndares mnimos que los organismos de acreditacin pueden utilizar como puntos de referencia en sus procesos de evaluacin. Sin embargo, en la prctica, los organismos de acreditacin pocas veces definen estndares bsicos que se puedan aplicar como benchmarks; o sea, como indicadores del nivel mnimo de calidad exigido para otorgar el estatus de acreditado (ibd.). Los organismos de acreditacin, ms bien, realizan sus evaluaciones en base a criterios que dependen del contexto, por lo que no todas las instituciones son evaluadas de la misma manera.

15

Con el objetivo de establecer un sistema claro, con criterios fijos y bien definidos, Van Damme propone un modelo de acreditacin similar al de Hmlinen, Mustonen y Holm, pero que, adems de categoras de evaluacin, formula explcitamente algunos estndares e indicadores. Su modelo `CIPOF tambin se compone de cinco categoras: Contexto Input (insumos) Proceso Output (productos) Feedback (Van Damme, 2004: 148-9). Cada una de estas categoras tiene uno o dos estndares con algunos indicadores concretos para medir el desempeo del programa o la institucin en la dimensin correspondiente. Dado que el establecimiento de una gran cantidad de requisitos y criterios de evaluacin puede resultar en una carga excesiva para las instituciones, Van Damme propone un modelo que consiste de slo ocho estndares de calidad y 16 indicadores. Figura 1.3. Estndares e indicadores para la evaluacin de calidad segn el modelo CIPOF Categoras Estndares Indicadores Infraestructura humana y Contexto Recursos e instalaciones adecuados fsica/material Calidad y cantidad de personal Seleccin y matrcula de Input Requisitos de admisin estudiantes Acceso y matrcula de estudiantes Misin y objetivos estratgicos bien definidos Correspondencia entre los objetivos educacionales y los estndares de calidad Misin y objetivos La relacin de currculos, contenido y enfoques Proceso Procesos efectivos de didcticos con los objetivos del programa enseanza Duracin del estudio, carga para los estudiantes, tutora Formas de evaluacin de los estudiantes Correspondencia entre los resultados del programa con los estndares de calidad La realizacin de objetivos Output Influencia en el mercado laboral y en la sociedad Eficiencia Uso eficaz de los recursos (input) para realizar output Procedimientos efectivos de evaluacin interna Efectivos planes y acuerdos para innovacin y Efectiva gestin de calidad gestin de calidad Feedback interna Capacidad para cambios estratgicos y procesos de Planificacin estratgica mejoramiento Estrategias efectivas para mejorar la igualdad y la participacin de estudiantes
Fuente: D. van Damme (2004) Standards and indicators in institutional and programme accreditation in higher education: a conceptual framework and a proposal, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. p. 155.

El modelo CIPOF provee a las instituciones y a las organizaciones de acreditacin de una lista de estndares e indicadores que pueden incorporar en sus estrategias para mejorar la calidad de la educacin superior. Mediante estos criterios pueden realizar un proceso de evaluacin transparente y universal, sin que las medidas de aseguramiento de calidad les resulten una carga excesiva. 16

Aunque los estndares de calidad difieren por pas, hay varios criterios reconocidos internacionalmente que son aplicados como benchmarks en procesos de acreditacin de los Estados Unidos, Canad, Australia y Europa Occidental. Como en los modelos arriba mencionados, los estndares bsicos de calidad se formulan en funcin de categoras organizacionales y actividades institucionales. La red de estndares y requisitos que surge de este ordenamiento sirve como expresin de los criterios que los organismos de acreditacin utilizan en sus evaluaciones de la calidad (Mihailescu, 2004: 40-3). Estndares de misin y objetivos Misin de la institucin de educacin superior; los objetivos de los programas de estudios, la posibilidad de realizar los objetivos del programa; Estrategias de corto y largo plazo que se centran en el cumplimiento de la misin y de los objetivos definidos; Correlacin entre programas de estudios y objetivos; Cooperacin con socios nacionales e internacionales para conseguir las metas formuladas en el estatuto o programa de estudios.

Estudiantes Admisin de estudiantes: un procedimiento de seleccin de estudiantes transparente y bien definido; los criterios y requisitos de admisin deben ser pblicos antes de que comience el procedimiento de seleccin; la calificacin mnima para la admisin debe ser la graduacin satisfactoria del colegio (el Baccalaurat); la seleccin debe ser competitiva; La distribucin de estudiantes entre los departamentos debe corresponderse con los tipos y niveles de enseanza; Nivel y designacin de los ttulos que se otorgan en el momento de graduacin de los estudiantes; la posicin de los graduados en el mercado laboral.

Currculo El currculo debe ser consecuente con la misin y los objetivos declarados; La distribucin de los contenidos del currculo debe ser lgica y consecuente; los temas elegidos para el programa de estudios tiene que facilitar el cumplimiento de los objetivos; la complejidad de los temas debe aumentar gradualmente; Oportunidades para los estudiantes de especializarse; igual importancia de la formacin terica y prctica; El contenido de los cursos refleja el grado de desarrollo cientfico en los campos correspondientes y la aplicacin de mtodos reconocidos para mantener el currculo actualizado. 17

 Prcticas de enseanza Los mtodos de enseanza que se usan en cada curso tienen que ser compatibles; la evaluacin de los mtodos de enseanza debe ser constante; Uso de syllabus y materiales auxiliares; servicios de asistencia al alcance de todos los estudiantes; amplio uso de la informtica y los medios de comunicacin.

Evaluacin de estudiantes Mtodos de evaluacin transparentes y adecuados; modalidades de fomentar la autoevaluacin; Los resultados de evaluaciones continuas deben ser combinados con los de las evaluaciones del fin de ao; la evaluacin debe generar una jerarqua objetiva basada en la performance; La administracin debe conocer (ms o menos) el grado en que las evaluaciones estimulan la performance y la motivacin de los estudiantes.

El cuerpo docente La organizacin del cuerpo docente: nivel de educacin, calificaciones cientficas y pedaggicas, edad y gnero; organizacin y un nmero de profesores en concordancia con el nmero de estudiantes; Coordinacin de las calificaciones de los profesores con las funciones que desempean; Conformidad con las leyes laborales; tratamiento laboral de los profesores: criterios de postulacin, procedimiento de despido; Evaluaciones peridicas de la performance del cuerpo docente: mtodos de evaluacin, frecuencia, consecuencias de evaluaciones.

Investigacin Investigacin forma parte del programa de estudios; las actividades de investigacin son organizadas dentro del departamento o la facultad; El financiamiento de investigacin debe ser adecuado, as como el rol de los recursos humanos; Los resultados cientficos obtenidos por la institucin o el departamento gozan de reconocimiento nacional e internacional; los resultados de investigacin incluyen: resultados significativos, nmero de publicaciones de calidad, medios institucionales para evaluar y publicar los resultados.

18

 Administracin y gestin financiera Financiamiento; inversiones para desarrollo; Ingresos; Aseguramiento de accountability financiera; Las aptitudes administrativas del cuerpo directivo.

En la mayora de los pases los sistemas de acreditacin se centran en los indicadores del proceso de educacin y ponen menos nfasis en los resultados; o sea, en la eficiencia de la educacin (ibd.: 43). En general, se supone que una universidad que dispone de una amplia infraestructura, de un considerable nmero de profesores calificados y de buenas instalaciones y redes de informtica, cumple con los estndares bsicos de calidad y puede obtener el estatus de acreditada. En cambio, un enfoque que en aos recientes ha ganado popularidad (sobre todo en pases que recin comienzan a desarrollar un sistema de acreditacin, como los pases de Europa Central y del Este) se focaliza en la evaluacin de resultados obtenidos por las instituciones. En estos casos los organismos de acreditacin proponen varios criterios de output; es decir, del nivel de desempeo en reas tales como: transferencia de conocimientos, investigacin, influencia y participacin en la sociedad, adquisicin de nuevos talentos y preparacin de profesionales y acadmicos respetados (CUC, 2008: 13). A su turno, los indicadores usados para medir la calidad de los graduados son varios (Mihailescu, 2004: 44): Porcentaje de graduacin: nmero de graduados en comparacin con el nmero de estudiantes que ingresa a la universidad. Nivel de empleo de los recin graduados: dentro de un mes, seis meses o del primer ao despus de la graduacin. El tiempo que el graduado necesita para encontrar empleo es un importante indicador de la reputacin de la universidad. Empleo de graduados en relacin con su prestigio social: el nmero de estudiantes que despus de la graduacin obtiene un empleo en una institucin o empresa de alto prestigio. Nmero de licenciados que encuentra empleo en universidades e instituciones prestigiosas en el extranjero: este indicador es importante para los pases que tratan de conseguir el reconocimiento y la validacin internacional de sus programas y ttulos. Correlacin entre postulantes, graduados y demanda del mercado laboral: el nmero de graduados en un cierto campo o programa de estudios en relacin a la dinmica del mercado laboral. Se considera como parte de la misin vocacional de las universidades formar personal altamente educado que pueda incorporarse en las ocupaciones profesionales. Para cumplir con esta misin debe existir una correlacin entre la poblacin estudiantil y la demanda del mercado laboral. 19

Van Damme evala el desarrollo del modelo de acreditacin a partir de los aos 80 destacando los cambios de enfoque. Aunque utiliza otros trminos para describir los diferentes tipos de acreditacin, subyace la misma clasificacin entre sistemas que evalan la calidad de los servicios e instalaciones de educacin y otros que se centran especficamente en la eficiencia y los resultados de las universidades. Distingue cuatro tipos de sistemas de acreditacin (Van Damme, 2004: 131-3): Enfoque de estndares de excelencia (excellence standards approach): Se determina el nivel de calidad en base al grado de dificultad del currculo y de los programas de estudios; Segn esta perspectiva nociones como exclusividad, selectividad y particularidad, es decir, estndares de excelencia, definen la calidad. Aqu se utilizan estndares que indican el nivel bsico de calidad y, a la vez, se usan criterios que representan ejemplos de buenas prcticas; Esta perspectiva tiene la consecuencia llamativa de que los indicadores funcionan al revs: un nmero bajo de estudiantes exitosos indica que el programa es de alta calidad (dado que demuestra un alto grado de dificultad).

Enfoque `aptitud para propsito (fitness for purpose approach): Vincula la calidad a la misin y a los objetivos de una institucin o programa de estudios y propone procedimientos de aseguramiento de la calidad para controlar y mejorar el grado de cumplimiento de estos objetivos; Se centra en los procesos de educacin y administracin de las instituciones y en la eficiencia institucional para la realizacin de los objetivos determinados; Tambin se usa para este enfoque el nombre de `enfoque de valor agregado(valueadded approach) porque evala los progresos realizados por los programas y procesos de enseanza y mide el uso eficaz de indicadores de input (recursos econmicos, estudiantes, profesores calificados); Es un enfoque centrado en el mejoramiento de la calidad; mediante evaluaciones que incluyen recomendaciones y crticas trata de incentivar prcticas que mejoran los procesos y optimizan los recursos disponibles.

Enfoque de estndares bsicos Este enfoque, el ms vinculado a la acreditacin, define varios criterios que valen como requisitos mnimos para obtener el estatus de acreditado. Estos estndares sirven para distinguir entre las instituciones que cumplen con los requisitos bsicos y aquellas que no son capaces de conseguir este mnimo nivel de calidad. Aplica una definicin absoluta de calidad, en comparacin con la definicin ms relativa del enfoque de `aptitud para propsito, que se expresa en la obligacin de 20

cumplir con los estndares bsicos de calidad determinados por los organismos de acreditacin; Para asegurar la neutralidad de la evaluacin y fomentar la confianza social en la calidad de la educacin, las evaluaciones deben ser realizadas por rganos independientes de las instituciones de educacin superior.

Enfoque de satisfaccin del consumidor Destaca la importancia de las expectativas de los consumidores directos e indirectos, es decir, estudiantes, empleadores, otras partes interesadas y la sociedad en general; Determina la calidad a travs de la evaluacin de la capacidad de un programa o institucin de cumplir con las demandas de los consumidores. Los criterios que deben estar presentes en cada institucin son determinados por los consumidores y otros interesados externos; La evaluacin por parte de los consumidores es un buen indicador del desempeo de las instituciones de educacin superior.

Van Damme sostiene que el enfoque de `aptitud para el propsito es el ms usado, aunque en los ltimos aos han aumentado las crticas hacia ste. En los aos 80 y 90 la `aptitud para propsito represent una respuesta social frente a la perspectiva elitista de los estndares de excelencia. Los partidarios del nuevo enfoque consideraron que los estndares de excelencia daban lugar a un modelo conservador e inadecuado para el contexto de la educacin superior masiva en sociedades modernizantes (ibd.: 131). Se introdujo, entonces, una definicin de calidad basada en el cumplimiento de objetivos predeterminados y ya no en criterios de desempeo extraordinario. A consecuencia del xito del enfoque `aptitud para propsito la atencin de los organismos acreditadores se concentr durante aos en los objetivos y procesos internos de las instituciones. Sin embargo, a finales de los aos 90 aparecieron perspectivas alternativas que han ganado partidarios con enfoques centrados en los resultados y en requisitos bsicos de calidad. Los gobiernos de varios pases expresaron preocupacin porque la evaluacin de instituciones por medio de indicadores relativos el logro de objetivos autodefinidos pudiera causar el incumplimiento de estndares bsicos de calidad. Argumentaron que el foco en los objetivos de los programas e instituciones implicaba una falta de inters por los requisitos mnimos y por las expectativas de los estudiantes y empleadores respecto al nivel de la educacin. El enfoque de estndares bsicos y el enfoque de satisfaccin del consumidor fueron una respuesta ante esta preocupacin de los gobiernos, amplindose as el nmero de enfoques disponibles (ibd.: 132). En conclusin, puede comprobarse que el sistema de acreditacin no es un modelo fijo con directrices y estndares internacionales. La seleccin de indicadores, estndares y aspectos de evaluacin, los mtodos de evaluacin, el enfoque y las consecuencias de la acreditacin, son 21

todos asuntos que pueden diferir segn los objetivos de las instituciones responsables del aseguramiento de la calidad. En general, la funcin de la acreditacin es asegurar una educacin de calidad que se corresponda con los crditos de estudio y ttulos otorgados por el mundo acadmico y con las expectativas de la sociedad. Otros objetivos son el fomento del mejoramiento continuo de programas de estudio y la promocin de informacin sobre el desempeo de las instituciones al pblico y partes interesadas (estudiantes, empleadores y otras partes interesadas) (Ewell, 2004: 1). Para cumplir con estos objetivos los organismos de acreditacin deben realizar procesos de evaluacin transparentes y efectivos. Desde este punto de vista es importante que, adems de evaluaciones de los programas e instituciones de educacin superior, existan sistemas de control de los propios procesos de acreditacin.

1.3. Evaluacin y control de los procesos de acreditacin

Las agencias o consejos que disponen del poder de acreditar instituciones o programas pueden tambin ser sometidos a un proceso de evaluacin. Dado que estas instituciones toman decisiones importantes para el sistema de educacin superior, deben ser evaluadas en aspectos tales como neutralidad, transparencia, eficiencia y capacidad de tomar decisiones sin intervencin de actores externos (miembros de las juntas directivas de universidades, lderes polticos, inversionistas y donantes). La evaluacin de organismos acreditadores se llama usualmente meta-acreditacin, aunque en los Estados Unidos se usa otro trmino: reconocimiento (Van Damme, 2004: 130). El objetivo de la meta-evaluacin de sistemas de acreditacin es inspeccionar la efectividad de la acreditacin y promover la revisin regular de los criterios y estndares de calidad que aplican en sus propios procesos de evaluacin. La Asociacin Europea para el Aseguramiento de la Calidad en la Educacin Superior ha compuesto una lista de estndares y directrices para la meta-acreditacin. Mediante estos criterios la ENQA analiza la calidad de la acreditacin y juzga si las agencias de acreditacin cumplen con las condiciones de aseguramiento de la calidad establecidas dentro del Espacio Europeo de Educacin Superior.

22

Estndares europeos para la evaluacin externa de la calidad en la educacin terciaria (ENQA, 2007: 42): 1. Utilizacin de procedimientos de garanta interna de la calidad. Los procedimientos de garanta externa de la calidad deberan tener en cuenta la eficacia de los procesos de garanta interna de la calidad. 2. Desarrollo de procesos de garanta externa de la calidad. Las finalidades y objetivos de los procesos de garanta de la calidad deben ser determinados conjuntamente por parte de todos los responsables (incluidas las instituciones de educacin superior), antes del desarrollo de los propios procesos y deben publicarse con una descripcin de los procedimientos que se utilizarn. 3. Criterios para las decisiones. Las decisiones formales adoptadas como resultado de una actividad de garanta externa de la calidad deben basarse en criterios explcitos y pblicos que han de ser aplicados coherentemente. 4. Procesos adecuados a su propsito. Todos los procesos de garanta externa de la calidad deben disearse especficamente con el fin de asegurar su idoneidad de cara a lograr las finalidades y objetivos fijados. 5. Informes. Los informes deben publicarse y redactarse en un estilo claro y fcilmente asequible para sus destinatarios. Las decisiones, opiniones o recomendaciones contenidas en los informes deben ser fcilmente localizables para los lectores. 6. Procedimientos de seguimiento. Los procesos de garanta de la calidad que contengan recomendaciones para la accin o que requieran un subsiguiente plan de accin, deben incluir un procedimiento de seguimiento predeterminado que se aplique de manera consecuente. 7. Evaluaciones peridicas. La garanta externa de la calidad de instituciones y/o programas debe llevarse a cabo de una manera peridica. La duracin del ciclo y de los procedimientos de revisin que van a utilizarse debe definirse claramente y publicarse con antelacin. 8. Anlisis de todo el sistema. Las agencias de garanta de la calidad deben elaborar informes peridicos que, de una manera resumida, describan y analicen los resultados de carcter general, sus revisiones, evaluaciones, valoraciones, etc.

23

Estndares europeos para agencias de aseguramiento externo de la calidad (ibd.: 42-3): 1. Utilizacin de procedimientos de garanta externa de la calidad en la educacin superior. La garanta externa de la calidad de las agencias debe contemplar la existencia y efectividad de los procesos de evaluacin externa. 2. Rango oficial. Las agencias deben ser reconocidas formalmente por las autoridades pblicas competentes en el Espacio Europeo de Educacin Superior como agencias responsables de la garanta externa de la calidad y deben tener una base legal consolidada. Asimismo, deben cumplir con los requisitos exigidos en las jurisdicciones legislativas en las que operan. 3. Actividades. Las agencias deberan llevar a cabo actividades de garanta externa de la calidad (a nivel institucional o de programa) de una manera regular. 4. Recursos. Las agencias deben disponer de recursos adecuados y proporcionales, tanto humanos como financieros, que les permitan organizarse y llevar a cabo sus procesos de garanta externa de la calidad de una manera eficaz y eficiente, con los medios adecuados para el desarrollo de sus procesos y procedimientos. 5. Declaracin de la misin. Las agencias deben tener unas metas y unos objetivos claros y explcitos para su trabajo, que deben estar incluidos en una declaracin de misin pblicamente disponible. 6. Independencia. Las agencias deben ser independientes hasta el punto de tener una responsabilidad autnoma respecto a su funcionamiento y de que terceras partes tales como instituciones de educacin superior, ministerios u otros agentes implicados no puedan influir en las conclusiones y recomendaciones que hagan en sus informes. 7. Criterios y procesos de garanta externa de la calidad utilizados por las agencias. Los procesos, criterios y procedimientos utilizados por las agencias deben ser definidos previamente y estar pblicamente disponibles. Se espera que estos procesos incluyan normalmente: una auto-evaluacin o procedimiento equivalente por parte del sujeto del proceso de garanta de la calidad; una evaluacin externa realizada por un grupo de expertos que incluir, cuando sea pertinente, a uno o ms estudiantes y visitas in situ a criterio de la agencia; la publicacin de un informe que incluya las decisiones adoptadas, recomendaciones u otros resultados formales, y un procedimiento de seguimiento para revisar las acciones realizadas por el sujeto del proceso de garanta de la calidad a la luz de las recomendaciones contenidas en el informe. 24

8. Procedimientos de responsabilidad. Las agencias deben contar con procedimientos para su propia rendicin de cuentas. Los informes de meta-evaluacin con los juicios de la ENQA son publicados en su sitio web (www.enqa.eu). Los criterios universales y la informacin publicada aumentan considerablemente la transparencia y el tratamiento equivalente en los procesos de acreditacin a nivel nacional. En los Estados Unidos el Departamento de Educacin ha establecido estndares formales para la evaluacin y aprobacin de los organismos de acreditacin. Estos criterios o estndares determinan que cada organismo de acreditacin reconocido por el Estado debe demostrar que mantiene un proceso de acreditacin que evala efectivamente la calidad de los programas o instituciones de educacin superior en los siguientes campos (Schray, s.a.: 4): 1. Progreso y resultados de los estudiantes en relacin con los objetivos de la institucin, considerando el ndice de finalizacin exitosa del programa de estudios, las condiciones de graduacin y la insercin de graduados en el mercado laboral. 2. Currculos. 3. Organizacin y posicin de los acadmicos. 4. Instalaciones y suministros para los estudios. 5. Capacidad fiscal y administrativa conforme a la escala especificada de operacin. 6. Servicios de asistencia a los estudiantes. 7. Prcticas de seleccin y admisin, calendarios acadmicos, publicaciones, guas de estudios y campaas publicitarias. 8. Duracin de los programas y objetivos de los crditos y ttulos otorgados. 9. Archivos de quejas de estudiantes recibidas o disponibles por el organismo de acreditacin. 10. Archivos sobre el cumplimiento de las responsabilidades de la institucin, basados en datos acerca de fondos y prstamos para estudiantes, resultados de auditoras de finanzas y de performance, anlisis de programas y cualquier otro tipo de informacin que el Departamento de Educacin pueda proporcionar a la agencia de acreditacin. Criterios de meta-acreditacin como los formulados por el Departamento de Educacin estadounidense fomentan la revisin continua de los procesos de acreditacin. Es importante que los organismos que evalan la calidad de los programas e instituciones de educacin superior renan las condiciones bsicas, ya que el otorgamiento del estatus de acreditado puede tener consecuencias importantes en trminos de la distribucin de fondos pblicos, el prestigio y la posicin de competencia de las instituciones. Mediante el establecimiento de estndares legales y la designacin de un organismo de metaacreditacin, el Estado puede asegurar que las agencias de acreditacin sigan cumpliendo con los criterios de calidad y la acreditacin siga siendo neutral y efectiva. 25

A su vez, en Estados Unidos, la Asociacin Occidental de Universidades y Colegios (Western Association of Schools and Colleges - WASC) exige que todas las instituciones y consejos de acreditacin revisen la efectividad de sus sistemas de aseguramiento de la calidad y presenten un informe con los resultados de sus anlisis. A partir de estos datos, la WASC juzga el desempeo de los organismos de acreditacin y formula recomendaciones que incorpora en un modelo de acreditacin. De esta forma, la WASC provee a las instituciones y los consejos de acreditacin de un modelo de buenas prcticas y estimula la revisin de criterios de evaluacin que no se corresponden con los objetivos del sistema de acreditacin; sin embargo, no puede obligarlos a adoptar una estructura organizativa o una metodologa especficas. Las instituciones mantienen la libertad de determinar el mtodo de acreditacin, el tipo y la cantidad de estndares e indicadores, el uso de pruebas empricas y el grado de intervencin de las entidades universitarias (sobre todo de las facultades) y de otros interesados (Appleton y Wolff, 2004: 96). Ewell argumenta que la evaluacin de los procesos de acreditacin no slo sirve para fomentar la efectividad de estos procesos sino, adems, contribuye al reconocimiento y la confianza pblica en la calidad de las instituciones y los programas acreditados. Los organismos de acreditacin necesitan ser aprobados por una entidad independiente para ganar credibilidad, sobre todo aquellos vinculados a instituciones de educacin superior. Dado que forman parte del sistema institucional siempre existe la sospecha de que defienden los intereses de las instituciones que acreditan y no aplican los mismos estndares y criterios que las organizaciones de acreditacin independientes. Por medio de la meta-acreditacin se puede verificar la efectividad y neutralidad de estos procesos de evaluacin y fortalecer la credibilidad pblica de los organismos de acreditacin (Ewell, 2004: 8). El control sobre procesos de evaluacin internacionales es complejo y exige la coordinacin entre pases y organismos nacionales de acreditacin. En el contexto internacional, la metaacreditacin tiene una funcin especfica; es un mecanismo til en el marco de la globalizacin de la educacin superior porque provee estndares internacionales de desempeo y calidad que facilitan la movilidad de estudiantes y el reconocimiento mutuo de ttulos nacionales. En un contexto de acreditacin internacional, el estatus de acreditado significa no slo que los gobernantes y las instituciones nacionales afirman que la institucin cumple con los requisitos mnimos de calidad, sino que su calidad es reconocida internacionalmente. No obstante, la acreditacin internacional puede tener consecuencias negativas sobre la calidad de los procesos de evaluacin. En una situacin de crecimiento rpido y competencia dura entre instituciones de educacin superior, en la que no existen ni el tiempo ni los recursos para realizar evaluaciones profundas de los programas o instituciones, pueden surgir organismos que ofrezcan modelos simplificados de acreditacin. El riesgo es que surja una tendencia que, como ocurre con las cadenas de fast food, se centre en el ofrecimiento de servicios rpidos y baratos (`fast teaching) en vez de dedicarse al aseguramiento de la calidad. Si no se establecen formalmente algunos estndares internacionales de calidad y no se realizan controles sobre los procesos de acreditacin, estos organismos fast teaching otorgarn el estatus de acreditado a instituciones que no lo merecen 26

segn los criterios de los organismos tradicionales de acreditacin, resultando en una prdida del valor de este estatus (Mihailescu, 2004: 52). La meta-acreditacin sirve para prevenir esta situacin. Instituciones nacionales como los Consejos Nacionales de Acreditacin) e internacionales de inspeccin (deben cooperar para controlar la minuciosidad y profundidad de los procesos de acreditacin y para identificar a las instituciones internacionales que producen ttulos `vacos (i.e. ttulos obtenidos en instituciones o en base a programas de estudios que no cumplen con los estndares internacionales de calidad) (ibd.). Al contrario, el Consejo de Financiamiento de la Educacin Superior en Inglaterra (HEFCE) no cree que un sistema de control independiente sea necesario para mantener el control sobre la calidad de los procesos de acreditacin. Argumenta que los organismos de evaluacin dentro de las instituciones de educacin superior tambin pueden contribuir a la transparencia de la acreditacin al proporcionar informacin sobre su performance e informes de evaluacin. Recomienda que todas las instituciones publiquen la siguiente informacin (HEFCE, 2002: 9): Datos cuantitativos Indicadores y benchmarks de performance publicados por los organismos de financiamiento sobre el progreso y el cumplimiento exitoso de los programas de estudio por parte de los alumnos de tiempo completo; Indicadores y benchmarks de performance publicados por los organismos de financiamiento sobre la insercin de recin graduados en el mercado laboral. Datos cualitativos Resmenes de los informes de inspectores externos sobre cada programa; Un comentario (voluntario) por la institucin de educacin superior sobre los resultados de los informes de evaluacin externos; Feedback de recin graduados sobre la calidad de la enseanza; Resmenes de los resultados de evaluaciones peridicas de los departamentos y programas de estudio.

La publicacin de estos datos promueve la transparencia en el proceso de acreditacin puesto que las partes interesadas pueden comprobar los puntos fuertes y dbiles de las instituciones, y no slo tener acceso a la informacin sobre el estatus de acreditacin de stas. La transparencia aumenta la credibilidad de la acreditacin sin que se necesite un sistema de control por un organismo externo (i.e. una institucin que controle la efectividad del proceso de acreditacin). 1

El HEFCE pide a las instituciones y organismos de acreditacin que publiquen un resumen de cada informe de evaluacin externa, pero permiten que el contenido completo de los informes permanezca confidencial. Reconoce que demasiada franqueza sobre los resultados de desempeo puede afectar la

27

En suma, existen varias maneras de asegurar la calidad de la acreditacin. El mtodo ms comn es el establecimiento de instituciones que controlan la efectividad y neutralidad de los procesos de acreditacin. Aunque existe una confianza general en el desempeo de los organismos de acreditacin (Ewell, 2004: 8), el control externo sobre stos aumenta su responsabilidad y credibilidad, lo que contribuye al valor del estatus de acreditado. El control por parte de instituciones externas no es la nica manera de asegurar la efectividad de la acreditacin. Mediante la publicacin de los resultados de los informes de evaluacin, las instituciones pueden hacer ms transparente el proceso de acreditacin. De este modo se puede verificar en base a qu criterios se otorga o niega el estatus de acreditado y si la decisin es o no legtima.

relacin sincera entre las instituciones de educacin superior y sus inspectores, resultando en conductas defensivas y negativas (HEFCE, 2002: 14).

28

2. Aplicacin prctica de sistemas de acreditacin: ejemplos nacionales

Aunque los enfoques y mtodos varan, y hasta ahora no existe un modelo formal con estndares e indicadores internacionales, la mayora de los pases desarrollados aplica un modelo de aseguramiento de la calidad reconocido internacionalmente. Algunas grandes instituciones internacionales como las Naciones Unidas, el Banco Mundial y el Consejo de la Unin Europea tratan de estimular la introduccin de un sistema de acreditacin internacional que proponga estndares e indicadores universales. La UNESCO (Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura) estableci en 1997 la Clasificacin Estandarizada Internacional de la Educacin (ISCED), un modelo que clasifica la educacin en seis niveles. Los niveles 5A, 5B y 6 corresponden a la educacin superior2, lo que significa que las instituciones que imparten estos niveles cumplen con varios criterios internacionales que distinguen a la educacin terciaria del resto de los niveles educativos. La UNESCO sostiene que los procesos de acreditacin no deben centrarse nicamente en el contenido de los programas de estudio, dado que los currculos sobre todo en el nivel internacional son demasiado diversos y complejos como para someterlos a un solo modelo de evaluacin con estndares fijos. Para determinar el nivel y la performance de los programas e instituciones de educacin superior, se necesita un par de criterios que incluya estndares e indicadores como las condiciones mnimas de matrcula, los trminos de graduacin (tesis, investigacin de laboratorio), tutora de estudiantes, preparacin adecuada para un puesto de trabajo y la duracin mnima del programa de estudios (mnimo dos aos para los programas tipo 5B). De este modo la UNESCO provee a los consejos nacionales de acreditacin de un modelo de estndares bsicos que pueden utilizar para comparar sus propios estndares con las normas internacionales y para evaluar la performance de sus instituciones de educacin superior en un contexto internacional (UNESCO-UIS, 2006: 16, 39). A su vez, el Banco Mundial establece indicadores para controlar la calidad de la educacin terciaria alrededor del mundo y para ayudar a los pases que fallan en lograr sus objetivos educacionales a desarrollar sistemas efectivos de aseguramiento de la calidad. Su apoyo se concentra en temas como mtodos de enseanza efectivos, gestin financiera, tutora y estimulacin de los estudiantes, y para cada uno de estos temas formula grupos de indicadores especficos.

Los niveles 5A y 5B forman juntos la primera etapa de la educacin terciaria. Los programas que pertenecen al nivel 5A tienen un foco terico/de investigacin (historia, filosofa, matemtica etc.) o dan acceso a las profesiones que exigen habilidades avanzadas (por ejemplo medicina, odontologa o arquitectura). La graduacin de nivel 5A da derecho a postular a un programa de nivel 6. Los programas que son designados como 5B se caracterizan por un foco prctico/tcnico/profesional. No dan acceso directo a un programa de investigacin avanzada, pero preparan a sus estudiantes para una funcin profesional. El nivel 6 constituye la segunda etapa de educacin terciaria, llevando a un ttulo de investigacin avanzada (doctorado) (UNESCO, 2006: 35, 39).

29

En los ltimos aos, el Banco Mundial ha desarrollado distintas series de indicadores: de performance institucional, econmicos y de objetivos y demanda, que sirven como instrumentos de medicin (benchmarks) para fijar el nivel de calidad y realizar comparaciones nacionales e internacionales. Adems, en algunos de los proyectos del Banco Mundial (por ejemplo en Bolivia y Argentina) se financia el establecimiento de Sistemas de Informacin de Gestin (MIS) que promueven la recoleccin y comparacin de datos y conforman la base para la introduccin de nuevos indicadores institucionales (Salmi, 2003: 76-7). Este tipo de indicadores internacionales se suma por el momento a los sistemas nacionales. Los pases estn dispuestos a utilizar los estndares e indicadores determinados por las organizaciones internacionales combinadamente con sus sistemas nacionales de aseguramiento de la calidad, mas no estn dispuestos a renunciar completamente al control sobre el contenido y las condiciones de la educacin superior.

2.1. Estados Unidos de Amrica

Estados Unidos tiene un sistema de acreditacin bastante complejo. El Departamento Federal de Educacin no dispone all de las mismas competencias que los ministerios de Educacin de otros pases; por lo tanto, la responsabilidad de la calidad de la educacin recae sobre organismos de acreditacin. El Departamento de Educacin tiene el derecho de evaluar la competencia de los organismos de acreditacin como inspectores de la calidad institucional. En sus evaluaciones, el Departamento se centra en la consistencia y legitimidad de las decisiones, la validacin peridica de la efectividad de estndares e indicadores y la formacin de, y asistencia a, los miembros de los equipos de inspeccin. Los organismos de acreditacin son evaluados por el Departamento de Educacin con un intervalo mximo de cinco aos (Appleton y Wolff, 2004: 81-2). La mayora de los estados (37 de los 48 estados en el ao 2000) mantiene un sistema de acreditacin correspondiente a uno de los siguientes modelos: financiamiento por performance, asignacin de presupuesto por performance y/o evaluacin pblica de la performance. En los estados que practican financiamiento por performance, el gobierno federal slo entrega fondos pblicos a aquellas instituciones que cumplen con los criterios predeterminados (OCUFA, 2006: 4). El modelo de asignacin de presupuesto por performance funciona de manera similar aunque la vinculacin entre desempeo y subvencin estatal es ms flexible. La evaluacin del desempeo, en cambio, no est relacionada con el financiamiento pblico; el incentivo es preservar la reputacin de la institucin. Este enfoque trata de fomentar la autoevaluacin a travs de la publicacin de informes de evaluacin que demuestren el desempeo de las instituciones en temas importantes (Key Indicators). La expectativa implcita

30

es que la confrontacin con los resultados incitar a realizar reformas y a reconsiderar los puntos dbiles (ibd.: 5). El sistema estadounidense es descentralizado en regiones o conjunto de estados vecinos, lo cual significa que el organismo que otorga el estatus de acreditado opera en una zona geogrfica especfica (generalmente un rea de tres o ms estados). No existe un slo organismo nacional, sino algunos consejos regionales que evalan a todas las universidades e institutos de enseanza de la correspondiente regin. Estados Unidos dispone de seis de estas comisiones regionales de acreditacin (Vlsceanu et.al., 2007: 26). Cada regin mantiene sus propios estndares y procedimientos, por lo que las decisiones de acreditacin pueden diferir entre s (y resultar en situaciones de juicio desigual). Para promover la igualdad de juicios evaluativos entre las regiones, las comisiones establecieron un Consejo de Asociaciones Regionales de Acreditacin (Council of Regional Accrediting Associations C-RAC) que desarrolla polticas comunes para temas importantes como las actividades interregionales de instituciones, los requisitos de elegibilidad para instituciones nuevas y la evaluacin de la enseanza digital. Aparte de los consejos regionales hay mltiples agencias profesionales que se centran en la evaluacin de disciplinas especficas, estudios profesionales o campos especializados. En algunas disciplinas decisivas, como la medicina, hay mltiples organismos de acreditacin para evaluar las distintas especialidades (Appleton y Wolff, 2004: 82). El proceso para definir los indicadores de performance vara de un estado a otro. En los ltimos aos, los estados determinaron un nmero de indicadores que vari de 5 a 37. Por ejemplo, Missouri, 24 indicadores; Wisconsin, 21; Washington, 13 (OCUFA, 2006: 5). En general, se supone que el nmero de estndares e indicadores debe ser limitado ya que un nmero excesivo tiende a presionar a las instituciones a cumplir mecnicamente con cada criterio mientras que la acreditacin pretende que las instituciones se esfuercen por identificar y centrarse en los campos ms decisivos, como accountability, mejoramiento y aseguramiento de la calidad (Appleton y Wolff, 2004: 88). Siguiendo este razonamiento los estados optan frecuentemente por un modelo de unos pocos indicadores principales e incluyen una lista detallada de indicadores suplementarios. Entre los indicadores principales se encuentran aspectos como la proporcin entre estudiantes y profesores; el desempeo de los estudiantes en los exmenes de licenciatura; los costos unitarios; la carga laboral del profesorado; el anlisis del progreso y la movilidad de los estudiantes, y los resultados de los programas de graduacin en trminos del nmero de ttulos otorgados (OCUFA, 2006: 5). Un grupo de trabajo especial de la Fundacin Nacional de la Ciencia (US National Science Foundation NSF) se dedica al fomento de sistemas efectivos para controlar y mejorar la calidad de los programas acadmicos de ingeniera y tecnologa. Argumenta que la educacin superior en ingeniera y tecnologa, para ser de buena calidad, exige un proceso de mejoramiento continuo e innovacin profunda que conduzca a la satisfaccin de estudiantes, 31

empleadores y de la sociedad en general, por medio de una evaluacin () sistemtica y colectiva del sistema, de las prcticas y la cultura de las instituciones de educacin tcnica avanzada (Natarajan, 2000: 86). El grupo de trabajo de la NSF ha desarrollado una lista detallada de los indicadores que deberan ser incorporados en las evaluaciones regulares de la calidad de las instituciones de educacin superior. Su propuesta de indicadores bsicos se centra en la evaluacin de la educacin tcnica, pero el modelo es aplicable en cualquier proceso de evaluacin porque los criterios son universales. Cuadro 2.1 Indicadores para evaluar la calidad de instituciones, facultades y estudiantes Indicadores de calidad de instituciones La utilizacin de procesos de planificacin estratgica Indicadores de calidad de profesores Nmero de postulaciones para puestos acadmicos, a distintos niveles Calidad acadmica en trminos de publicaciones, premios, patentes, proyectos financiados y consultora Capacidad de retencin Indicadores de calidad de estudiantes Nmero de postulaciones

Interaccin con el entorno industria, empresas, comunidad

Preparacin y origen diversos de los estudiantes que entran

Movilizacin de recursos para desarrollo institucional Diversidad de fondos externos Demanda por I+D y educacin continua por parte de agencias externas Nombramientos para puestos importantes de la industria Actividades interdisciplinarias

Nmero de graduados

Calidad de la enseanza, iniciativas innovadoras Nmero y diversidad de las publicaciones

Tiempo necesario hasta la graduacin Porcentaje que realiza formacin prctica

Investigacin financiada, consultora y actividades educativas continuas Participacin en sociedades profesionales y servicios pblicos Capacidad de movilizar recursos por parte de la institucin y departamentos

Porcentaje que participa en investigacin y desarrollo

Expectativas de empleo y sueldo en el momento de la graduacin Nmero estudiantes continan estudios de posgrado

Autoevaluacin y procesos de acreditacin

32

Participacin de alumni

Premios y condecoraciones internos y externos (nacional e internacional) Quantum de experiencia prctica

Grado de satisfaccin de estudiantes y empleadores

Reputacin nacional e internacional percibida

Prestigio percibido de graduados y alumni, nacional e internacional Proporcin e estudiantes extranjeros

Peticin por agencias nacionales de asistir en desarrollo tecnolgico o de actuar como think tanks Liderazgo en educacin e investigacin

Efectividad de la asistencia vocacional a estudiantes

Grado de satisfaccin de los profesores con su carrera

Nmero que se convierte en emprendedores

Fuente: R. Natarajan (2000) The role of accreditation in promoting quality assurance of technical education, International Journal of Engineering Education 16(2): 85-96. p. 86.

Los indicadores definidos por la NSF sirven como un ejemplo concreto para que los organismos de acreditacin que no disponen de un marco claro de criterios y estndares bsicos de calidad, desarrollen o mejoren sus propios modelos de evaluacin. Adems, proporcionan informacin sobre temas que son importantes para el desempeo de las instituciones, fomentando la transparencia en los procesos de acreditacin y ofreciendo a las universidades la posibilidad de mejorar su performance en estos campos antes de la evaluacin formal. La Asociacin Occidental de Universidades y Colegios (Western Association of Schools and Colleges WASC)3 evala a las instituciones de educacin superior en California. La WASC otorga a las instituciones que cumplen con todos los requisitos y estndares de calidad el estatus de acreditadas. Este estatus tiene un perodo de validez mximo de diez aos, despus del cual la institucin debe ser evaluada nuevamente. Sin embargo, la validez del estatus de acreditada es a menudo limitada debido a factores de inseguridad, por ejemplo cuando la institucin tiene varios puntos dbiles o cuando la institucin se encuentra en proceso de transformacin. La WASC elabor un Manual de Acreditacin para informar a las instituciones sobre los procedimientos de acreditacin. En el manual destaca que el incumplimiento de los estndares de calidad puede tener consecuencias serias para las instituciones. Cuando la Comisin de Acreditacin de la WASC constata, en base a los informes de los equipos de inspeccin, que una institucin no cumple con uno o ms estndares, est obligada por normas del Departamento de Educacin a denunciar a la institucin y darle un plazo mximo de dos aos
3

La WASC abarca tres comisiones de acreditacin: una, para instituciones de educacin superior; otra, para colegios; y una ltima, para el nivel bsico de educacin (knder y pre-knder). La WASC es responsable por California, Hawi, Guam y los antiguos United States Trust Territories del Pacfico (Appleton y Wolff, 2004: 83).

33

para corregir la situacin. Si la institucin no lo hace, la Comisin revocar su estatus de acreditada. Slo bajo circunstancias excepcionales y con razones fundadas es posible prolongar este plazo de dos aos (Appleton y Wolff, 2004: 84). El proceso de evaluacin de la WASC exige que cada institucin elabore un portafolio o informe institucional en tres etapas: una propuesta, una evaluacin preparatoria y una evaluacin de la efectividad educacional. El proceso de acreditacin empieza as con una Propuesta Institucional en la cual se declaran las prioridades y objetivos para el proceso de evaluacin. La institucin puede indicar los temas y campos especficos en que quiere centrarse, a condicin de que tome en cuenta los estndares bsicos de calidad y se focalice en el mejoramiento de la efectividad. Se entrega la propuesta ms de dos aos antes de la primera visita de inspeccin. Un comit de representantes institucionales evala la propuesta y compara las prioridades de la institucin con los estndares bsicos para asegurar que la autoevaluacin genere un nivel adecuado de accountability y que las estrategias lleven a un mejoramiento de la calidad (peer review). Dentro de los dos aos siguientes a la aprobacin de la propuesta, el proceso de acreditacin entra en la segunda etapa, la Evaluacin Preparatoria, en la que se evala la capacidad institucional y se pone a prueba la disponibilidad de la institucin para someterse a los extensos estudios de la siguiente etapa. En preparacin para la segunda etapa cada institucin debe elaborar un informe de un mximo de 35 pginas que demuestre que la institucin cumple con las expectativas de la Comisin en cuanto a la capacidad e integridad institucional. En la medida de lo posible las instituciones deben usar anlisis y datos existentes para respaldar el informe, reduciendo de este modo los costos de la acreditacin. Un pequeo equipo de inspeccin realiza la evaluacin preparatoria. Evalan los recursos, procesos y estructuras de la institucin y juzgan el nivel de calidad en relacin a los estndares de la Comisin de Acreditacin. La Evaluacin de la Efectividad Educacional, la tercera fase, ocurre un ao despus. Equipos de inspeccin de la WASC visitan la institucin y determinan el grado de compromiso de la institucin con el mejoramiento de la efectividad; analizan la alineacin entre recursos y objetivos y el esfuerzo para evaluar el desempeo de los estudiantes. Los equipos de la Comisin evalan tanto el proceso de enseanza como el nivel y la calidad de los resultados de la enseanza (performance de los estudiantes) (ibd.: 89-91). El modelo de tres etapas de la WASC obtiene buenos resultados. En una primer momento hubo algunos problemas puesto que las instituciones elaboraron propuestas e informes demasiado extensos y ambiciosos. Adems, la Comisin de Acreditacin tuvo que devolver la mayora de los informes porque no contenan datos suficientes para demostrar el desempeo de la institucin. Sin embargo, despus de aplicar algunas medidas de orientacin las instituciones entendieron mejor su rol en el proceso y se familiarizaron con los criterios y estndares. Hoy ms del 60 por ciento de las propuestas son aprobadas directamente y el resto despus de la revisin.

34

Dado que esta forma de acreditacin mediante tres etapas impone una carga menor para las instituciones de educacin superior, stas estn ms dispuestas a cooperar. Consideran que el modelo de acreditacin es un instrumento til para mejorar la calidad de su enseanza y como consecuencia participan activa y seriamente en el proceso (ibd.: 96-7).

2.2. Australia y Japn

En Australia, las instituciones de educacin superior en Australia son sometidas a evaluaciones peridicas de desempeo en temas como el contenido y los objetivos de los programas de estudio, las capacidades del profesorado, las condiciones de graduacin y la efectividad administrativa. Ms de la mitad de los fondos que el Gobierno pone a disposicin de las universidades est condicionada por requisitos de calidad. Dado que los recursos son escasos y el nmero de instituciones de educacin superior creciente, existe una competencia dura entre las universidades que tratan de probar que sus programas cumplen con los criterios de calidad (OCUFA, 2006: 3). Aparte de las evaluaciones externas por el Consejo Nacional de Acreditacin, las universidades disponen de mecanismos internos que suponen la elaboracin regular de informes sobre el desempeo de la institucin. Estas instancias tienen la facultad de otorgar el estatus de acreditado, lo que significa que las universidades no son dependientes del Consejo Nacional para obtener dicho estatus sino que practican una forma de auto-acreditacin. No obstante, es el reconocimiento por agencias externas de acreditacin lo que realmente contribuye a la reputacin de las instituciones de educacin superior (Van Damme, 2004: 130). En Japn, el primer sistema de acreditacin fue iniciado en 1947 por la Asociacin Japonesa de Acreditacin de Universidades (Japan University Accreditation Association JUAA). La JUAA estableci el `Estndar Universitario que se aplic como criterio formal para evaluar el desempeo de las universidades. En 1957 el Ministerio de Educacin asumi la responsabilidad de la acreditacin de universidades, al determinar legalmente algunos estndares para el establecimiento de universidades. Estos estndares se concentraron en la evaluacin de input y del proceso institucional, utilizando indicadores tales como el nmero de crditos y la cantidad y organizacin de las instituciones de educacin superior. En 1991 se desregularon los estndares para el establecimiento de universidades con la finalidad de proporcionar a stas ms autonoma. En cambio se exigi a las universidades adoptar un procedimiento de auto-evaluacin y control interno y as demostrar su accountability frente a la sociedad (Yonezawa, 2004: 121). Aunque las instituciones de educacin superior obtuvieron ms responsabilidad en el mantenimiento de la calidad de sus polticas y programas de educacin, la JUAA continuaba realizando procesos de acreditacin y el juicio de la Asociacin segua siendo de importancia en trminos de reconocimiento y obtencin de prestigio (en cambio, el juicio no tena 35

consecuencias econmicas visto que no se impusieron sanciones a las universidades que no cumplieron con los criterios de la JUAA). Igual que los consejos de acreditacin en Estados Unidos y Europa, la JUAA utiliza dos formas de evaluacin: acreditacin y re-acreditacin. Las universidades que aspiran a obtener el estatus de acreditadas y pertenecer a la JUAA deben someterse a un proceso de evaluacin. Si aprueban el proceso, sern sometidas regularmente a evaluaciones de re-acreditacin para asegurar el mantenimiento del nivel de calidad. La primera re-acreditacin tiene lugar dentro de un perodo de cinco aos, las siguientes cada siete aos. Las instituciones que entran en el proceso de evaluacin deben presentar dos informes a la JUAA. El primero corresponde a una auto-evaluacin en la que se analiza el desempeo de la universidad en relacin a los criterios definidos por la JUAA. El segundo es una lista de datos cuantitativos: la Lista de Datos Institucionales Bsicos (Ohnami y Hokama, 2004: 106, 109). Respecto de los criterios para la auto-evaluacin, la JUAA sustenta un modelo de once indicadores claves para la educacin de pregrado, los cuales se clasifican en esenciales, recomendables y opcionales. El foco de la auto-evaluacin est lgicamente en el desempeo medido por los indicadores esenciales. El siguiente Cuadro (2.2.) muestra los temas e indicadores principales establecidos por la JUAA y la importancia que da a cada uno (i.e. el nmero de temas definidos como `esenciales).

36

Cuadro 2.2 Japn: indicadores claves para la auto-evaluacin y su subdivisin en temas esenciales, recomendables y opcionales
Indicador clave Misin y objetivos educativos

Contenido y mtodos de educacin e investigacin y sus condiciones Metodologa e innovacin en educacin e investigacin 2 3 5 Intercambio (inter)nacional de educacin e investigacin 0 2 4

Contenidos de educacin e investigacin A

Nmero* de indicadores especificados

Otorgamiento de ttulos acadmicos

Enseanza por correspond encia 1 0 0

1 1 0 Modo y condiciones de admisin

6 14 10 Organizacin de recursos humanos

1 2 3

B C

Mantenimiento de investigacin Mantenimient o del sistema de investigacin 3 1 8

Instalaciones e infraestructura de informacin Instalaciones y material educativo 1 3 6 Infraestruct ura informativa 0 2 2 Total de temas especificad os 29 42 72

Indicador clave Actividades de investigacin A

Nmero de indicadores especificados

3 3 3

2 4 6

2 0 6

B C

Indicador clave

Contribucin a la sociedad

Servicios para estudiantes 3 0 3

Administraci n y gestin

Estructura institucional

Autoevaluacin

A
Nmero de indicadores especificados

0 1 14

1 2 0

0 3 1

3 1 1

B C

* Las letras A, B y C representan las tres categoras en que se dividen los indicadores claves: A =
esenciales, B = recomendables, C = opcionales. Fuente: M. Ohnami y H. Hokama (2004) The Japanese university evaluation system and the main self evaluation criteria of the Japan University Accreditation Association (JUAA), en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. p. 112.

37

La JUAA no es la nica organizacin dentro del sistema de educacin japons que realiza procesos de acreditacin. La Institucin Nacional para Ttulos Acadmicos y Evaluacin Universitaria (NIAD-UE), que por iniciativa del Ministerio de Educacin en 2000 empez a intervenir en la evaluacin externa de las universidades, aplica un modelo de acreditacin fundado en el enfoque de `aptitud para el propsito. La NIAD-UE destaca la importancia de la diversidad en la educacin superior y evala a las instituciones de acuerdo a sus propios objetivos y criterios. La desventaja de este sistema es que hace prcticamente imposible la comparacin de universidades con diferentes objetivos (Yonezawa, 2004: 123). En cambio, visto que la JUAA ha elaborado un modelo de indicadores estandarizados que sirve para comparar los datos de desempeo de instituciones de educacin superior a nivel nacional e internacional (benchmarking), es probable que con la creciente internacionalizacin de la educacin terciaria el modelo de la JUAA se desarrolle hasta alcanzar el estatus de sistema de acreditacin formal.

2.3. Unin Europea

En Europa la acreditacin se introdujo en dos etapas. La primera comenz en los aos 19891990 en Europa Central y del Este, en reaccin a la descentralizacin de la educacin superior ocurrida despus de la desaparicin de la Unin Sovitica. Los gobiernos de la regin introdujeron sistemas de acreditacin para proteger y promover la calidad de la educacin superior y para mantener un grado de control central sobre las instituciones. La segunda etapa comenz a fines de los aos 90 cuando algunos pases de Europa Occidental desarrollaron sistemas de acreditacin. Alemania (1998), Austria, Holanda y Noruega (2002) fueron los primeros pases en establecer organismos de acreditacin (Hmlinen et.al., 2004: 18). Se piensa que el Proceso de Bolonia dio un impulso especial a la extensin de los sistemas de acreditacin porque, aunque no se menciona el trmino `acreditacin en la Declaracin de Bolonia (1999), aument considerablemente el nmero de pases europeos que posteriormente aceptaron la acreditacin como mtodo para mejorar la transparencia y la calidad de la educacin superior (ilinskait, 2005: 107). Finalmente, en 2003, los ministros de Educacin reunidos en Berln en el marco del Proceso de Bolonia acordaron el establecimiento de estndares, procedimientos y directrices para fomentar el uso de la acreditacin como mecanismo de aseguramiento de la calidad (Freno y Rozsnay, 2004: 62). Aparte de las medidas de poltica pblica, varias instituciones profesionales elaboraron modelos de acreditacin; por ejemplo la Fundacin Europea para Desarrollo de la Gestin / Sistema Europeo de Mejoramiento de la Calidad (European Foundation for Management Development / European Quality Improvement System EFMD/EQUIS) y la Asociacin Europea para la Acreditacin de la Administracin Pblica (European Association for Public Administration Accreditation EAPAA) (Hmlinen et.al., 2004: 18).

38

En muchos pases de Europa las instituciones de educacin superior tienen la libertad de elegir el organismo y los servicios de acreditacin de acuerdo a sus preferencias y objetivos. Algunas universidades europeas optan, por ejemplo, por contratar los servicios de una agencia norteamericana como el Consejo de Acreditacin para Tecnologa e Ingeniera (EAPAA). En otros pases la acreditacin es impulsada por el Estado, lo que significa que el Gobierno establece un consejo nacional que controla la calidad de la educacin superior. A consecuencia de las ambiciones europeas de armonizar el sistema de educacin superior y fomentar la movilidad internacional de los estudiantes, a partir del nuevo milenio el foco de la acreditacin pas desde el mejoramiento de la calidad hacia el mantenimiento de la calidad (quality control). Otra tendencia reciente es la sustitucin de sistemas controlados por el Gobierno por sistemas en los que una agencia independiente asume toda la responsabilidad de la acreditacin (ibd.: 19). Estas tendencias hacen que exista cada vez ms uniformidad en estndares bsicos y criterios vlidos en todos los pases europeos. Los gobiernos crean las condiciones para que las instituciones de educacin superior deban cumplir con los mismos requisitos de calidad y as los ttulos y crditos acadmicos pueden ser reconocidos internacionalmente (ilinskait, 2005: 108). La Asociacin de Universidades Holandeses (VSNU) sostiene que el reconocimiento internacional de la calidad del sistema holands de educacin superior es uno de los principales incentivos para mantener un sistema de acreditacin adecuado. Argumenta que a la luz de la Declaracin de Bolonia es necesario para las instituciones demostrar el nivel de calidad de la educacin superior holandesa a otros pases (Hmlinen et.al., 2004: 19). En el resto de Europa los objetivos de la acreditacin son parecidos: obtener reconocimiento internacional; asegurar la calidad y mejorar el desempeo de las instituciones de educacin superior; crear transparencia; proporcionar informacin pblica, y mantener un sello oficial para la calidad de los programas de estudios. Actualmente existen varios procedimientos de acreditacin en Europa que se caracterizan por uno o ms de los siguientes enfoques (Sursock, 2004: 71): Evaluacin en base del principio `aptitud para el propsito o acreditacin por medio de estndares fijos determinados por el organismo de acreditacin; Foco en las instituciones o en los programas de estudios; Foco en los resultados, en los procesos o en el input (inversin).

En el Reino Unido los organismos de acreditacin optan por un enfoque distinto que se caracteriza por el uso de Indicadores Claves de Performance (ICPs) a la vez que de un modelo de estndares de calidad. El sistema ingls de acreditacin se centra en los resultados y en la performance general de las instituciones de educacin superior. 39

La diferencia con otros pases europeos radica, adems, en que las instituciones seleccionan los ICPs y son organismos internos los que los aplican para evaluar su desempeo (CUC, 2008: 16). No obstante, el Gobierno mantiene un considerable control sobre los procesos de acreditacin. Todas las instituciones deben cumplir con algunos criterios bsicos que se controlan mediante indicadores de performance, los cuales evalan los resultados y la efectividad de la enseanza, el acceso y la tasa de graduacin de estudiantes, y la produccin de investigacin. Un organismo central, la Agencia de Estadsticas para la Educacin Superior (Higher Education Statistics Agency HESA) recoge los datos y analiza el desempeo en estos campos. Adems, las instituciones estn obligadas a informar con regularidad a dos agencias de control: la Agencia de Aseguramiento de la Calidad (Quality Assurance Agency QAA) y el Consejo Ingls de Financiamiento de la Educacin Superior (Higher Education Funding Council for England HEFCE) (OCUFA, 2006: 2). En conclusin, gran parte de la acreditacin en el Reino Unido se realiza internamente pero la calidad de los programas e instituciones tambin es controlada por el Estado. Para estimular la evaluacin regular y efectiva de la calidad de la enseanza, el gobierno ha vinculado el financiamiento pblico al desempeo de las instituciones. Por medio de un procedimiento denominado Ejercicio de Evaluacin de la Investigacin (Research Assessment Exercise RAE) se miden los resultados de las instituciones en el mbito de I+D y los organismos de financiamiento deciden cunto respaldo econmico otorgarn a cada universidad. El indicador ms importante en la evaluacin del RAE es el nmero de artculos publicados en revistas acadmicas registradas internacionalmente, que se utiliza como principal proxy de la competitividad internacional del grupo o equipo de investigacin. Varias organizaciones e instituciones de educacin superior critican el mtodo del RAE porque sostienen que una evaluacin basada en la cantidad de artculos publicados favorece las universidades tradicionales a expensas de las universidades recin establecidas que disponen de menos recursos.4 El procedimiento de evaluacin que se utiliza en la mayora de los pases europeos presenta cuatro caractersticas bsicas (Freno y Rozsnay, 2004: 62): Autonoma e independencia en trminos de procedimientos y mtodos de evaluacin de la calidad, tanto respecto del gobierno como de las instituciones de educacin superior; Autoevaluacin; Evaluacin externa por un equipo de inspectores que se compone de colegasacadmicos (peer-review group) y que realiza visitas a la institucin evaluada; Publicacin de un informe que incluye el juicio del organismo de acreditacin.

En Marzo de 2006 el Gobierno declar que substituira el RAE por otro modelo de evaluacin que todava se encuentra en proceso de elaboracin (OCUFA, 2006: 3).

40

En estas cuatro etapas se aplican varios mecanismos de evaluacin que sirven para comparar el desempeo y el nivel de calidad de las universidades con los estndares bsicos de calidad. El mecanismo inicial utilizado en el proceso de acreditacin es la autoevaluacin por parte de las instituciones de educacin superior. La autoevaluacin implica la elaboracin de un informe mediante las directrices o handbooks de los consejos nacionales de acreditacin. El informe debe contener informacin sobre la organizacin y las polticas de la universidad y sobre cada departamento y programa de estudios. Cada institucin tiene la tarea de formar un equipo de profesores (y eventualmente estudiantes) responsable de la evaluacin constante de la calidad de los programas de estudios (Mihailescu, 2004: 37). El mecanismo que sigue a la autoevaluacin es la evaluacin por comisiones especializadas. Estas comisiones de expertos analizan la parte del informe de autoevaluacin que trata de las disciplinas que pertenecen a su campo de experticia. La parte ms importante de este proceso es la visita que los expertos hacen a la institucin evaluada. Investigan all si los datos provistas a travs del informe de autoevaluacin concuerdan o no con la realidad observada. Adems, utilizan la visita para verificar si la institucin cumple con los requisitos y estndares de los consejos nacionales de acreditacin. Las conclusiones de la visita se incorporan a un informe para conocimiento de la correspondiente comisin experta del organismo nacional de acreditacin, la que revisa los datos y el grado de cumplimiento de los criterios para la acreditacin. En base a los resultados de los dos informes (de autoevaluacin y de evaluacin externa por los especialistas), instancia formalmente encargada de decidir, emite el juicio evaluativo final y decide el otorgamiento o la negacin/retirada del estatus de acreditada de la institucin, unidad o programa.

41

Conclusin
La acreditacin es un sistema de evaluacin que se aplica globalmente para controlar y mejorar la calidad de la educacin superior. Gobiernos y varias instituciones nacionales e internacionales como la UNESCO y la Fundacin Nacional de la Ciencia de Estados Unidos reconocen la efectividad de la acreditacin como sistema de aseguramiento de la calidad. Sin embargo, destacan que es importante que los organismos de acreditacin establezcan algunos estndares bsicos e indicadores claves (idealmente basados en criterios internacionales) que funcionen como benchmarks para medir el desempeo de los programas e instituciones evaluadas y compararlos. Los estndares e indicadores varan de pas a pas, pero algunos criterios de calidad son utilizados globalmente (como el porcentaje de estudiantes que se grada; la productividad en investigacin acadmica; la participacin en la sociedad: consultora y actuar como think tanks; instalaciones y servicios para estudiantes; prestigio y gestin financiera). Los procesos de acreditacin se componen de varias etapas consisten generalmente en una fase de autoevaluacin, una visita por un equipo externo de expertos y un juicio del consejo (nacional) de acreditacin. El consejo determina si el programa (o la institucin de educacin superior) cumple con los requisitos bsicos de calidad y, de acuerdo a esto, le otorga o niega el estatus de acreditado/a. Se otorga este estatus por un perodo limitado de tiempo; generalmente de alrededor de cinco aos. Una vez cumplido ese plazo, la institucin debe someterse a un proceso de reevaluacin. El juicio del consejo de acreditacin tiene consecuencias importantes: las instituciones que pierden o no obtienen el estatus de acreditadas a menudo reciben menos respaldo econmico y tienen menor prestigio entre acadmicos y estudiantes. Los organismos nacionales de acreditacin no siempre estn encargados de la evaluacin del total de las instituciones de educacin superior. Por ejemplo, en Estados Unidos son agencias (externas) de aseguramiento de la calidad las que otorgan el estatus de acreditada a las instituciones. Y en Australia existe una forma de auto-acreditacin, es decir, las universidades disponen de organismos internos de evaluacin que tienen la competencia de otorgar formalmente el estatus de acreditado. Los organismos de acreditacin tambin pueden ser sometidos a procesos de evaluacin. El objetivo de esta forma de aseguramiento de la calidad, que se llama meta-acreditacin, es controlar el funcionamiento y la neutralidad de los organismos de modo que el sistema pueda mantener su legitimidad y efectividad. El enfoque de los procesos de acreditacin vara entre distintos pases y puede cambiar con el paso del tiempo. Algunos pases introdujeron la acreditacin como un modelo de estndares de excelencia (excellence standards approach) y establecieron estndares para distinguir las mejores universidades del resto de las instituciones de educacin superior. Otros pases mantienen un modelo de satisfaccin del consumidor que se orienta a la evaluacin de programas e instituciones de educacin superior en base a las necesidades de los consumidores. De este modo tratan de estimular un mejor ajuste entre el desempeo 42

institucional y la demanda de los estudiantes y otros consumidores (empleadores, proveedores de recursos). Sin embargo, la perspectiva ms usada es el enfoque de `aptitud para el propsito (fitness for purpose approach) que se centra en el desempeo de la instituciones en relacin a los objetivos definidos por ellas mismas. Este enfoque se fundamenta en la idea de que la calidad de la educacin se encuentra en el mejoramiento continuo y en el esfuerzo de las universidades por cumplir con sus propios objetivos. Durante los ltimos aos ha surgido otra perspectiva que rpidamente atrajo la atencin de los gobiernos y de quienes teman que el enfoque de `aptitud para el propsito (que sostiene una definicin relativa de la calidad) pudiera desvalorizar el concepto de calidad. Este otro enfoque, en cambio, define un conjunto de estndares bsicos que representa el nivel mnimo de calidad. Las instituciones de educacin superior que cumplen con los estndares bsicos funcionan en el nivel deseado de calidad y obtienen el estatus de acreditadas. En cambio, a las instituciones que no renen las exigencias mnimas se les niega el estatus de universidad acreditada por no ser capaces de garantizar la calidad de sus servicios. Se espera que los diferentes enfoques sigan alternndose en las dcadas que vienen, dependiendo de las polticas pblicas y de los objetivos concretos que se formulan en la educacin superior. En conclusin, cabe argumentar que la acreditacin ha conseguido un lugar importante dentro de los sistemas de aseguramiento de la calidad de la educacin terciaria. La mayora de los pases dispone hoy de un sistema de acreditacin que se ocupa del control y el fomento de la calidad de los programas e instituciones de educacin superior. Dado que la globalizacin y la internacionalizacin de la educacin exigen sistemas estables y comparables de la calidad, es importante que en los aos venideros los gobiernos y organismos de acreditacin se concentren en el establecimiento de estndares e indicadores internacionales vlidos para todos los sistemas de educacin superior. De este modo se promover la transparencia y uniformidad de los procesos de acreditacin y se fomentar el reconocimiento internacional de los criterios de calidad.

43

Bibliografa
Appleton, J.R. y R.A. Wolff (2004) Standards and indicators in the processes of accreditation: the WASC experience an American higher education accreditation perspective, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. CUC (Committee of University Chairs) (2006) CUC Report on the monitoring of institutional performance and the use of Key Performance Indicators. Documento recuperado el 3 de marzo de 2009: http://www.shef.ac.uk/cuc/pubs/KPI_Booklet.pdf. ------------ (2008) CUC Report on the implementation of Key Performance Indicators: case study experience. Documento recuperado el 4 de febrero de 2009: http://www.shef.ac.uk/cuc/pubs/CUC_Report.pdf. Damme, D. van (2004) Standards and indicators in institutional and programme accreditation in higher education: a conceptual framework and a proposal, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. ENQA (European Association for Quality Assurance in Higher Education) (2005) Standards and guidelines for quality assurance in the European Higher Education Area, Helsinki: ENQA (mimeo). ------------ (2007) Evaluacin externa de ANECA coordinada por ENQA: informe del Comit de Evaluacin Externa. Documento recuperado el 23 de marzo de 2009: http://www.aneca.es/quees/docs/enqa_evalexterna_esp_070928.pdf. Ewell, P.T. (2004) Accreditation and the provisin of additional information to the public about institution and program performance. Documento recuperado el 4 de febrero de 2009: http://www.chea.org/pdf/CHEA_OP_May04.pdf. Freno, L.V. y C. Rozsnay (2004) Uses of indicators in the processes of accreditation and quality assessment in the countries of Central and Eastern Europe, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. Hmlinen, K., K. Mustonen y K. Holm (2004) Standards, criteria, and indicators in programme accreditation and evaluation in Western Europe, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. Miclea, M. (2004) Working with the CIPOF Model a hypothetical example, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. Mihailescu, I. (2004) The quality assessment and accreditation of higher education in Central and Eastern Europe, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. Natarajan, R. (2000) The role of accreditation in promoting quality assurance of technical education, International Journal of Engineering Education 16(2): 85-96. OCUFA (Ontario Confederation of University Faculty Associations) (2006) Performance indicator use in Canada, the U.S. and abroad. Documento recuperado el 4 de febrero de 2009: http://www.ocufa.on.ca/research/PI_Canada_and_%20abroad.pdf. 44

Ohnami, M. y H. Hokama (2004) The Japanese university evaluation system and the main selfevaluation criteria of the Japan University Accreditation Association (JUAA), en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. Salmi, J. (2003) Indicators for tertiary education reform: a World Bank perspective, en: A. Yonezawa y F. Kaiser (2003) System-level and strategic indicators for monitoring higher education in the twenty-first century, Bucarest: CEPES. Schray, V. (s.a.) Assuring quality in higher education: key issues and questions for changing accreditation in the United States. Documento recuperado el 23 de marzo de 2009: http://www.ed.gov/about/bdscomm/list/hiedfuture/reports/schray.pdf. Sursock, A. (2004) Accreditation in the context of the Bologna Process: needs, trends, and developments, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. UNESCO-UIS (United Nations Educational, Scientific and Cultural Organization-UNESCO Institute for Statistics) (2006) International Standard Classification of Education ISCED 1997, Quebec: UNESCO-UIS. Vlsceanu, L., L. Grnberg y D. Prlea (2007) Quality assurance and accreditation: a glossary of basic terms and definitions, Bucarest: CEPES. Yonezawa, A. (2004) Current debates on standards, criteria, and indicators used in programme accreditation and quality assessment in Japan, en: L. Vlsceanu y L.C. Barrows (eds.) (2004) Indicators for institutional and programme accreditation in higher/tertiary education, Bucarest: CEPES. ilinskait, R. (2005) Indicators for higher education accreditation in Western and Central Eastern Europe, Pedagogy Studies, 77: 106-112.

45

Anexo 1: Lista de indicadores claves de performance (ICPs)

La siguiente lista contiene los ICPs establecidos por el Comit de Catedrticos Universitarios (CUC) del Reino Unido. Adems informa sobre el modo en que se definen y miden los indicadores de performance. Fuente: https://webmail.kpnmail.nl/exchweb/bin/redir.asp?URL=http://www.shef.ac.uk/cuc/pubs/KPI _Booklet.pdf rea de desempeo 1: Sostenibilidad Institucional ICP Definicin/forma de medicin CN/CP ratio Rendimiento de activos Costos netos sobre costos de produccin (Se usa el valor de activos asegurados sobre los ingresos como un proxy fcil) Gasto anual en infraestructura en comparacin con el requisito acordado Inversin total en instalaciones ms el mantenimiento como % del valor de activos asegurados Crecimiento y diversidad de fuentes de ingresos, la estabilidad percibida de estas fuentes y oportunidades de aumentar los ingresos netos Varias medidas posibles: Nmero de postulantes por vacante, tasas de aprobacin y desercin Ttulos otorgados Satisfaccin de los estudiantes segn encuesta nacional de estudiantes (national student survey) Relaciones estratgicas y reputacin Retroalimentacin sobre la calidad de la reputacin y las relaciones con socios y partes claves interesadas Evaluacin Algunos indicadores de evaluar el desempeo: Liderazgo y capacidad de adaptacin Nmero de programas y mdulos revisados y actualizados La efectividad y la duracin de la implementacin de proyectos como nuevos sistemas y desarrollo de capital 46

Diversidad, seguridad y crecimiento de los ingresos

Demanda, resultados y satisfaccin de los estudiantes

 Intensidad de evaluacin y exposicin del profesorado a la experiencia de acadmicos externos Incorporacin de buenas prcticas y nuevas iniciativas en el currculo Benchmarking: el desempeo de la institucin en comparacin con otras instituciones de educacin superior Evaluacin de los riesgos que amenazan la estabilidad de la institucin, de los planes estratgicos, de las posibilidades de obtener fondos adicionales

Equilibrio de oportunidades y riesgos

rea de desempeo 2: Perfil Acadmico y Posicin en el Mercado ICP Definicin/forma de medicin Equilibrio de ingresos, excedente/dficit en enseanza e investigacin, datos sobre la dedicacin del profesorado (en el caso del Reino Unido se usa, por ejemplo, datos del Transparent Approach to Costing (TRAC)) Proporcin de estudiantes pregrado/posgrado Proporcin de estudiantes a tiempo completo/a tiempo parcial Proporcin de estudiantes internacionales y regin de origen Proporcin de estudiantes de minoras Evidencia sobre caracterizacin acadmica Reputacin entre instituciones acadmicas y agencias externas de evaluacin Evaluacin de coherencia y logro de posicionamiento acadmico escogido Posicin en rankings segn la experiencia de profesores/estudiantes y segn el grado de investigacin Las alianzas acadmicas y estratgicas ms significativas segn: Contribucin de relaciones acadmicas estratgicas Socios Propsito Estabilidad y contribucin 47

Equilibrio enseanza/investigacin

Poblacin estudiantil carcter y diversidad

Integracin de planificacin acadmica y estratgica Objetivos acadmicos a mediano plazo

Evaluacin de la efectividad de las estrategias Contenido y presentacin de perspectivas institucionales

rea de desempeo 3: La Experiencia de los Estudiantes, y Enseanza y Formacin ICP Resultados de evaluaciones externas Reclutamiento de estudiantes comparado con metas Definicin/forma de medicin Informes recientes de los organismos de aseguramiento de la calidad La matrcula de estudiantes comparada con los objetivos predeterminados Nmero de postulantes por vacante Calidad de los nuevos estudiantes Evaluacin de los requisitos de admisin, por ejemplo puntaje PSU Nmero de estudiantes que abandona la universidad antes de graduarse en cada ao y disciplina Nmero de ttulos otorgados y crditos obtenidos por los estudiantes Recolectar y comparar datos de encuesta nacional de estudiantes Recolectar y comparar datos de encuestas (de instituciones o de agencias de estadsticas de la educacin superior) Varias maneras posibles: Porcentaje del profesorado que realiza investigaciones y su output Actividad acadmica del profesorado Publicaciones secundarias, conferencias y otras evidencias de productividad Afiliacin a rganos profesionales relevantes Evaluacin por una comisin de desarrollo acadmico

Progreso de los estudiantes

Resultados de los estudiantes Satisfaccin de los estudiantes Empleabilidad y destino profesional de los estudiantes

rea de desempeo 4: Investigacin 48

ICP

Definicin/forma de medicin Evaluacin por medio de indicadores de aseguramiento de la calidad de investigacin (en el caso del Reino Unido se usa, por ejemplo, los indicadores de Research Assessment Exercise (RAE)), y segn disciplina Total de ingresos obtenidos por investigacin y a travs de patrocinadores y fondos, por disciplina Total de ingresos obtenidos por investigacin en relacin al nmero de acadmicos a tiempo completo (activos en investigacin), por disciplina Evaluacin por medio de indicadores de aseguramiento de la calidad de investigacin (RAE) Dficit en investigacin, recuperacin de los gastos como % en comparacin con otras instituciones de educacin superior Porcentaje de solicitudes aprobadas por el consejo de investigacin u otro patrocinador, por facultad o disciplina Nmero de estudiantes de investigacin de posgrado, total y por disciplina Cantidad de ttulos/reconocimientos, porcentaje de los estudiantes de doctorado que se grada

Resultados de investigacin

Ingresos de investigacin

Ingresos de investigacin por acadmico

Porcentaje del personal que realiza actividades de investigacin

Recuperacin de los gastos de investigacin

Tasa de xito en postulaciones a fondos de investigacin Nmero de estudiantes que se matrcula en un programa de investigacin de posgrado Obtencin de ttulos y reconocimientos por estudiantes de investigacin de posgrado

rea de desempeo 5: Transferencia de Conocimiento y Relaciones ICP Otros ingresos Definicin/forma de medicin Total, crecimiento, y como porcentaje del total de ingresos Relacin input/actividad en diferentes actividades como consultoras, servicios clnicos, etc. (En el Reino Unido se usan los datos del TRAC) Ingresos de investigacin de origen privado y extranjero como porcentaje del total 49

Proporcin del tiempo acadmico que se dedica a otras actividades Porcentaje de los ingresos de investigacin que viene de patrocinadores comerciales

Dependiendo del tipo de institucin, las medidas pueden incluir: El grado de explotacin de la propiedad intelectual (PI) Nmero y calidad de asociaciones estratgicas Participacin en comunidades regionales y locales y la relacin con sus empleadores xito de graduados, recaudacin de fondos, y actividades de financiamiento Licencias y derivados; Patentes otorgadas; Ingresos comerciales; Programas corporativos

Informe que indique el tipo de relacin con socios externos, el objetivo de esta relacin y el provecho obtenido El grado de penetracin en las redes locales Informes regulares en que se comparan los resultados con los objetivos (a largo plazo) de la institucin. Se usa la generacin de ingresos como indicador de xito y progreso

rea de desempeo 6: Estabilidad econmica ICP Total del balance de excedente/dficit durante los tres ltimos aos como % de los ingresos Ganancias en efectivo obtenidas en el ltimo ao financiero Estimacin del excedente para el prximo/actual ao financiero Actual relacin entre activos y pasivos Liquidez (das de gastos disponibles) Prstamos como % del total de ingresos Costo no financiado de los requisitos de inversin de capital a diez aos Clasificacin crediticia Definicin/forma de medicin Informacin de cuentas. Suaviza efecto de aos excepcionales. Cada institucin debe fijar su propio objetivo, pero un rango de 35% se puede considerar apropiado Informacin contable. Usualmente se calcula como (excedente histrico + depreciacin depsitos de capital liberados) Evaluacin de las predicciones econmicas ms actuales de la institucin Informacin contable. Anlisis de la fortaleza financiera Informacin contable Informacin contable Evaluacin de la capacidad de la institucin de financiar sus objetivos en trminos de desarrollo de capital Reputacin de la institucin frente a la banca 50

y analistas financieros

rea de desempeo 7: Propiedades e Infraestructura ICP Condiciones de mantenimiento e idoneidad funcional Definicin/forma de medicin Porcentaje de la infraestructura que se encuentra en condiciones precarias; idoneidad de las instalaciones Una medicin financiera relacionada a las condiciones de mantenimiento e idoneidad funcional Medicin de la utilizacin de espacio por medio de un sistema de uso ambiental (en el Reino Unido se usa, por ejemplo, el Environmental Management System (EMS)), en comparacin con otras instituciones Por medio de los datos de un sistema de uso ambiental (EMS) Evaluacin, en base de estndares actuales, de las instalaciones de las salas de educacin Medida de los costos de espacio que la institucin est aadiendo a los costos de investigacin. (En el caso del Reino Unido se usa datos de TRAC y de la Higher Education Funding Council for England (HEFCE))

Costos totales de reparacin de inversiones

Utilizacin metros cuadrados por estudiante

Rendimiento de activos, ingresos por metro cuadrado Proporcin % de salas de enseanza modernizadas

ndice de costos de las propiedades

rea de desempeo 8: Personal y Desarrollo de Recursos Humanos ICP Costos del personal como % Definicin/forma de medicin Informacin contable; en relacin a instituciones comparables Informacin del departamento de RR.HH.; una comparacin con los objetivos de la estrategia institucional y con otras instituciones Informacin del departamento de RR.HH.; una comparacin con los objetivos de la estrategia institucional y con otras 51

Rotacin de personal, ausentismo, y vacantes en relacin a las expectativas

Edad, competencias, y diversidad del personal

instituciones Informacin del departamento de RR.HH.; una comparacin con los objetivos de la estrategia institucional y con otras instituciones Informacin de la gestin financiera Informacin del departamento de RR.HH.; una comparacin con los objetivos de la estrategia institucional y con otras instituciones

Gastos de desarrollo y formacin de empleados

Obligaciones de pensiones

Satisfaccin del personal

rea de desempeo 9: Direccin, Gestin, Administracin y Sistemas incluido el Cumplimiento con la Legislacin ICP Compatibilidad con el cdigo de buenas prcticas (en el caso del Reino Unido se trata del cdigo del CUC) Auditoras externas a la gerencia Definicin/forma de medicin Evaluacin, eventualmente realizada como parte de la auto-evaluacin peridica Informes y feedback de varias agencias como consejos de financiamiento, organismos de acreditacin, etc. Evaluacin de la efectividad de la organizacin. Cada organismo directivo puede decidir como desea hacer la evaluacin Informe sobre los resultados comparados con los objetivos; evaluacin peridica Informes en que se evala el desempeo de los altos directivos y la efectividad de la administracin

Capacidades de liderazgo

Realizacin exitosa de planes y proyectos

Informes del comit de remuneracin

52

Anexo 2: Ejemplo de un informe de meta-acreditacin - Evaluacin de la Agencia Nacional de Evaluacin y Acreditacin de la Calidad, Espaa
Resumen ejecutivo Este informe analiza el grado de cumplimiento de la Agencia Nacional de Evaluacin y Acreditacin - ANECA- de los Criterios y Directrices para la Garanta de Calidad (ESG) en el Espacio Europeo de Educacin Superior (EEES). ANECA contact con ENQA para pedirle que organizara la evaluacin externa de la agencia con ese propsito. ENQA design a un comit de expertos internacionales para realizar la evaluacin de ANECA. La visita externa tuvo lugar en Madrid el 14 y 15 de junio de 2007. A la luz de la documentacin y las evidencias orales, el Comit concluy que ANECA cumple las normas para ser miembro de ENQA y los Criterios y Directrices. Por lo tanto, el Comit recomienda a la Junta Directiva de ENQA que ANECA debera obtener la renovacin como miembro de pleno derecho de ENQA por un nuevo periodo de cinco aos. El Comit subraya que la reciente reforma de la LOU de 2001 afectar a la estructura ejecutiva de ANECA. La evaluacin de ANECA tuvo lugar bajo las estructuras actuales. ANECA ofrece ocho programas de evaluacin externa que cubren programas de grado y distintos asuntos institucionales; y promocionan las buenas prcticas para instituciones de educacin superior en lo referente a los Criterios y Directrices. Los procesos de ANECA de diseo y desarrollo de programas de evaluacin son dignos de elogio. Se invita a participar en los programas de manera cclica, pero hasta ahora la participacin en cualquiera de los programas no ha sido obligatoria. Esto cambiar con la introduccin de los programas AUDIT y VERIFICA que sern obligatorios. ANECA est reconocida como la Agencia Nacional de Evaluacin de la Calidad y Acreditacin y acepta totalmente sus responsabilidades en ese sentido. ANECA ha emprendido iniciativas para fortalecer la cooperacin y aclarar la relacin con las agencias de calidad autonmicas. Tanto los miembros de los comits de evaluacin como las instituciones tienen una buena opinin de la calidad de los servicios proporcionados por ANECA y del trabajo que realiza su personal. Debido al gran alcance de los programas de evaluacin, es necesario prestar especial atencin en controlar la carga de trabajo del personal de la Agencia. ANECA tiene en marcha rigurosos procedimientos para dirigir a sus evaluadores, pero quizs debiera considerar perfiles ms institucionales a la hora de confeccionar los comits. ANECA destina suficientes recursos materiales y financieros para cumplir con eficacia sus objetivos. El Plan Estratgico de ANECA para el horizonte 2010 presenta la misin y objetivos de la Agencia. ANECA prepara planes de actuacin anuales para desarrollar el cumplimiento de esos objetivos. El contenido de los informes de evaluacin no est influenciado por terceras partes y hasta la fecha el Patronato de la Agencia ha suscrito los estatutos de la misma que subrayan que ANECA debe actuar con independencia. Sin embargo, existe la necesidad de fortalecer la proteccin de la responsabilidad autnoma de la Agencia.

53

Los procesos de ANECA estn predefinidos y bien documentados, incluidos los procedimientos de recurso. Generalmente los programas de evaluacin siguen los pasos esperados, tal y como se especifica en los Criterios y Directrices. El Comit observa que slo los resultados de las evaluaciones ex-post estn disponibles y son pblicos y es necesario aplicar de manera sistemtica este principio de difusin. El Comit apoya la opinin de ANECA sobre la necesidad de centrarse en el desarrollo de medios que garanticen un seguimiento ms eficaz de las evaluaciones externas. ANECA ha desarrollado una poltica de calidad y rigurosos mecanismos que la garantizan. Recientemente se ha iniciado la implantacin de un sistema de gestin de la calidad interna. Pese a los mecanismos de feedback internos y externos ya en aplicacin, existe un potencial para un mayor desarrollo y expansin de los mismos. El Comit considera que el sistema de garanta de la calidad proporciona un marco adecuado que permite el seguimiento de este informe de evaluacin.

Ver documento completo (48 pp.) que se halla disponible en: http://www.aneca.es/quees/docs/enqa_evalexterna_esp_070928.pdf

54