CONTRUYENDO LA CALIDAD.

INDICADORES Y CRITERIOS DE
CALIDAD PARA LA EDUCACIN A DISTANCIA
Por: Martha Georgina Ley Fuentes
Universidad de Guadalajara
Sistema de Universidad Virtual
Introduccin Introduccin
La necesidad de evaluacin de las instituciones universitarias parece obvia La educacin es
una actividad propositiva! intencional y! en consecuencia! la determinacin de si se logran! y
en "u# grado! las metas es un elemento constitutivo de la propia accin $o ser%a ra&onable
desentenderse de los e'ectos "ue justi'ican la actividad Pero! dado "ue en la evaluacin
universitaria se proyecta! como antes a'irmaba! la evaluacin desarrollada en el (mbito
econmico! se corre el riesgo de "ue! al trasladar acr%ticamente los procedimientos propios
del control econmico de la Universidad! puedan distorsionarse los propios procesos
educativos y de la produccin cient%'ica! consider(ndolos como un caso particular de la
produccin de bienes y servicios en la perspectiva econmica )omo a'irma Mora *+,,+-! al
re'erirse a la situacin brit(nica! es necesario acabar con la mentalidad obsesiva de
autoan(lisis y autojusti'icacin permanente
.l objetivo general de esta propuesta se centra en el desarrollo y validacin de un modelo
de calidad! de acuerdo a indicadores relevantes y utili&ables para la evaluacin de
/nstituciones de .ducacin Superior "ue o'recen educacin a distancia
Consideraciones cobre el conceto de indicador Consideraciones cobre el conceto de indicador
.l diccionario de la 0eal 1cademia .spa2ola de'ine la palabra indicador como a"uello "ue
indica o sirve para indicar .l mismo! se2ala "ue la palabra indicar nos permite mostrar o
significar una cosa con indicios y se2ales .s decir! el indicador o los indicadores permiten
advertir! a partir de un 'enmeno! la presencia de otro u otros a3n no percibidos .s desde
esa perspectiva "ue se conciben los indicadores como instrumentos "ue permiten ver pero
tambi#n prever4 conocer! pero! a la ve&! in'erir las consecuencias de ese conocimiento
.n el (mbito de la educacin los indicadores han servido como aspectos clave en la
planeacin! de'inicin! desarrollo e implementacin de pol%ticas .sta situacin se da a partir
de esta virtud "ue tienen los indicadores de mostrar anticipadamente algunas situaciones y
de construir escenarios 'uturos! abriendo tambi#n la posibilidad no slo de conocerlos sino!
en su caso! trans'ormarlos .s innegable "ue la aplicacin de indicadores ha derivado en la
posibilidad de reorientar el trabajo acad#mico y administrativo rede'iniendo cada uno de
ellos y dot(ndolos de un nuevo sentido .n la actualidad! muchas de las re'ormas dadas en
estos dos (mbitos *academia5administracin- parten de la in'ormacin arrojada de un
n3mero determinado de indicadores! pues #stos! permiten contrastar el 'in de una actividad
con la calidad de sus resultados
1
.n este sentido! la implementacin de indicadores ha respondido no slo a una necesidad
institucional sino "ue es m(s bien a la inversa: la aparicin y preponderancia "ue han
cobrado reside en el reclamo de organismos nacionales e internacionales 6icho reclamo
parte precisamente del inter#s de contar con elementos su'icientes "ue les permitan
justi'icar la distribucin de los recursos y el apoyo "ue prestan a programas y proyectos "ue
de ella se derivan
.s bajo esta ptica! "ue los indicadores buscan por una parte mejorar la in'ormacin
haci#ndola con'iable y! por otra! establecer la posibilidad de "ue #sta sea comparable entre
instituciones y pa%ses 1s% lo sostiene el Laboratorio Latinoamericano de .valuacin de
)alidad de la .ducacin! el cual se2ala "ue no slo 7La apreciacin del nivel y la calidad de
la educacin por medio de la medicin y evaluacin! cobran cada ve& mayor importancia
8sino "ue esto se da9 en la medida en "ue los pa%ses reconocen las ventajas de establecer y
comparar sus rendimientos dentro de un conte:to internacional!.
Aaricin de los indicadores
6ice 1na Mar%a )orval(n "ue 7las primeras propuestas de indicadores en la regin surgen
con mayor nitide& a partir de los a2os ;<! promovidas por la U$.S)=7
Sin embargo! su aparicin data de la d#cada de los sesenta cuando se hace especial
#n'asis en el ingreso! permanencia y egreso en el sistema educativo latinoamericano
.n la actualidad! el uso de indicadores se est( generali&ando y esta generali&acin es
producto de la e:igencia de contar con elementos "ue permitan evaluar y garanti&ar la
calidad! la e"uidad y la pertinencia acad#micas
La preocupacin por medir el nivel de los resultados alcan&ados en el proceso de 'ormacin
ha traspasado las barreras 1hora no slo se hace necesario establecer indicadores para la
educacin presencial! sino "ue es imprescindible hacerlo para a"uellas opciones
alternativas de educacin como lo son la educacin abierta y a distancia
La misma )orval(n! cuyas re'le:iones se centran no obstante en la educacin presencial!
considera "ue 7uno de los desa'%os importantes es construir un conjunto de indicadores
b(sicos acordados por los pa%ses sobre la calidad de la 'ormacin docente inicial "ue 'acilite
la evaluacin y el mejoramiento de la situacin actual7! aspecto "ue bien puede ser aplicado
a la educacin abierta y a distancia
Sin duda! el problema central al "ue se en'renta este tipo de educacin en su b3s"ueda por
evaluar la calidad de sus procesos! se halla en la construccin de indicadores! los cuales
deber(n dar cuenta de los objetivos centrales "ue la educacin a distancia se ha planteado
en M#:ico y gran parte de 1m#rica Latina:
Potenciali&ar la capacidad de la escuela
Familiari&ar al individuo con el uso de las nuevas tecnolog%as
6iversi'icar la educacin
1mpliar la cobertura e:tendiendo los espacios educativos
1tender a grupos marginados
Motivar el aprendi&aje continuo y permanente
1ctuali&ar el conocimiento
2
Indicadores de calidad
.sta concepcin proporciona unas bases claras para la evaluacin de la calidad! ya "ue
permite determinar con cierta precisin indicadores identi'icados con criterios y predictores
de funcionalidad, eficacia y eficiencia! susceptibles! en muchos casos! de cuanti'icacin
1simismo! la constatacin de incoherencias entre los componentes b(sicos de una
institucin universitaria o de la educacin superior en una determinada comunidad!
constituye el mejor punto de partida y la gu%a m(s precisa para tomar decisiones
optimi&antes en una direccin espec%'ica
.n consecuencia! se propone agrupar y ordenar los indicadores de 'uncionalidad! e'icacia y
e'iciencia de la siguiente manera:
"uncionalidad
La determinacin de los indicadores de 'uncionalidad! aplicables 'undamentalmente a los
niveles de institucin y de sistema universitarios! plantea di'icultades en las sociedades
pluralistas y democr(ticas! dados! por un lado! la diversidad de valores! aspiraciones y
necesidades sociales "ue coe:isten en ellos y! por otro! la 'alta de acuerdo sobre las metas
educativas deseables .n todo caso! e:isten t#cnicas para determinar los niveles de
aceptacin de los valores! metas y productos de las instituciones universitarias! base
principal de los indicadores de 'uncionalidad .stos %ndices pueden agruparse en cuatro
categor%as:
Los "ue e:presan relaciones entre los inputs o entradas al sistema universitario y los
valores sociales: sistemas de reclutamiento de alumnos y pro'esores4 e"uidad de
acceso *"u# alumnos ingresan! y especialmente "ui#nes encuentran barreras-4
e"uidad en la asignacin de recursos humanos! materiales y econmicos4 demanda de
inscripcin4 etc
Los "ue e:presan relaciones entre estructura! procesos directivos y de gestin!
investigadores! evaluativos! curriculares e instructivos en las instituciones universitarias
y los valores! e:pectativas y necesidades sociales: estructura de autoridad y
participacin en el sistema decisional en el centro4 clima institucional4 valide& cultural!
social y laboral del curr%culum y de los programas acad#micos4 valide& curricular del
sistema de evaluacin4 etc
Los "ue e:presan relaciones entre producto y resultados de los programas
acad#micos! y e:pectativas y necesidades sociales: adecuacin en cantidad y
modalidad de los graduados4 vigencia de conocimientos! aptitudes y competencias
ad"uiridos4 relevancia de valores y actitudes! relevancia de la aportacin cient%'ica
investigadora! etc
Los "ue e:presan relaciones entre metas y objetivos de la educacin universitaria y las
aspiraciones! e:pectativas y necesidades y demandas de 'ormacin superior en la
sociedad .l problema para la determinacin de los indicadores incluidos en este grupo
es la 'alta de acuerdo y consenso sobre las metas sociales relevantes y las metas
universitarias pertinentes
E#icacia
La determinacin de los indicadores de e'icacia se apoya 'undamentalmente en la
evaluacin del producto! tomando como instancia de re'erencia las metas y objetivos del
sistema o de la institucin La di'icultad a"u% proviene! de una parte! de la ambig>edad
inherente a las propias metas y objetivos educacionales y! de otra! de la de'iciente
conceptuali&acin del producto *de la =rden! +,;? b- 0esulta! por tanto! ineludible
pro'undi&ar en el an(lisis del rendimiento educativo para progresar en la identi'icacin de
sus dimensiones b(sicas y llegar a de'iniciones operativas
3
E#iciencia
La determinacin de los indicadores de e'iciencia se apoya 'undamentalmente en la
valoracin de los costos de todo orden *personales! temporales! sociales! materiales!
econmicos! renuncia a otros logros! etc- "ue suponen los resultados obtenidos Se trata!
pues! de e:presar la relacin medios5logros y su di'icultad radica tambi#n en el car(cter
elusivo y ambiguo de estos conceptos en el (mbito universitario Seg3n se de'inan e
identi'i"uen los inputs y outputs! se con'iguran tres grandes categor%as de %ndices de
e'iciencia universitaria *Lindsay! +,;@-:
.conmica *productividad de la educacin como 'ormacin de capital y recursos
humanos-
1dministrativa y de gestin *organi&acin de recursos para o'recer los servicios de
educacin e investigacin y de e:tensin universitaria-
Pedaggica *coherencia de pro'esores! instruccin! tiempo y recursos de ense2an&a!
etc! a los resultados educativos-
Tendencias internacionales Tendencias internacionales
Pautas canadienses reco$endadas ara e%learnin&
.stas pautas se pensaron para ayudar a los "ue deseen dise2ar! distribuir! evaluar y
comprar productos y servicios de e5learning de calidad para los estudiantes y sus
patrocinadores o asesores
Las caracter%sticas dominantes de estas pautas son "ue ellas son:
a =rientadas para el consumidor 5 6esarrollado con particular atencin en la
devolucin de la inversin en e5learning para los aprendices
b )onsenso5basado 5 6esarrollado en la consulta! con un e"uilibrio de los grupos de
abastecedores y consumidores en )anad( y m(s all(
c )omprensivo 5 inclusive de todos los elementos del sistema de aprendi&aje:
resultados y salidas! procesos y pr(cticas! entradas y recursos
d Futurista 5 6escribiendo un 'uturo pre'erido m(s "ue las circunstancias actuales del
dise2o y la distribucin
e 6istintivo canadiense 5 re'lejo de los m(s altos valores canadienses y las prioridades
de aprendi&aje
' 1daptable 5 utili&ado lo mejor posible para la educacin y el entrenamiento post5
secundario del adulto! pero adaptable a otros niveles de los servicios de aprendi&aje
g Fle:ible 5 no todas las pautas se aplicar(n en todas las circunstancias
h .stas pautas son recomendadas por las agencias nacionales e internacionales
siguientes:
i )onsorcio 1lberta en l%nea
j 1sociacin para los medios y la tecnolog%a en la educacin en )anad(
A 1sociacin canadiense para la educacin de la comunidad
l 1sociacin canadiense para la educacin a distancia
m La 0i"ue&a com3n del aprendi&aje
n Lic#'! Bele Universidad
o ='icina de tecnolog%as del aprendi&aje! desarrollo de recursos humanos )anad(
p School$et! /ndustr%a )anad(
4
Indicadores ' criterios de la educacin a distancia en Euroa
.l /n'orme .uropeo sobre la calidad de la .ducacin .scolar se2ala en su introduccin "ue
la calidad de la educacin y la 'ormacin es una cuestin de la mayor importancia pol%tica
La calidad de la ense2an&a resulta esencial para las pol%ticas relacionadas con el mercado
de trabajo y la libre circulacin de los trabajadores en la Unin .uropea
.n +,,C hubo iniciativas "ue prepararon el terreno para la reali&acin del proyecto piloto
sobre la evaluacin de la ense2an&a escolar "ue entre +,,C y +,,; se reali& en +<+
centros de ense2an&a secundaria en toda .uropa
.ste in'orme est( estructurado en torno a diecis#is indicadores seleccionados por el grupo
de trabajo en colaboracin con la )omisin *e:pertos nacionales- 6ichos indicadores
abarcan cuatro grandes (mbitos: el nivel alcan&ado! el #:ito y la transicin escolar! el
seguimiento de la educacin escolar y los recursos y estructuras educativos
Los indicadores se enmarcan en cuatro (mbitos:
+ $ivel alcan&ado .ste (mbito incluye siete indicadores! donde para algunos campos
*Matem(ticas! tecnolog%as de la in'ormacin- la evaluacin de dichas materias es '(cil .n el
otro e:tremo! el indicador 7aprender a aprender7 incluye una serie de competencias mucho
menos '(ciles de evaluar4 no obstante es un indicador 'undamental
@ D:ito y transicin .sta categor%a incluye tres indicadores especialmente importantes
desde el punto de vista pol%tico y estrechamente relacionado: la tasa de abandono escolar!
la 'inali&acin de la educacin superior y la participacin en la educacin superior
E Seguimiento de la educacin escolar .sta categor%a se re'iere a la participacin de las
partes interesadas y son la evaluacin y conduccin de la educacin escolar y la
participacin de los padres
F 0ecursos y estructuras .sta categor%a aborda aspectos importantes de la in'raestructura:
gasto educativo por estudiante! educacin y 'ormacin de los pro'esores! participacin en la
educacin in'antil y n3mero de estudiantes por ordenador
Prouesta de un $odelo de e(aluacin Prouesta de un $odelo de e(aluacin
.l proyecto se o'rece a partir de un modelo de calidad en programas educativos reali&ados
en la modalidad a distancia! asociado con una estrategia de intervencin institucional y a un
proceso de control de gestin operacional para poder cumplir con una intencin valorativa
inicial! una consecuente estrategia de ajuste y !posteriormente! proponer la implantacin un
conjunto de actividades! instrumentos y responsabilidades "ue permitan e'ectuar la
valoracin de la calidad y pertinencia de los programas "ue o'rece el Sistema de
Universidad Virtual de manera continua! sistem(tica y e'ica&
Proble$as en la calidad )ue *a' )ue resol(er
.l C<G de las 'allas y la baja calidad de los programas educativos as%ncronos o a distancia
se deben primordialmente a:
Problemas derivados de una de'iciente planeacin 'inanciera! y estudios de 'actibilidad
1 la usual pr(ctica de construir primero el programa y luego buscar los posibles usuarios
1 la 'alta de criterios uni'ormes para instrumentar los programas en la red
Limitaciones tecnolgicas locales y regionales! sobreestimacin del rendimiento de la
red
5
Constru'endo la Calidad. Princiios del $odelo
Los estudiantes son prioridadH los programas deben atender las necesidades con una
visin orientada al a"u%! ahora y ma2ana
.nri"uecer las e:periencias de los estudiantes incorporando investigacin y
aprendi&aje activo al curr%culum
Poner a trabajar el conocimiento y la e:periencia en la solucin de problemas de
nuestras comunidades
Criterios ara de#inir el $odelo
+ 6e'inir nuestros est(ndares de calidad
@ Seleccionar los est(ndares internacionales mas generali&ados
E /ncluir est(ndares internacionales en nuestra de'inicin
F 1ctuar superando lo de'inido y o'reciendo un valor agregado
Los indicadores e +ndices de dese$e,o )ue con#or$an el $odelo
Se considera importante considerar el establecimiento de indicadores de desempe2o en las
siguientes actividades b(sicas y aspectos de cada uno de los programas del SUV:
6elimitacin de: Momento social en el "ue se plantea el programa
)apacidad institucional para llevar a cabo e'ica&mente el programa
.spacios laborales reconocibles para egresados del programa
Metas y objetivos del programa
/ncorporacin de: 1gentes
/nsumos tecnolgicos
/nsumos pedaggicos
0eali&acin de: Servicios educativos
Servicios de apoyo administrativo
Servicios de apoyo t#cnico
Produccin de recursos educativos
Produccin de recursos tecnolgicos
Seguimiento de: .'ectividad en los servicios educativos o'recidos
.'icacia y oportunidad de los servicios de apoyo t#cnico
.'icacia y oportunidad de los servicios de apoyo administrativo
Vinculacin: )on otros programas de la red universitaria
)on programas e:ternos
)on instancias universitarias de apoyo t#cnico o administrativo
)on organi&aciones u organismos e:ternos de apoyo t#cnico o
administrativo
)on instancias de apoyo 'inanciero
Bodo ello con el 'in de e'ectuar el an(lisis de la operacin del programa y asumir la
determinacin de ajustes "ue permitan una mejora en su 'uncionamiento
1lgunos criterios de evaluacin susceptibles de emplearse en la determinacin de tales
indicadores son la e'icacia! la pertinencia! la oportunidad! la su'iciencia! la claridad! la
accesibilidad! la cobertura de los insumos! recursos! actividades! servicios y productos de
nuestros programas educativos
6
Iasta ahora! se han utili&ado casi e:clusivamente indicadores de e'iciencia y e'icacia bajo el
nombre gen#rico de indicadores de rendimiento! sin una re'erencia clara a una teor%a o
modelo de calidad universitaria $uestra aportacin! adem(s de este modelo terico!
consiste en destacar los indicadores de 'uncionalidad! de importancia capital! superando las
diversas concepciones parciales de calidad universitaria *Mora! +,,+4 Iarvey y Green!
+,,E-
-odelo de e(aluacin rouesto
Una visuali&acin es"uem(tica y simpli'icada del modelo de evaluacin propuesto es la
siguiente:
7
Seguimiento
Produccin de
recursos
tecnolgicos
Produccin de
recursos
educativos
Produccin de
recursos
educativos
Servicios de
apoyo
administrativo
Servicios de
apoyo educativo
Servicios
educativos
Programas
acadmicos
del SUV
Insumos
pedaggicos
Agentes
Insumos
tecnolgicos
8
!ectividad en los servicios
educativos o!recidos"
!icacia y oportunidad de los
servicios de apoyo t#cnico"
!icacia y oportunidad de los
servicios de apoyo administrativo"
$on otros programas de la red universitaria"
$on programas e%ternos"
$on instancias universitarias de apoyo t#cnico o
administrativo"
$on organi&aciones u organismos e%ternos de
apoyo t#cnico o administrativo"
$on instancias de apoyo !inanciero
Vinculacin
Seg3n nuestro modelo! la e'icacia por si misma no garanti&a la calidad de la educacin
universitaria! ya "ue los objetivos logrados pueden no representar las opciones m(s
relevantes M(s a3n! una institucin con un m(:imo de e'icacia y e'iciencia! es decir!
coherencia completa entre todos los componentes representados en el modelo del sistema!
e:cepto las e:pectativas y necesidades reales de educacin superior de los individuos y de
la sociedad *per'il a:iolgico y aspiracional-! resultar%a un instrumento per'ecto para reali&ar
una 'uncin diferente de a"uella para la "ue ha sido establecido
'
Conclusiones Conclusiones
.n la b3s"ueda de criterios e indicadores espec%'icos "ue den respuesta a las preguntas
"ue se plantea la evaluacin de la calidad de la 'ormacin en entornos espec%'icos! con
medios espec%'icos y dirigida a personas con un per'il di'erente a del los estudiantes
presencial
1 menudo el en'o"ue es todav%a parcial y podemos encontrar mecanismos de evaluacin de
la actividad docente y de la calidad de materiales! de las plata'ormas tecnolgicas o de la
satis'accin del estudiante Los en'o"ues de tipo m(s global se dividen! en este momento en
dos grandes tendencias:
a- Los sistemas de evaluacin de la calidad centrados en modelos de calidad est(ndar
*BJM! .FJM! etc- .l .FJM es una herramienta de auto5evaluacin "ue se basa en los
principios del Botal Juality Management *BJM- y las herramientas de la calidad .l .FJM
ya ha sido implementado en .uropa en alrededor de ?<<< instituciones educativas
b- Los sistemas basados en la pr(ctica del benchmarAing! "ue pretenden dar herramientas e
indicaciones para mejorar las pr(cticas a partir de la observacin! la comparacin y la
cooperacin basada en las buenas prcticas .n esta l%nea se encuentran las Guidelines del
)ouncil o' 0egional 1ccredited )omissions de los .stados Unidos o el proyecto Kenvic de la
)omisin .uropea
.n cual"uier caso! el camino no ha hecho m(s "ue empe&ar! "ue la 'ormacin a distancia
*virtual! en l%nea! etc-! sea una 'ormacin de calidad! e"uiparable o superior a la ense2an&a
presencial tradicional lo dir( el tiempo y la investigacin educativa
1(
Re#erencia biblio&r.#icas Re#erencia biblio&r.#icas
KarAer!L *@<<@- Futur.d )anadian 0ecommended .5learning Guidelines *)an0.Gs-
http:MMNNNamteccaMsiteMpublicationsMreportsM)an0.Gs.ngpd'
)oronado! Gerardo *@<<F- /nnova Proyecto de evaluacin Universidad de Guadalajara
)orval(n! 1na Mar%a *@<<<- O .l uso de indicadores: re"uisito 'undamental para alcan&ar la
educacin en el a2o @<<@P
http:MMNNNunescoclMpd'MactyevenMppeMboletinMartespMFQ5+pd'
6uart! RM4 SangrS! 1 *@<<<- 7Formacin universitaria por medio de la Neb: un modelo
integrador para el aprendi&aje superior7 1: 6U10B! RM4 S1$G0T! 1 *comps- Aprender
en la virtualidad. Karcelona: Gedisa
Iarvey! / y Green! 6 *+,,E- 6e'ining "uality Assessment and Evaluation in Higher
Education, 18 *+-! ,5EF
Lindsay! 1U *+,;@- /nstitucional per'ormance in higher education: Bhe e''iciency
dimension Review of Educational Research, ! *@-! +C?5+,,
Mora! RP *+,,+- "alidad y rendimiento en las instituciones universitarias Madrid: )onsejo
de Universidades
11