Anda di halaman 1dari 78

U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Unidad 3 :
Antecedentes, nociones bsicas y metodologas para la elaboracin
de indicadores educativos

FELIPE MARTNEZ RIZO1


Profesor de la Universidad Autnoma de Aguascalientes
Actualizado (abril 2016)

Introduccin

1. Antecedentes y definiciones
1.1. Introduccin
1.2. Antecedentes histricos

2. La calidad educativa y su evaluacin


2.1. Introduccin
2.2. Una nocin sistemtica de calidad
2.3. La evaluacin de las dimensiones de la calidad y los sistemas de indicadores
2.4. El derecho a la educacin como alternativa para la elaboracin de indicadores
2.5. Conclusin

3. Metodologa para el diseo de indicadores


3.1. Introduccin
3.2. Primera etapa: elaboracin del listado de indicadores
3.3. Segunda etapa: desarrollo de cada indicador
3.4. Tercera etapa: jueceo inicial
3.5. Cuarta etapa: prueba piloto o primera aplicacin
3.6. Conclusin


1
La presente versin incorpora sendas notas sobre la educacin como un derecho humano y acerca de indicadores compuestos. La
primera fue elaborada por Adolfo del Ro Martnez (consultor de UNICEF-Mxico) y Hctor Robles (INEE-Mxico). La segunda por Luis
Alberto Degante Mndez, Enrique Eduardo Valencia Lpez y Hctor Robles. Estos autores son miembros de la Direccin General para la
Integracin y Anlisis de la Informacin del Instituto Nacional para la Evaluacin de la Educacin (INEE). Los puntos de vista aqui
expresados no representan necesariamente los de las instituciones de adscripcin.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

1
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

4. La evaluacin de los indicadores


4.1. Introduccin
4.2. Escolarizacin y alfabetizacin en los informes de Educacin para Todos (EPT)
4.3. Tasas brutas y netas de cobertura
4.4. Ms all de las tasas netas
4.5. Elementos sobre indicadores compuestos
4.6. Conclusin

Bibliografa

Anexo I. Gua de documentos de consulta


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

2
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Introduccin

Gracias al trabajo desarrollado en el marco de las dos unidades anteriores, al comenzar la


Unidad 3 los participantes habrn podido adquirir una primera visin de conjunto de lo
que se entiende actualmente por indicadores educativos, as como de los principales
esfuerzos que se llevan a cabo en ese terreno por parte de instancias internacionales.

En particular, habrn revisado ejemplos de dos tipos de sistemas:

Los que se basan en un modelo sistmico, en especial el programa Indicators of


National Education Systems (INES) de la Organizacin para la Cooperacin y el Desarrollo
Econmico (OCDE); el programa paralelo de la UNESCO World Education Indicators; y el
de la Cumbre de las Amricas, Programa Regional de Indicadores Educativos (PRIE), de la
Oficina Regional de la UNESCO para Amrica Latina y el Caribe (OREALC) con la
coordinacin de Chile en su primera etapa y Mxico en la segunda.

Los que se disean para dar seguimiento a los avances que se consiguen en direccin
de metas definidas en el marco de ciertas polticas educativas, como es el caso de los
indicadores de la Unin Europea (UE) para monitorear el progreso hacia los objetivos
de Lisboa 2010; los indicadores del Instituto de Estadstica de Naciones Unidas (UIS)
para el seguimiento del cumplimiento de las metas del Programa de Educacin Para
Todos (EPT); o el sistema regional de indicadores de la OREALC para el monitoreo en la
regin de las metas EPT y del Programa Regional de Educacin para Latinoamrica y el
Caribe (PRELAC).

A partir de lo anterior, en esta unidad se tratar de profundizar en el tema desde una


perspectiva terica y metodolgica. Partiendo del reconocimiento de que no se cuenta
todava con una metodologa generalmente aceptada para el desarrollo de indicadores, y
con base en una revisin de la literatura sobre el tema y en el trabajo al respecto
desarrollado principalmente en el Instituto Nacional para la Evaluacin de la Educacin
(INEE) de Mxico.

Hacer una reflexin sobre la nocin de indicador educativo, as como la de sistema de


indicadores educativos, que permita identificar su complejidad y entender la importancia
de los pasos de la metodologa que se propondr para su desarrollo en forma
sistemtica.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

3
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

1. Antecedentes y definiciones

En una profunda afirmacin que todava resuena en los odos de cientficos y filsofos,
Emmanuel Kant seal en una ocasin que un precepto sin concepto es ciego, pero un
concepto sin precepto es vaco. (Gross, 1966: 255-256)

1.1. Introduccin

En esta Primera Parte se comienza con un breve repaso histrico sobre los antecedentes
de los actuales esfuerzos por desarrollar indicadores, no precisamente en el campo de la
educacin, sino en general en relacin con temas sociales.

Se presenta luego un apartado con precisiones conceptuales y definiciones, que parecen


necesarias dada la relativa novedad de este tipo de esfuerzos, que hace que
frecuentemente se presenten confusiones derivadas del uso no consistente de trminos
que se usan en sentidos diferentes.

Por ltimo se hacen consideraciones sobre la complejidad de la tarea de desarrollar


indicadores que alcancen niveles adecuados de confiabilidad y tambin de credibilidad,
buscando evitar el riesgo de apresuramiento que suele estar presente en estos asuntos.

1.2. Antecedentes histricos

La relacin entre indicadores y estadsticas es muy clara al grado que, como veremos, los
primeros pueden definirse como un tipo especial de las segundas. En ambos casos
estamos ante esfuerzos por concretar nociones abstractas, o por cuantificar lo cualitativo.

El sentido original de la palabra estadstica muestra que la idea de cuantificar fenmenos


sociales es muy antigua. En el siglo XVII el trmino designaba informacin sobre algn
aspecto de la situacin del Estado, que poda consistir en datos cualitativos o numricos;
luego el sentido se reserv a la informacin cuantitativa.

Desde hace siglos se utilizan medidas burdas de ciertos aspectos de la vida pblica, pero
es solo en pocas ms recientes cuando la cuantificacin se manifiesta de manera ms
amplia. Inicialmente ocurri en relacin con aspectos demogrficos o econmicos, que se
prestan de manera especial para su tratamiento en forma numrica. El desarrollo de la
nocin de indicador social surge despus, como resultado de la necesidad de
complementar las cifras de poblacin o los datos econmicos con informacin sobre otras
dimensiones de la vida social.

En un estudio temprano sobre los indicadores, Biderman (1966) muestra que, sin que se
les designara con ese trmino, estimaciones numricas de ciertos fenmenos sociales
han sido usadas desde hace mucho por los tomadores de decisiones, tanto para
establecer metas precisas como para valorar su cumplimiento. Desde fines del siglo XVIII
los presidentes de los Estados Unidos de Amrica utilizaron ese tipo de estimaciones en
sus informes anuales (Mensajes sobre el Estado de la Unin). El nmero de estas


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

4
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

medidas (indicadores) pas de un promedio de 3 en cada informe de fines del siglo XVIII
a 11 a mediados del siglo XX. Segn el mismo autor, la tendencia se afirm claramente a
partir de 1933: desde entonces las expresiones oficiales de los objetivos del desarrollo
nacional se acompaan regularmente de medidas numricas.

En el campo educativo, el inters por el desarrollo de indicadores se ha manifestado en


reiteradas ocasiones en la historia de los Estados Unidos, en relacin con preocupaciones
por la calidad de las escuelas. Segn Shavelson y colaboradores, al terminar la Guerra de
Secesin la preocupacin se manifest en el Common School Movement. Segn estos
autores, la creacin del Departamento de Educacin, en 1867, se justific, entre otras
cosas, por la necesidad de elaborar indicadores (1989: 1).

Los estudiosos del tema coinciden en sealar la importancia que tuvo en este sentido la
iniciativa del presidente Hoover, que en 1929 form una comisin de especialistas, con la
tarea de desarrollar un estudio sobre las tendencias sociales en los Estados Unidos. El
informe derivado del trabajo de esa comisin, que se public en 1933 con el ttulo
Tendencias sociales recientes en los Estados Unidos (Comit Presidencial, 1933), es la
obra que inaugura la extensa bibliografa sobre indicadores sociales.

En Estados Unidos una nueva ola de inters sobre el tema se dio en la dcada de 1960,
en la estela de la lucha por los derechos civiles, y en el marco de los programas de la
Gran Sociedad y Lucha contra la Pobreza del presidente Lyndon Johnson. La importancia
de esta tendencia fue tal que para designarla se acu la expresin movimiento de los
indicadores sociales. La abundancia de la literatura producida en esa poca se pone de
manifiesto en bibliografas temticas como las de Wilcox et al. (1972) y Gilmartin et al.
(1979), o en un manual como el de Russett, Alker, Deutsch y Lasswell (1965). El inters
se extendi a varios pases europeos y a organismos internacionales como la ONU y la
OCDE. Cfr. obras como la de Delors, 1971; Shonfield y Shaw, 1972; CERI-INES, 1973;
Depto. de Asuntos Econmicos y Sociales de la ONU, 1975.

El movimiento de los indicadores de los aos 60 del siglo XX tuvo un componente


educativo importante, a consecuencia del impacto que tuvo la puesta en rbita, por la
Unin Sovitica, del primer satlite artificial, lo que fue interpretado como sntoma del
retraso de la enseanza de matemticas y ciencias en los Estados Unidos respecto a la
URSS. En el plano internacional, los primeros esfuerzos por realizar evaluaciones
comparables del aprendizaje alcanzado por alumnos de diversos pases fue otra
consecuencia del Sputnik, con los primeros trabajos de la International Association for the
Assessment of Educational Achievement (IEA).

El Special Study Panel on Education Indicators observa que el famoso informe de la


National Comision on Excellence in Education, publicado en 1983 con el ttulo de Una
nacin en peligro, se bas en comparaciones internacionales del desempeo de los
alumnos de diversos pases, y que un ao despus el Secretario de Educacin comenz la
difusin de las Wall Charts que publican anualmente algunos indicadores de los sistemas
educativos estatales (1991: 11).

En el mismo ao de 1983, una comisin del National Science Board sobre la educacin
preuniversitaria de matemticas y ciencias recomend al gobierno federal que financiara


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

5
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

y mantuviera un mecanismo nacional para medir el desempeo de los alumnos, en una


forma que permita evaluaciones nacionales, estatales y locales, as como comparaciones
sobre el progreso educativo. (Shavelson et al., 1989: 2).

A partir de la dcada de 1980 la preocupacin por la calidad educativa alcanz niveles sin
precedentes en muchos pases, ante la creciente competencia econmica internacional.
En ese marco adquieren sentido los esfuerzos por tener evaluaciones educativas ms
completas y confiables, lo que incluye mejores sistemas de indicadores.

En Estados Unidos estas preocupaciones se reflejaron en diversos esfuerzos estatales a


lo largo de la dcada de los 80s (cfr. Odden, 1990); en las Metas 2000, adoptadas por el
Presidente tras la Cumbre Educativa de los gobernadores en octubre de 1989; en el
establecimiento de estndares nacionales, el reforzamiento de los sistemas de pruebas y,
finalmente, en las disposiciones de la ley No Child Left Behind firmada por el Presidente
Bush a principios de 2002. En todos los casos el desarrollo de mejores sistemas de
indicadores form parte destacada de los esfuerzos de evaluacin.

Referencias tiles para seguir el proceso en las ltimas dcadas son el estudio de Kaagan
y Loby (1989) sobre los sistemas estatales de indicadores; los textos de Oakes (1986 y
1989); los de Shavelson y colaboradores (1987 y 1989); la propuesta del Special Study
Panel on Education Indicators (1991); el artculo de Porter (1991); y el documento del
Banco Mundial (Greaney y Kellaghan, 1996).

Muestras del inters reciente por los indicadores fuera de Estados Unidos son los textos
ingleses de Fitz-Gibbon (1996) y Tymms (1999); as como los de Sauvageot sobre los
sistemas de indicadores de dos pases africanos (1992 y 1993).

En el campo de las organizaciones internacionales, sobresale el trabajo de la OCDE, que a


fines de los 80 retom el proyecto de indicadores iniciado dos dcadas antes y lo llev a
su actual etapa de madurez. Cfr. Bottani y Delfau, 1990; CERI-INES 1991a, 1991b, 1992;
OCDE 1995, 2000, 2005; Tuijnman y Bottani, 1974. Ms recientes, pero no menos
importantes, son los esfuerzos de la Comisin Europea (1999).

El proyecto Indicators of National Education Systems (INES) comenz a gestarse en


noviembre de 1987 en una reunin cuyo propsito era discutir nuevos enfoques para
desarrollar estadsticas educativas comparables. En 1988 la OCDE, a travs del Center for
Educational Research and Innovation (CERI), aprob el proyecto que pronto adquiri
grandes dimensiones: adems de un grupo tcnico integrado por medio centenar de
expertos y por los coordinadores nacionales de los pases miembro, se formaron varias
redes de expertos para trabajar temas especficos: una sobre los resultados educativos de
los estudiantes; otra sobre el destino de los estudiantes en el mercado laboral y la
sociedad; una ms sobre las caractersticas de las escuelas y los procesos que tienen
lugar en su interior; y una cuarta en relacin con las opiniones, expectativas y actitudes
de la poblacin sobre la educacin (Tuijnman y Bottani, 1994: 25).
El principal resultado del INES es la publicacin Education at a Glance, que recoge
anualmente los indicadores educativos de los pases miembros de la OCDE. El desarrollo
del sistema de indicadores educativos ha seguido su marcha: las ediciones anuales de
Education at a Glance incluyen informacin cada vez ms rica sobre el contexto, los
costos, recursos y procesos escolares y los resultados de la educacin.

CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

6
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Los esfuerzos de la OCDE se han extendido a pases no miembros de la Organizacin, con


el programa World Education Indicators (WEI), en colaboracin con la UNESCO.

En 1999 se cre el Instituto de Estadstica (United Nations Institute for Statistics, UIS), que
ha mejorado significativamente la calidad de las estadsticas educativas de la UNESCO, y
se encarga de los anuarios de indicadores con los que se da seguimiento al cumplimiento
de las metas del Programa de Educacin Para Todos (EPT, en ingls EFA, Education For
All). (UIS, 2007; UIS, anual).

La Unin Europea (UE), por su parte, ha impulsado de manera importante el trabajo de


recopilacin de estadsticas en los estados miembro, incluyendo desde luego lo relativo a
educacin. La colaboracin entre esos tres grandes organismos internacionales (UNESCO,
UE y OCDE) ha dado lugar a importantes acuerdos para uniformar las estadsticas
educativas, con lo que ahora se conoce como la metodologa UEO. En el marco de la
Unin Europea se aprobaron tambin las Metas 2010 de Lisboa, para cuyo seguimiento
se ha diseado otro interesante sistema de indicadores. (Unin Europea, 2008).

La Oficina Regional de la UNESCO para Amrica Latina y el Caribe (OREALC), con sede en
Santiago de Chile, maneja el Proyecto Regional de Indicadores Educativos (PRIE), como
resultado de un acuerdo de la Cumbre de las Amricas. (UNESCO, 2007; UNESCO-SEP,
2005 y 2008) Hay tambin indicadores para dar seguimiento a las metas EPT y al
Proyecto Regional de Educacin para Amrica Latina y el Caribe, PREAL. La sede de
Buenos Aires del Instituto Internacional de Planeacin Educativa de la UNESCO (IIPE-
Buenos Aires), por su parte, maneja otro sistema de indicadores, el Sistema de
Indicadores Educativos de Amrica Latina (SITEAL), cuyos volmenes anuales atienden
temas de especial inters. (SITEAL, 2007) En el Apndice 1 de este documento se podr
encontrar ms informacin sobre algunos de los sistemas de indicadores mencionados, y
en el Apndice 2 sobre el tema del desarrollo de las pruebas estandarizadas en gran
escala que se han desarrollado para valorar los niveles de aprendizaje que alcanzan los
alumnos de ciertos grados o edades en diferentes sistemas educativos del mundo.

2. La calidad educativa y su evaluacin

2.1. Introduccin

Probablemente hay tantas definiciones de calidad como autores han abordado el tema.
La dificultad de ponerse de acuerdo lleva a algunos a pensar que el consenso es
inalcanzable, y a sugerir que se trata de una nocin totalmente subjetiva, sin un
referente objetivo consistente. Por otra parte, si reflexionamos un poco fcilmente
caeremos en la cuenta de que diariamente todos tomamos decisiones que suponen
juicios sobre la calidad de ciertas cosas, y estamos convencidos de que nuestras
preferencias, aunque discutibles, no son totalmente arbitrarias: preferimos una marca de
jabn a otra, tal tipo de auto a tal otro, y... esta escuela para inscribir a nuestros hijos
antes que aquella... No debera ser, pues, tan difcil establecer en qu consiste la calidad.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

7
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Lo anterior ha sido expresado de mejor manera por Pirsig, en una obra cuyo ttulo (Zen y
el arte de la mantencin de la motocicleta) no hace pensar que se trata de una de las
reflexiones ms lcidas sobre la nocin de calidad. Dice Pirsig, en un prrafo muy citado:

Calidad... todos sabemos lo que es, pero nadie sabe lo que es. Pero esto es
una contradiccin. Hay cosas que son mejores que otras. O sea que tienen
ms calidad. Pero cuando tratamos de decir en qu consiste la calidad,
aparte de las cosas que la tienen, se nos esfuma. No nos queda nada de
qu hablar. Pero... si no podemos decir en qu consiste la calidad, cmo
podemos saber siquiera si existe? Si nadie sabe lo que es, entonces, para
cualquier efecto prctico no existe. Pero resulta que, para todos los efectos
prcticos, la calidad s existe. De lo contrario, en qu se basan las
calificaciones? Por qu la gente est dispuesta a pagar verdaderas fortunas
por unas cosas, mientras echa otras al cesto de la basura? Evidentemente
hay algunas cosas que son mejores que otras, pero... en qu consiste su
carcter de mejores? Y as podemos seguir y seguir, haciendo girar nuestras
ruedas mentales o, ms bien, hacindolas patinar porque no encuentran
terreno firme para ejercer traccin y avanzar... Qu demonios es la calidad?
En qu consiste? (PIRSIG, 2004).

Adems de la diversidad de criterios de los autores, la dificultad para ponerse de acuerdo


en este tema se debe seguramente tambin, en buena parte, a la variedad de los
objetos a que se refiere cada definicin. Por ello en esta presentacin centrar la
atencin en la definicin de la calidad en el campo educativo. La acotacin anterior no
basta, pues incluso en el campo educativo la nocin de calidad se concretar de manera
muy distinta segn el objeto particular al que se aplique. Es claro que la calidad se
entiende de manera diferente si se trata de la que puede tener un plan de estudios, un
libro de texto, un maestro, un alumno, una escuela o, en particular, un sistema educativo.
En lo que sigue me referir en particular a la calidad de los sistemas educativos, que
constituyen el caso en el que ms apropiadamente tiene lugar la utilizacin de sistemas
de indicadores, como la herramienta ms apropiada para el tratamiento de tan
escurridiza nocin.

2.2. Una nocin sistmica de calidad

De lo concreto a lo abstracto

Para seguir el viejo principio pedaggico que recomienda ir de lo concreto a lo abstracto,


comienzo proponiendo una definicin de la calidad, aplicada al objeto de anlisis que me
interesa, en trminos concretos, diciendo que un buen sistema educativo es aquel que:
Establece un currculo adecuado, por una parte, a las necesidades individuales de los
alumnos y, por otra, a las necesidades colectivas de la sociedad. Subrayo expresamente
que lo anterior no debe entenderse en un sentido que se limite a lo econmico (en
trminos de la importancia para una sociedad de mayor productividad, competitividad
etc.), sino que debe incluir otros aspectos fundamentales, en una perspectiva de
desarrollo integral y humanista, como las necesidades que tienen que ver con la demo-


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

8
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

cracia poltica, el respeto de los derechos humanos, el desarrollo de la ciencia, el cuidado


del ambiente y la preservacin y enriquecimiento de la diversidad cultural.

Logra que la ms alta proporcin posible de destinatarios -definidos en trminos de


grupos de edad u otra forma- acceda a la escuela, permanezca en ella hasta el final del
trayecto previsto y egrese alcanzando los objetivos de aprendizaje.

Consigue que los aprendizajes logrados por los alumnos sean asimilados en forma
duradera y den lugar a comportamientos sociales fructferos para la sociedad y para el
propio individuo, quien podr as alcanzar un desarrollo pleno en los diversos roles que
habr de desempear como trabajador, productor, consumidor, padre de familia, elector,
servidor pblico, lector y telespectador, entre otros; en pocas palabras, como ciudadano
cabal. (Eficacia externa de largo plazo o impacto).

Cuenta para ello con recursos humanos y materiales suficientes, y los aprovecha bien.

Tiene en cuenta la desigual situacin de alumnos y familias, de las comunidades en


que viven y las escuelas mismas, y ofrece apoyos especiales a quienes lo requieren, para
que los objetivos educativos sean alcanzados por el mayor nmero posible.

Quiero pensar que esta nocin es aceptable para casi todo interesado en educacin.
Habr quien subraye unos aspectos u otros, o proponga aadir alguno ms, pero creo
que habr un amplio consenso alrededor de la forma concreta en que defino la calidad
de un sistema educativo.

El paso de la abstraccin

En un siguiente paso veamos cmo las dimensiones de la calidad de un sistema


educativo antes identificadas se derivan de las relaciones que se pueden establecer entre
los componentes de un sistema educativo, conceptualizados, precisamente, segn la
teora de los sistemas. En trminos generales, un sistema es un conjunto de procesos,
alimentado por ciertos insumos y que genera determinados productos. Todo sistema se
ubica, adems, en un contexto, algunos de cuyos elementos constituyen recursos de los
que el sistema obtendr insumos; el contexto presenta, adems, necesidades, que
eventualmente podrn ser cubiertas por los productos del sistema. En los sistemas
artificiales, diseados expresamente por el hombre, como es el caso de los educativos,
se identifican tambin ciertos objetivos. En este tipo de sistemas, la relacin entre
insumos y productos est mediada por los objetivos del sistema, que orientan la forma
en que se organizan los procesos, para utilizar los insumos de manera que se generen
ciertos productos o resultados. El diagrama siguiente visualiza los componentes de un
sistema y de su entorno:
UNIDAD 3


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

9
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Figura 1. Dimensiones de la calidad de un sistema educativo

Fuente: MARTINEZ RIZO, FELIPE et al., (2007).

Los componentes del sistema educativo

En el caso de la educacin, los componentes sistmicos se presentan como sigue:

El contexto o entorno del sistema educativo es la sociedad en que se sita, que


condiciona su operacin. La sociedad plantea necesidades al sistema educativo y, al
mismo tiempo, le ofrece recursos. La demanda social de educacin, su composicin y
distribucin espacial, las condiciones de vida de la poblacin escolar y adulta, as como el
capital cultural y educativo de la poblacin, son algunos de los elementos del contexto.
Los insumos que recibe el sistema educativo de su entorno son los elementos que
permiten la operacin del sistema y se refieren tanto a los recursos humanos, como a los
materiales (infraestructura, equipamiento, tecnologa), los de conocimiento, los organiza-
cionales y los financieros.
Los procesos del sistema se refieren no solo al acceso y trayectoria de los estudiantes
en los planteles. En los diferentes niveles del sistema hay distintos tipos de procesos:
pedaggicos, que ocurren en el interior del aula; de gestin escolar en cada centro
educativo; de gestin o administracin en mayor escala en los niveles de zona escolar,
de regin o entidad subnacional y, finalmente, en el nivel nacional.
Los productos o resultados del sistema pueden ser de corto o largo plazo. Dentro de los
primeros se incluyen los referidos al logro escolar (conocimientos, habilidades, actitudes y
valores), mientras que los segundos tienen que ver con la influencia de la educacin en la
transformacin cultural y la mejora de los estndares de vida de la poblacin adulta.
Tratndose de un sistema artificial, el educativo tiene ciertos objetivos o propsitos,
ms o menos explcitamente formulados: atender toda la demanda hasta el nivel que se
establece como obligatorio, y determinada proporcin en los superiores; preparar dirigen-
tes de alto nivel, cuadros medios o mano de obra calificada; formar ciudadanos, etc.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

10
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La relacin entre las dimensiones de la calidad y los componentes sistmicos


Las relaciones que se pueden establecer entre los componentes de cualquier sistema
definen, de manera general o abstracta, ciertas dimensiones de la calidad:
La relacin entre los objetivos de un sistema y las necesidades de su entorno definen
una dimensin que puede denominarse relevancia o pertinencia.
La relacin entre los productos del sistema y sus objetivos define su eficacia interna.
La satisfaccin de las necesidades del entorno por los productos del sistema define la
eficacia externa de este. Puede apreciarse que se trata de una relacin de segundo
orden, ya que incluye la relacin entre productos y objetivos, as como la que puede
haber entre objetivos y necesidades: si los objetivos son relevantes, o sea si se
establecen en funcin de necesidades reales del entorno, la eficacia ser al mismo
tiempo interna y externa, ya que los productos satisfarn necesidades reales en la
medida en que alcancen objetivos.
Si se introduce la dimensin temporal, puede distinguirse la eficacia en el corto o en
el largo plazo; en el segundo caso puede hablarse de impacto.
La relacin entre insumos y productos del sistema, por su parte, define otras
dimensiones de la calidad: la suficiencia de recursos y la eficiencia de su utilizacin. La
adecuada distribucin de recursos, procesos y productos educativos, por su parte, puede
definir una dimensin distinta de la calidad: la equidad.
Una nueva versin del diagrama anterior presenta los componentes de un sistema y
su entorno, pero tambin las dimensiones de la calidad que se desprenden de ciertas
relaciones entre los componentes:

Figura 2. Dimensiones de la calidad de un sistema educativo

Fuente: MARTINEZ RIZO, FELIPE et al., (2007).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

11
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Las dimensiones de la calidad en abstracto y en concreto

Ahora es posible relacionar la definicin concreta de las dimensiones de la calidad de un


sistema educativo con su definicin abstracta, a partir de las relaciones entre los
componentes sistmicos. Repetiremos, pues, que un buen sistema educativo es aquel
que:

Establece un currculo adecuado a las necesidades individuales de los alumnos


(pertinencia) y a las necesidades de la sociedad. (Relevancia).
Logra que la ms alta proporcin posible de destinatarios acceda a la escuela,
permanezca en ella y egrese alcanzando los objetivos de aprendizaje. (Eficacia interna y
externa).
Consigue que los aprendizajes se asimilen duraderamente y den lugar a comporta-
mientos sociales fructferos para la sociedad y los individuos. (Impacto)
Cuenta con recursos suficientes (Suficiencia) y los aprovecha bien. (Eficiencia)
Tiene en cuenta la desigualdad de situaciones y apoya a quienes lo requieran, para
que los objetivos sean alcanzados por el mayor nmero posible. (Equidad).
Ninguna de las dimensiones anteriores es suficiente por s sola para definir la calidad.
Es, precisamente, la integracin armoniosa de todas ellas lo que la define. Por ello ahora
podemos proponer una definicin de la nocin en trminos abstractos, como sigue:
La calidad del sistema educativo es la cualidad que resulta de la integracin de las
dimensiones de pertinencia y relevancia; eficacia interna; eficacia externa a corto plazo;
eficacia a largo plazo o impacto; suficiencia; eficiencia; y equidad.
Conviene aadir algunas consideraciones adicionales. Es necesario advertir:
Que puede haber tensin entre algunas de las dimensiones mencionadas de la cali-
dad, que no pueden optimizarse simultneamente; en particular, una mayor atencin a la
eficacia y a la equidad implicar mayores recursos, lo que tender a reducir la eficiencia.
Que el concepto de calidad es relativo, porque el juicio sobre la calidad depende del
punto de referencia que se tome: un pas ms desarrollado, uno de desarrollo similar, la
situacin del propio sistema en algn momento del pasado, o las metas para un futuro
prefijado del propio sistema.
Que el concepto es dinmico, porque la calidad nunca se alcanza del todo; siempre es
posible plantear metas ms elevadas, y cuando se alcanza una hay razn para querer ir
adelante. El punto de referencia ms pertinente para valorar la calidad educativa es,
probablemente, el pasado y el futuro propios: un sistema educativo de calidad es uno
mejora siempre respecto a s mismo. La calidad no es un estado sino una tendencia: la
autoexigencia permanente y razonable de superacin, que no puede llegar del exterior,
sino que solo puede surgir del interior mismo del sistema a mejorar. (Cfr. INEE, 2006).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

12
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

2.3. La evaluacin de las dimensiones de la calidad y los sistemas de indicadores

Hacer explcitas las dimensiones de la calidad de los sistemas educativos tiene una
consecuencia muy importante para quienes se interesan por la evaluacin de dicha
calidad:
que la evaluacin no debe reducirse a la aplicacin de pruebas estandarizadas que midan
el grado en que los alumnos de ciertos grados y niveles alcanzan los aprendizajes que se
esperan. Esas mediciones permiten tener informacin sobre algunos aspectos de los
resultados del sistema educativo, lo que es fundamental para algunos juicios sobre
eficacia, impacto y equidad.

Una nocin ms rica de calidad, como la que se propone en este trabajo, implica que se
obtenga tambin informacin sobre los dems elementos, con lo cual ser posible llegar
a un conjunto de juicios de valor ms amplio, sobre las diversas dimensiones de la
calidad del sistema educativo.

Un buen sistema de informacin y de evaluacin de la calidad de un sistema educativo


deber comprender, adems de pruebas de rendimiento, indicadores derivados de las
estadsticas educativas tradicionales y otros estudios sobre aspectos particulares, como
los recursos de las escuelas y los procesos que tienen lugar en su interior, para obtener
informacin como esta:

Las viejas tasas de cobertura, las ms recientes de matriculacin por edad especfica,
las de reprobacin, permanencia y desercin, eficiencia terminal y similares, atienden
aspectos fundamentales de la eficacia interna de un sistema educativo: el grado en que
logra que la ms alta proporcin posible de destinatarios acceda a la escuela,
permanezca en ella y egrese... Es necesario, desde luego, poder valorar tambin el grado
en que los que egresan lo consiguen habiendo alcanzado los objetivos de aprendizaje;
pero no se puede ignorar que es ms grave no terminar el trayecto que conseguirlo con
un nivel menor al ptimo.

Las pruebas que se aplican al final de cierto nivel educativo son fundamentales para
valorar algunos aspectos de su eficacia interna, pero para valorar la eficacia externa,
sobre todo en el largo plazo, o sea el impacto de la educacin, se necesitan adems
estudios sobre el desempeo en la vida adulta de los egresados, en lo laboral y
econmico, pero tambin en lo social y cultural, para ver si el sistema educativo consigue
que los aprendizajes se asimilen duraderamente y den lugar a comportamientos sociales
fructferos.

Los juicios sobre el nivel que alcanzan los alumnos en diferentes clases de escuela
son importantes, pero tambin se necesita informacin sobre otros aspectos del sistema,
en particular sus recursos y los procesos que ocurren en l, para poder valorar las
dimensiones de suficiencia y eficiencia, as como la equidad. Para valorar esta ltima
dimensin, en especial, se requiere tambin contar con informacin sobre el contexto
familiar y social de los alumnos que asisten a distintas escuelas y alcanzan diferentes
niveles de aprendizaje.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

13
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Ms difcil de valorar, pero fundamental, es valorar la relevancia del trabajo de los


sistemas educativos en relacin con las necesidades de la sociedad, y su pertinencia en
relacin con las necesidades de los alumnos.

En otras palabras, el inters por las pruebas de rendimiento no debe llevar a abandonar
los indicadores tradicionales, sino a perfeccionarlos y a manejarlos junto con los ms
recientes, adems de seguir explorando el desarrollo de los que todava estn mal
atendidos, en especial los de relevancia y pertinencia, impacto y equidad. El uso de
pruebas en gran escala para valorar los niveles de aprendizaje alcanzados por los
alumnos es importante, pero un buen sistema de evaluacin no deber limitarse a tales
instrumentos, sino que deber incluir otros.

2.4. El derecho a la educacin como alternativa para la elaboracin de indicadores

La concepcin de la educacin como derecho ha adquirido importancia creciente en los aos


recientes, gracias a los esfuerzos de la ONU y la UNESCO. (Cfr., por ejemplo, UNITED
NATIONS, 2008 y TOMASEVSKI, 2006).

Esta concepcin se nutre de una rica tradicin terica e intelectual sobre el derecho a la
educacin que se puede estudiar como producto de la Modernidad como fase histrica, esto
es desde la Revolucin francesa de 1789. Desde entonces el derecho a la educacin se ha
transformado y ha ocupado un lugar cada vez ms importante en lo que podra llamarse el
2
sistema internacional de derechos humanos en el mundo contemporneo .

Uno de los antecedentes histricos ms relevantes para la conformacin de este sistema se


encuentra en la Declaracin Universal de los Derechos Humanos, adoptada por la Asamblea
General de las Naciones Unidas en 1948. En cuanto al derecho a la educacin, el artculo 26
de la Declaracin establece para los Estados firmantes el compromiso de que al menos la
instruccin elemental sea gratuita y obligatoria, que los niveles posteriores sean igualmente
accesibles para todos, as como establecer algunos objetivos fundamentales de la educacin
(el pleno desarrollo de la personalidad humana, el fortalecimiento del respeto de los
derechos humanos y a las libertades fundamentales, promover la comprensin y tolerancia
entre naciones y grupos).

El derecho a la educacin involucra la responsabilidad del Estado para coordinar y poner en


funcionamiento una compleja serie de mecanismos e instituciones que procuran su pleno
ejercicio, y como consecuencia, ante la complejidad de esa responsabilidad, el enfoque
estatal sobre el derecho a la educacin ha sido bastante pragmtico; en general intenta
alcanzar ciertas condiciones mnimas para el ejercicio del derecho, que suelen ser
contingentes. En el mbito del derecho a la educacin estas condiciones mnimas para su
ejercicio son dinmicas en el tiempo, se ajustan a necesidades sociales cambiantes que
evolucionan conforme se van cumpliendo en alguna medida los objetivos propuestos. Bajo
esta lgica es de especial importancia definir claramente en qu consiste el derecho a la
educacin, para lo cual la nocin de calidad de la educacin puede ser de mucha ayuda.


Aqu inicia la nota sobre la educacin como un derecho preparada por Adolfo del Rio (consultor UNICEF-Mxico) y Hctor Robles.
2



CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

14
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Los derechos humanos y el derecho a la educacin

Desde el final de la Segunda Guerra Mundial el desarrollo conceptual, terico, discursivo y


alcance mismo de los derechos humanos se ha expandido a prcticamente todas las reas
de responsabilidad del Estado y el mbito educativo no es la excepcin. Este desarrollo
conceptual y discursivo de los derechos humanos se ha dado en distintos mbitos de
manera simultnea; desde la accin concreta de agentes sociales, grupos e individuos en
contextos histricos especficos, por ejemplo desde los movimientos sociales de derechos
humanos, o desde el desarrollo intelectual de ideas y corrientes de pensamiento sobre el
contenido, tensiones, contradicciones y alcance de los propios derechos humanos.

Qu son los derechos humanos? Antes de continuar se recomienda al estudiante reflexionar


sobre la nocin que tiene del concepto de derechos humanos, en qu consisten, cul es el
ncleo de su contenido, cules son sus principales caractersticas. Uno puede empezar a
reflexionar que en la actualidad los derechos humanos son un tipo de legislacin especial en
muchos pases del mundo. El asunto es que los derechos humanos no nacen como
legislacin sino como una reivindicacin o una demanda hacia el Estado (aunque
eventualmente inspiren legislacin). Otra idea acerca de los derechos humanos es que estos
son universales, pero uno se enfrenta al problema de que aunque su aceptacin es cada vez
mayor entre la mayora de los pases del mundo, no todos los Estados aceptan e interpretan
de igual manera el contenido y alcance de los derechos humanos, pero este es un problema
que se tratar un poco ms adelante.

Las respuestas que se han dado a la pregunta anterior han sido muchas y en general no se
ha alcanzado un consenso para una teora nica de los derechos humanos. Sin embargo hay
que empezar con algo. Amartya Sen (2004) define a los derechos humanos como deman-
das ticas, que anteceden a toda forma de derecho positivo, demandas que son capaces de
resistir y sostenerse ante el escrutinio crtico e informado de otras posturas polticas o
morales, demandas cuyo contenido principal son el ejercicio libertades que conllevan una
importancia especial para los individuos y la sociedad. Charles Tilly (2004) define a los
derechos humanos como reivindicaciones con pretensiones morales que en los ltimos dos
siglos han experimentado fases de reconocimiento y ampliacin por parte del Estado,
producto de luchas, transformaciones culturales y conflictos sociales.

Tambin encontramos definiciones utilizadas por instituciones internacionales. La


Organizacin de las Naciones Unidas a travs de la Oficina del Alto Comisionado de las
Naciones Unidas para los Derechos Humanos los define como garantas jurdicas
universales que protegen a los individuos y los grupos contra acciones y omisiones que
interfieren con las libertades y los derechos fundamentales y con la dignidad humana
(OACNUDH, 2012) y considera que son universales e inalienables, estn interconectados y
son interdependientes e indivisibles. Otros autores ponen nfasis en caractersticas formales
(desde el enfoque del derecho positivo) de los derechos humanos, sin embargo lo que debe
quedar claro es que desde cada una de las disciplinas de las ciencias sociales los derechos
humanos adquieren ciertos elementos que pueden variar para su definicin.

Un problema terico que ha significado una tensin constante en la manera de pensar y


hacer valer los derechos humanos ha sido el problema del relativismo cultural. Este
problema es de la mayor relevancia en el mbito del derecho a la educacin. El relativismo


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

15
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

cultural es una posicin intelectual y poltica que sostiene que el contenido y formas
especficas de poder ejercer un derecho tienen validez en cunto est ligada a la cultura de
un entorno y tiempo determinados (Boco y Bulanikian, 2010; Donelly, 1984).

El relativismo cultural se contrapone a la idea de universalidad de los derechos humanos. Si


bien algunas definiciones hacen nfasis en las pretensiones morales o demandas ticas de
los D.D.H.H., esto es una relacin directa con la idea de universalidad, en la prctica se
observan aproximaciones divergentes para reconocer el alcance y contenidos especficos de
las libertades que suponen estos derechos, que se reflejan en las legislaciones nacionales o
locales que le dan sustento jurdico a un derecho especifico y establecen procedimientos o
limites concretos para ejercerlos, que generalmente varan de una legislacin a otra.

Pensemos en contenidos y demandas actuales sobre el derecho a la educacin,


especficamente en el marco de una sociedad heterognea culturalmente, donde la mera
provisin del servicio no satisface plenamente el ejercicio de este derecho (aunque es una
condicin necesaria). El paulatino reconocimiento del Estado sobre derechos culturales
diferenciados para diversos grupos sociales ha abierto las puertas para la demanda de
servicios educativos que sean pertinentes y se adecuen a los contextos diferenciados en los
que se encuentra la poblacin.

En diversos pases de Latinoamrica las respuestas a las demandas de los movimientos ind-
genas en el mbito educativo se han centrado en la creacin o adecuacin de servicios edu-
cativos especializados para los pueblos indgenas o afrodescendientes. Un informe especia-
lizado de la OEI, (http://www.oei.es/noticias/spip.php?article15354) Miradas sobre la educacin
en Iberoamrica 2015. Educacin de los pueblos y comunidades indgenas (originarios) y
afrodescendientes muestra entre otros temas, cmo los pases latinoamericanos difieren
tanto en el reconocimiento como en los contenidos especficos que se disean para estas
poblaciones, a pesar de que todos consideran en sus respectivas legislaciones el derecho a
la educacin, que es para todos, que el Estado debe proveer educacin gratuita y en todos
ellos hay ciertos niveles obligatorios, pero en los que hay diferencias en cuanto a las formas
especificas en las que estn legislados estos derechos y obligaciones.

Lo anterior es un ejemplo de cmo se manifiesta el relativismo de los derechos humanos y


se producen resultados en poltica educativa muy distintos en pases que aparentemente
comparten ciertos rasgos culturales y problemticas similares. Aunque la discusin sobre el
relativismo en los derechos humanos se centr en el concepto de cultura en la dcada de
1980 (vase Donelly, 1984) hoy se puede argumentar que no es la nica explicacin al
momento de dar cuenta de las variaciones en el mundo en cuanto a la forma de
implementar y hacer efectivos los derechos.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

16
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Figura A. Escalera de la abstraccin de los derechos humanos

Fuente: Elaboracin propia

Los derechos humanos suponen una serie de tensiones permanentes que se centran en el
Estado y de qu manera debe actuar o no actuar hacia su poblacin, qu debe proveer, qu
debe fomentar y qu debe desincentivar. La primera de esas tensiones es cmo ha de
estructurar, dar contenido e implementar instituciones y procedimientos para el ejercicio de
los derechos humanos que reconoce a travs de diversos instrumentos jurdicos (Constitu-
ciones, tratados internacionales, leyes nacionales, reglamentos). Para ello hay que consi-
derar que cualquier reconocimiento del Estado sobre los DD.HH. y la legislacin que adopte
en torno a un derecho especfico puede ubicarse en un continuum que va del relativismo
cultural radical al universalismo radical. En la posicin de los relativistas culturales radicales
se sostiene que la cultura es la nica fuente de validez de un mandato moral o de un
derecho sancionado en una sociedad determinada, la siguiente escala del continuum es el
relativismo cultural fuerte, que defiende la cultural como la principal fuente de validez de las
normas, en el relativismo cultural dbil la cultura es la principal fuente de validez, esta
ltima posicin converge en cierta medida con la posicin universalista fuerte, que aboga
por un conjunto comprensivo de derechos universales entre los que puede haber algunas
excepciones en virtud de variaciones culturales locales y por ltimo el universalismo radical,
que en esencia considera que la cultura debe ser irrelevante al momento de definir los
derechos (Donnelly, 1984).

Para ejemplificar lo anterior, consideremos que casi todos los pases firmantes de la
Declaracin Universal de Derechos Humanos han incorporado en sus legislaciones los
conceptos de educacin obligatoria y el compromiso del Estado para proveer educacin
gratuita. Revisemos la tabla 3.1 y 3.2 (pgs. 85, 86 y 87) del informe referido anterior-
mente, Miradas 2015, sobre las edades tpicas para cursar los distintos niveles y su situacin
de obligatoriedad y gratuidad en 18 pases latinoamericanos y encontraremos que todos los
pases en esa tabla cumplen con proveer educacin gratuita y establecer como obligatoria
para su poblacin algunos niveles de instruccin, pero se advierten variaciones importantes.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

17
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Entre estas variaciones podemos advertir que, por ejemplo, aunque en gran parte de los
pases latinoamericanos la educacin obligatoria llega hasta la secundaria alta (bachillerato),
en Nicaragua la secundaria baja no es obligatoria, aunque el Estado provee en alguna
medida educacin gratuita en este nivel y en la secundaria alta. Por otro lado, el Captulo 3
de dicho informe muestra algunas diferencias en el tratamiento de algunos pases hacia sus
poblaciones indgenas y afrodescendientes en cuanto a educacin y elecciones especficas
de polticas sobre contenidos y modalidades educativas. A pesar de que en el discurso
internacional el derecho a la educacin es uno de los derechos con ms amplia aceptacin y
defensa, tambin es uno de los de ms compleja estructuracin y ejercicio, en la que los
Estados muestran formas muy distintas de garantizar un mismo derecho, incluso entre
aquellos que comparten algunas similitudes histricas, as como retos y problemas actuales.

Tomando en cuenta lo anterior considere: en qu parte del continuum relativismo cultural-


universalismo ubicara la legislacin de su pas en torno al derecho a la educacin? En qu
momentos y qu tanto se han modificado la condiciones mnimas que el Estado dispone en
torno al derecho a la educacin?
3
La influencia de la perspectiva de la educacin como un derecho se extiende al mbito de
los sistemas de indicadores y de evaluacin educativa, que se ven como herramientas tiles
para apreciar el grado en que se cumple el derecho a la educacin. Se seala con razn que,
adems de obstculos jurdicos que dificultan la exigibilidad de los derechos sociales,
difcilmente se podr hacerse cumplir uno que no se defina de manera clara y cuyo alcance
real no se mida con precisin. En este marco surgen sistemas de indicadores para
monitorear el avance en el cumplimiento de algunos aspectos del derecho a la educacin,
como los que se usan para dar seguimiento a los compromisos del programa de Educacin
para Todos, a partir de las reuniones de Jomtien y Dakar.

Planteamientos recientes sugieren incluso que la nocin del derecho a la educacin sera un
marco ordenador de los indicadores educativos distinto y mejor al que ofrecen los
componentes de la teora de sistemas, en los que se basan modelos como el del programa
INES (Indicators of National Education Systems) de la OCDE. En este sentido, trabajos
recientes de la Relatora de la ONU sobre el cumplimiento de los Derechos Sociales, as
como de la UNESCO, proponen un marco para la definicin de indicadores para medir el
derecho a la educacin. Dicho marco identifica cuatro dimensiones, que se designan con
otras tantas palabras que, en ingls, comienzan con la letra A: Acceptability, Adaptability,
Availability, Accesibility.

En un documento reciente (Friboulet et al., 2006) esas nociones se definen como capaci-
dades del sistema educativo, y responden a otras tantas preguntas:

Acceptability: Es aceptado el sistema educativo por las poblaciones a las que atiende?
Estn ellas de acuerdo con la forma de educacin a la que tienen acceso?

Adaptability: Se adapta el sistema a las necesidades y circunstancias de los alumnos?

Availability: Est disponible en cuanto a recursos humanos y equipamiento, en una forma



3
Aqu termina la nota sobre la educacin como un derecho preparada por Adolfo del Ro (consultor UNICEF-Mxico) y
Hctor Robles.

CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

18
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

que corresponda a las necesidades reales?

Accessibility: Es accesible a todos? (Friboluet et al., 2006: 29-30)

Las cuatro capacidades se definen en forma ms detallada aunque no siempre clara:

Acceptability: En qu formas contribuye el sistema educativo al desarrollo pleno de la


dignidad humana y al respeto de los derechos fundamentales de la persona? Qu aspectos
de la forma y el contenido de la educacin dan a los individuos la capacidad para
desempear un papel til en una sociedad democrtica?(2006: 35)

Adaptability: Es la correlacin entre fines y resultados. Es el eslabn que define la eficiencia


del sistema... Puede medirse tambin directamente por la adquisicin de capacidades reales
por parte de los estudiantes, lo que significara que el sistema educativo funciona
correctamente. (2006: 37)

Availability: La variedad, calidad y cantidad de los recursos disponibles y su uso eficiente


definen la eficiencia del sistema educativo... (2006: 39)

Accessibility: Indica la disponibilidad (availability) de recursos en relacin con las distintas


situaciones de los estudiantes... (2006: 41)

El primero de los cuatro trminos (traducido literalmente como aceptabilidad) me parece


poco adecuado para denotar aquello a lo que las preguntas con las que se precisa parecen
referirse, que me parece ms apropiado designar con trminos como relevancia y
pertinencia.

Del segundo trmino (traducido como adaptabilidad) se dice que define la eficiencia del
sistema, aunque luego la eficiencia se vuelve a manejar como contenido del trmino
siguiente. Al sealar que la adaptabilidad se puede medir tambin por el aprendizaje de los
estudiantes, sin embargo, se aade que eso significara que el sistema educativo funciona
correctamente. Parecera ms bien, por ello, que este trmino hace referencia ms bien a la
eficacia del sistema.

Los trminos restantes (traducidos como disponibilidad y accesibilidad) se refieren


claramente a la eficiencia, si bien en forma algo confusa: la accesibility indica la
availability... Tambin se alude a la equidad, cuando se dice que la disponibilidad y la
accesibilidad de los recursos deben juzgarse en relacin con las distintas situaciones de los
estudiantes.

ltimamente se ha aadido un quinto trmino que comienza con la letra A y tampoco


parece aadir claridad al conjunto: affordability, que se podra traducir como costeabilidad.
Este nuevo trmino parece ser otra forma de accesibilidad de aquello a lo que se considera
que se tiene derecho, con una connotacin econmica. En el caso de la educacin, se
refiere, por ejemplo, a los casos en que se cobra cierta cantidad como condicin para tener
acceso a ella, lo que sera una falta al principio de equidad, en los casos de las personas que
no cuenten con los recursos necesarios para cubrir el costo establecido para tal servicio, que
no les resultan affordable.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

19
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Es importante sealar que el esfuerzo de Karina Tomasevsky fue proveer un marco general
para evaluar el cumplimiento de las obligaciones de los Estados contemporneos para hacer
realidad la educacin como un derecho humano. Por ello, en su propuesta la dimensin de
adaptabilidad tambin incluye la correspondencia y coherencia de los derechos a y en la
educacin con el resto de los derechos humanos. As, por ejemplo, los Estados debiesen
garantizar la compatibilidad en la legislacin de un pas entre la edad mnima para ingresar
al mercado laboral y la edad a la que finalizara la educacin obligatoria. Otras reas son la
edad mnima para contraer matrimonio o disposiciones necesarias para evitar el recluta-
miento de nios y jvenes en conflictos armados, entre otras situaciones que se oponen a la
realizacin de la escolarizacin obligatoria.

En general los sistemas de indicadores educativos no atienden esta correspondencia. El


mbito de los derechos compatibles en la educacin generalmente no es captado de
manera integral por instrumentos de evaluacin del sistema educativo ni tampoco en los
sistemas de indicadores que los pases desarrollan.

La calidad en la perspectiva sistmica y en la del derecho a la educacin

A mi juicio, el marco de referencia del derecho a la educacin no tiene por qu


contraponerse al marco que ofrece el modelo sistmico, sino que se trata de enfoques
complementarios.

La existencia de sistemas educativos que atienden alumnos de edades ms tempranas y


ms avanzadas que en el pasado, forma parte del desarrollo de las sociedades
contemporneas, que requieren de instituciones especializadas para asegurar que sus
nuevos miembros adquieran las competencias cada vez ms complejas que supone la
vida adulta en tales sociedades.

Por su parte, el avance de las ideas relativas a los derechos humanos, especialmente
despus de la Segunda Guerra Mundial, y en el contexto del desarrollo de los organismos
y las instituciones jurdicas internacionales, ha incluido la creciente conciencia de que la
educacin es una parte cada vez ms importante de los derechos de todo ser humano,
como condicin necesaria, aunque no suficiente, para su plena realizacin como persona,
como ciudadano de una sociedad democrtica y como partcipe en una economa
avanzada. (Cfr. Daudet y Singh, 2001).

Sin embargo, el derecho a la educacin expresado en esa forma general es vago.


Concretarlo implica aclarar de muchas formas sus alcances precisando, por ejemplo:

Hasta qu grado escolar se extiende, ya que no parece posible considerar igual el


derecho de recibir educacin primaria de una persona, y el de otra de acceder a un
posgrado.
Qu implica el derecho de acceso a la educacin obligatoria, en cuanto a la
accesibilidad de las escuelas, y en cuanto a los recursos mnimos que cada plantel deber
tener.
Hasta qu punto son aceptables ciertas diferencias, y hasta qu punto deben
considerarse transgresiones inadmisibles de la equidad.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

20
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Otra forma en que se busca precisar el derecho a la educacin consiste en sealar que
este no significa solo que los alumnos deben tener acceso a cualquier tipo de educacin,
sino a una de buena calidad. La novedad de este planteamiento es relativa: aunque no
se dijera expresamente, es obvio que nadie consideraba que el derecho a la educacin
era a recibir una de mala calidad. Por ello, para precisar la nocin de derecho a la
educacin habr que utilizar los elementos que definan la de calidad. El esfuerzo por
medir el derecho a la educacin al que se ha hecho referencia (Friboulet et al. 2006)
utiliza, de hecho, componentes de la definicin de calidad de la educacin que he
presentado, a partir del modelo que ofrece la teora de sistemas y de las dimensiones
que se desprenden de las relaciones entre dichos componentes.

Friboulet et al. presentan las dimensiones del derecho a la educacin mencionadas (las
cuatro A) como un todo en el que cada aspecto se relaciona con los dems, segn un
esquema en el que se utilizan los componentes del modelo sistmico. El cuadro siguiente
presenta dicho esquema:


Cuadro 1. Dimensiones del derecho a la educacin
Capacidades en relacin Capacidades en relacin
con los derechos con los recursos
Relevancia Eficacia
Derechos Objetivos
ACEPTABILIDAD ADAPTABILIDAD

Objetivos Resultados
Coherencia Eficiencia
Derechos Medios
ACCESIBILIDAD DISPONIBILIDAD

Medios Resultados
Fuente: Elaboracin propia

El esquema anterior confirma la opinin sostenida en este texto, en el sentido de que el


marco organizativo de los derechos sociales no es incompatible con el del anlisis de
sistemas; uno y otro pueden servir para estructurar las dimensiones de la calidad de un
sistema educativo que, al mismo tiempo, son aspectos particulares de la nocin general
del derecho a la educacin.

Un indicio ms en este sentido es que, cuando se proponen indicadores concretos para


dar contenido al marco basado en el derecho a la educacin, se incluyen indicadores
tradicionales, como los de cobertura, y que los indicadores novedosos resultan bastante
pobres. Ejemplos de esto ltimo son indicadores como el nmero de convenios
internacionales relativos al derecho a la educacin firmados por un pas; instancias
dedicadas a la defensa del derecho a la educacin; y quejas sobre el derecho a la
educacin atendidas.

Al parecer, se da demasiada importancia a los aspectos jurdicos, en tanto que los


sustantivos parecieran perderse de vista. Ms interesantes resultan indicadores de
equidad.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

21
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

2.5. Conclusin

Como ocurre en otros debates conceptuales, difcilmente llegan los especialistas a


ponerse de acuerdo cuando se discute en forma abstracta y terica sobre la calidad
educativa. Cuando la discusin se hace en trminos concretos, en cambio, el consenso
parece alcanzarse con relativa facilidad. Independientemente de la forma en que se
sistematicen las facetas del concepto y los trminos que se utilicen para designarlas,
muchos de los que estudian los sistemas educativos podrn estar de acuerdo en que uno
bueno tiene que tener altas tasas de cobertura y eficiencia, y conseguir que los alumnos
tengan buen nivel de rendimiento, para lo cual es necesario que las escuelas cuenten
con recursos humanos y materiales suficientes en cantidad y adecuados en calidad, etc.

La identificacin de las dimensiones de la calidad deber ir seguida, desde luego, por


la construccin de indicadores de cada una, y por instrumentos que permitan medir de
manera vlida y confiable la situacin de cada dimensin. Superar las estriles polmicas
terminolgicas podr ayudar a concentrar los esfuerzos en las tareas sustantivas del
desarrollo de indicadores de buena calidad.
UDAD 3 Ante

3. Metodologa para el diseo de indicadores

3.1. Introduccin

A diferencia de lo que ocurre con las pruebas de aprendizaje, la metodologa para disear
indicadores educativos no est suficientemente sistematizada o codificada. En lo relativo
a pruebas, desde hace medio siglo se dispone de manuales que explican con detalle los
pasos a dar para elaborar instrumentos adecuados. No es sencillo, desde luego, seguir al
pie de la letra todas las indicaciones tcnicas, pero si se consigue hacerlo en un grado
aceptable, el resultado ser un instrumento razonablemente vlido y confiable, aun si no
se incorporan los desarrollos de las ltimas dcadas.

No se encuentran, en cambio, textos similares para guiar el proceso de construccin de


sistemas de indicadores. Los escasos apuntes que hay al respecto deben buscarse en
documentos tcnicos y artculos poco accesibles, pero no puede hablarse todava de un
cuerpo estndar de orientaciones en este campo. Lo anterior es uno de los factores que
explican que muchos de los sistemas de indicadores existentes en nuestro medio, sobre
tema educativo u otro, sean el resultado de procesos poco rigurosos de diseo, y
adolezcan de deficiencias graves. El trabajo del Instituto Nacional para la Evaluacin de la
Educacin (INEE) en 2003 incluy, con base en las funciones que le asigna su Decreto de
Creacin, el desarrollo de una primera versin de un sistema de indicadores educativos.
Para llevar a cabo adecuadamente esta tarea, se sigui un procedimiento sistemtico,
buscando aprovechar al mximo la experiencia previa sobre el tema.

A partir de la experiencia propia, y recogiendo elementos de la literatura revisada (en


especial Shavelson et al., 1989; Shavelson et al., 1991; y Comisin Europea, 1999), se
presenta un intento por sistematizar una metodologa para el diseo de sistemas de
indicadores. Se podrn advertir algunas repeticiones de ideas presentadas en apartados
anteriores, que no se ha querido eliminar. El texto retoma elementos de trabajos previos,

CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

22
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

en especial el trabajo de tesis que desarroll Dora Ma. Ocampo, bajo la direccin del
autor, en el Doctorado Interinstitucional en Educacin de la Universidad Autnoma de
Aguascalientes.

3.2. Primera etapa: elaboracin del listado de indicadores

El punto de partida es la idea, ya expresada, de que un sistema de indicadores no se


reduce a un listado de ellos, simplemente yuxtapuestos. Para conformar un autntico
sistema, por el contrario, los indicadores deben integrarse lgicamente, segn criterios
precisos. Para identificar los componentes del sistema y los criterios de integracin
resulta til la distincin que opone objetos empricos y objetos tericos.

Un sistema educativo comprende un gran conjunto de objetos empricos: personas


(aspirantes, alumnos, egresados, desertores, maestros, directores, entre otras); que se
ubican en instituciones (planteles, agrupados en zonas, ubicadas en municipios y
circunscripciones ms amplias); en las que hay muebles, equipos y materiales (pupitres,
libros de texto, cuadernos, pizarrones, computadoras y muchos ms); que se usan en la
enseanza o la administracin, con elementos menos tangibles: un currculo, cierta
normatividad, algunas tradiciones, etc.

Cada uno de esos objetos empricos constituye una realidad que, en sentido estricto, es
inagotable: cada alumno tiene infinidad de rasgos personales, pertenece a una familia
ms o menos integrada, vive en cierta localidad, barrio o comunidad... Por consiguiente,
los objetos empricos mencionados como integrantes del sistema educativo, y el
sinnmero no mencionado, no pueden aprehenderse en su totalidad: antes de buscar
informacin sobre ellos debemos precisar el propsito de nuestra indagacin, para luego
seleccionar los aspectos pertinentes para ese propsito. En otras palabras, debemos
construir objetos tericos, conformados por ciertas dimensiones, de especial inters para
nuestros propsitos, de la inagotable realidad de los objetos empricos.

Dado que el propsito que gua la construccin de un sistema de indicadores no es otro


que el de evaluar la calidad del sistema educativo, precisar la nocin de calidad es
fundamental para que podamos pasar del objeto emprico al terico. Dada la complejidad
de los sistemas educativos, la nocin de calidad aplicable no puede reducirse tampoco a
una dimensin, sino que debe incluir al menos:
RELEVANCIA Y PERTINENCIA, entendidas como las cualidades de un sistema educativo
que se propone alcanzar objetivos adecuados a las necesidades de la sociedad en que se
sita y de los nios y jvenes a los que debe atender.
EFICACIA INTERNA Y EXTERNA, entendiendo por ello que el sistema educativo logre
que una alta proporcin de sus destinatarios acceda a la escuela, permanezca en ella
hasta el final del trayecto previsto y egrese alcanzando los objetivos de aprendizaje.
IMPACTO, que se dar cuando el sistema consiga que los aprendizajes alcanzados por
los alumnos sean asimilados por ellos en forma duradera y se traduzcan en
comportamientos fructferos para la sociedad y los propios individuos.
SUFICIENCIA Y EFICIENCIA, si el sistema cuenta con recursos humanos y materiales
suficientes y los aprovecha de la mejor manera, evitando despilfarros y derroches.
EQUIDAD, si tiene en cuenta la desigual situacin de alumnos, familias, comunidades y


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

23
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

escuelas, y ofrece apoyos especiales a quienes lo requieren, para que los objetivos
educativos sean alcanzados por el mayor nmero posible.
Para relacionar los elementos empricos y las dimensiones de la calidad educativa
pueden utilizarse las nociones de la teora de sistemas, de la que en otro lugar se ha
comentado ya que no tiene por qu oponerse a la nocin del derecho a la educacin. En
ltima instancia, en efecto, un sistema educativo no podr ser considerado bueno si no
consigue que se cumpla con las exigencias del derecho a la educacin; al mismo tiempo,
si se quiere precisar en qu consiste este derecho, habr que precisar lo que se entiende
por una educacin de buena calidad, lo que se puede hacer de manera sistemtica
acudiendo, precisamente, a las nociones de la teora de sistemas.

Si se decide desarrollar un sistema de indicadores a partir de ciertas metas previamente


definidas este primer paso ser muy sencillo, pero no habr que perder de vista algunas
dimensiones de la calidad educativa que el conjunto de metas de que se trate no incluya,
por dar prioridad a otros aspectos. Esa prioridad puede ser justificada, y ser razonable
focalizar los esfuerzos en cierta direccin, pero no por ello debern olvidarse las dems
dimensiones de la calidad.

Por ello no parece que los dos enfoques para el desarrollo de un sistema de indicadores a
los que se viene haciendo referencia deban contraponerse. Seguramente los dos tienen
lugar, ya que el enfoque sistmico, con su pretensin de (relativa) exhaustividad siempre
ser necesario, en tanto que ser muy razonable conceder especial atencin al desarrollo de
indicadores que atiendan a las metas definidas como prioritarias en las polticas educativas
en un momento determinado.

Con el enfoque sistmico se podr definir, disculpando la redundancia, un verdadero sistema


de indicadores, que considere insumos, procesos y productos, as como recursos y
necesidades del entorno o contexto. Una vez establecida la estructura del sistema podr
elaborarse un primer listado de posibles indicadores, debidamente articulados entre s.

Se reitera la necesidad de evitar el error de disear un sistema de indicadores utilizando solo


informacin existente, aunque se diga que los aspectos no atendidos son tambin
importantes. Esta salvedad pronto ser olvidada y lo importante ser definido por lo que
cubran los indicadores disponibles.

Un buen sistema de indicadores deber disearse a partir de lo que en principio se


considera importante, aunque para muchos aspectos no se cuente con datos adecuados y
deban realizarse despus todos los esfuerzos para contar con la informacin necesaria.

Una vez establecido un primer listado de indicadores a desarrollar, sea con un enfoque o
con otro, deber pasarse a la siguiente etapa.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

24
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

3.3. Segunda etapa: desarrollo de cada indicador

Cada indicador deber desarrollarse luego, precisndose al menos los siguientes puntos:

NOMBRE: lo ms breve y claro que sea posible.


DEFINICIN: con la mayor precisin y rigor conceptual.
EXPLICACIN: si se requiere, la definicin podr desarrollarse, situando el indicador en un
marco terico pertinente. De especial importancia ser precisar la ubicacin de cada indi-
cador en el conjunto del sistema, indicando la dimensin del concepto de calidad y los
elementos sistmicos a los que corresponde: relevancia, eficacia, eficiencia, etc.; entorno,
necesidades, insumos, procesos o productos.
FUENTES de obtencin de la informacin de base.
FRMULA DE CLCULO y, en su caso, criterios para su estimacin.
DESAGREGACIONES posibles (v. gr. por gnero, por entidad, por modalidad de escuela etc.)
ELEMENTOS PARA LA INTERPRETACIN de los resultados.
El trabajo de esta etapa deber ser realizado por el personal responsable del desarrollo
del sistema, que deber allegarse todos los elementos necesarios para hacer su tarea de
la mejor manera posible, pero pese a todos los esfuerzos que se hagan es seguro que el
producto no ser perfecto, por lo que ser necesario llevar a cabo un proceso de
depuracin y refinamiento, en la siguiente etapa.

3.4. Tercera etapa: jueceo inicial

Antes de proceder a organizar costosos procesos de recoleccin de informacin para


alimentar un sistema de indicadores, cada uno de los elementos que lo forman deber
someterse a un cuidadoso escrutinio, mediante un procedimiento de jueceo entre
expertos y usuarios, para valorar a priori el grado en que cada indicador parece satisfacer
los criterios de calidad aplicables que son, al menos, los siguientes:

VALIDEZ, como cualidad tcnica bsica. Sin llegar a distinciones finas sobre tipos o
fuentes de validez, se entender de manera general como la propiedad del indicador que
consiste en que mida realmente lo que se pretende que mida.
CONFIABILIDAD, la otra cualidad tcnica esencial, consistente en que el indicador se
defina conceptual y operacionalmente de forma tal que la informacin que permita
obtener sea consistente a lo largo de las sucesivas aplicaciones del sistema.
COMPARABILIDAD, si el indicador puede aplicarse en contextos (educativos) diferentes
en forma tal que permita comparaciones significativas.
ESTABILIDAD TEMPORAL, de modo similar, si el indicador permite comparaciones
significativas a lo largo del tiempo.
ACTUALIDAD de la informacin que ofrece el indicador (freshness), ya que uno que no
pueda ofrecer informacin razonablemente reciente no tiene mucho valor.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

25
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

SENSIBILIDAD, que se dar si valores distintos de un indicador se asocian en forma


consistente a diferencias significativas de los sistemas educativos.
FACTIBILIDAD de implementacin del indicador, en el sentido de que la informacin
necesaria para construirlo pueda obtenerse. Cuando esa informacin no est disponible
deber valorarse la importancia del indicador en relacin con el costo que implicar.
IMPORTANCIA, en el sentido de que el indicador se refiera a un elemento del sistema
educativo que tenga peso significativo en relacin con alguna dimensin de la calidad.
UTILIDAD, como el grado en que el indicador se refiera a un aspecto en el que las
decisiones que tomen los responsables puedan impactar de manera significativa.
CLARIDAD, en el sentido de que la manera en que presente la informacin deber
facilitar una adecuada interpretacin por parte de los usuarios.

Adems de los criterios anteriores, aplicables a cada indicador, deber valorarse la


calidad del conjunto del sistema como tal, juzgando si comprende de manera suficiente y
equilibrada todos los aspectos importantes del objeto de estudio con un nmero
razonable de elementos, ni excesivo ni escaso, esto es los criterios de COBERTURA,
BALANCE y PARSIMONIA del sistema de indicadores como tal.

El anlisis inicial a priori del conjunto de indicadores diseado deber involucrar a un


nmero razonable de jueces, de tres tipos diferentes: expertos en el sentido de inves-
tigadores o especialistas de formacin y experiencia terica o disciplinaria sobre los
temas cubiertos por el sistema; usuarios especializados, en el sentido de responsables
del sistema educativo con experiencia de nivel alto y medio (autoridades federales y
estatales, jefes de sector, supervisores e inspectores); y usuarios de base, como
directores de escuela, maestros y padres de familia.

El proceso de jueceo deber comprender al menos tres vueltas, en forma similar a la que
se emplea en la tcnica delphi.

En cada vuelta se solicitar a los jueces que califiquen cada indicador segn los criterios
de calidad en una escala ordinal de cinco valores, de muy adecuado a muy inadecuado,
que se codificarn de 5 a 1. En cada vuelta se solicitar a los jueces expresar su opinin
sobre los indicadores, ofrecindoles informacin adicional de la siguiente manera:

En la primera vuelta se solicitar la opinin de los participantes sobre cada uno de los
aspectos mencionados de cada indicador (validez, confiabilidad, comparabilidad, etc.)
ofreciendo la informacin de cada uno que result de la Segunda Etapa.

En la segunda vuelta se pedir a los participantes que vuelvan a opinar sobre cada
aspecto de cada indicador, teniendo a la vista informacin sobre las opiniones de los
dems participantes en la primera vuelta, en la forma de medias y desviaciones de las
puntuaciones obtenidas por cada indicador en cada criterio. Se les pedir a quienes
tengan opiniones que difieran mucho de la tendencia promedio que expresen
argumentos para defender su posicin.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

26
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

En la tercera se pedir nuevamente la opinin de los participantes, pero dndoles


adems informacin sobre los argumentos de los participantes con opiniones extremas o
discordantes en la vuelta anterior.

Con base en las opiniones de los jueces se podr decidir cules indicadores satisfacen de
manera ms o menos amplia los criterios de calidad antes mencionados. Entre una vuelta
y otra podrn modificarse o descartarse aquellos indicadores que, segn el consenso
recabado, no satisfagan los criterios de calidad.

Convendr dar ms peso a las opiniones de algunos de los jueces en relacin con ciertos
criterios. As, la opinin de los expertos deber tener mayor peso para las decisiones
sobre los criterios de validez, confiabilidad, comparabilidad y estabilidad temporal, as
como para actualidad y sensibilidad; la opinin de los usuarios especializados es de
especial relevancia para decidir sobre la factibilidad, importancia y utilidad; y la de los
usuarios de base para juzgar sobre la claridad de los indicadores.

Teniendo en cuenta que algunos de los participantes en el proceso podrn abandonarlo


antes de terminar, y el tiempo que implica recoger las opiniones de cada vuelta y
procesarlas antes de la siguiente, habr que considerar un tiempo razonable para cada
una (de dos a cuatro semanas) e incluir inicialmente a un nmero de jueces mayor al
que se espera que termine el proceso, digamos un mnimo de 10 personas de cada una
de las tres clases de participante.

Tras lo anterior se estar en condiciones de poner a prueba el sistema en la realidad.

3.5. Cuarta etapa: prueba piloto o primera aplicacin

Tras las etapas anteriores podr procederse a una primera aplicacin del sistema,
alimentndolo con la informacin necesaria, sea previamente existente o bien generada
ex profeso, y realizando los procesos de depuracin y clculo necesarios para obtener los
primeros valores de cada indicador.

Con los resultados de la primera aplicacin se podr hacer un nuevo anlisis de la calidad
de cada indicador y del sistema en conjunto, esta vez a posteriori, revisando la
consistencia de la informacin y contrastndola con otra comparable, por ejemplo
derivada de investigaciones independientes. Podr tambin valorarse en qu medida la
informacin que arroja el sistema es interpretada correctamente y utilizada para
sustentar acciones de mejora.

3.6. Conclusin

Tras lo anterior el sistema podr operar regularmente, con dos procesos adicionales:

Uno de refinamiento permanente de los indicadores que lo requieran, con base en la


experiencia que se ir acumulando.
Otro de establecimiento y ajuste de parmetros o estndares de referencia, con los
cuales se contrastarn los valores de los indicadores, para llegar a un juicio de valor.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

27
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

No debe olvidarse, en efecto, que la evaluacin implica la medicin, pero no se reduce a


ella. Un indicador captura o mide cierto aspecto o dimensin de la realidad a evaluar, en
nuestro caso, del sistema educativo; esto es importante para poder evaluar ese aspecto,
pero no es suficiente: para llegar a un juicio sobre lo adecuado o inadecuado de la
realidad medida hace falta un referente que defina lo que se considera adecuado o
inadecuado.

Ese referente con que debe contrastarse el resultado de la medicin es el parmetro o


estndar. Es normativo, no emprico. Para definirlo, la pregunta que hay que formular es
con qu o con quin debemos compararnos? Para responder la pregunta hay que tener
en cuenta que los referentes pueden ser de tres tipos: ptimos, promedio y mnimos.

Tratndose de juicios de valor sobre sistemas educativos nacionales, los referentes


ptimos pueden ser los resultados educativos de los pases ms avanzados. Al interior de
un sistema educativo, cuando se trate de juicios de valor sobre escuelas, los referentes
ptimos sern los resultados de las mejores. Usar como punto de comparacin tal tipo de
referentes ptimos equivale al enfoque conocido como benchmarking, o la identificacin
de las llamadas mejores prcticas.

El uso de referentes promedio implica comparar los resultados de un sistema, una


escuela o, en su caso, un alumno, con la media de los sistemas, escuelas o alumnos que
se evala. Es el tipo de comparacin que se refleja en expresiones como: la escuela x
est por encima de la media nacional; o bien: la media de Mxico es inferior a la de los
pases de la OCDE. Cuando, en las evaluaciones internacionales, se compara a un pas
como el nuestro con otros de desarrollo similar, de alguna manera se utiliza este tipo de
referente.

El uso de referentes mnimos implica que se establezca el menor valor aceptable, cuyo
cumplimiento permite, por ejemplo, que un alumno sea aprobado, o que una institucin
sea acreditada. El uso de los pases de menor desarrollo como puntos de comparacin
podra verse como una aproximacin al uso de referentes mnimos.

No es difcil apreciar que cada uno de estos referentes (ptimo, promedio y mnimo)
tiene cierto sentido; cada uno arroja luz sobre la realidad evaluada desde cierta perspec-
tiva, y ninguno es suficiente. Parece conveniente usar los tres tipos de parmetro, para
lograr una apreciacin ms completa.

En el caso de las comparaciones internacionales, tiene sentido comparar la situacin


educativa de Mxico con la de pases ms avanzados. La situacin de estos ltimos es
diferente de la del nuestro, pero no deja de ser un punto de referencia, una meta a
perseguir, aunque sea a mediano o largo plazo. La globalizacin del mundo
contemporneo lo hace inevitable. Pero utilizar solo tales referentes implica una dosis de
injusticia, al no tener en cuenta numerosos factores demogrficos, econmicos, sociales y
culturales. La equidad implica usar parmetros que consideren los contextos de las
realidades evaluadas, comparando lo realmente comparable. Por ello el emplear tambin
como referentes a los pases de desarrollo similar, usando referentes promedio, es un
complemento deseable en las comparaciones internacionales.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

28
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La evaluacin de los sistemas educativos de las entidades federativas de nuestro pas


puede hacerse, de manera similar, en relacin con referentes ptimos, promedio o
mnimos. Como referente ptimo puede usarse el nivel de las entidades ms
desarrolladas, que se pueden considerar referentes de benchmarking para las menos
avanzadas. La media nacional es el referente promedio natural. En cuanto a los refe-
rentes mnimos, las autoridades educativas podrn establecerlos. A nivel internacional,
organismos como la UNESCO y la OCDE pueden fijar este tipo de parmetros mnimos.

Una forma diferente, y sugestiva, de definir referentes, es la de emplear como tales la


situacin del sistema a evaluar en el pasado, en el presente o en el futuro. La situacin
en cierto momento del pasado puede verse como referente mnimo. El futuro puede
usarse como punto de referencia, en el sentido de que un sistema, o una escuela,
pueden valorar si alcanza o no, si se aproxima o se aleja, a mayor o menor velocidad, a
las metas que se haya establecido en determinado horizonte temporal. Posiblemente
estos parmetros sean los ms pertinentes para valorar la calidad educativa: una escuela
o sistema escolar de calidad es, finalmente, aquella o aquel que siempre mejora respecto
a s mismo, sin idealizar el pasado y con metas ambiciosas pero realistas para el futuro.

4
4. La evolucin de los indicadores

4.1. Introduccin

Las primeras versiones de un indicador suelen ser, explicablemente, bastante elemen-


tales, tanto en lo que se refiere a la manera de definirlo como a la calidad de los datos
que se obtienen a partir de l. En ocasiones esas versiones primitivas permanecen sin
cambios durante mucho tiempo. Esto puede deberse a la dificultad objetiva de alcanzar
niveles de medicin mejores, pero tambin a que las deficiencias de esas mediciones
burdas ni siquiera se detectan porque los datos no son utilizados efectivamente para
sustentar decisiones.

Cuando se revisan las cifras las inconsistencias suelen aparecer ms temprano que tarde,
y es posible entonces emprender esfuerzos de mejora, tanto conceptuales como en lo
que se refiere a la recoleccin de informacin de mejor calidad.

En este texto se presentan algunos ejemplos de indicadores educativos muy


tradicionales, y muy deficientes tambin. Se mostrar en qu consisten las deficiencias y
a qu se deben, as como los esfuerzos que se han hecho o se pueden hacer para
corregirlas.

4.2. Escolarizacin y alfabetizacin en los informes de Educacin Para Todos (EPT)

La Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura (UNESCO)


agrupa a la mayor parte de las naciones del planeta: 196 en 2006. Sus datos sobre los
sistemas educativos nacionales permiten comparar a Mxico con pases de todos los niveles

4
El texto se complementa con un conjunto de lminas de PowerPoint que se incluyen en un archivo electrnico adicional.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

29
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

de desarrollo, aunque la informacin no siempre es confiable ni actual y debe tomarse con


cautela.

El informe sobre los avances del proyecto de Educacin para Todos (ETP, o EFA por las siglas en
ingls de Education for All), permite comparar la situacin de Mxico con las de la mayor parte
de los pases del mundo en varios indicadores bsicos. Para comparar los pases, el informe se
basa en un ndice, formado por la combinacin de cuatro indicadores, como sigue:

La tasa neta de escolarizacin en primaria, como indicador del objetivo de ofrecer


enseanza primaria a todos los nios de seis a 11 aos de edad.
La tasa de alfabetizacin de la poblacin de 15 aos o ms, en relacin con la meta de
alcanzar la alfabetizacin de la poblacin adulta.
Un indicador compuesto de equidad de gnero (IEG), formado a su vez por tres
indicadores de paridad de sexo, de otros tantos indicadores: la tasa bruta de escolarizacin
en primaria y en secundaria, y la tasa de alfabetizacin de la poblacin de 15 aos o ms.
La meta relativa a paridad de sexos se entiende como la situacin en que la proporcin de
varones y mujeres en cierta condicin (por ejemplo de asistencia a la escuela o de
alfabetizacin) corresponde a la proporcin de los sexos en la poblacin, que generalmente
es cercana al 50 por ciento.
La tasa de supervivencia en quinto grado de primaria de los alumnos que comenzaron
ese nivel educativo, como una aproximacin, muy insuficiente, a la calidad educativa.
El ndice as construido se denomina ndice de Desarrollo de Educacin para Todos, IDE.

Segn el Informe de 2005, de los 127 pases que incluye 16 haban alcanzado ya los
objetivos: tenan una cobertura neta en primaria casi de 100 por ciento; prcticamente
todos sus adultos saban leer y escribir; haban alcanzado la paridad de gnero en los
indicadores; y todos sus nios llegaban al menos al quinto grado de primaria.

De esos 16 pases uno es Canad y doce ms son europeos; los otros tres eran Israel, Corea
y Barbados, este ltimo el nico pas de Amrica, que alcanza este nivel, adems de
Canad. No debe olvidarse que Barbados tiene 270,000 habitantes y un PIB per cpita que,
controlando la paridad del poder adquisitivo (ppa) supera ya los 15,000 dlares. Debe
tambin advertirse que los informes de EPT, al menos en 2005, no incluan a los Estados
Unidos.

Otros 25 pases estaban cerca de alcanzar los objetivos: 15 europeos; cinco de Asia y
Oceana (Georgia, Kazajstn y Tayikistn, las Islas Fidji y las Maldivas); uno de frica (las
Islas Seychelles); y cuatro de Amrica Latina y el Caribe: Argentina, Chile, Cuba y Trinidad
Tobago. En el grupo siguiente, de situacin intermedia, haba 51 pases: tres de Europa; 14
de Asia; 12 rabes; siete del frica al sur del Sahara; y 15 de Amrica Latina y el Caribe,
entre ellos Costa Rica y Mxico, que ocupaban los lugares tres y siete del grupo. Los 35
pases restantes se ubicaban lejos de los objetivos; entre ellos no haba ningn pas
europeo ni de Amrica del Norte; solo dos de Amrica Latina y el Caribe; siete de Asia;
cuatro rabes; y 22 africanos.

La UNESCO tiene 76 pases afiliados ms, de los que no haba datos para calcular los
indicadores y el ndice de Desarrollo de EPT. De esos pases 14 son europeos; 19 de


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

30
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Amrica Latina y el Caribe; 24 de Asia; 4 son pases rabes; y 15 del frica al sur del
Sahara. La mayora de esos pases tienen, seguramente, situaciones desfavorables, que se
reflejan en el hecho de que ni siquiera hay datos confiables sobre ellos. Excepciones
importantes de la aseveracin anterior las constituyen pases como Estados Unidos, Japn,
Hong Kong, Taiwn y Nueva Zelanda, no incluidos en el Informe 2005 de EPT, y cuyo
desarrollo educativo es alto.

A partir de los datos del Informe EPT 2005, la Tabla N 1 ofrece datos sobre el IDE y los
indicadores que lo forman, para varios pases de diverso nivel de desarrollo.


Tabla N 1. El ndice de Desarrollo de Educacin y sus componentes en varios pases
Pas IDE TNE Alfabetizacin IEG % Supervivencia
Primaria % 15 aos % 5 primaria %
Desarrollo alto
1. Noruega 0.995 99.9 99.9 99.3 99.0
4. Corea 0.990 99.9 98.0 99.2 99.0
5. Finlandia 0.990 100.0 99.8 96.3 99.9
23. Argentina 0.970 99.8 97.0 98.1 93.1
26. Espaa 0.968 99.7 91.8 96.8 99.0
30. Cuba 0.965 95.7 96.9 98.3 95.3
38. Chile 0.958 88.8 95.7 98.6 99.9
Desarrollo medio
44. Costa Rica 0.948 90.6 95.8 99.1 93.7
30. Mxico 0.941 99.4 90.5 96.1 90.5
30. Panam 0.941 99.0 92.3 96.4 88.6
54. China 0.930 94.6 90.9 88.5 98.0
57. Uruguay 0.927 89.5 97.7 94.9 88.5
66. Per 0.912 99.9 85.0 93.7 86.1
72. Brasil 0.899 96.5 88.2 95.1 79.9
92. Arabia Saud 0.801 58.9 77.9 89.5 94.0
Desarrollo bajo
95. Nicaragua 0.768 81.9 76.7 94.5 54.2
98. Guatemala 0.748 85.0 69.9 88.6 55.8
105. India 0.700 82.3 61.3 75.0 61.4
127. Burkina Faso 0.429 35.0 12.8 59.9 63.7
Fuente: UNESCO, 2005. Las casillas sombreadas en la columna del IEG quieren decir que los varones se
encuentran en desventaja respecto a las mujeres, y no al contrario.

El nmero que aparece a la izquierda de cada pas representa el lugar que ocupa en la lista
segn el IDE. Los valores iban de 0.995 en Noruega (lugar 1), hasta 0.958 en Chile (lugar
38). El rango de valores del primer grupo va de 1.00 a 0.95, que son los puntos de corte
establecidos arbitrariamente por la UNESCO para clasificar a los pases como de alto
desarrollo educativo.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

31
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Los puntos de corte que definen el grupo de desarrollo medio son 0.95 y 0.80. Costa Rica
es el primer pas de Amrica Latina en este grupo (lugar 44 general), con 0.948. Mxico y
Panam ocupaban los lugares 48 y 49, con un IDE similar, de 0.941. Brasil, con un IDE de
0.899, ocupaba el lugar 72. El lugar 92, ltimo del grupo, corresponda a Arabia Saudita,
con 0.801.

En el grupo de pases de desarrollo educativo bajo, con un IDE igual o menor a 0.800,
encontramos a Nicaragua y Guatemala, con puntajes de 0.768 y 748; la India ocupaba el
lugar 105, con un IDE igual a 0.700. El lugar 127, ltimo del grupo de desarrollo educativo
bajo, corresponda a Burkina Faso, con 0.429.

En forma congruente con los valores del IDE, derivados de ellos, los porcentajes de los
cuatro indicadores de los pases del grupo de desarrollo educativo alto eran cercanos a 100.
En el grupo de desarrollo medio se situaban alrededor de 90; y en el grupo de desarrollo
bajo mostraban cifras inferiores, hasta el caso de Burkina Faso, que presentaba una
cobertura neta en primaria de solo 35%; menos de 13% de alfabetizacin; una enorme
desventaja de las mujeres respecto a los varones en los indicadores; y una baja
supervivencia de los alumnos en quinto de primaria.

El programa EPT, surgido de la reunin de Jomtien (1990), fue concebido en la perspectiva


de los pases menos avanzados, por lo que sus objetivos constituyen retos considerables
para las naciones pobres, pero no para los pases ms ricos ni los de desarrollo intermedio.
Esto salta a la vista si se repasan los objetivos que sustentan los indicadores del IDE. Tres
metas han sido alcanzadas ya, hace tiempo, por los pases avanzados: escolarizacin
universal en la primaria, supervivencia en quinto grado, y alfabetizacin de la poblacin
adulta. Esos mismos objetivos han sido alcanzados tambin, hace menos tiempo, por varios
pases de desarrollo medio, y otros estn muy cerca de alcanzarlos. Esas metas solo son
desafiantes para los pases ms pobres.

El objetivo y el indicador de equidad de gnero son diferentes. En general hay una


proporcin similar de varones y mujeres en la poblacin, pero hay diferencias no menores
por migracin, mortalidad diferente entre gneros u otras razones. La desigualdad
tradicional mente se presenta en sentido desfavorable para la mujer, pero la tendencia
reciente va en sentido inverso.

Cifras ligeramente superiores o inferiores a la igualdad perfecta resultan difciles de


interpretar. Estos indicadores tienen en comn una reducida sensibilidad para discriminar
de manera precisa la situacin de los pases que han alcanzado las metas del IDE. Si se
quiere distinguir mejor los grados de avance de los pases de desarrollo alto o medio es
necesario utilizar indicadores sobre niveles educativos superiores, o bien sobre niveles de
aprendizaje.

La Tabla N 2 presenta un ordenamiento de las entidades federativas de Mxico basado en


el ndice de Desarrollo Educativo.

Los datos anteriores retoman las cifras incluidas en el Informe 2005 de Educacin para Todos.
El Informe 2006 presenta cifras actualizadas, que se utilizan en lo que sigue, para comparar las
cifras de las entidades federativas mexicanas con las de diversos pases del mundo. El IDE de
Mxico en el Informe de 2006 (0.946) es ligeramente superior al del 2005 (0.941).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

32
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos


Tabla N 2. IDE de las entidades federativas de Mxico y algunos pases.
Lugar en Lugar en el
Entidad IDE Pas IDE
Mxico mundo
1 Distrito Federal 0.982 15 Espaa 0.982
2 Nuevo Len 0.981
3 Baja California Sur 0.980 16 Reino Unido 0.980
17 Irlanda 0.979
18 Dinamarca 0.979
4 Tlaxcala 0.977
5 Baja California 0.970
6 Aguascalientes 0.967
7 Mxico 0.966
8 Quintana Roo 0.965
9 Quertaro 0.962
10 Sonora 0.962
11 Tamaulipas 0.962
12 Coahuila 0.961
13 Durango 0.960
14 Morelos 0.958
15 Jalisco 0.958
16 Zacatecas 0.953
17 Guanajuato 0.949
18 San Luis Potos 0.948
19 Nayarit 0.948
20 Hidalgo 0.946 45
21 Tabasco 0.945 46 Mxico 0.946
48 Panam 0.944
22 Colima 0.939
23 Yucatn 0.938
24 Puebla 0.936
25 Sinaloa 0.933
26 Veracruz 0.933
27 Campeche 0.932
28 Chihuahua 0.932
29 Oaxaca 0.911
30 Michoacn 0.907
31 Chiapas 0.905
74 Filipinas 0.898
32 Guerrero 0.896
75 Tnez 0.895
Fuente: IDEA, comunicacin personal.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

33
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La reducida sensibilidad del IDE para distinguir pases con niveles educativos altos en
todos los aspectos, de otros con niveles adecuados en indicadores bsicos como los que
forman el IDE, pero inferiores en otros aspectos, produce resultados que deben
relativizarse, como que las entidades mexicanas tienen cifras comparables a las de pases
altamente desarrollados: el Distrito Federal, Nuevo Len y Baja California Sur se ubicaran
por encima del Reino Unido, Irlanda y Dinamarca, y al nivel de Espaa. El nivel de
Dinamarca sera similar al de Tlaxcala.

Todas las entidades, excepto una, alcanzan ndices superiores a 0.900 y Guerrero, que es
la excepcin, presenta uno de 0.896, que en el ordenamiento de la UNESCO se ubicara
entre el lugar 74 (Filipinas) y el 75 (Tnez). Debe recordarse que los pases con IDE ms
bajo presentan cifras inferiores a 0.500. La confiabilidad de algunas cifras del IDE es
dudosa. En el caso de las entidades mexicanas llaman la atencin casos como los de
Colima o Chihuahua, o los de Zacatecas y Guanajuato, con resultados por debajo o por
encima de lo que podra esperarse.

Ciertos cambios bruscos de algunos pases en los sucesivos informes del proyecto de
Educacin para Todos reafirman la conviccin de que su informacin debe revisarse con
cautela, lo que no impide reconocer su valor indicativo. Llama la atencin, por ejemplo,
que Barbados ocupara el lugar 8 del ordenamiento en el Informe de 2005, pasara al
primer lugar en 2006 y bajara al 17 en el Informe de 2007. El Reino Unido pasa del lugar
16 en 2006 al 1 en 2007. Argentina, que en 2006 ocup el lugar 27, baja al 50 en 2007,
mientras que Trinidad y Tobago, que en 2005 ocup el lugar 28, en 2006 el 74 y pasa al
25 en 2007. La Tabla N 3 muestra estos y otros cambios.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

34
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos


Tabla N 3. Resultados de algunos pases en los informes de EPT de 2005, 2006 y
2007
2005 (2000) 2006 (2002) 2007 (2004)
Pases Lugar (127) IDE Lugar (122) IDE Lugar (122) IDE
Europa y Este
de Asia
Corea 4 0.990 6 0.990 10 0.988
China 54 0.930 39 0.954 43 0.954
Espaa 26 0.968 15 0.982 24 0.982

Finlandia 5 0.990 5 0.991 3 0.994


Francia - --- 3 0.992 5 0.992
Noruega 1 0.995 2 0.993 8 0.991
Reino Unido 13 0.980 16 0.980 1 0.994
Latinoamrica y
Caribe
Argentina 23 0.970 27 0.968 50 0.946
Barbados 8 0.987 1 0.994 17 0.984
Brasil 72 0.899 72 0.905 72 0.905
Colombia 86 0.841 82 0.876 84 0.879
Costa Rica 44 0.948 53 0.938 41 0.956
Cuba 30 0.965 21 0.976 27 0.981
Chile 38 0.958 42 0.952 35 0.969
Guatemala 98 0.748 96 0.782 94 0.825
Mxico 48 0.941 47 0.946 48 0.949
Nicaragua 95 0.768 92 0.817 96 0.811
Panam 49 0.941 49 0.944 65 0.928
Per 66 0.912 64 0.911 67 0.916
Trinidad y
28 0.968 74 0.904 25 0.961
Tobago
Uruguay 57 0.927 51 0.941 53 0.946
Venezuela 50 0.941 65 0.911 64 0.932
frica-Sureste
Asitico
Burkina Faso 127 0.429 121 0.443 123 0.511
Chad 124 0.507 122 0.439 125 0.428
India 105 0.700 101 0.741 99 0.789
Mali - --- 119 0.492 122 0.529
Nger 126 0.448 120 0.458 124 0.499

Fuente: UNESCO, 2005, 2006 y 2007. Las listas EPT no incluyen a algunos pases como Estados Unidos.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

35
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Los datos sobre alfabetizacin y sus deficiencias

La revisin de las fuentes de los datos de los informes anuales de Educacin para Todos
permite entender al menos una razn de los resultados ms sorprendentes. Es la que se
refiere a los datos sobre analfabetismo. Es sabido que estos datos se obtienen de una de
las dos siguientes formas:

Por autodeclaracin, a partir de las respuestas dadas por las personas entrevistadas con
ocasin de censos encuestas nacionales, a la pregunta de si saben leer, que suele
precisarse, con base en la definicin de alfabetizacin adoptada por la UNESCO, en el
sentido de ser capaces de entender lo escrito en un recado breve.

Por aproximacin, a partir de las cifras de quienes cursan cierto nmero de aos de
escolaridad.

El Informe de Educacin Para Todos de 2005 permite ilustrar lo anterior con el ejemplo de
dos pases de Amrica, Belice y Paraguay.

La Tabla N 4 presenta la informacin de estos dos pases y algunos ms, incluyendo el


dato del IDE global, el de su componente de alfabetizacin y su equivalente en trminos
del porcentaje de la poblacin de 15 o ms aos que sabe leer y, en la ltima columna, la
forma en que en cada pas se mide esta variable.


Tabla N 4. El IDE y su componente de alfabetizacin en algunos pases
Componente
Alfabetizacin 15 Forma de obtener
Pas IDE alfabetiza-
aos o ms % los datos
cin
1. Noruega 0.995 0.999 99.9 No especificada
4. Corea 0.990 0.980 98.0 No especificada
23. Argentina 0.970 0.970 97.0 Autodeclaracin
30. Cuba 0.965 0.969 96.9 Autodeclaracin
38. Chile 0.958 0.957 95.7 Autodeclaracin
44. Costa Rica 0.948 0.958 95.8 Autodeclaracin
48. Mxico 0.941 0.905 90.5 Autodeclaracin
49. Panam 0.941 0.923 92.3 Autodeclaracin
57. Uruguay 0.927 0.977 97.7 Autodeclaracin
66. Per 0.912 0.850 85.0 Autodeclaracin
72. Brasil 0.899 0.882 88.2 Autodeclaracin
74. Paraguay 0.893 0.916 91.6 Escolaridad 2 grados
77. Belice 0.877 0.769 76.9 Escolaridad 7 grados

La explicacin de los extraos datos de Paraguay y Belice es clara: en realidad en Paraguay no


hay ms personas que saben leer que en Belice. Lo que pasa es que en Paraguay se
consideraba que alguien tena esa capacidad si haba estado al menos dos aos en la escuela,


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

36
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

mientras que en Belice se defina como capaces de leer a las personas que hubieran cursado
al menos siete aos de escuela.

En la mayor parte de los pases se usa el sistema de autodeclaracin y, cuando se usa el de


aproximacin, se atribuye la calidad de alfabetas a las personas que tienen al menos cuatro
aos de escolaridad. Dada la diferencia del criterio utilizado en los dos pases que se
comentan, no es sorprendente que se reporte luego un porcentaje de alfabetizacin de
poco ms de 70% para Belice, frente a uno de ms de 90% para Paraguay.

Parece claro que ninguna de las dos formas con las que tradicionalmente se ha obtenido
datos para construir los indicadores de alfabetizacin es satisfactoria; ni la autodecla-
racin ni la aproximacin a partir de los grados cursados pueden decir de manera precisa
y confiable qu tan bien o mal leen los adultos de un pas.

Para tener informacin de mejor calidad al respecto habra que aplicar pruebas vlidas y
confiables de lectura a la poblacin adulta o, al menos, a muestras representativas de
ella. Algunos estudios muestran la gran diferencia que arrojan ese tipo de estudios, en
comparacin con los datos obtenidos por autodeclaracin.

Un estudio difundido en 2007 por la Oficina Nacional de Estadstica de Kenia mostr


grandes diferencias entre medidas directas de competencia lectora y numrica y
los datos equivalentes obtenidos por autodeclaracin de las mismas personas.

La Tabla N 5 muestra que la diferencia puede ser de un diez por ciento, si se toma como
referente en las pruebas directas el nivel mnimo de competencia, o llegar a 3 por
ciento, si se utiliza como referente el nivel deseable de competencia.


Tabla N 5. Personas que saben leer y contar segn diferentes formas de obtener los datos
Forma de obtener los datos Hombres % Mujeres %
Competencia lectora
Autodeclaracin Dijeron ser capaces de leer 72 79
Dijeron ser capaces de escribir 71 79
Prueba directa Competencia lectora mnima 59 64
Competencia lectora deseable 29 32
Competencia numrica
Autodeclaracin Dijeron ser capaces de contar 77 83
Prueba directa Competencia numrica mnima 61 68
Competencia numrica deseable 56 63

En varios pases se han aplicado pruebas directas de lectura a personas que haban
declarado que saban leer en un cuestionario simple previamente aplicado. La diferencia
de los porcentajes de personas que no mostraron una capacidad mnima de lectura en la
prueba, en relacin con quienes haban declarado que saban leer fue de tres por ciento
en Laos, Bolivia y Sao Tome; nueve por ciento en Burundi; 11% en Ruanda; 13% en
Camern y Costa de Marfil; 14% en Guinea Ecuatorial y Madagascar; 19% en Uzbekistn;
20% en la Repblica Central Africana; 22% en Tajikistn; 29% en Sierra Leona; 34% en
Nger; y 35% en Chad.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

37
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La conclusin es clara: para tener datos confiables de la capacidad lectora de la poblacin


adulta de un pas hay que dejar atrs los indicadores tradicionales de alfabetizacin, para
pasar a estudios que midan directamente dicha competencia. Los esfuerzos en esta
direccin comenzaron en la dcada de 1990 con el estudio International Adult Literacy
Survey (IALS), que organiz la OCDE con Statistics Canada, que fue seguido por el estudio
International Adult Literacy and Life Skills Survey (ALL).

Esos estudios son especialmente complejos y costosos, porque implican encuestas de


hogares, porque la poblacin adulta es mucho ms heterognea y difcil de localizar que
la poblacin en edad escolar, y porque la dificultad de desarrollar instrumentos que no
tengan sesgos que los hagan invlidos es tambin mayor que en caso de pruebas para
jvenes que todava estn en la escuela. Pese a ello la necesidad de contar con medidas
de alfabetizacin mejores que las tradicionales hace que actualmente haya dos iniciativas
similares que pretenden llegar a un nmero mayor de pases: el Program for Interna-
tional Assessement of Adult Competencies (PIAAC) de la OCDE, y el Literacy Assessment
Monitoring Program (LAMP) de la UNESCO.

4.3. Tasas brutas y netas de cobertura

El nivel de aprendizaje que alcanzan los alumnos no es la nica dimensin de la calidad


de la educacin. La calidad comienza con un aspecto que no puede obviarse, por
elemental que parezca: la cobertura. Si los alumnos de un sistema son solo una fraccin
de los que deberan ser atendidos por l, no puede ser considerado de buena calidad,
aunque los alumnos inscritos alcancen buenos niveles de aprendizaje; de hecho, esto
ltimo ser tanto ms fcil de conseguir cuanto menos numerosos sean los alumnos
atendidos, ya que los excluidos sern, generalmente, alumnos con medios menos
favorecidos, cuyo desempeo escolar ser previsiblemente menor.

Por ello, un aspecto central de la calidad de los sistemas educativos y, en especial, de la


educacin bsica, es su cobertura: la medida donde la oferta escolar hace efectivo el
derecho terico de los nios y jvenes en edad escolar de acceder a la enseanza que un
pas define como obligatoria. En el sentido ms literal del trmino, el resultado ms
directo de la educacin es el hecho mismo de la escolarizacin.

La Tabla N 6 presenta informacin sobre la cobertura bruta de la educacin bsica


desglosada para los niveles de preescolar, primaria y secundaria, y comparando los datos
del ciclo escolar 2002-2003 con los del ciclo 2003-2004.


Tabla N 6. Cobertura bruta en primaria y secundaria por entidad federativa
Cobertura bruta en primaria Cobertura bruta en secundaria
ENTIDAD
2002-2003 2003-2004 2002-2003 2003-2004
Aguascalientes 92.5 92.2 89.1 92.0
Baja California 90.2 89.5 84.9 86.1
Baja California Sur 95.5 95.3 93.1 93.5
Campeche 90.2 88.8 84.3 83.3


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

38
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos


Tabla N 6. Cobertura bruta en primaria y secundaria por entidad federativa (Cont.)
Coahuila 90.8 90.9 92.0 91.1
Colima 90.3 90.4 85.9 82.8
Chiapas 101.4 98.1 77.7 79.7
Chihuahua 89.7 87.7 79.6 80.0
Distrito Federal 94.7 94.7 105.3 104.1
Durango 91.9 90.7 83.2 85.3
Guanajuato 91.5 91.2 79.0 80.7
Guerrero 97.0 95.4 77.0 78.2
Hidalgo 96.6 94.2 95.1 96.4
Jalisco 91.5 90.2 83.5 84.6
Mxico 91.5 91.1 85.7 87.5
Michoacn 94.5 92.2 77.9 78.3
Morelos 87.8 87.7 88.6 88.4
Nayarit 87.0 86.7 88.9 87.8
Nuevo Len 89.0 89.9 90.5 89.0
Oaxaca 100.6 99.7 80.6 81.8
Puebla 92.0 91.0 79.7 81.8
Quertaro 92.7 92.1 86.5 87.0
Quintana Roo 92.6 94.3 86.6 87.1
San Luis Potos 92.5 90.1 89.3 90.4
Sinaloa 88.7 88.6 84.4 81.0
Sonora 91.8 90.8 85.5 87.4
Tabasco 93.6 93.0 93.2 94.6
Tamaulipas 91.7 90.6 87.7 87.6
Tlaxcala 93.6 95.6 87.3 90.8
Veracruz 95.0 93.7 82.0 83.1
Yucatn 95.9 93.3 90.1 87.7
Zacatecas 89.2 87.3 90.4 91.6
NACIONAL 93.1 91.6 85.6 85.9
Fuentes: SEP (2003), El Sistema Educativo de los Estados Unidos Mexicanos. Principales Cifras. Ciclo Escolar
2002-2003. INEE (2003), Panorama Educativo de Mxico.

Los datos de cobertura para el nivel de primaria de la Tabla N 6 resultan extraos. En el


Primer Informe del INEE se apunt ya que en el ciclo 2002-2003 pareca haber una
correlacin inversa entre cobertura de primaria y nivel de desarrollo, con las entidades
federativas ms pobres como Chiapas (101.4%) en primer lugar, seguido por Oaxaca y
Guerrero (100.6 y 97.0), en tanto que en los ltimos lugares encontramos a Nayarit,
Morelos, Sinaloa y Nuevo Len (87.0, 87.8, 88.9 y 89.0). entidades ms ricas, en especial
la ltima. En el ciclo 2003-2004 las situaciones extraas siguen presentes, con Oaxaca
(99.7%) y Chiapas (98.1) en los primeros lugares de cobertura.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

39
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

El orden de las entidades en cuanto a cobertura en secundaria, como se aprecia en la


tabla 3.5, es ms congruente con su nivel general de desarrollo, con el Distrito Federal en
el primer lugar y Guerrero en el ltimo. Pero resulta extrao que la cobertura del Distrito
Federal baje de 2002-2003 a 2003-2004, pasando de 105.3 a 104.1 por ciento, en tanto
que en Guerrero suba de 77 a 78.2%.

A nivel nacional se nota un pequeo avance en la cobertura de primaria, que habra


pasado de 85.6% en 2002-2003 a 85.9 en 2003-2004. An teniendo en cuenta la
problemtica de la secundaria, un aumento de solo tres dcimas de punto en la cober-
tura de este nivel parece poco consistente con otras cifras sobre el esfuerzo nacional en
este campo.

En efecto: la desercin en secundaria es todava considerable, mucho mayor que en


primaria, lo que se traduce en una eficiencia terminal de 89.0% para primaria frente a
solo 79.7% para secundaria. A la luz de lo anterior, llama la atencin que las cifras de
cobertura de la secundaria sean solo ligeramente inferiores a las de primaria: a nivel
nacional en el ciclo 2002-2003 se presentaba una cobertura de 85.6% en secundaria,
frente a la de 93.1% que se da para primaria. En el ciclo 2003-2004 la diferencia se
reduce todava ms, al bajar la cobertura de primaria y aumentar ligeramente la de
secundaria, de manera que la distancia que separa la cobertura de ambos niveles se
reduce a solo 5.7 puntos porcentuales (91.6% - 85.9%). Los resultados ms extraos de
la tabla son, sin embargo, los ya citados del nivel de primaria, con la reduccin de 1.5 %
en la cobertura, de 93.1% en 2002-2003 a 91.6% en 2003-2004. Esta disminucin no es
consistente con las cifras de desercin, reprobacin y eficiencia terminal, ni con la
disminucin del tamao de las cohortes sucesivas de nios que debe atender la escuela,
disminucin derivada de la etapa avanzada de la transicin demogrfica en la que se
encuentra Mxico.

La desercin en primaria, que en el ciclo 1990-1991 era todava de 4.6% ha disminuido


regularmente; en el ciclo 2000-2001 era de 1.9%, en 2002-2003 baj a 1.7%, y en 2003-
2004 lleg a 1.3%. La eficiencia terminal de la primaria ha mejorado en el mismo lapso,
pasando de 70.1% en 1990-1991 a 86.3 % en 2000-2001; a 88.2% en 2002-2003; y a
89.0% en 2003-2004. No es congruente con lo anterior, pues, la reduccin de la cober-
tura en primaria de 93.1% a 91.6% que muestran las cifras de la Tabla 6.

Un anlisis de aumentos y disminuciones en cobertura en primaria en las entidades


federativas, en los dos ltimos ciclos escolares, a partir de la Tabla 6, hace surgir
interrogantes adicionales. En forma consistente con las cifras nacionales, la mayora de
las entidades federativas muestra retrocesos en este indicador. Destaca que Chiapas en
2002-2003 presentaba la cifra ms alta de cobertura (101.4%) es ahora el estado que
ms baja su cobertura, pasando a 98.1%. Este dato es revelador, pues confirma la
interpretacin de que la construccin del indicador usual de cobertura presenta un
problema de validez, pues lo que se mide en realidad no es cobertura, sino extraedad. Lo
que se est reduciendo en realidad es la extraedad, y no la cobertura; por ello la
reduccin es particularmente fuerte en un estado como Chiapas.
Con el mismo razonamiento, pero en sentido opuesto, se puede pensar que en los pocos
lugares en donde las tasas simples de cobertura muestran incrementos del ciclo 2002-
2003 al 2003-2004, se trata de lugares en donde el problema de extraedad era ya
menos grave. Parecera ser el caso del Distrito Federal, que presenta una cifra idntica de


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

40
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

cobertura en los dos ciclos escolares en estudio (94.7%). Los pocos estados en donde la
tasa parece mejorar son Tlaxcala (de 93.6 a 95.6); Quintana Roo (92.6 a 94.3); Nuevo
Len (89.0 a 89.9); Coahuila (90.8 a 90.9) y Colima (90.3 a 90.4).

El conjunto de cifras anmalas que revela un anlisis cuidadoso de los datos de la Tabla
N 6 debe llevar a revisar la manera en la cual se construyen los indicadores contenidos
en l. Al hacerlo se detecta que la explicacin de estos resultados extraos radica
simplemente en la forma en la cual se calculan las tasas de cobertura utilizadas
habitualmente, llamadas brutas: se divide simplemente el total de la matrcula de
preescolar entre la poblacin de tres a cinco aos de edad; el total de alumnos de
primaria entre la poblacin de seis a 12 aos; y el total de secundaria entre la poblacin
de 13 a 15 aos. En los tres niveles de educacin bsica, el numerador de la fraccin que
define la tasa de cobertura bruta respectiva incluye a todos los alumnos inscritos en los
grados del nivel de que se trate, en forma independiente de su edad.

En preescolar la mayora de los nios estn en el grado correspondiente a su edad ya


que la asistencia a este nivel no era obligatoria, por lo cual, no era prerrequisito haber
asistido y aprobado el grado anterior para inscribirse en el siguiente. En cambio, en
primaria y secundaria, s existe tal requisito, por lo cual, los alumnos que reprueban un
grado deben cursarlo de nuevo y aprobarlo, para pasar al siguiente. Por ello, y por la
inscripcin tarda, hay en el sistema cierto nmero de alumnos en situacin de
extraedad. No sorprende que la proporcin de estos alumnos sobre el total de los
matriculados en un grado suela ser mayor en los contextos ms desfavorables desde el
punto de vista socioeconmico.

No se debe olvidar que hay tambin cierta proporcin de alumnos (aproximadamente el


diez por ciento) inscritos anticipadamente en relacin con la edad normativa. Al contrario
de los anteriores, los alumnos adelantados respecto a la edad normativa suelen ser ms
numerosos en los medios favorecidos; su rendimiento tambin suele ser superior al
promedio, y la reprobacin y la desercin menos frecuentes.

En lo referente al denominador de la fraccin que define la tasa bruta de cobertura, se


debe destacar que en preescolar y secundaria est formado por los integrantes de los
grupos de edad de tres a cinco y 13 a 15 aos: en ambos casos se incluyen tres cohortes
o generaciones de nios y jvenes, lo que coincide con la duracin de los dos niveles
respectivos: tres grados tanto para preescolar como para secundaria. En cambio, en el
caso de primaria, el denominador de la fraccin que define la tasa bruta de cobertura
est formado por siete cohortes de nios, y no seis, como se supondra dado el nmero
de grados que forman el nivel: el denominador, en este caso, est formado por la
poblacin de seis a 12 aos, y no de seis a 11 aos. Esto se justifica considerando que un
nmero significativo de nios de 12 aos se encuentra todava en primaria.

La existencia de proporciones considerables de alumnos en situacin de extraedad hace


que las tasas brutas de secundaria sobreestimen la cifra exacta. En primaria dos
tendencias distorsionadoras se combinan: los alumnos en extraedad hacen subir las tasas,
sobre todo en las entidades con menor desarrollo, pero la inclusin de siete cohortes en
lugar de seis en el denominador de la fraccin hace que la tasa subestime la cobertura
real.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

41
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Por ello las cifras de cobertura en primaria que se basan en tasas brutas presentan a veces
cifras superiores a 100 %, ya que el nmero de alumnos de edad mayor a la normativa
que hay en el sistema puede ser mayor al de los nios de edad normativa que lo han
dejado. Las estadsticas internacionales han mostrado tradicionalmente ese fenmeno,
con cifras superiores a 100% en los pases ms pobres, y ligeramente inferiores a 100 por
ciento en los ms escolarizados. La Tabla N 6 mostr que en el ciclo 2002-2003 Chiapas y
Oaxaca estaban en esa situacin; en 2003-2004 no hay ya ninguna entidad con una tasa
superior a 100 %, pero la correlacin inversa entre cobertura y nivel de desarrollo
permanece.

En contraste con las tasas brutas, las tasas netas de cobertura se definen como el cociente
porcentual que resulta de dividir solo el nmero de alumnos inscritos en primaria o
secundaria que tengan la edad normativa, entre el total de nios de seis a 11 aos de
edad para la tasa de primaria, y de 12 a 14, o bien de 13 a 15 aos, para la tasa de
secundaria.


Recuadro 1.
Tasas brutas:
Primaria: Alumnos de cualquier edad inscritos
Total de nios de seis a 12 aos
Secundaria: Alumnos de cualquier edad INSCRITOS
Total de jvenes de 13 a 15 aos
Tasas netas:
Primaria: Alumnos de seis a 11 aos inscritos
Total de nios de seis a 11 aos
Secundaria: Alumnos de 12 a 14 O de 13 a 15 aos inscritos
Total de jvenes de 12 a 14 de 13 a 15 aos

Conceptualmente, la manera de estimar la cobertura que se conoce como tasa neta es


correcta. El uso de tasas brutas se explica solamente por la dificultad de contar con datos
confiables sobre la edad de los alumnos, para emplear tasas netas. Las estadsticas
basadas en tasas netas no deberan arrojar resultados superiores a 100 %; esta cifra
significa que se estara atendiendo ya a todos los nios y nias en edad de cursar
determinado nivel. Sin embargo, tambin usando tasas netas se encuentran algunas
veces cifras superiores a 100%. Esto puede deberse a errores en los datos por edad, que
son menos sencillos de obtener que un conteo simple de alumnos, o a la migracin
diaria de alumnos entre las circunscripciones consideradas. No puede descartarse tampo-
co la presencia de casos de manipulacin expresa de los datos, lo que se puede propiciar
por el temor del cierre de algn grupo, o incluso todo un turno escolar o una escuela
completa, por la reduccin de la matrcula que se produce ya en algunos lugares del pas.

La Tabla N 7 ofrece las cifras de las tasas netas de cobertura de primaria y secundaria.
Las cifras son congruentes con el nivel de desarrollo de las entidades federativas del pas.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

42
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos


Tabla N 7. Cobertura neta en primaria y secundaria por entidad federativa
Cobertura neta en primaria Cobertura neta en secundaria
ENTIDAD
2002-2003 2003-2004 2002-2003 2003-2004
Aguascalientes 97.6 97.9 75.2 77.6
Baja California 97.5 97.6 70.8 74.0
Baja California Sur 103.2 104.3 80.5 80.7
Campeche 94.0 94.1 65.4 67.3
Coahuila 101.8 102.7 85.4 85.2
Colima 97.0 97.3 69.5 70.9
Chiapas 98.6 98.5 55.1 57.4
Chihuahua 94.4 92.8 65.4 67.0
Distrito Federal 104.9 104.3 90.3 91.3
Durango 98.6 99.3 71.6 73.7
Guanajuato 99.3 99.7 65.0 67.7
Guerrero 95.8 96.6 57.3 59.2
Hidalgo 100.3 99.4 75.7 77.9
Jalisco 97.6 97.4 69.7 71.2
Mxico 98.4 98.3 70.9 73.3
Michoacn 96.2 95.0 62.3 63.4
Morelos 96.4 96.9 76.1 77.4
Nayarit 94.5 95.2 73.9 74.8
Nuevo Len 98.9 100.5 78.5 80.7
Oaxaca 99.5 100.1 59.2 61.1
Puebla 97.5 97.5 63.5 66.3
Quertaro 100.0 100.9 71.1 73.5
Quintana Roo 97.5 98.1 68.6 71.2
San Luis Potos 98.1 97.6 74.4 76.3
Sinaloa 94.5 96.0 71.4 72.3
Sonora 100.3 99.8 76.1 78.7
Tabasco 99.7 100.0 77.0 79.3
Tamaulipas 97.9 97.8 75.4 76.2
Tlaxcala 103.4 104.3 78.2 82.0
Veracruz 98.1 97.9 65.3 67.6
Yucatn 98.6 97.8 65.4 67.5
Zacatecas 97.2 96.9 76.3 77.8
NACIONAL 98.5 98.6 70.1 72.1

Fuente: Estimaciones del INEE, a partir de las bases de datos de la DGPPP-SEP, ciclos 2002-2003 y 2003-2004.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

43
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La Tabla N 7 muestra un aumento mnimo en primaria, donde la cobertura neta pasa de 98.5% a
98.6%; en secundaria el aumento es de dos puntos, de 70.1% a 72.1%. Estas cifras son congruentes
con las cifras de desercin y eficiencia terminal en primaria y secundaria, las cuales hacen esperar
incrementos, aunque sean pequeos, en el ltimo ciclo, as como una cobertura muy superior en
primaria, en comparacin con secundaria.

Los datos de 2003-2004 confirman el diagnstico hecho por el INEE en 2003: la cobertura neta en
primaria es superior a la que parecen reflejar las cifras calculadas en la forma tradicional, con base en
tasas brutas. La diferencia es an mayor a la del ciclo anterior: la nueva tasa de cobertura bruta es
incongruente con el regular avance registrado en ese nivel, que la tasa neta s refleja.

En secundaria la cobertura neta sigue siendo muy inferior a la que reflejan las cifras de cobertura
bruta; sin embargo, la cobertura neta refleja mejor el esfuerzo del sistema educativo por ampliar su
alcance en ese nivel.

La Tabla N 8 sintetiza datos de cobertura bruta y neta, a nivel nacional, as como los indicadores
relacionados de desercin y eficiencia terminal, para primaria y secundaria.


Tabla N 8. Comparacin de indicadores
CICLO ESCOLAR
NIVEL E INDICADOR
2002-2003 2003-2004
PRIMARIA % %
Cobertura bruta 93.1 91.6
Cobertura neta 98.5 98.6
Desercin 1.7 1.3
Eficiencia terminal 88.2 89.0
SECUNDARIA
Cobertura bruta 85.6 85.9
Cobertura neta 70.1 72.1
Desercin 7.4 6.8
Eficiencia terminal 78.4 79.7
Fuente: Vanse tablas 3.5 y 3.7.

La tabla muestra una disminucin de la desercin y un aumento de la eficiencia terminal


en los dos niveles considerados. La cobertura bruta, por su parte, baja 1.5% en primaria
(93.1-91.6) y en secundaria aumenta solo 0.3% (85.6-86.9). La cobertura neta, en
cambio, aumenta 0.1 % en primaria (98.5-98.6) y 2% en secundaria (70.1-72.1).

Como se mencion, los cambios de cobertura bruta son, seguramente, el resultado de


aumentos reales mayores en la cobertura, que las tasas netas reflejan mejor,
contrarrestados en cierta medida por una probable reduccin de la proporcin de jvenes
en extraedad, que se refleja tambin en la reduccin de la desercin y la mejora de la
eficiencia terminal.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

44
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La lentitud de los cambios demogrficos hace que el efecto de la inclusin de siete


cohortes en el denominador de la tasa bruta de cobertura de primaria sea similar en todas
las entidades federativas. La extensin de los servicios en este nivel es tambin amplia en
todas las entidades. En cambio, la extraedad es mayor en los lugares con menor
desarrollo. Lo anterior explica la correlacin inversa que parece haber entre el nivel de
desarrollo de las entidades y su cobertura bruta en primaria.

En secundaria la extraedad tambin incide, pero no afecta tanto el orden de las entidades
en cuanto a cobertura, probablemente porque en este nivel las diferencias entre
entidades de diverso nivel de desarrollo siguen siendo importantes todava, a diferencia
de lo que ocurre ya en primaria.

4.4. Ms all de las tasas netas

Las tasas netas de cobertura constituyen un avance indudable con respecto a las tasas
brutas, pero no ofrecen informacin completa sobre el fenmeno al que se refieren, ya
que no todos los alumnos que asisten a la escuela lo hacen en el grado que les
correspondera tericamente de acuerdo a su edad. Ese rezago puede deberse a que un
alumno comience la escuela tardamente, a que abandone los estudios por un tiempo y
los retome ms tarde, o a que repita uno o ms grados por haber reprobado.

El efecto de la extraedad sobre la cobertura se corrige con el uso de tasas netas, pero no
del todo. Por ello los sistemas de informacin dan un paso ms: reportar las cifras de
alumnos que asisten a la escuela por ao de edad (de seis aos de edad, los de siete,
ocho, etc.), distinguiendo el nivel escolar al que asisten. Las primeras lminas de Power
Point del anexo de este texto presentan grficas con datos sobre tasas de asistencia
especficas por edad de varios grupos de pases, tomadas de Education at a Glance 2005.

Esas grficas comprenden una serie de barras verticales, cada una de las cuales
corresponde a los alumnos de cierta edad, de 3 a 29 aos, como se indica en el eje
horizontal, en la parte inferior de cada grfica. Las barras representan, en trminos
porcentuales, la proporcin de personas de cada edad que asisten a la escuela; en el
margen izquierdo se puede ver la escala de 0 a 100 % del eje vertical. Los colores de
cada barra representan el nivel educativo al que asiste cierta proporcin de los alumnos
de cada edad, segn la clave de colores que aparece en la parte inferior: azul obscuro:
preprimaria; azul claro: primaria; azul-gris: secundaria inferior; blanco: secundaria
superior; gris claro: educacin postsecundaria no terciaria; gris oscuro: educacin superior
de nivel licenciatura y posgrado; negro: educacin superior de tipo corto.

Los grupos de pases incluidos en cada lmina presentan perfiles de escolarizacin


similares: Blgica, Espaa, Francia e Italia coinciden en tener altas proporciones de nios
de 3 a 5 aos en preprimaria, as como en primaria y secundaria inferior, hasta los 15
aos; hay cifras considerables de alumnos de 11 aos (Francia) o 12 (Blgica y Espaa)
que siguen en primaria, cuando los dems de esa edad estn ya en secundaria. En
Francia y, sobre todo, Blgica, una alta proporcin sigue en la secundaria superior, hasta
los 18; despus el porcentaje de quienes siguen asistiendo a algn nivel escolar se
reduce rpidamente.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

45
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La siguiente lmina comprende cuatro pases escandinavos, que no escolarizan a sus


nios desde una edad tan temprana como los latinos, pero los tienen a todos en la
escuela en el grado que les corresponde (no se da la reprobacin) hasta los 15 aos y,
con excepcin de Islandia, en general tambin hasta los 18.

Lmina siguiente: cuatro pases anglfonos (Inglaterra, Estados Unidos, Australia y Nueva
Zelanda); el primero presenta un perfil similar al de los escandinavos; Nueva Zelanda
tiene mayor cobertura en preprimaria; Australia y Estados Unidos presentan cobertura
relativamente baja en ese nivel.

Los cuatro pases de Europa Central (Polonia, Hungra y las Repblicas Checa y Eslovaca)
presentan altas coberturas hasta cerca de los 18 aos, y tambin bastante altas en
preprimaria, con excepcin de Polonia.

La ltima lmina de este tipo muestra dos sistemas educativos parecidos a los anteriores
(Israel y Portugal), y dos diferentes, los de Turqua y Mxico, que coinciden en tener baja
cobertura en preprimaria (en Mxico la situacin ha cambiado mucho desde 2005, pues
este nivel ha sido declarado obligatorio, lo que ha llevado a tasas de cobertura cercanas
a 100 % a los cuatro y cinco aos de edad); Mxico presenta cobertura completa hasta
los 11 aos, lo que no consigue Turqua, y en los dos pases las cifras bajan rpidamente
a partir de los 12 aos de edad, aunque ms lentamente en Mxico, con el sealamiento
de que a los 12, 13 e incluso 14 y 15 aos de edad hay todava jvenes que asisten a
primaria.

Las lminas de Power Point restantes corresponden a grficas similares de Mxico y


algunas de sus entidades, elaboradas por el Instituto Nacional para la Evaluacin de la
Educacin a partir de 2005.

Las dos primeras lminas de este grupo presentan los datos con los que se construyen
las grficas de las lminas posteriores. Se trata de matrices cuyas columnas corresponden
a los grados del sistema educativo mexicano (tres de preprimaria o preescolar; seis de
primaria; tres de secundaria inferior; y tres o hasta cuatro de educacin media superior),
y los renglones a los aos de edad de los alumnos, de los 3 a los 17.

La primera de estas dos lminas contiene cifras absolutas: cada casilla presenta el
nmero de alumnos de la edad del rengln de que se trate, que estn en cada uno de
los grados que corresponden a las columnas. La primera de las tres ltimas columnas, a
la derecha, contiene la suma de las columnas anteriores; la siguiente la poblacin que no
asiste a ningn grado, o sea que est fuera de la escuela; y la ltima, la poblacin total
de la edad de que se trate en el pas, segn las proyecciones de poblacin que se hacen
a partir de los censos nacionales. Debe advertirse que en algunos casos el total de los
alumnos de cierta edad que asisten a cualquier grado (la suma de las cantidades de un
rengln en todas columnas por grado) resulta superior a la de la poblacin total
estimada, lo que obviamente no resulta lgico; en esos casos la cifra de alumnos fuera
de la escuela aparece como negativa. Las posibles explicaciones de estas anomalas se
han discutido antes en este mismo texto.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

46
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La segunda lmina presenta datos porcentuales, calculados en sentido horizontal, o sea


que representan la proporcin de alumnos de cierta edad que asisten a cada grado. En
todos los renglones, la ltima columna (la poblacin total de la edad correspondiente) es
de 100%, y la suma de las dos columnas anteriores debe ser tambin de 100%, para lo
cual en algunos casos la cifra de la penltima columna es negativa, como en la lmina
anterior.

La siguiente lmina presenta una grfica similar, en la que cada barra representa el
alumnado de una misma edad, de 3 a 17 aos. Los colores, segn la clave que se incluye
en la parte inferior, no indican niveles educativos, sino el avance de los alumnos, con las
siguientes categoras, de la parte superior de las barras hacia abajo: el color amarillo
representa a los alumnos que se encuentran en un grado superior al que les
correspondera tericamente (adelantados); el color verde fuerte corresponde a los que
se encuentran en el grado que les corresponde (en el grado tpico o a tiempo); el color
naranja, a los que estn en el grado inmediatamente inferior al que les tocara
(ligeramente rezagados); el rojo representa a los estudiantes que estn dos o ms grados
abajo del que deberan estar (gravemente rezagados); el color granate corresponde a los
chicos que estn fuera de la escuela; y el negro, que aparece en algunos casos por
debajo de la lnea que marca el lmite inferior de las barras, representa el exceso de
alumnos de cierta edad respecto al total de la poblacin del pas de esa edad, las cifras
negativas de las matrices.

La siguiente lmina es muy similar a la anterior, con la diferencia de que las categoras
que se designaban como de alumnos adelantados (amarillo), a tiempo (verde) y con
rezago leve (naranja) se han integrado en un solo grupo, que se designa con la expresin
de en situacin regular, y se representa con el color verde claro en las barras. De esta
manera la grfica se simplifica, con base en la consideracin de que los alumnos
adelantados no representan un problema, y que tampoco lo constituyen necesariamente
los que estn solo un grado atrs del que les correspondera ya que, por la fecha
oficialmente establecida para contabilizar la edad a la que se permite inscribirse a un
nio hace que la diferencia entre la edad y el grado terico sea en muchos casos de solo
algunos meses. Las otras categoras son iguales en las dos lminas (alumnos con rezago
grave, fuera de la escuela y nmeros negativos, rojo, granate y negro).

Las tres lminas siguientes presentan grupos de cuatro entidades federativas de Mxico
con la informacin de la matrcula por grado y edad. Se pueden apreciar as perfiles
distintos, con situaciones de mayor o menor regularidad.

Con base en este tipo de matrices se pueden calcular indicadores interesantes, como los
tres que se presentan en las ltimas lminas: las proporciones de alumnos en situacin
regular; con rezago grave y fuera de la escuela.

Las tres lminas siguientes presentan grupos de cuatro entidades federativas de Mxico
con la informacin de la matrcula por grado y edad. Se pueden apreciar as perfiles
distintos, con situaciones de mayor o menor regularidad.

Con base en este tipo de matrices se pueden calcular indicadores interesantes, como los
tres que se presentan en las ltimas lminas: las proporciones de alumnos en situacin
regular; con rezago grave y fuera de la escuela.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

47
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

4.5. Elementos sobre los indicadores compuestos5

Un indicador compuesto se forma cuando distintos subndices o indicadores se agregan


en uno solo. Idealmente, este indicador compuesto debera medir aspectos que un solo
indicador aislado no puede (OECD, 2008), lo cual ocurre si el constructo es
multidimensional o comprende distintos tipos de mediciones, como la pobreza o las
carencias.

En el proceso de diseo del indicador compuesto existen varios retos. La literatura


enfatiza principalmente dos dentro del plano metodolgico: la ponderacin y agregacin
de las variables que lo van a conformar (OECD, 2008; Comisin Europea, s.f.). Debido a
que no existe consenso general sobre la manera de derivar los ponderaciones o de
realizar las agregaciones, es importante que todo el proceso sea transparente y riguroso
dejando en claro las suposiciones, alcances y limitantes del ndice, o indicador
compuesto, resultante.

Los indicadores compuestos tienen varias ventajas. Entre ellas, la capacidad de resumir
distintas dimensiones de un tema con el propsito de asistir en la toma de decisiones.
Saisana y Tarantola (2002) mencionan adems que los indicadores compuestos son
prcticos ya que reducen el tamao de una lista de indicadores, o pueden incluir ms
informacin dentro de los lmites permitidos, manteniendo la estructura de la
informacin base.

Sin embargo, al utilizar los indicadores compuestos se debe tener en mente varios
aspectos. Primero, se debe asegurar, en la medida de lo posible, que las variables
seleccionadas para conformar el ndice describan el mismo concepto o constructo que se
pretende medir (OCDE, 2008). Para lograr esto se requiere contar con un marco terico
claramente definido. Asimismo, las variables deben conservar la relacin monotnica
entre ellas, es decir, si una incrementa, la otra debera aumentar tambin y no disminuir
de tal forma que cualquier cambio en el valor del ndice pueda identificarse sin
ambigedades.

Algunos autores y organizaciones, como la Comisin Europea (s.f.) y Saisana y


Tarantola (2002) advierten sobre ciertas limitantes de los indicadores compuestos,
entre ellas la posibilidad de derivar resultados simplistas. Por lo tanto, recomiendan
usar este tipo de indicadores en conjunto con otros sub-ndices e indicadores
complementarios que permitan analizar la informacin de manera integral. Otra limitante
es que si la metodologa no es transparente, entonces los resultados pueden ocultar
fallos en algunas dimensiones del indicador compuesto que impidan tomar acciones
remediales pertinentes.

A continuacin se presenta un ejemplo hipottico de un indicador compuesto que se


denominar ndice de Carencia (IC). En esta seccin se presentan tres posibles formas
funcionales para agregar las variables que componen a los ndices: lineal, logartmica y
cuadrtica, cada una con distintas implicaciones e interpretaciones.


Esta seccin fue elaborada por Luis Degante, Enrique Valencia y Hector Robles del INEE-Mxico.
5


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

48
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Suponga que el ndice est asociado a carencias cuya presencia o ausencia se representa
por variables dicotmicas donde el cero significa la ausencia de tal carencia y el uno su
presencia. Puesto que las variables toman solo valores de 0 y 1, es posible aadirlas sin
que haya efecto de escala entre ellas.

Una primera manera de agregarlos consiste en sumar los valores correspondientes de tal
forma que el total corresponde a la cantidad presente de carencias. Adems, se asume
que cada carencia tiene la misma importancia por lo que el valor del ponderador es el
mismo para todas ellas.

La frmula de agregacin es la siguiente:

!"#$% !" !"#$!"#$% = !!" !!"


!!!

Donde !!" es la variable dicotmica para la carencia ! para el elemento ! y ! es el


ponderador para la carencia ! del elemento !.

Si bien, como se mencion previamente, no existe una metodologa consensuada sobre


cmo ponderar los subndices o indicadores individuales, existen varias consideraciones
que pueden guiar el proceso, entre las que se encuentran su significancia social o
econmica, adecuacin estadstica, disponibilidad de informacin, entre otras (Comisin
Europea, s.f.).

La ponderacin igualitaria es uno de los mtodos ms utilizados y tiene varias ventajas.


Una de ellas es que la metodologa de ponderadores iguales resulta con el menor nivel
de discordancia cuando hay altos niveles de varianza que asignan los individuos a las
variables que conforman el ndice compuesto (Hagerty y Land, 2007). Es decir, cuando
hay diferencias muy grandes respecto al valor y prioridad que cada indicador individual
debe tener, la ponderacin que resulta con el menor grado de desacuerdo es aquella en
donde se le asigna el mismo valor al ponderador a cada uno de ellos. Otra ventaja es
que al tener los valores de los ponderadores constantes, es posible monitorear la
evolucin del indicador compuesto.

Si bien puede realizarse un anlisis que utilice distintas tcnicas estadsticas que permitan
obtener empricamente los ponderadores para cada variable y grupo, existen varios retos
con este enfoque. Primero, el uso de distintas fuentes de informacin con distintos
niveles de error puede implicar un ajuste constante al valor de los ponderadores,
potencialmente afectando la comparabilidad a travs del tiempo de los valores del
ndice. Segundo, es posible que las ponderaciones obtenidas mediante estos mtodos no
reflejen las valoraciones sociales o normativas correspondientes.

Una tercera manera de ponderar es mediante mtodos participativos donde distintos


actores relevantes expertos, ciudadanos, asociaciones de la sociedad civil determinen
el valor de cada variable. Sin embargo, este mtodo es viable cuando hay una poltica
nacional bien definida (Munda y Nardo, 2005) y cuando no hay una cantidad
considerable de indicadores (Parker, 1991).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

49
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

El ndice compuesto que se forma de sumar las carencias tiene una limitacin
importante: el valor de reducir una carencia es constante para todos, sin importar la
cantidad de carencias que tengan. Es decir, mejorar la condicin de un miembro que
tenga 9 carencias a 8, tiene el mismo valor que uno de 3 a 2, an cuando el primero se
encuentra en peores condiciones. De usarse un indicador compuesto como este, el
incentivo recae en disminuir aquellos grupos en donde el costo de mejorar sus
condiciones sea ms barato.

Una segunda forma funcional de construir un indicador compuesto es utilizar una funcin
cncava como:

!" = 4 (!"(1 + !"!#$ !" !"#$%!&"'))

La transformacin logartmica de los datos tiene varias ventajas. Primero, reduce la


asimetra, la cual ocurre generalmente cuando el rango de los valores de las variables es
bastante amplio. Adems, ntese que cuando no existen carencias, el ndice compuesto
vale 0 (pues, ln(1)=0).

El resultado es una funcin con una relacin creciente entre el nmero de carencias y el
valor del ndice: a mayor nmero de carencias mayor el valor del indicador. Adems, al
ser !" una funcin cncava tiene la propiedad que su primera derivada se reduce a
medida que el nmero de carencias aumenta (en trminos econmicos, !" tiene
rendimientos marginales decrecientes). Esta propiedad significa que el valor del indicador
aumenta cada vez menos cuando aumenta una carencia. La grfica para un valor
mximo de 10 carencias es:


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

50
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Los valores de esta grfica pueden calcularse directamente como se muestra en la


siguiente tabla:

Total de carencias IC=4*Ln(1+c)


0 0
1 2.773
2 4.394
3 5.545
4 6.438
5 7.167
6 7.784
7 8.318
8 8.789
9 9.210
10 9.592

Qu implicaciones tiene utilizar una funcin cncava? En trminos de poltica podra


incentivar a atender a las personas con menor cantidad de carencias debido a que, de
acuerdo a este indicador, la reduccin de una carencia en los niveles ms bajos, por
ejemplo de 1 a 0, implica que el valor del ndice se reduce 2.773 unidades; mientras que,
si se reduce de 10 a 9 carencias, en los niveles ms altos, el decremento es de apenas
0.382=(9.592-9.210).

Proponemos cambiar el enfoque para conseguir lo opuesto, es decir que las acciones
inicien con la poblacin de mayores carencias de tal forma que se genere un incentivo
para que los tomadores de decisiones estatales inicien con la poblacin que experimenta
mayor cantidad de carencias. Para ello se sugiere considerar como variable
independiente al indicador IC, en lugar del nmero de carencias, y construir una
transformacin del mismo que asegure que se pondera mayormente a la poblacin con
mayor cantidad de carencias. De esta forma, la propia eleccin del nuevo indicador
compuesto seala que se debe actuar primeramente con la poblacin de mayores
carencias pues de esa forma se asegura la mayor disminucin en el nuevo ndice. Una
forma funcional que capta esto es, por ejemplo:

!"! = !" !

Ahora !"! es una funcin convexa y su primera derivada es creciente (es trminos
econmicos, tiene rendimientos marginales crecientes).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

51
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La forma grfica de la funcin es la siguiente:

La tabla que resulta es la siguiente:

Crecimiento promedio
Nm. de IC IC2 entre valores
carencias consecutivos de IC
0 0 0
1 2.773 7.687
2 4.394 19.311 7.167
3 5.545 30.749 9.940
4 6.438 41.445 11.983
5 7.167 51.366 13.605
6 7.784 60.585 14.591
7 8.318 69.185 16.101
8 8.789 77.245 17.107
9 9.210 84.830 17.999
10 9.592 91.998 18.802

La funcin convexa generada permite asignar un mayor valor en el IC2 a aquellos que
tengan un mayor valor del indicador IC. De esta forma, un incremento de una unidad en
2
el IC aumenta ms la distancia de los dos valores correspondientes del IC conforme ms
carencias se tengan. Lo que tambin significa que la mayor reduccin en el ndice se
obtiene cuando disminuye la cantidad de miembros de la poblacin en estas condiciones
de gran desventaja.

Este nfasis en los miembros de la poblacin que tienen las mayores carencias, es decir
en las peores condiciones, es un principio asociado a la idea de equidad. De acuerdo a
Rawls, una sociedad que busque la equidad, deber maximizar primordialmente el
beneficio de este grupo (2001).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

52
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Un indicador que retoma este aspecto de equidad mediante la misma forma funcional es
el ndice de pobreza educativa en los hogares (ipeh) desarrollado por el Instituto
Nacional para la Evaluacin de la Educacin (INEE) y el Consejo Nacional de Evaluacin de
la Poltica de Desarrollo Social (CONEVAL). En este ndice se identifica la incidencia,
intensidad y desigualdad de las carencias educativas en los hogares en Mxico siguiendo
formas funcionales a las expresadas en el ndice de carencias mencionado en esta
seccin. En el caso del ipeh, la definicin de carencias se refiere al rezago educativo
presente en cada grupo analizado de la poblacin. Este rezago es definido conforme a
una norma educativa social definida previamente y en consenso entre ambas
instituciones. La metodologa que sustenta este indicador puede consultarse a ms
detalle en Robles, H. y Vera, A. (en prensa).

La incidencia es la proporcin de hogares que cuentan con al menos un habitante en


condiciones de rezago mientras que la intensidad se refiere a la profundidad promedio
de las carencias educativas dentro de un hogar. Por otro lado, desigualdad es el valor del
ipeh elevado al cuadrado, de tal forma que aquellos hogares con mayores carencias
6
reciben una mayor ponderacin . Debido a su forma funcional convexa, esta medida
podra sustentar polticas orientadas a disminuir la pobreza ya que la mayor reduccin
ocurre cuando mejoran las condiciones de aquellos hogares con la mayor cantidad de
pobreza educativa.

Los indicadores complejos pueden servir para implementar prioridades de poltica. Se


invita al lector a reproducir los ejercicios presentados y a discutir la afirmacin que las
tcnicas aqu presentadas pueden servir para desarrollar indicadores de equidad. A
continuacin se presentan algunos indicadores complejos calculados con informacin
real.

Ejemplos de indicadores complejos

Ejemplos de indicadores complejos en otros mbitos hay varios pero ninguno tan
paradigmtico como el ndice de Desarrollo Humano, construido por primera vez en 1990
para el Reporte de Desarrollo de la ONU de ese mismo ao. Anterior a este, el desarrollo
y crecimiento econmico ocupaba el foco de atencin para evaluar los avances en el
bienestar de un pas, concepto que se ampli para incluir otros aspectos en la medicin
del bienestar.

Una de las razones en este cambio de enfoque fue que, aunque el PIB per cpita est
correlacionado a otras mediciones de bienestar social y que cuando este indicador se
incrementa de un ao a otro es una buena seal sobre el incremento en el nivel de vida
de los habitantes de un pas, esconde inequidades y otros aspectos del bienestar social
no cuantificables en un indicador de tipo econmico, debido a la forma en que est
7
construido .


6
Cuando el valor de los subndices sea mayor a 1.
El Producto Interno Bruto del pas (la suma total de todo lo producido en su territorio) entre el total de poblacin.
7


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

53
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

8
El ndice de Desarrollo Humano (IDH) tiene la virtud de que sus componentes proveen
una valoracin de los logros alcanzados por un pas en el bienestar de su poblacin en
distintos aspectos. Dichos componentes se mueven en la misma direccin y estn
altamente correlacionados pues fueron seleccionados para enfatizar el hecho de que la
disponibilidad de capacidades en estas tres dimensiones sirve para valorar el desarrollo
de un pas.

No hay duda de que el crecimiento econmico (medido mediante el PIB per cpita) est
fuertemente relacionado con el incremento del bienestar de la poblacin pero la
causalidad de esta relacin no est del todo definida y es discutible. Por un lado, parece
ser que los pases con un alto PIB per cpita son capaces de convertir el ingreso nacional
disponible en un incremento en la duracin de vida de las personas (medida por la
esperanza de vida al nacer) y en un mayor acceso a la educacin (medida por los aos
promedio de escolaridad para los adultos de 25 aos y ms y en los aos esperados de
escolaridad para los nios en edad escolar). Por otro lado, la razn podra estar en que
los pases son capaces de convertir la disponibilidad de una poblacin ms educada,
saludable y longeva en un mayor crecimiento econmico. Lo ms probable es que la
causalidad se de en ambas direcciones.

En este sentido, los componentes del IDH en conjunto contribuyen a la medicin del
bienestar de un pas y por la forma en que es calculado, los elementos que componen
este ndice tienen una preponderancia similar; el IDH ser ms alto en la medida en que
los tres componentes crezcan simultneamente por lo que la mejora en uno solo de ellos
no asegura un incremento total del IDH.

! ! !
!"# = !!! !!! !
!!"
Donde:
!! = !"#$% !" !"#!$%&'% !" !"#$
!! = !"#$% !"#$%&'()
!! = !"#$% !"# !"#$%&' !"# !!"#$

Lo anterior, es un ejemplo de una caracterstica deseable en un indicador complejo: que


sus componentes vayan en el mismo sentido en la valoracin del fenmeno que
pretende caracterizar y al mismo tiempo aporte informacin complementaria para
9
evaluarlo . En las siguientes grficas se puede apreciar que el componente del ingreso
per cpita (medido por el PIB per cpita) esta positivamente relacionado con la
esperanza de vida, al igual que con la tasa de conclusin de la educacin bsica.


8
Para mayor informacin sobre el IDH puedes consultar:
http://hdr.undp.org/es/content/el-%C3%ADndice-de-desarrollo-humano-idh
9
Una reflexin til sobre la relacin de los componentes del IDH puede encontrarse en:
http://freakonomics.com/2009/06/01/another-perspective-on-the-human-development-index/


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

54
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Fuente: Consultado en: http://www.gapminder.org/world/

Fuente: Consultado en: http://www.gapminder.org/world/

La construccin de un ndice compuesto debe seguir el mismo camino que el de los


indicadores ms simples basados en estadsticos, dada la complejidad de la tarea, los
pasos de la metodologa para su construccin deben ser recorridos meticulosamente
poniendo especial cuidado en los componentes a incluir, la forma en que estn
relacionados, el sentido en el que evalan el fenmeno a caracterizar y la congruencia en
su integracin. En el caso del IDH, estas caractersticas estn presentes en menor o
mayor medida.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

55
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

En el mbito educativo, la construccin de ndices complejos ha encontrado su aplicacin


en indicadores que buscan valorar la calidad de la educacin que se imparte,
especialmente a nivel de centros escolares. Al respecto existen algunos ejemplos en
Amrica Latina, como el IDEB de Brasil o el ndice Sinttico de Calidad Educativa, en
Colombia.

La construccin de un ndice de calidad en las escuelas comprende un amplio rango de


posibles mediciones cuyos intereses principales son conocer el rendimiento de las
escuelas e incrementar la disponibilidad de datos para proveer a los centros escolares de
informacin para su autoevaluacin. Sin embargo, algunas crticas han surgido sobre la
validez de un indicador sinttico para evaluar la calidad de la educacin en las escuelas.
Estas crticas argumentan que la complejidad de los procesos educativos no puede ser
reducida a dos o tres dimensiones a las cuales se les puedan atribuir una medida
realizable o visible. Estas medidas tendrn una perspectiva limitada sobre la calidad de la
educacin y dejar de lado otros factores que delinean el desempeo de alumnos,
escuelas y maestros.

De acuerdo a algunos autores, estos indicadores de evaluacin se basan en indicadores


de desempeo que son restringidos e inadecuados para mediar la calidad efectiva de la
educacin puesto que no traspasan el mero nivel instrumental. Se fundamentan en
supuestos tcnicos que distan de ser juicios de valor que comprometen aspectos como la
justicia social (Castro, 2009).

Uno de los aspectos que conlleva la construccin de un indicador sinttico para los
centros escolares es la posibilidad de que sus resultados puedan ser utilizados para
realizar un ranking de escuelas, con el peligro que esto conlleva para la reputacin de
ciertos centro escolares cuyas circunstancias o contextos no generan mecanismos que
conducen a la calidad, desde el punto de vista de los indicadores empleados. Por otro
lado, el ordenamiento de escuelas de acuerdo a indicadores sintticos puede generar
efectos negativos o contrarios a las polticas educativas que se buscan alentar (Zambrano,
2015).

Algunas de las caractersticas deseables que un ndice a nivel escuela debiera incluir son:

Propsito claro de los indicadores planteados


Que permita Monitorear/evaluar
Proveer de datos para la mejora
Sealar y motivar los avances
Permita la investigacin de los factores que inciden en el resultado obtenido
Establecer claramente los usuarios Potenciales: investigadores, autoridades
educativas y gubernamentales en los tres niveles de gobierno, supervisores
escolares, padres de familia, etc.

A continuacin se resean algunos ejemplos de indicadores compuestos utilizados por los


sistemas educativos de Chile, Colombia y Brasil. Para este ltimo caso se plantean sus
aparentes limitaciones y fortalezas.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

56
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Chile. SISTEMA NACIONAL DE EVALUACIN DEL DESEMPEO DE LOS ESTABLECIMIENTOS


EDUCACIONALES (SNED).

Objetivo: contribuir al mejoramiento de la calidad de la educacin impartida por el


sistema subvencionado del pas, implementado en 1995. El SNED funciona mediante el
incentivo y reconocimiento a los docentes y asistentes de la educacin de los
establecimientos con mejor desempeo en cada regin. A travs de este sistema se
busca tambin que los padres y apoderados conozcan los resultados obtenidos y la
evolucin seguida por el establecimiento al que asisten sus hijos e hijas.

En el SNED se agrupa a los establecimientos de acuerdo a caractersticas externas que


afectan los resultados obtenidos por ellos, de modo que su desempeo es comparado
solo al interior de cada grupo. Esta modalidad de agrupacin, denominada grupos
homogneos toma en cuenta la zona geogrfica (urbana, rural), nivel de enseanza
impartido (combinado o unitario) y nivel socioeconmico (anlisis de conglomerados).

a) Segn la ley que crea el SNED, se debe considerar un conjunto de factores para
la medicin del desempeo de los establecimientos, que son los siguientes:

i. Efectividad, consiste en el resultado educativo obtenido por el


establecimiento en relacin con la poblacin atendida.
ii. Superacin, corresponde a los diferenciales de logro educativo
obtenidos en el tiempo por el establecimiento educacional.
iii. Iniciativa, obedece a la capacidad del establecimiento para
incorporar innovaciones educativas y comprometer el apoyo de
agentes externos en su quehacer pedaggico.
iv. Mejoramiento de las condiciones de trabajo y adecuado
funcionamiento del establecimiento.
v. Igualdad de oportunidades, que corresponde a la accesibilidad y
permanencia de la poblacin escolar en el establecimiento
educacional y la integracin de grupos con dificultades de
aprendizaje.
vi. Integracin y participacin de profesores y profesoras, padres y
apoderados en el desarrollo del proyecto educativo del estable-
cimiento.

En el clculo del SNED se consideran 6 factores: Efectividad, Superacin, Iniciativa,


Mejoramiento de las Condiciones de Trabajo, Igualdad de Oportunidades e Integracin y
Participacin de Profesores y Profesoras, Padres y Apoderados (Ministerio de Educacin
Chile, 2013).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

57
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Factor Indicador
Efectividad Promedio de las pruebas estandarizadas SIMCE
37%
Superacin Indicador Diferencia promedio de pruebas estandarizadas SIMCE
28% entre dos aos consecutivos
Iniciativa Desarrollo de actividades de trabajo pedaggico grupales
6% Desarrollo de actividades formativas complementarias
Desarrollo de actividades extra curriculares de libre eleccin
Existencia de equipo de gestin representativo y periodicidad de
reuniones
Consulta y existencia de Consejo Escolar
Desarrollo de actividades extra curriculares inter-escolares
Apoyo efectivo a alumnos integrados a la educacin regular
Establecimiento define compromisos educativos y de gestin
Incorporacin de Marco de Bases Curriculares de Educacin
Parvularia
Apoyo a prcticas profesionales y trayectoria vocacional para
enseanza media tcnico profesional.
Planificacin de actividades de capacitacin para los docentes
Mejoramiento de Clasificacin del Establecimiento, segn el Sistema de Inspeccin.
las Condiciones Cumplimiento de procesos de Idoneidad Docente y Actas de
de Trabajo y Calificacin y Promocin
Adecuado
Funcionamiento
del
Establecimiento
2%
Igualdad de Subfactor Rendimiento Escolar:
oportunidades Tasa de aprobacin de alumnos y alumnas
22% Tasa de retencin de alumnos y alumnas
Subfactor Integracin:
Nmero de alumnos y alumnas integrados, como porcentaje de la
matrcula total Incorporacin de alumnos y alumnas con retos
mltiples o multidficit Existencia y desarrollo de proyecto de
integracin escolar
Subfactor Discriminador:
Ausencia de prcticas discriminatorias
Ausencia de sanciones indebidas sobre los alumnos y alumnas
Integracin y Existencia y funcionamiento del Consejo General de Profesores
Participacin de Existencia y funcionamiento del Centro de Padres
Profesores y Constitucin, representatividad y funcionamiento del Centro de
Profesoras, Alumnos
Padres y Establecimiento incorpora a la comunidad en compromisos
Apoderados educativos
5% Establecimiento informa/analiza resultados SIMCE
Establecimiento informa/analiza resultados SNED
Establecimiento integra a Padres y Apoderados


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

58
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Colombia. NDICE SINTTICO DE CALIDAD EDUCATIVA (ISCE).

Es concebido como una herramienta de apoyo al seguimiento del progreso en los centros
escolares. A travs de l, se plantea que los miembros de la comunidad educativa
puedan tener una manera objetiva de identificar las reas de oportunidad dentro de las
escuelas (Ministerio de Educacin Colombia).

Los componentes del ISCE, son:

Progreso: busca medir qu tanto ha mejorado el establecimiento educativo en


relacin con los resultados que obtuvo el ao anterior. Considera el cambio en el
porcentaje de estudiantes ubicados en el quintil inferior de la prueba Saber 11o o en
el nivel de desempeo insuficiente en Saber 3o, 5o y 9o. As, a medida que el
porcentaje de estudiantes en el quintil 1 y en el nivel de desempeo insuficiente
disminuye, la excelencia aumenta. Este componente da un mximo de 4 puntos de
los 10 posibles que un establecimiento educativo puede obtener en el ISCE.

Desempeo: busca incentivar mejores resultados promedios en las pruebas SABER. La


calificacin de este componente depende directamente del puntaje promedio del
establecimiento educativo en los grados y reas tenidos en cuenta en cada ciclo
escolar. Entre mayor sea el puntaje promedio obtenido por el establecimiento
educativo en estas pruebas, mayor ser la calificacin obtenida en Desempeo,
dando un mximo de 4 puntos de los 10 posibles que un establecimiento educativo
puede obtener en el ISCE.

Eficiencia: busca balancear el puntaje obtenido en Desempeo, es decir, la obtencin


de mejores puntajes promedio con el logro propuesto para cada grado escolar. El
valor asignado en este componente corresponde a la tasa de aprobacin, es decir al
nmero de estudiantes que aprueban el ao y son promovidos al siguiente grado.

Ambiente escolar: busca caracterizar el ambiente escolar en el que se desarrollan las


clases recibidas por los estudiantes. Este componente se divide en dos criterios:
Seguimiento al aprendizaje de los estudiantes en el aula y el segundo, al ambiente
de aula. El valor de ambiente escolar resulta de hacer anlisis factoriales a la
encuesta de factores asociados de las pruebas SABER de grados 5o y 9o, para
identificar que ocurre con los dos criterios que lo componen en los establecimientos
educativos, esto con base en las respuestas que los estudiantes dan en estas
encuestas.

En conjunto, este ndice es una escala del 1 al 10, siendo 10 el valor ms alto posible.
Con base en los resultados obtenidos, se presenta un informe a cada centro escolar con
su puntuacin en cada una de las dimensiones del ndice y su posicin relativa respecto a
10
otros centros educativos del pas .


10
Para mayor informacin sobre el ISCE Colombia puedes consultar:
http://aprende.colombiaaprende.edu.co/es/siemprediae/86402


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

59
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Brasil. NDICE DE DESARROLLO DE LA EDUCACIN BSICA (IDEB).

Objetivo: monitorear y evaluar el sistema educativo del pas as como asegurar la mejora
en la calidad de la educacin.

El IDEB es un mecanismo elaborado por las autoridades educativas brasileas para servir
como un indicador sinttico que mezcla los resultados acadmicos y los de flujo escolar.
El principio del IDEB es medir en qu medida los alumnos aprenden y avanzan a travs
de los grados escolares de la educacin bsica, en un sistema de enseanza ideal todos
los nios y adolescentes tienen acceso a la escuela, no se desperdicia tiempo en
reprobaciones, no abandonan la escuela prematuramente y al final de todo, su apren-
dizaje es satisfactorio.

Para cada ciclo escolar i y centro escolar j, el IDEBji es:

!"#$!"
= !!" !!"
0 !!" 10; 0 !!" 1; 0 !"#$!"
10

En conjunto, el IDEB es un indicador que mide la puntuacin de aprovechamiento en un


examen estandarizado, ajustada por el tiempo medio (en aos) para la conclusin de un
determinado nivel educativo.

El primer componente es una medida del aprovechamiento en lengua portuguesa (lp) y


Matemticas (mat) estandarizada en un indicador que toma valores entre 0 y 10, de los
alumnos en el centro escolar j, obtenida en una determinada edicin del examen
estandarizado realizado al final de cada nivel educativo.

!"
!!" + !!"!"#
!!" =
2

Por otro lado, el indicador de rendimiento, !!" , se obtiene a partir de la proporcin de


aprobados en cada uno de los grados de un nivel educativo (tasa de aprobacin en el
grado g del ao i en la escuela j, !!"# ). As, en ausencia de desercin, !!" , es el tiempo
promedio (medido en aos) que los alumnos en la escuela j requieren para completar
ese nivel educativo en el ao i. De esta forma, !!" es anlogo a la media armnica de
las tasas de aprobacin de todos los grados que conforman ese nivel.

! !
1 !!" =
!!"
!!" =
!!"#
!!!

El IDEB fue pensado como una herramienta que ayudara a apuntalar las metas de los
centros escolares brasileos con el propsito de monitorear y evaluar el sistema
educativo de ese pas. La aplicacin de este mtodo como indicador insignia del sistema


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

60
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

educativo brasileo no ha estado exento de crticas, especialmente al interior del pas,


principalmente desde el punto de vista metodolgico que considera que la complejidad
del proceso educativo no puede ser reducida a algunos estadsticos que pueden ser
medibles o visibles ya que esto limita la perspectiva de la calidad educativa pues no
considera otros factores importantes en el desempeo de los estudiantes (Melanda y Da
Fonseca, 2015).

Lo anterior sugiere que limitar a nicamente dos componentes la evaluacin de la


calidad educativa genera distorsiones en los objetivos por los cuales fue construido. En
primer lugar porque desva los objetivos de los programas del sistema educativo a solo
ensear las materias y temas de las pruebas estandarizadas. Y en segunda porque
entiende la eficiencia como tiempos normativos de egreso en los niveles de la educacin
bsica.

Un anlisis ms detallado de las condiciones culturales, socioeconmicas y culturales de


los padres, de infraestructura de las escuelas, practica de la enseanza, estilo de gestin,
preparacin de los profesores, entre otras, todas ellas en su conjunto operaran en un
mayor aprovechamiento del alumno durante su paso por la escuela (dem, 2015).

Si la calidad de la educacin se evala sin un anlisis del potencial y debilidades de la


escuela. El indicador se reduce a una actividad tcnica cuantitativa que termina
conduciendo las polticas y los procesos educativos.

Desde el punto de vista meramente tcnico, la construccin de este ndice presenta


algunos desafos. Los elementos para su construccin, aunque asequibles para la gran
mayora (si no todos) los centros escolares no guardan una relacin tan sinrgica y
complementaria como es en el caso de los componentes con los que se construye el IDH.

Tomemos, el ejemplo de la aplicacin del IDEB al caso mexicano, construido bajo el


mismo procedimiento e informacin estadstica muy similar a la usada en el caso
11
brasileo .

El componente Pji se estim con informacin de las estadsticas que ao con ao al


principio y al fin del ciclo escolar las escuelas mexicanas reportan a la Secretaria de
12
Educacin Pblica Federal (a travs de un formato electrnico o en papel). Es un
cuestionario sobre las principales estadsticas de las escuelas que los responsables de
cada centro deben llenar entre las que se incluyen el nmero de alumnos matriculados
en cada grado y el nmero de alumnos promovidos o aprobadas al final del ciclo escolar.
Con esta informacin, se calcularon las tasas de aprobacin en cada escuela para cada
uno de los grados que conforman el nivel secundario bajo (3 aos) para posteriormente
calcular el componente de rendimiento Pji.

Como se mencion anteriormente, en ausencia de desercin durante el nivel educativo Tji


es el tiempo medio que a los estudiantes de la escuela j les toma concluir el nivel
secundario bajo.

11
Se puede consultar la nota tcnica que detalla la construccin del ndice en:
http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf

Vase ejemplo de formato en: http://www.f911.sep.gob.mx/Seguridad/Logon.aspx?ReturnUrl=%2f


12


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

61
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Por otro lado, el componente de logro o aprovechamiento (Nji) se bas en los resultados
de la prueba estandarizada Planea aplicado en centros escolares en 2015. Esta prueba,
similarmente a la aplicada en Brasil, tiene por objeto conocer si los alumnos de
educacin bsica logran el dominio de un conjunto de aprendizajes esenciales en
13
diferentes momentos de su formacin . Al igual que en el caso brasileo la prueba
genera un puntaje promedio de logro por centro escolar, que es estandarizado en una
escala de 0 a 10.

As, se estima con la estandarizacin de las puntuaciones obtenidas por cada escuela en
la prueba Planea, tanto para Lenguaje y Comunicacin (lyc) como para Matemticas
(mat). El puntaje promedio !!"! de cada escuela j en cada asignatura evaluada se
estandariza con los puntajes mximos y mnimos obtenidos en esta edicin de la prueba.
La estandarizacin, en el caso de Brasil, son utilizados para lograr que el IDEB sea
comparable ao con ao, en diferentes aplicaciones de su prueba de logro.

Tji, el inverso de Pji, ajusta la puntuacin obtenida por la escuela j en la prueba planea
por el tiempo medio para la conclusin de los 3 grados.

Los resultados para el caso mexicano muestran que los componentes del indicador
sinttico de calidad no se comportan tan armoniosamente como debiera esperarse. La
grfica siguiente muestra que la mayora de las escuelas presentan un nivel de
aprobacin alto para los alumnos que transitan en el nivel secundario bajo por lo que el
tiempo que en promedio estos tardan para cursar y aprobar este nivel educativo es igual
o muy cercano al tiempo normativo (3 aos) por lo que el componente Pji es cercano a 1.

Por otro lado, el comportamiento del componente de logro (Nji) est centrado entre 4 y 6
(de una escala de 10), un poco ms heterogneo que el componente de rendimiento.
Los grficos muestran que la relacin de ambos componente no es tan marcada y no
siempre parecen ir en la misma direccin.


13
Para profundizar en los alcances de la prueba Planea puede consultar el micrositio:
http://www.inee.edu.mx/index.php/planea


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

62
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

De esta forma, el valor final del indicador para dos escuelas puede ser el mismo pero el
valor de los componentes ser completamente diferente. Tomemos el caso simple (pero
real) de dos escuelas con un ndice IDEB igual a 3. La grfica siguiente nos ayudar a
entender mejor el ejemplo; las curvas de cada color representan combinaciones
diferentes que arrojan el mismo valor del IDEB (desde 0.5 hasta 9), en el eje vertical se
grafica el indicador de rendimiento (Pji) y en el horizontal el de logro o aprovechamiento
(Nji). Una escuela con el indicador complejo igual a 3 tiene un nivel de 0.99 en el
indicador de rendimiento y de 3 el indicador de aprovechamiento. Aparentemente, esta
escuela no tiene un problema en promover a sus alumnos de un grado a otro para que
terminen en el tiempo normativo (dado que el indicador es casi 1) pero estos no tienen
el dominio suficiente de los contenidos que se ensean puesto que la prueba
estandarizada muestra que el promedio de logro es de apenas 3.04 (donde el mximo es
10, recordando). Otra escuela con exactamente el mismo valor en el ndice de calidad
(igual a 3) presenta un nivel en el componente de rendimiento igual a 0.45, es decir los
alumnos en ausencia de desercin tardan hasta el doble del tiempo normativo en
terminar este nivel educativo pero tienen un nivel de logro (medido por el componente
Nji) de 6.67, es decir, un nivel muy superior al de la escuela anterior con el mismo valor
del ndice de calidad.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

63
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Lo anterior, puede interpretarse como una especie de intercambio entre ambos


componentes para alcanzar un mismo nivel en el ndice de calidad; se puede
argumentar, por un lado, que se trata de que las escuelas tienen un costo de
oportunidad, al tratar de subir el nivel de logro de sus alumnos pueden causar un nivel
de aprobacin menor y viceversa. Lo deseable es que las escuelas trabajen en ambos
aspectos de forma paralela y que esto se refleje en el ndice de calidad que se construya.
Al final, el objetivo de un ndice compuesto de calidad es otorgar una sola medida (un
nmero) que resuma de alguna forma los indicadores que creemos son pertinentes para
dar cuenta del estado de los centro escolares. Puede darse el caso de que dos escuelas
con el mismo nivel de dicho ndice pero con distintas problemticas (con valores de los
componentes completamente diferentes) sean catalogadas en el mismo cajn, siendo
que su diagnstico y por tanto las recomendaciones no pueden ser similares.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

64
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

4.6. Conclusin

En el texto se han podido ver ejemplos de la forma en que se pueden construir


indicadores ms precisos que los que se han utilizado tradicionalmente. Otras
posibilidades consisten en la construccin de indicadores complejos. Aqu se han
brindado algunos elementos heursticos.

En estas pginas se hacen reflexiones sobre los indicadores educativos, en relacin con
dos aspectos: por una parte, lo que se puede o no esperar de ellos, para prevenir el
peligro, siempre latente en educacin, de esperar demasiado de cualquier innovacin,
vindola casi como solucin mgica de todos los problemas que aquejan al sector. Por
otra parte, un riesgo diferente pero que no pocas veces se presenta al mismo tiempo,
que consiste en ignorar la complejidad de las tareas a realizar, pensando que pueden
llevarse a cabo en tiempos muy breves. Ambos riesgos son reflejo de un mismo defecto
original: el simplismo de quienes desconocen las dificultades reales para hacer buena
educacin en contextos difciles.

Quienes se dedican a desarrollar indicadores, as como los responsables del diseo de


polticas, en los niveles ms altos de los sistemas educativos, que los requieren para
sustentar mejor las decisiones que deben tomar, deben tener claro que, contra lo que
frecuentemente se piensa, el proceso de desarrollo de indicadores es necesariamente
largo, si se quiere que sea slido. No es raro que se piense que la tarea en cuestin
puede hacerse en pocas semanas, si ya existen bases de datos con las estadsticas que
suelen recogerse peridicamente en todos los sistemas educativos.

Se pierde de vista que, para asegurar la solidez del trabajo, los pasos indicados en la
metodologa que se present anteriormente se deben seguir cuidadosamente; que se
debe involucrar a grupos de actores calificados; y que los productos del trabajo deben
revisarse y corregirse una y otra vez, antes de que se les considere establecidos. En el
caso de indicadores educativos, hay que tener en cuenta el ritmo anual de los procesos
de recoleccin de estadsticas que se obtienen de las escuelas al inicio y/o fin de cada
ciclo escolar; as podr entenderse que el tiempo que implica no solo el primer
planteamiento de un indicador, sino su refinamiento hasta alcanzar un grado aceptable
de madurez, implica necesariamente varios aos.

Una especialista reconocida en el tema, al sacar las lecciones del movimiento de los
indicadores sociales de los aos 60, sealaba:

Este anlisis del diseo y la aplicacin de indicadores pueden darnos ideas


sobre los errores que debemos evitar y las oportunidades que podemos
aprovechar Se necesita mucho tiempo para el desarrollo de un concepto
satisfactorio, luego para la produccin de una medida prctica y, finalmente,
para asegurar que el indicador resultante sea entendido y utilizado. Los
indicadores existentes han requerido 20, 30 o ms aos, desde el momento
en que aparecieron las primeras demandas pblicas y los primeros anlisis
tericos
Hay que contar con que la creacin de un indicador nuevo toma largo
tiempo. Este tiempo difcilmente puede abreviarse, dada la naturaleza


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

65
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

iterativa de los procesos de formacin de conceptos y de los esfuerzos de


medicin, as como la dificultad de identificar el carcter preciso de las
preocupaciones pblicas antes de producir una medida. Si se debe
desarrollar un mtodo nuevo es necesario adems tener en cuenta el tiempo
necesario para los ajustes por ensayo y error. Aun si ya existen algunos
antecedentes de investigacin y cierto consenso alrededor de un problema,
es probable que pasen al menos 10 aos entre el deseo de contar con una
medida y la produccin efectiva de esta. (de Neufville, 1975: 241-244)

Pensando en trminos de sistema de indicadores, y no uno u otro aislado, no debemos


esperar a tener perfectamente probado el primero para emprender el desarrollo del
siguiente. Los tiempos de que habla de Neufville no debern multiplicarse por el nmero
de indicadores a desarrollar, pero tampoco podrn acortarse. Por ello el desarrollo de un
sistema de indicadores maduro es tarea de, al menos, una dcada.

La obra sobre indicadores de la Comisin Europea tiene una reflexin sobre las lecciones
de la experiencia internacional, a partir de los trabajos de la especialista recin citada:

La experiencia internacional en el campo de los indicadores es amplia y ha


existido por largo tiempo. En el origen de todos los desarrollos en este
dominio encontramos el xito de unos cuantos indicadores macroecon-
micos importantes: el producto interno bruto, el ndice de precios o la tasa
de desempleo. En los aos 70 este xito hizo surgir el desarrollo de
indicadores sociales, actividad que implic considerable energa y fue tambin la
fuente de un malestar igualmente grande. Muchas lecciones se sacaron de esta
experiencia y se establecieron slidamente. Pueden resumirse de alguna
manera en los ttulos de tres publicaciones notables de la misma autora, Judith
Innes de Neufville: en 1975 Social indicators and public policy; en 1989
Disappointments and Legacies of Social Indicators; y en 1994 Knowledge
and Public Policy: the Search for Meaningful Indicators. (1999: 219)

De modo similar, Sheldon afirma que

con cada movimiento de indicadores, el entusiasmo creci y disminuy, a


medida que el optimismo sobre lo que podran conseguir los indicadores
dej el lugar a la realidad de lo que efectivamente consiguieron, tanto en la
educacin como, ms generalmente, en la sociedad. (Segn Shavelson et
al., 1989: 2)

Como muestran esos especialistas, tras varias experiencias frustrantes las expectativas
sobre lo que pueden aportar o no los sistemas de indicadores son ms realistas. La
literatura muestra que se ha llegado a un consenso en cuanto a que los indicadores no
pueden, por s mismos, fijar objetivos o prioridades, evaluar programas o establecer
balances. Todo ello puede apoyarse en la informacin de un buen sistema de
indicadores, pero implica otras acciones. Las expectativas sobre los indicadores que hay
ahora en los sistemas educativos con mayor experiencia al respecto son bastante
modestas: pueden servir para describir y plantear problemas con mayor precisin; para
detectarlos ms tempranamente; para tener pistas sobre programas educativos promete-
dores y cosas similares. (Shavelson et al., 1989: 7-8)


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

66
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

La obra citada de Innes de Neufville se public en 1975, con reimpresiones en 1989 y


1994 y una segunda edicin expandida en 2002. La persistencia del inters en su
contenido a lo largo de casi tres dcadas muestra su solidez, y las consideraciones
expresadas por la autora en la segunda edicin son importantes para apreciar el cambio
de perspectiva que se produjo entre los estudiosos del tema a lo largo del tiempo.

La misma autora seala que casi todos los aspectos tcnicos de la versin de 1975 de su
libro siguen vigentes, lo que justifica la reimpresin del texto original sin cambios. Al
mismo tiempo, la investigadora considera que lo tcnico se enmarca ahora en una visin
de la relacin entre conocimiento y toma de decisiones mucha ms rica que la que
prevaleca en la dcada de 1970, todava marcada por una concepcin ingenuamente
positivista. (Innes de Neufville, 2002)

Esta se caracterizaba por concebir una relacin simple, lineal. En ella los indicadores eran
el fruto de un trabajo tcnico puro, en el que no interferan los intereses de grupo ni
consideraciones extraacadmicas. Sobre la base del conocimiento slido de la realidad
que tales indicadores proporcionaban, los polticos podan fcilmente tomar decisiones
plenamente racionales; si no lo hacan, era debido a la corrupcin o la mezquindad. Dos
dcadas ms tarde, la autora enmarca sus concepciones tcnicas sobre indicadores en una
concepcin ms compleja de la relacin entre conocimiento y accin, a partir de los
resultados de sus investigaciones y con apoyo en concepciones ms complejas, como el
viejo pragmatismo de principios del siglo XX, las teoras interpretativas, las concepciones
de Berger y Luckmann y las de Habermas.

En esta perspectiva el conocimiento til no surge simplemente del trabajo tcnico, sino
que se mezcla inexorablemente con puntos de vista que privilegian unos aspectos de la
realidad y se confrontan o complementan de manera compleja. La utilidad de un sistema
de indicadores para apoyar decisiones no depende nicamente de su solidez tcnica, sino
tambin de la legitimidad que le d la participacin de actores varios en su construccin y
de la riqueza del proceso de construccin mismo, con aportes tcnicos, discusiones que
aclaren puntos difciles y consensos ms o menos amplios laboriosamente alcanzados.

En el campo educativo un sistema de indicadores no debe ser visto como panacea que
remediar en poco tiempo los males de los sistemas escolares. Lo que ofrece es menos
sensacional, pero no despreciable, sobre todo si se tienen en cuenta las limitaciones de
las estadsticas educativas existentes. Sin olvidar la complejidad de la construccin de
consensos, un buen sistema de informacin educativa es necesario, aunque no suficiente,
para que las decisiones tengan base slida; pese a ello pocos pases cuentan con uno
adecuado, sobre todo en el llamado tercer mundo, en parte, sin duda, por la dificultad
tcnica para desarrollarlo en forma paralela al enorme crecimiento que experimentaron
los sistemas escolares en todo el mundo a lo largo de la segunda mitad del siglo XX.
Hace una dcada Puryear deca al respecto:

Las estadsticas sobre educacin de aproximadamente la mitad de los estados


miembros de la UNESCO, incluyendo al menos cinco de los nueve pases en
vas de desarrollo ms grandes, tienen lagunas y debilidades serias. Con
mucha frecuencia las bases de datos sobre el tema carecen de confiabilidad.
An en los pases industriales avanzados los datos sobre costos y gastos
educativos son muy deficientes. En casi todos los pases los datos sobre

CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

67
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

analfabetismo no son confiables. Y los expertos opinan que las esta-dsticas


educativas de 20 o 30 pases son un verdadero desastre. (1993: 4)

La mayora de los pases carece de medidas sistemticas sobre resultados educativos y las
evaluaciones comparativas internacionales son raras. Puryear sealaba que suele haber
estadsticas mejores sobre cuestiones econmicas, demogrficas o de salud, y precisaba:

Las estadsticas educativas existentes tienen un enfoque muy estrecho.


Dejan fuera las medidas de calidad, de procesos y de productos. Los
gobiernos han centrado la atencin en un solo enfoque, bastante estrecho,
para monitorear sus sistemas educativos -los conteos de tipo censo- y en un
solo tipo de datos: los relativos a insumos. Se han concentrado casi entera-
mente en registrar el nmero de profesores, alumnos y edificios en el
sistema formal, y en la importancia del gasto pblico destinado a la
educacin. Casi no han prestado atencin a documentar cmo funcionan las
escuelas o qu aprenden los alumnos... Un buen indicador de la existencia de
estadsticas educativas de muy buena calidad, lo constituye la capacidad de
reportar datos sobre la edad de los alumnos, que son indispensables para
calcular tasas netas de matrcula. nicamente unos 60 de los 175 estados
miembros de la UNESCO reportan tales datos en forma consistente. (1993: 6)

Poco antes, los primeros pasos de la OCDE para desarrollar su sistema de indicadores
educativos comenzaban con un diagnstico semejante:

Aunque muchos pases publican impresionantes anuarios estadsticos, la


cantidad y la calidad (validez, consistencia, etc.) de los datos recolectados
es sumamente desigual, no solo de un pas a otro, sino incluso dentro de un
mismo pas. La Conferencia de la OCDE celebrada en Washington en 1987
seal que, aunque la mayor parte de los 24 pases participantes report
que recababa datos para construir algunos indicadores educativos, su tipo y
uso variaba mucho, y que muy pocos pases estaban en condiciones de
ofrecer conjuntos completos. Adems, muchas presentaciones coincidieron
en sealar problemas similares: datos incompletos o faltantes; falta de
confiabilidad, debida en parte a tcnicas de muestreo deficientes; insufi-
ciente validez de las variables de contexto; dificultad para decidir qu datos
recoger; problemas en cuanto al control de la informacin y el acceso a
ella
An los sistemas ms completos de estadsticas nacionales presentan
hoyos negros y lagunas de informacin en temas de los que casi no hay
datos, como costos unitarios, gasto educativo privado o la contribucin
econmica de empresas y familias al gasto educativo total. La mayora de
los sistemas son notablemente dbiles en cuanto a informacin sobre el
conocimiento que tienen los maestros de las materias que deben ensear, el
aprendizaje de los alumnos, en especial en niveles cognitivos altos, o los
procesos que tienen lugar dentro de la escuela. (CERI-INES 1991: 8-9)


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

68
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Por la misma poca, expertos encargados por el gobierno de los Estados Unidos del diseo
de un sistema de indicadores educativos a escala nacional identificaba problemas
semejantes, que muestran que la pobreza y la inconsistencia de las estadsticas educativas
no son exclusivas de pases menos desarrollados:

Algunos problemas tcnicos serios de los indicadores actualmente existen-


tes, junto con grandes lagunas en las fuentes de datos disponibles, plantean
problemas formidables a la tarea de construir un sistema de indicadores
educativos en el nivel nacional. El Council of Chief State School Officers, a
solicitud del National Center for Education Statistics, ha analizado las fallas
de medidas de resultados educativos comparables, observando por ejemplo
que hasta 1987 los estados americanos empleaban al menos diez maneras
distintas de contar sus escuelas y unos doce mtodos diferentes de reportar
las cifras de matrcula. Los datos sobre desercin son notoriamente poco
confiables y representan unos de los datos ms ambiguos que se reportan
sobre la educacin norteamericana. (Special Study Panel, 1991: 15)

Para terminar en un tono ms optimista concluyamos que, para alcanzar una meta
ambiciosa, hay que aceptar las limitaciones del punto de partida y mejorar
progresivamente; y que para ello conviene institucionalizar mecanismos de correccin
permanente, indispensables para avanzar en la direccin correcta, como apuntan las dos
ltimas citas:

se presta considerable atencin a la imprecisin de muchos datos esta-


dsticos, a las distorsiones incorporadas sistemticamente en algunos casos,
a los frecuentes errores de interpretacin y a la creciente posibilidad de
manipular los datos para tener mejor informacin sobre la calidad de vida
se necesitan mejoras tanto en la cantidad como en la calidad de las
estadsticas La conclusin parece ser que en vez de no hacer nada, es
preferible comenzar con datos malos, advertir a todos sobre sus defectos y
limitaciones, y buscar una mejora gradual gracias a su uso. (Gross, 1966:
xvi).

Propongo que se establezca una Comisin de Estadsticas, que tenga la


responsabilidad de auditar las series de datos, con capacidad para certificar
los productos estadsticosal auditar series de datos importantes, la
Comisin debera hacer muestreos para verificar la precisin de las bases de
datos y de los clculos, y debera examinar cuidadosamente los procedi-
mientos establecidos para ver si se respetan escrupulosamente. (Wickens,
1953; citado por Biderman 1966: 129-130)


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

69
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Bibliografia

BAUER, RAYMOND A. (ed.) (1966). Social Indicators. Cambridge, MIT.

BIDERMAN, ALBERT D. (1966). Social Indicators and Goals. En BAUER, RAYMOND A.


(1966), Social Indicators. Cambridge, M. I. T., pp. 68-153.

BOCO, RITA; BULANIKIAN, GISELA. (2010). Derechos humanos: universalismo vs.


relativismo cultural. Alteridades, 20, 9-22. Disponible en
http://www.redalyc.org/articulo.oa?id=74720839002

BOTTANI, NORBERT y I. DELFAU (1990). The Search for International Educational Indicators.
The OECD Observer. No 162: 14-18.

CERI-INES (1992). OECD International Education Indicators: A Framework for Analysis. Pars,
OCDE.

CERI-INES (1991a). An International Handbook of Educational Indicators. Pars. OCDE.

CERI-INES (1991b). General Assembly on International Education Indicators Handbook.


Pars. OCDE.

CERI-INES (1973). Indicators of Performance of Educational Systems. Pars, OCDE.

COMISION EUROPEA (1999). Selection and use of indicators for monitoring & evaluation.
Evaluating socio-economic programmes, Vol. 2. Luxembourg. Publications of the Euro-
pean Communities.

COMIT PRESIDENCIAL DE INVESTIGACIN SOBRE TENDENCIAS SOCIALES (1933). Recent Social


Trenes in the United States. Nueva York. McGraw Hill.

DAUDET, YVES y KISHORE SINGH (2001). The Right to Education: An Analysis of UNESCOs
Standard-setting Instruments. Pars. UNESCO.

DELORS, JACQUES (ed). (1971). Contributions a une recherche sur les indicateurs sociaux.
Pars, Futuribles, SEDEIS.

DEPTO. DE ASUNTOS ECONMICOS Y SOCIALES (1975). Hacia un sistema de estadsticas


sociales y demogrficas. Nueva York, ONU.

DONELLY, JACK (1984). Cultural Relativism and Universal Human Rights, Human Rights
Quarterly 6 (4), pp. 400-419.

European Commission (s.f.) Composite Indicators Research Group. Disponible en


https://composite-indicators.jrc.ec.europa.eu/?q=content/overview

FRIBOLUET, JEAN-JACQUES et al., (eds.) (2006). Measuring the Right to Education. Zurich,
Schulthess Juristische Medien y UNESCO Institute for Lifelong Learning.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

70
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

GILMARTIN, KEVIN J.; R.J. ROSSI; L.S. LUTOMSKI; D.F. REED (1979). Social Indicators: Annotated
Bibliography of Current Literature. Nueva York-Londres. Garland Publishing.

GREANEY, VINCENT y THOMAS KELLAGHAN (1996). Monitoring the Learning Outcomes of


Education Systems. Washington. World Bank.

GROSS, BERTRAM M. (1966). Preface. A Historical Note on Social Indicators. Bauer, 1966:
ix-xviii.

GROSS, BERTRAM M. (1966). The State of Nation: Social Systems Accounting. Bauer,
1966: 154-271.

Hagerty, M. y Land, K. (2007). Constructing Summary Indices of Quality of Life: A Model


for the Effect of Heterogeneous Importance Weights, Sociological Research Methods
35(4) pp. 455-496. Disponible en:
http://www.soc.duke.edu/~cwi/section_i_files/paper6i.pdf

JAEGER, RICHARD M. (1978). About educational indicators: Statistics on the conditions


and trends in education. Review of Research in Education. Vol. 6, 276-315.

KAAGAN S.S. y R.J. LOBY. (1989). State Education Indicators: Measured Strides, Missing
Steps, New Brusnswick. Rutgers Univ. Center for Policy Research in Education.

INEE (2006). Plan Maestro de Desarrollo. Mxico. Instituto Nacional para la Evaluacin de la
Educacin.

INNES DE NEUFVILLE, JUDITH (2002). Knowledge and Public Policy: The Search for
Meaningful Indicators. New Brunswick. Transaction Publ.. 2a ed. de Social Indicators and
Public Policy.

INNES DE NEUFVILLE, JUDITH (1989). Dissapointments and Legacies of Social Indicators.


Journal of Public Policy. Vol. 9, N 4: 429-432.

INNES DE NEUFVILLE, JUDITH (1975). Social Indicators and Public Policy. Interactive
Processes of Design and Application. Amsterdam. Elsevier Scientific Publishing Co.

MARTNEZ RIZO, FELIPE (2005). El diseo de sistemas de indicadores educativos:


consideraciones terico-metodolgicas. Cuadernos de Investigacin, N 14. Mxico, INEE, pp. 1-26.

MARTNEZ RIZO, FELIPE (2007). Propuesta metodolgica para desarrollar un sistema de


indicadores para evaluar la calidad de la educacin en Mxico. En Varios. Seminario
Internacional de Indicadores Educativos. Memoria. Mxico. INEE. Julio 9, 2007.

MARTNEZ RIZO, FELIPE et al. (2007). Propuestas y experiencias para desarrollar un


sistema de indicadores educativos. Mxico. INEE.

MELANDA A. y DA FONSECA C. (2015). O IDEB como poltica de regulao do Estado e


legitimao da qualidade: em busca de significados. Ensaio: aval. pol. pbl. Educ., Rio de
Janeiro, v. 23, n. 87, pp. 461-484.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

71
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Ministerio de Educacin de Chile (2013). Sistema nacional de evaluacin del desempeo


de los establecimientos educacionales subvencionados y de los regidos por el decreto ley
n 3166. Gobierno de Chile.

MUNDA G. y NARDO M. (2005). Constructing Consistent Composite Indicators: the Issue of


Weights, EUR 21834 EN, Joint Research Centre: Ispra.

PARKER J. (1991). Environmental reporting and environmental indices, PhD Disserta-


tion:Cambridge, UK.

OAKES, JEANNIE (1989). What Educational Indicators? The Case for Assessing the School
Context. Educational Evaluation and Policy Analysis. Vol. 11 (2), pp. 181-199.

OAKES, JEANNIE (1986). Educational Indicators: A Guide for Policymakers. New Brunswick
Center for Policy Research in Education, Rutgers University; Rand Corporation; Univ. of
Wisconsin.

ODDEN, ALLAN (1990). Educational Indicators in the United States: The Need for
Analysis. Educational Researcher. Jun-jul, pp. 24-29.

OECD (1995, 2000, 2005). Education at a Glance. OECD Indicators. Pars, OECD.

OECD (2008). Handbook on Constructing Composite Indicators Methodology and User


Guide. OECD: Pars. Disponible en https://www.oecd.org/std/42495745.pdf

OEI, (2016). Miradas sobre la educacin en Iberoamrica 2015. Educacin de los pueblos
y comunidades indgenas (originarios) y afrodescendientes. Disponible en:
http://www.oei.es/noticias/spip.php?article15354

OFICINA ALTO COMISIONADO DE LAS NACIONES UNIDAD PARA LOS DERECHOS HUMANOS
(2012). Indicadores de Derechos Humanos. Una Gua para su medicin e implementa-
cin Disponible en:
http://www.ohchr.org/Documents/Publications/Human_rights_indicators_sp.pdf

Preguntas frecuentes sobre el enfoque de derechos humanos en la cooperacin para el


desarrollo (publicacin de las Naciones Unidas, pg. 1. Disponible en:
http://www.ohchr.org/Documents/Publications/FAQsp.pdf

PIRSIG (2004). Zen y el arte de la mantencin de la motocicleta: una indagacin sobre los
valores. Mxico. Sexto Piso. Edicin original en ingls, 1974.

PORTER, ANDREW C. (1991). Creating a System of School Process Indicators. Educational


Evaluation and Policy Analysis. Vol. 13 (1): 13-29.

PURYEAR J.M. (1993) Status and Problems of International Educational Statistics and
Research. CIES Newsletter, No. 103: 4.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

72
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

RAWLS, J. (2001). Justice as Fairness a Restatement Harvard University Press: Cambridge, MA.

ROBLES, H. y VERA, A. (en prensa). Educacin y Pobreza. CONEVAL: Mxico.

RUSSETT, BRUCE M., H. R. ALKER, K. W. DEUTSCH y H. D. LASSWELL (1965). World Handbook of


Political and Social Indicators. New Haven, Yale Univ. Press. Trad. espaol Euramrica, 1968.

SAISANA, M. y TARANTOLA, S. (2002). State-of-the art report on current methodologies


and practices for composite indicator development, EUR 20408 EN, European
Commission-JRC:Italia.

SEN AMARTYA (2004). Elements of a Theory of Human Rights. Philosophy & Public
Affairs 32(4)

SHAVELSON, RICHARD J.; LORRAINE McDONNELL; JEANNIE OAKES (eds.) (1989). Indicators
for Monitoring Mathematics and Science Education. A Sourcebook. Santa Monica, Rand.

SHAVELSON, RICHARD J.; LORRAINE McDONNELL; JEANNIE OAKES; NEIL CAREY (1987).
Indicator Systems for Monitoring Mathematics and Science Education. Santa Monica,
Rand.

SHAVELSON, RICHARD J., LORRAINE M. McDONNELL y JEANNIE OAKES (1991). Steps in


designing an indicator system. Practical Assessment, Resarch & Evaluation. Electronic
Journal. ERIC, Clearinghouse on Assessment and Evaluation.

SHONFIELD A. y S. SHAW, (eds.) (1972). Social Indicators and Social Policy. Londres.
Heinemann Educational Books.

SITEAL (2007). Informe sobre tendencias sociales y educativas en Amrica Latina 2007.
Buenos Aires. OEI-IIPE-UNESCO.

SPECIAL STUDY PANEL ON EDUCATION INDICATORS. (1991). Education Counts. An Indicator


System to Monitor the Nations Educational Health. Washington. National Center for
Educational Statistics. USA Dpt. of Education.

TILLY, CHARLES (2004) De dnde vienen los derechos?, Sociolgica 55 (19): 273-300.

TOMASEVSKI, KATARINA (2004). Manual on Rights-Based Education. Bangkok. UNESCO


Asia and Pacific Regional Bureau for Education.

TOMASEVSKI, Katarina (2001). Human Right Obligations: making education available,


accessible, acceptable and adaptable (Primer No. 3). Estocolmo. Disponible en:
http://www.right-to-education.org/resource/primer-no-3-human-rights-obligations-
making-education-available-accessible-acceptable-and

TUIJNMAN A. y N. BOTTANI (eds.) (1994). Making Education Count. Developing and Using
International Indicators. Pars. OCDE.

UIS (Anual). Informe de seguimiento de la EPT en el mundo 2005. Montreal. Instituto de


Estadstica de la UNESCO.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

73
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

UIS (2007b). Compendio mundial de la educacin 2007. Comparacin de las estadsticas de


educacin en el mundo. Montreal. Instituto de Estadstica de la UNESCO.

UNIN EUROPEA (2008). Progress towards the Lisbon objectives in education and training.

UNESCO y SECRETARA DE EDUCACIN PBLICA DE MXICO (2005). Panorama educativo 2005:


progresando hacia las metas (Proyecto Regional de Indicadores Educativos. Cumbre de las
Amricas). UNESCO.

UNESCO y SECRETARA DE EDUCACIN PBLICA DE MXICO (2008). Panorama educativo 2007:


los desafos alcanzados y por alcanzar (Proyecto Regional de Indicadores Educativos. Cumbre
de las Amricas). UNESCO.

UNESCO (2007). Situacin Educativa en Amrica Latina y el Caribe: garantizando la educacin


de calidad para todos. 2007. UNESCO-OREALC.

UNITED NATIONS (2008). Report on Indicators for Promoting and Monitoring the imple-
mentation of Human Rights. Geneva. ONU-HRI.

WICKENS, A. J. (1953). Statistics and the Public Interest. The Journal of the American
Statistical Association. Vol. 48, pp. 1-14.

WILCOX, LESLIE D.; RALPH M. BROOKS; GEORGE M. BEAL; y GERALD E. KLONGLAN (1972).
Social Indicators and Societal Monitoring. An Annotated Bibliography. San Francisco.
Jossey Bass-Elsevier.

WYATT T. (1994). Education indicators: a review of the literatura. En TUIJNMAN y BOTTANI,


1994: 99-121.

ZAMBARO, F. (2015). Alcances e inconsistencias del ndice Sinttico de Calidad Educativa


(ISCE), diseado y aplicado por el Ministerio de Educacin de Colombia en el ao 2015.
Fundacin IQ Matrix - Iniciativas para la sociedad del Conocimiento.


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

74
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Anexo I.

Gua de documentos de consulta

El material bsico de trabajo para esta Unidad 3 es este material incluido en la


plataforma virtual del curso. Tambin debe consultarse la obra siguiente, a la que puede
accederse en la seccin de publicaciones de la pgina web del INEE.
www.inee.edu.mx

MARTNEZ RIZO, FELIPE et al. (2007). Propuestas y experiencias para desarrollar un siste-
ma de indicadores educativos. Mxico. INEE.

Los captulos de este documento se han preparado a partir de textos difundidos previa-
mente, en versiones algo distintas, en diferentes fechas.

Los epgrafes 1 y 3 se retomaron, con algunos cambios, del Captulo 3 y el Anexo 3.1. del
libro antes citado; previamente se haban difundido en las siguientes publicaciones:

MARTNEZ RIZO, FELIPE (2005). El diseo de sistemas de indicadores educativos: conside-


raciones terico-metodolgicas. Cuadernos de Investigacin, N 14. Mxico, INEE, pp. 1-
26.

MARTNEZ RIZO, FELIPE (2007). Propuesta metodolgica para desarrollar un sistema de


indicadores para evaluar la calidad de la educacin en Mxico. En Varios, Seminario
Internacional de Indicadores Educativos. Memoria. Mxico. INEE. Julio 9, 2007.

El epgrafe 2, que sita a los indicadores en el marco ms amplio de la evaluacin de la


calidad de los sistemas educativos, y discute la relacin entre el enfoque sistmico y el
que se deriva del derecho a la educacin, para el desarrollo de sistemas de indicadores,
retoma ideas de los textos anteriores y, en la versin aqu incluida, se basa en el texto
siguiente, no publicado:

MARTNEZ RIZO, FELIPE (2008). Concepciones sobre la calidad educativa. Algunas


reflexiones en relacin con el derecho a la educacin. Seminario Internacional de
Investigacin y Estadstica Educativa: Problemas y desafos para garantizar el derecho a la
educacin. Buenos Aires.

El epgrafe 4, sobre la evolucin de los indicadores, se basa en parte en un texto indito,


y en parte en apartados de los informes anuales del INEE correspondientes a 2004 y
2005, elaborados tambin por el autor de todos estos textos. El texto se complementa
con un conjunto de tablas y grficas en Power Point.

Las reflexiones adicionales de la Conclusin se basan en los mismos textos citados en


relacin con los epgrafes 1 y 3 de este documento.I 3

Si bien con este material indicado se puede preparar la Unidad 3, hay algunas lecturas
complementarias y otras referencias de inters, dignas de ser tenidas en cuenta:


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

75
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Lecturas complementarias

1. Antecedentes y definiciones

European Commission (1999). Selection and use of indicators for monitoring & evalua-
tion. Evaluating socio-economic programmes, Vol. 2. Luxembourg. Publications of the
European Communities. Extractos.

ODDEN, ALLAN (1990). Educational Indicators in the United States: The Need for
Analysis. Educational Researcher. Jun-Jul., pp. 24-29.

MARTNEZ RIZO, FELIPE (2009). Los indicadores educativos en el mundo.

MARTNEZ RIZO, FELIPE (2009). El desarrollo de las pruebas estandarizadas.

2. La calidad educativa y su evaluacin

SHAVELSON, RICHARD J., L. M. MCDONNELL y J. OAKES (1991). Steps in designing an


indicator system. Practical Assessment, Resarch & Evaluation. ERIC.

3. La evaluacin de los indicadores

OAKES, JEANNIE (1986). Educational Indicators: A Guide for Policymakers. Center for Poli-
cy Research in Education, Rutgers Univ.; Rand Co.; U. of Wisconsin.

SHAVELSON, RICHARD J.; L. MCDONNELL; J. OAKES; N. CAREY (1987). Indicator Systems for
Monitoring Mathematics and Science Education. Santa Monica. Rand.

Special Study Panel on Education Indicators (1991). Education Counts. An Indicator


System to Monitor the Nations Educational Health. Washington. National Center for
Educational Statistics. USA Department of Education.

MARTNEZ RIZO, FELIPE (1998). Indicadores y evaluacin en educacin superior. Ponencia en el IV


Encuentro Internacional de Responsables de Estadstica en Educacin Superior. Mxico. UNAM.

Otras referencias de inters

Para quienes quieran profundizar sobre el tema, se recomiendan las siguientes lecturas
adicionales:

INNES DE NEUFVILLE, JUDITH (2002). Knowledge and Public Policy: The Search for Meaningful
Indicators. New Brunswick. Transaction Publ.. 2a ed. de Social Indicators and Public Policy.

(Reedicin ampliada de una obra clsica sobre indicadores en general.)

JOHNSTONE, J. N. (1981). Indicators of Education Systems. London, Kogan- Page-UNESCO.


(Probablemente la obra ms importante en el inicio del desarrollo de los indicadores en el
campo educativo).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

76
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

SHAVELSON, RICHARD J.; LORRAINE McDONNELL; JEANNIE OAKES (eds.) (1989). Indicators for
Monitoring Mathematics and Science Education. A Sourcebook. Santa Monica, Rand.

(Complemento de la obra que se incluye como lectura complementaria para el Tema 5 de


la Unidad, esta comprende captulos de temas particulares sobre los que pueden desarrollarse
indicadores).

TUIJNMAN A. y N. BOTTANI (eds.) (1994). Making Education Count. Developing and Using
International Indicators. Pars. OCDE.

(Recopilacin de textos bsicos sobre el desarrollo del sistema de indicadores educativos de


la OCDE).

VARIOS (1998). Proyecto Principal de Educacin en Amrica Latina y el Caribe. Boletn 46.
Santiago, OREALC.

(Aunque tiene ya ms de 10 aos de haber sido publicado, este nmero del Boletn del PPEALC
contiene artculos cuya revisin puede ser de utilidad para quienes se interesan por el
desarrollo de sistemas de indicadores).

FRIBOLUET, JEAN-JACQUES et al., (eds). (2006). Measuring the Right to Education. Zurich,
Schulthess Juristische Medien y UNESCO Institute for Lifelong Learning.

UNITED NATIONS (2008). Report on Indicators for Promoting and Monitoring the Imple-
mentation of Human Rights. Geneva. ONU-HRI.

(Dos textos importantes sobre el enfoque del derecho a la educacin como marco para el
desarrollo de indicadores educativos).

GROUPE EUROPEN DE RCHERCHE SUR LEQUIT DES SYSTEMES EDUCATIFS (2004). Lquit
des systemes ducatifs europens. Un ensemble dindicateurs. Belgique. Service de
Pdagogie Thorique et Experimentale, Universit de Liege.

(Notable esfuerzo por desarrollar indicadores de equidad, que permite reflexionar sobre
el tema en general.)

CYTERMANN, JEAN RICHARD y M. DEMEUSE ((2005). La lecture des indicateurs interna-


tionaux en France. Rapport tabli a la demande du Haut Conseil de l valuation de
lcole. Pars. HCEE.

(Un anlisis de los esfuerzos por desarrollar indicadores educativos desde el punto de
vista de un pas, con interesantes reflexiones sobre su sentido, las dificultades que se
enfrentan, aspectos tcnicos y de difusin, entre otros).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

77
U NIDAD 3 Antecedentes, nociones bsicas y metodologas para la elaboracin de indicadores educativos

Con carcter ms general:

DE LANDSHEERE, G. (1996). El pilotaje de los sistemas educativos. Madrid. La Muralla.


(Edicin original en francs, Bruselas, De Boeck, 1994).

MATEO ANDRS, JOAN (2000). La evaluacin educativa, su prctica y otras metforas.


Barcelona. Horsori-ICE U. de Barcelona.

THELOT, C. (1993). Lvaluation du systeme ducatif. Pars. Nathan.

(Textos sobre la evaluacin de los sistema educativos, con apartados sobre indicadores,
en una perspectiva ms amplia.)

Adems

PIRSIG (2004). Zen y el arte de la mantencin de la motocicleta: una indagacin sobre


los valores. Mxico. Sexto Piso. Edicin original en ingls, 1974.

(Texto raro, como su ttulo, que conjunta la calidad literaria de una buena novela con la
profundidad de una obra filosfica).


CURSO DE EXPERTO UNIVERSITARIO EN INDICADORES Y ESTADSTICAS EDUCATIVAS

78

Anda mungkin juga menyukai