Estudio sobre los factores

determinantes del
aprendizaje
-Primeros hallazgos de las pruebas PISA
2006-

Raja Bentaouet Kattan

Banco Mundial

Marzo de 2008
 300
350
400
450
500
550
Azerbaiyán
Túnez
Colombia
Indonesia
Jordania
Tailandia
Promedio del grupo

ingreso
Países de
Argentina

medio - bajo
Montenegro
Brasil
Rumania
Serbia
Bulgaria
México
Uruguay
Federación Rusa
Chile
Turquía
República Eslovaca
Lituania
Croacia

medio - alto
Letonia

Países de ingreso
Hungría
Polonia
Promedio del grupo
Israel
Eslovenia
Estonia
Liechtenstein
Hong Kong, China
Promedio del
grupo Grecia
España
Italia
Portugal
República Checa

Países de ingreso
alto (no miembros)
Noriega
Islandia
Francia
Austria
Dinamarca
Reino Unido
Alemania
Japón
Suiza
Bélgica
Suecia
Países Bajos
Australia
Irlanda
Nueva Zelanda
(miembros OCDE)

Canadá
Finlandia
Países de ingreso alto
Desempeño en lectura PISA 2006,

Promedio del grupo

por puntaje alcanzado
 300
350
400
450
500
550
600
Túnez
Colombia
Jordania
Indonesia
Tailandia
Azerbaiyán
Promedio del grupo
Brasil

ingreso
Países de
Argentina

medio - bajo
Montenegro
México
Chile
Bulgaria
Rumania
Turquía
Uruguay
Serbia
Croacia
Federación Rusa
Letonia
Lituania
Hungría

medio - alto
República Eslovaca

Países de ingreso
Polonia
Promedio del grupo
Qatar
Israel
Eslovenia
Estonia
Liechtenstein
Hong Kong, China
Promedio del grupo
Grecia
Italia
Portugal
Estados Unidos

(no miembros)
España
Luxemburgo
Noruega

Países de ingreso alto

Reino Unido
Francia
Irlanda
Suecia
Alemania
Austria
Islandia
República Checa
Dinamarca
Australia
Bélgica
Nueva Zelanda
Japón
Canadá
Suiza
(miembros OCDE)

Países Bajos
Países de ingreso alto

Corea
Finlandia
2006,

Promedio del grupo

Desempeño en matemáticas PISA

por puntaje alcanzado

 300
350
400
450
500
550
600
Azerbaiyán
Túnez
Indonesia
Colombia
Jordania
Tailandia

ingreso
Promedio del grupo

Países de
Argentina

medio - bajo
Brasil
Montenegro
Rumania
México
Turquía
Bulgaria
Uruguay
Serbia
Chile
Federación Rusa
República Eslovaca
Lituania
Hungría

medio - alto
Polonia

Países de ingreso
Letonia
Croacia
Promedio del grupo
Qatar
Israel
Estonia
Eslovenia
Liechtenstein
Hong Kong, China
Promedio del grupo
Grecia
Italia
Luxemburgo

(no miembros)
Portugal
España
Noruega

Países de ingreso alto

Estados Unidos.
Dinamarca
Irlanda
Suecia
Francia
República Checa
Austria
Alemania
Reino Unido
Suiza
Bélgica
Irlanda
Corea
Japón
Canadá
(miembros OCDE)

Países Bajos
Países de ingreso alto

Australia
Nueva Zelanda
Finlandia
Promedio del
científicas

grupo
PISA 2006, por puntaje alcanzado
Desempeño en habilidades y actitudes
Colombia alcanzó resultados inferiores (aunque
cercanos)
a los esperados dado su nivel de ingreso

Test score Math

550

FIN

CHE
AUS
BEL
EST
CZE
500

IRL
POL SVK FRA
GBR
HUN NOR
LVA
LTU
ESP
AZE RUS USA
HRV PRT
GRC ITA
450

ISR

TUR URY
THA
ROM
BGR CHL
400

MEX
IDN
JOR ARG
COL BRA
TUN
350

8 8.5 9 9.5 10 10.5

log_gdp
 Test scores Reading
550

FIN

AUS IRL
POL
500

EST BELCHE
GBR
FRA NOR
LVA HUN CZE
HRV
LTU PRT ITA
SVK
GRC ESP
450

TUR
CHL
RUS ISR

THA URY
MEX
400

JOR BGR
IDN ROM
BRA
COL
TUN
ARG
350

AZE

8 8.5 9 9.5 10 10.5

log_gdp

Test score Science

550
FIN

AUS

EST BEL IRL

CHE
GBR
500

CZE FRA
HRV USA
LVA ESP NOR
POL HUNPRT
LTUSVK ITA
GRC
RUS
ISR
450

CHL

TUR
BGRURY
MEX
JOR THA
ROM
400

COL
BRA ARG
IDN
TUN
350

AZE

8 8.5 9 9.5 10 10.5

log_gdp
 En América Latina, los sistemas educativos
presentan baja calidad con diferencias en el nivel
equidad

Dispersión promedio entre los resultados del 5% mejor

y peor posicionado vis-a-vis el puntaje promedio en
matemáticas
Dispersión promedio entre los resultados del 5% mejor
y peor posicionado vis-a-vis el puntaje promedio en
actitudes científicas
La varianza en el desempeño de los estudiantes se
encuentra predominantemente al interior de los
colegios
Varianza promedio en el desempeño de los estudiantes

0.60

0.40

0.20

0.00

0.20

0.40

0.60

0.80
Media en la OECD Argentina Brasil Chile Colombia México Uruguay

Entre los colegios Al interior de los colegios

 Distribucion estudiantil por nivel de competencia en matematicas L1 Menor a L1 L2 L3 L4 L5 L6
(paises de ingreso medio-bajo)
100%

80%

60%

40%

20%

0%

-20%

-40%

-60%

-80%
media OECD Azerbaiyan Jordania Indonesia Tailandia Tunez Colombia
 Distribucion estudiantil por nivel de competencias en matematicas L1 Menor a L1 L2 L3 L4 L5 L6
(paises de bajo ingreso - America Latina)
80%

60%

40%

20%

0%

-20%

-40%

-60%

-80%
media OECD Mexico Argentina Brazil Chile Uruguay Colombia
Distribución de la población estudiantil en función
de sus resultados
en las pruebas de matemáticas PISA 2006
0% Competencia en el
nivel 6 Los alumnos 2%
son capaces de llevar a
cabo pensamientos
0%
y razonamientos 8%
matemáticos avanzados.

2%
17
%
Competencia en el
6% Nivel 1 Los alumnos son
capaces de realizar 23
acciones obvias
deducibles a partir de los
%
18 estímulos.
23
% %
29 17
% %
Competencias por
debajo del Nivel 1
45 Los estudiantes no son 10
% capaces de resolver con %
éxito las preguntas más
básicas de la prueba. Promedio OCDE
Colombia
Distribución de la población estudiantil en función
de sus resultados
en las pruebas de matemáticas PISA 2006
Competencia en el
0% nivel 6 Los alumnos 1%
son capaces de llevar a
cabo pensamientos
0% y razonamientos 1%
matemáticos
avanzados.
2% 5%
Competencia en el
Nivel 1 Los alumnos
6% son capaces de realizar
acciones obvias 14%
deducibles a partir de
los estímulos.
18% 24%

29% Competencias por 28%

debajo del Nivel 1
Los estudiantes no son
45% capaces de resolver con
éxito las preguntas más 27%
básicas de la prueba.

Colombia
Chile
Distribución de la población estudiantil en función
de sus resultados
en las pruebas de matemáticas PISA 2006
Competencia en el
0% nivel 6 Los alumnos 0%
son capaces de llevar a
cabo pensamientos
0% y razonamientos 1%
matemáticos
avanzados.
2% 4%
Competencia en el
Nivel 1 Los alumnos
son capaces de realizar 12%
6% acciones obvias
deducibles a partir de
los estímulos.
18 26%
%

29 Competencias por 30%

% debajo del Nivel 1
Los estudiantes no son
capaces de resolver con
45 éxito las preguntas más 28%
% básicas de la prueba.

Colombia México
 Recapitulando
 ¿Cuál fue el desempeño de Colombia en la prueba PISA
2006?
 Posición baja al compararle con países de ingreso similar y de
la región.
 Resultados cercanos pero por debajo de las estimaciones
basadas en el PIB y las características socioeconómicas de su
población.
 ¿Qué tan equitativos son estos resultados?
 Los resultados, aunque bajos, parecen ser equitativos.
 Los colegios de la muestra denotan heterogeneidad al
interior y homogeneidad al exterior.
 ¿Cómo se distribuyen las competencias entre la población
estudiantil?
 Cerca de la mitad de los estudiantes no alcanzó el nivel de
competencias básico en todas las secciones de la prueba.
 Las proporciones de estudiantes que lograron los niveles de
 Resultados preliminares
de los análisis econométricos
 Factores asociados con logros
más bajos
en los aprendizajes
Vivir en una comunidad rural (LAC)
0
-5
-10
-15
-20
-25
-30
-35
-40
-45
-50
Argentina Brasil Chile Colombia Mexico Uruguay
Efecto devivir en unacomunidad rural,
por quintil deingreso (Colombia)

0
-5
-10
-15
-20
-25
-30
-35
-40
-45
20% 40% 60% 80%
 Factores asociados con logros
más bajos
en los aprendizajes
Ser una estudiante
0
-5
-10
-15
-20
-25
-30
-35
Argentina Brasil Chile Colombia Mexico Uruguay

Efecto de ser una estudiante, por quintil de ingreso

(Colombia)

-30
-31
-32
-33
-34
-35
-36
-37
20% 40% 60% 80%
 Factores asociados a
mejores logros
 El número de libros en el hogar.
 La disponibilidad y uso de
computadoras en casa.
 El número de horas dedicadas al
estudio de las matemáticas.
 Estar matriculado en un grado
superior.
 Número disponible y frecuencia de uso

de los apoyos educativos en el hogar

Apoyos educativos en el hogar (LAC)

40
35
30
25
20
15
10
5
0
Apoyos educativos en el hogar (Colombia)
Argentina

Colombia
Chile
Brazil

Mexico

Uruguay
30

25
De 10 a 100 libros De 100 a 500 libros Al menos una computadora
20

15

10

0
20% 40% 60% 80%

De 10 a 100 libros De 100 a 500 libros Al menos una computadora

 Número de horas dedicadas
al estudio de las matemáticas
Numero de horas dedicadas al estudio de las matematicas (LAC)

14
12
10
8
6
4
2
0
Argentina Brazil Chile Colombia Mexico Uruguay Horas dedicadas alas matematicas (Colombia)

12

10
8

6
4

2
0
20% 40% 60% 80%
Estar matriculado y asistir a un grado
superior
Asistir a un grado superior (LAC)

140
120
100
80
60
40
20
0
Argentina Brazil Chile Colombia Mexico Uruguay

Grado 9 Grado 10 Grado 11

Asistir aun grado superior (Colombia)

100
80
60
40
20
0
20% 40% 60% 80%

Grado 9 Grado 10 Grado 11

 Factores que proveen
evidencia mixta
 Asociados al estudiante y su
familia
 Nivel educativo de la madre.
 Edad del estudiante.
 Asociados al colegio
 Estudiar en un colegio público.
 Razón estudiante-profesor.
 Porcentaje de estudiantes en
repitencia.

 Factores que proveen
evidencia mixta
 Institucionales
 Competencia entre colegios por atraer
a los mejores estudiantes.
 Autonomía de los colegios para
despedir a profesores y para
determinar estrategias pedagógicas en
el colegio.
 Rendición de cuentas en la gestión del
colegio, a partir de los resultados de las
evaluaciones de los aprendizajes.
 Autonomía escolar
Autonomia escolar (LAC)

60
50
40
30
20
10
0
Autonomia escolar (Colombia)
-10 25
Argentina Brazil Chile Colombia Mexico Uruguay
20
La escuela determina los metodos pedagogicos 15
La escuela puede despedir a un docente 10
5
0
-5
-10
-15
-20
20% 40% 60% 80%
 Transparencia y rendición de
cuentas
Transparencia y rendicion de cuentas (LAC)
20

15

10

0
Transparencia y rendicion de cuentas (Colombia)
-5 9
Argentina Brazil Chile Colombia Mexico Uruguay 8
7
Lainformacion se utiliza para evaluar alos docentes
6
5
4
3
2
1
0
20% 40% 60% 80%
 Competencia entre colegios
por atraer a los mejores alumnos
Competencia entre escuelas (LAC)
25
20
15
10
5
0
-5 Competencia entre escuelas (Colombia)
-10
8.00
Argentina Brazil Chile Colombia Mexico Uruguay
7.00
Laescuelacompitepor los mejores estudiantes 6.00
5.00
4.00
3.00
2.00
1.00
0.00
20% 40% 60% 80%
 Recapitulando
 Factores positivos  Factores negativos
 Las horas dedicadas a  El efecto promedio de
estudiar matemáticas ruralidad varía entre 25 y
afectan de manera similar 40 puntos porcentuales,
a todos los grupos de la acentuándose en el grupo
población. del quintil 40%.
 Hay efectos ligeramente  Las mujeres registran
crecientes para cada puntajes inferiores a los
grado superior de los hombres, a saber:
(principalmente para el entre 30 y 40 puntos
10), excepto para el porcentuales menos; este
quintil 20% en el grado efecto se distribuye con
11. relativa similitud entre
 El acceso a libros en el todos los grupos de
hogar favorece desempeño.
ampliamente al grupo en
el quintil más bajo; los
mayores beneficios en el
uso de computadores se
 Factores con evidencia mixta
Efecto promedio Efecto por quintil de ingreso
Tipo Variable Coeficiente 20% 40% 60% 80%

La escuela determina métodos pedagógicos

6.46 2.59 1.26 12.82 22.02
La escuela puede despedir a un docente 4.32 13.32 8.38 -0.98 1.75
La escuela compite por los mejores
Institucional -0.22 0.00 7.51 2.05 2.09
estudiantes
La información sobre los logros en los
aprendizajes se utiliza para la rendición de 5.51 6.35 3.03 6.19 8.26
cuentas
Razón maestro-alumno 0.51 0.5 0.81 1.00 1.71
Escuela Certificación docente 34.78 41.36 52.3 37.29 29.87
Porcentaje de alumnos en repitencia 1.95 1.22 1.57 0.85 1.09
Alumno Edad 9.67 27.85 12.31 2.91 5.73
Nivel educativo de la madre (primaria) -1.15 -3.19 2.26 2.98 -0.77
Nivel educativo de la madre (secundaria) -7.35 -7.37 -4.23 -3.92 -8.89
Familia Nivel educativo de la madre (media) 10.16 -0.29 13.26 17.09 13.4

Nivel educativo de la madre (universitario) 13.54 10.9 11.64 16.28 12.1

Nota: los coeficientes en negritas demostraron ser estadisticamente significativos al 95% ; en negrita y cursiva, al 99%
 Implicaciones de política
pública
 Balancear esfuerzos de expansión
de cobertura con programas para
mejorar calidad.
 Colegios públicos.
 Zonas rurales.
 Mejorar la educación de las mujeres.
 Capacitación de profesores.
 Incentivos diferentes en programas de
demanda.
 Implicaciones de política
pública
 Promover una mayor rendición de
cuentas.
 Participación activa de los padres.
 Expectativas de desempeño.
 Continuar evaluando
permanentemente el sistema
educativo.
 Pruebas nacionales.
 Bechmarking internacional.
Qué sigue después de PISA
2006?
 Muchos países en desarrollo han
logrado mejorar el desempeño
académico de sus estudiantes.
 Esto requiere tiempo, esfuerzo y
visión de largo plazo.
 Los resultados de evaluaciones
internacionales deben utilizarse para
informar el diseño de políticas.
 El caso de Jordania
 Jordania ha participado en pruebas
internacionales durante cerca de 20 años.
 Inicialmente sus niveles de logro
académico fueron sumamente bajos.
 El gobierno ha permanecido comprometido
con el uso de los resultados de las pruebas
para reformar el sistema educativo.
 Los esfuerzos han valido la pena: en años
recientes Jordania ha incrementado
considerablemente sus puntajes.