a las acciones:
La experiencia del
Premio 2011
Programas Federales
C
Proceso de Evaluacin
Guillermo M. Cejudo
Claudia Maldonado Trujillo (editores)
ndice
7
Prlogo
11
29
67
133
S
Monitoreo y evaluacin en
E
N
A
como herramientas de cambio: el programa
de becas de posgrado del CONACYT.
Rodrigo Velzquez Lpez Velarde
211
Prlogo
Guillermo M. Cejudo y Javier Gonzlez Gmez
John Scott, Evaluacin de polticas y programas pblicos: de las evaluaciones a las polticas.
Mxico, Centro de Investigacin y Docencia Econmicas, DTE 444, 2008; Manuel F. Castro,
et al, El Sistema de Monitoreo y evaluacin de Mxico: Un salto del nivel sectorial al nacional,
Independent Evaluation Group (IEG), Serie de documentos de trabajo DCE, Nm. 20, Washington,
D.C., Banco Mundial, 2009; Claudia Maldonado Trujillo, Evaluacin de programas sociales
en Mxico. Relexiones sobre un sistema emergente, Buen Gobierno, Nm. 7, 2009.
Vase, por ejemplo: Jonathan Fox y Libby Haight (Coords.), Subsidios para la
desigualdad: Las polticas pblicas de maz en Mxico a partir del libre comercio, Mxico:
Woodrow Wilson International Center for Scholars/CIDE/US Santa Cruz, 2010.
Carol H. Weiss, Have we learned anything new about the use of evaluation?,
American Journal of Evaluation, Vol. 19, Nm.1, 1998, p.21.
Figura 1
Hallazgos
Recomendaciones
Resultados
Decisiones
Acciones
John Scott Bailey, Maximizing the Use of Evaluation Findings, Asian Development Bank, 2008, p.2.
D
Como introduccin para el anlisis de los diez casos en los captulos
siguientes, con base en la revisin que durante varios meses se realiz
de la seleccin de los hallazgos, la deinicin de acciones de mejora y su
implementacin,20 a continuacin se presenta una sntesis de cada programa
y de los resultados obtenidos tras la implementacin de las acciones de
mejora. Los logros fueron importantes, aunque con avances diferenciados.
Destaca, sin embargo, que cada uno de los programas muestra que el uso
inteligente de los hallazgos de las evaluaciones sirve efectivamente para
mejorar el diseo y la operacin de los programas; y que la implementacin
de las acciones de mejora contribuye sustantivamente a mejorar los
resultados del programa y, con ello, a la calidad de vida de los beneiciarios.
19
20
Esta revisin estuvo a cargo de un equipo con integrantes de las tres instituciones convocantes del
premio: Mariana Garca, Edna Jaime y Erndira Avendao por Mxico Evala; mltiples funcionarios
de la Unidad de Evaluacin de la Secretara de la Funcin Pblica, liderados por Javier Gonzlez y
Blanca Maynez; y Claudia Maldonado, Roberto Gerhard y Guillermo M. Cejudo por el CIDE.
Escuelas de Calidad
El Programa Escuelas de Calidad tiene como objetivo mejorar el logro
educativo en los alumnos de las escuelas pblicas de educacin bsica
beneiciadas por el programa mediante la transformacin de la gestin
educativa.
Conclusiones
Como conclusin, vale la pena insistir en lo importante del trabajo hecho
por estos programas para darle contenido sustantivo al trabajo de atender
las evaluaciones. Como ocurre en cualquier componente de nuestro sistema
de rendicin de cuentas, en materia de evaluacin se enfrenta da a da un
riesgo grave: la simulacin. En nuestro pas existen cotidianamente ejercicios
que podemos llamar coreogricos para hacer parecer que se rinde cuentas
sin hacerlo: sistemas de control de gestin que no tienen consecuencias,
auditoras que identiican problemas que nunca son corregidos o
responsables que nunca son investigados, investigaciones que nunca se
concluyen, mecanismos de transparencia utilizados para ocultar informacin
y responsables que nunca son identiicados y llamados a cuentas.
En evaluacin existe el riesgo constante de que ocurra lo mismo:
que se realicen evaluaciones que no son utilizadas para tomar decisiones
que mejoren los programas o que no se utilicen para informar el debate
presupuestal. Lo que las experiencias presentadas en este libro muestran
es que es posible ir contracorriente y hacer que las evaluaciones sean tiles.
Muestran tambin que el uso inteligente de sus hallazgos tiene efectos
demostrables en la gestin de los programas y en los resultados que se
entregan a los ciudadanos. En suma, son experiencias atpicas, pero que
sirven para encontrar las vas por las que, a pesar de un entorno institucional
y organizacional que puede ser adverso, las evaluaciones pueden cumplir su
propsito de incidir en la mejora del desempeo del gobierno.
B
Bardach, Eugene, he Implementation Game, Cambrige, MIT Press, 1979
Consejo Nacional de la Poltica de Desarrollo Social, (CONEVAL), 2011.
En lnea: htp://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/
informe_de_evaluacion_politica_desarrollo_social_2011.es.do
Corts, Fernando y Orlandina de Oliveira (Coords.), Desigualdad social
en: Los grandes problemas de Mxico, Vol. V., Mxico, El Colegio de Mxico,
2010.
Gonzlez, Alejandro (Coord.), Gobernar por resultados?, Mxico, GESOC,
2008.
Gonzlez Gmez, Javier, La evaluacin de la actividad gubernamental:
premisas bsicas y algunas anotaciones sobre la experiencia mexicana
en Jos Luis Mndez (Coord.), Los grandes problemas de Mxico, Vol. XIII,
Polticas Pblicas, Mxico, El Colegio de Mxico, 2010, pp. 143- 178.
Grindle, Merilee S., La brecha de la implementacin, en Freddy Mariez
Navarro y Vidal
Garza Cant (coords.), Poltica pblica y democracia en Amrica Latina: Del
anlisis a la implementacin, Mxico, Miguel ngel Porra, 2009, pp. 33-51.
Majone, Giandomenico, La factibilidad de las polticas sociales, En Luis
F. Aguilar (Ed.), La hechura de las polticas pblicas, Mxico, Miguel ngel
Porra, 1996, pp. 393-432.
Manuel F. Castro, et al, El Sistema de Monitoreo y evaluacin de Mxico:
Un salto del nivel sectorial al nacional, Independent Evaluation Group (IEG),
Serie de documentos de trabajo DCE, Nm. 20, Washington, D.C, Banco
Mundial, 2009.
Meltsner, Arnold J., La factibilidad poltica y el anlisis de polticas, En
Luis F. Aguilar (Ed.), La hechura de las polticas pblicas, Mxico, Miguel
ngel Porra, 1996, pp. 367-392.
Introduccin
La importancia con la que se ha colocado a la evaluacin en el quehacer
pblico es evidente. La pregunta que recurrentemente se plantea en las
organizaciones pblicas acerca de por qu evaluar parece tener una respuesta
consensuada; nadie se opondra hoy a considerar la etapa de evaluacin
como un aspecto integral del ciclo de las polticas pblicas. Sin embargo, a
pesar del acuerdo en torno a la importancia de la evaluacin y la tendencia
creciente hacia evaluar a los gobiernos por sus resultados y monitorear
su desempeo,1 el impulso de la evaluacin no se ha correspondido
estrictamente con su utilizacin y con su conversin efectiva en una
Sonia Ospina, Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano, En: V
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Santo
Domingo, Repblica Dominicana, 24-27 Octubre de 2000, pp.13.
Para algunos autores como Hintze, la herramienta de gestin es la capacidad de una evaluacin
para incidir sobre las decisiones poltico-tcnicas de transformacin de un programa. Susana Hintze,
Relexiones sobre el conlicto y la participacin en la evaluacin de polticas sociales, En: VI Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administracin Pblica, Buenos Aires, Argentina,
Noviembre de 2001.
Carol Weiss, Have we learned anything new about the use of evaluation?, American Journal of
Evaluation, Vol. 19, Nm. 1, 1998, pp.24.
Ricardo Toledo Silva, Fortalecimiento de la funcin evaluacin en los pases de Amrica del Sur. Informe
Tcnico: Eiciencia y eicacia de la accin gubernamental: un anlisis comparativo de sistemas de evaluacin,
Cooperacin Tcnica BID-IPEA, 2005;Ospina, Op. Cit.
L
P
En un sentido amplio, la evaluacin debera servir para cuestionar a los
gobernantes sobre sus acciones y sobre el rumbo que orienta el Estado.
Algunos autores explican que esta herramienta es til para demostrar la
efectividad de la intervencin pblica; para lograr consenso sobre los
objetivos de los programas y sobre el rediseo de los mismos; as como
informar a la sociedad del cauce que llevan las polticas pblicas.5
En parte, los ejercicios de evaluacin surgieron por la necesidad de
que el Estado se responsabilizara de sus acciones y orientara su desempeo
de forma eicaz y eiciente hacia los resultados, ms que a los procesos de
gestin. Se transit as, de una responsabilidad basada principalmente
en la observancia de procedimientos normativos y tcnicos, a otra basada
en la obtencin de resultados e impactos relevantes y apreciados por la
comunidad poltica.6
Gradualmente, los objetivos de la evaluacin se han diversiicado, las
evaluaciones de desempeo hoy en da tambin tienen implicaciones para la
rendicin de cuentas. En este contexto, la evaluacin no sirve nicamente
para lograr el propsito de mejorar la eiciencia en la gestin pblica, sino que
--en un sentido ms amplio-- persigue contrapesos polticos.7
Por otra parte, los procesos evaluativos involucran tambin
consideraciones distributivas con respecto a la equidad; a los modelos
econmicos; a la asignacin presupuestal; a la justicia; y a la libertad de los
individuos. La evaluacin tambin signiica construir consensos alrededor
de valores sociales y poner en evidencia las bondades y defectos del sistema
existente.8
5
Alejandro Gonzlez, (Coord.), Gobernar por resultados? Implicaciones de la poltica de evaluacin del
desempeo del gobierno mexicano, Mxico, GESOC, Gestin Social y Cooperacin A.C., 2008, pp.12.
Sonia Ospina et al, Performance evaluation, public management improvement and democratic
accountability, Public Management Review, Vol. 6, Nm. 2, 2004, pp. 229-251.
Leonardo Solarte Pazos, La evaluacin de programas sociales en el Estado Liberal, En: VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal,
2002, p.7.
C
Dentro de la literatura especializada encontramos diferentes clasiicaciones
sobre el uso de la evaluacin de los programas gubernamentales. Algunas
deiniciones son el uso conceptual9 y el uso instrumental10. En primer lugar, al
darle un uso conceptual a la evaluacin, a pesar de contar con informacin
relevante que contribuye al aprendizaje social, no se logra un vnculo entre
esta informacin y la toma de decisiones.11 En contraste, el uso instrumental
de la evaluacin es la condicin a la cual debera encaminarse todo sistema
de evaluacin, en concreto signiica que los resultados sirvan realmente
como herramienta para reformular o redisear proyectos, programas y
polticas.
Para entender mejor estos conceptos en el mbito de las
organizaciones pblicas, podemos relacionarlos con dos fases: (1) la
adopcin y (2) la implementacin, respectivamente.12 La primera se reiere
al desarrollo de mecanismos de medicin de resultados, productos y de
eiciencia; mientras que la segunda se reiere al estricto uso de estas medidas
o de estos resultados- sea para la planeacin estratgica; el rediseo del
programa; la asignacin de recursos; o el monitoreo a la administracin
interna.
10
11 Algunos autores atribuyen a la evaluacin un uso perverso y una herramienta de la que se sirven los gobiernos para controlar
a sus ciudadanos. Aunque este uso estratgico no necesariamente es negativo, las evaluaciones como armas polticas pueden ser
relevantes para los partidos polticos y el gobierno, en la medida en que sus resultados sean conocidos por la opinin pblica,
contribuyendo a generar confianza. Para conocer ms sobre otros usos de la evaluacin vase: Solarte Pazos, Op. Cit.; Ian
Sanderson, Evaluation, Policy Learning and evidence-based policy making, Public Administration, Vol. 80, Nm. 1, 2002, pp. 1-22.
12 Patria de Lancer Julnes, y Marc Holzer, Promoting the Utilization of Performance Measures in Public
Organizations: An Empirical Study of Factors Afecting Adoption and Implementation, Public Administration
Review, Vol. 61, Nm. 6, 2001, pp. 693-708.
Tabla 1: Fases
FASES
CARACTERSTICAS
Utilizacin de los
instrumentos derivados
en la fase de adopcin
(Conocimiento
convertido en accin)
INSTRUMENTOS
TIPO DE USO
Desarrollo de
mediciones de
resultados, productos
y eiciencia
Conceptual
Planeacin estratgica,
rediseo del programa,
asignacin de recursos,
gestin del programa
y monitoreo a la
administracin interna
Instrumental
Fuente: Elaboracin propia con base en: Julnes De Lancer y Marc Holzer13
Ibdem.
14
Vase tambin el trabajo de Nerio Neiroti, La funcin de evaluacin de programas sociales en Chile, Brasil
y Argentina, VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin
Pblica, Buenos Aires, Argentina, 5-9 de Noviembre 2001.
15 Osvaldo Feinstein, Institucionalizacin de la evaluacin en Iberoamrica: desafos y oportunidades, En: XIII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Buenos
Aires, Argentina, 4-7 Noviembre 2008.
Ibdem, p. 30.
18
19
Anthony Downs, Inside Bureaucracy, Boston, Little, Brown and Co., 1967 p.87.
25
26
Diario Oicial de la Federacin (DOF), Ley General de Desarrollo Social (LGDS), Captulo III, Art. 18.
Publicada el 20 de enero de 2004.
27
28
Evaluacin de programas
(CONEVAL-SHCP)
EVALUACIONES
Evaluacin de programas
(Coneval-SHCP)
Sistemas de monitoreo y
evaluacin por dependencias
Compromisos de mejor de la
gestin por dependencia
Figura 2: Marco
Ley General de
Desarrollo Social
(LDGS)
CONEVAL
Evaluacin de la
Poltica de Desarrollo
Social
SHCP
SFP
Evaluacin de programas
presupuestarios por
medio de indicadores
estragicos y de gestin
Presupuesto de
Egresos Federacin
2007
Ley de Presupuesto y
Responsabilidad
Hacendaria (LFPRH)
Matriz de Indicadores
Tipos de evaluacin
Seguimiento a
recomendaciones
Planeacin de las
evaluaciones (PAE)
Lineamientos
Generales de
Evaluacin
Tipos de evaluacin
Descripcin
Evaluacin de
Consistencia y
Resultados (ECR)
Evaluacin
de Diseo
Evaluacin
de impacto
Evaluacin de
procesos
Evaluacin
especica del
desempeo (EED)
Evaluacin de
indicadores
Evaluaciones
complementarias
Evaluacin estratgica
Fuente: Elaboracin propia con base en CONEVAL, sitio web oicial disponible
30 Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin Pblica Federal,
Diario Oicial de la Federacin, Art. I, 2007.
31
34
este es otro principio general del sistema de evaluacin. Por otro lado, las
consideraciones sobre el uso de la evaluacin, contenidas en los PAE, al
igual que en los Lineamientos son limitadas. Ms bien las reglas se orientan
a detallar cmo hacer la evaluacin y no a cmo utilizar sus resultados.
Adems de la obligatoriedad y la sistematizacin de las evaluaciones,
la estandarizacin es otro eje del diseo institucional. Para ello, se adapt
como instrumento transversal para la evaluacin de los programas federales
la MIR con base en la metodologa de marco lgico (MML).35 Esta matriz
debe elaborarse para cada programa sujeto a ROP y debe actualizarse e
incluirse dentro de dichas reglas; el objetivo es alinear el in, propsito,
componentes y actividades de cada programa al instrumento federal de
planeacin, es decir, al Plan Nacional de Desarrollo Social.36 En efecto, las
Evaluaciones de Consistencia y Resultados (ECR) partieron de las MML
elaboradas por cada entidad y dependencia.
Algunos servidores pblicos consideran que adoptar esta herramienta
implic acoplar a los programas en una estructura de planeacin para la
cual no fueron originalmente diseados. Por ejemplo, en el caso de los
programas de la Comisin Nacional para el Desarrollo de los Pueblos
Indgenas (CDI), a excepcin del PIBAI (Programa de Infraestructura Social
Bsica para el Desarrollo de los Pueblos Indgenas) y el POPMI (Programa de
Opciones Productivas para Mujeres Indgenas), el resto de los programas se
disearon hace ya varias dcadas, lo que represent un trabajo de alineacin
forzada.37 A pesar de las diferentes opiniones al respecto, es indudable que
se ha avanzado en la estandarizacin. Hoy en da, las evaluaciones anuales
(EED) parten de la revisin de la MML y la MIR, de manera homognea
para todos los programas federales evaluados.38
Adicionalmente, otro principio general del sistema de evaluacin es
la difusin de los resultados. Contrario a lo que suceda en aos anteriores
a la creacin del CONEVAL, a la fecha es posible identiicar un espacio
destinado a la publicacin de las evaluaciones externas. As los Lineamientos
35 Esta metodologa se ha difundido por organismos internacionales como la Agencia de los Estados
Unidos para el Desarrollo Internacional (USAID) en la dcada de 1970 y, posteriormente, la Comisin
Econmica para Amrica Latina y el Caribe (CEPAL) la incorpor a travs del Instituto Latinoamericano
de Planeacin (ILPES). Regularmente el inanciamiento otorgado por estos organismos requiere de la
presentacin de los proyectos a travs de esta matriz. Los gobiernos de Chile y Per lo utilizan como
mecanismos de planeacin y evaluacin de programas y proyectos pblicos.
36 Este rasgo empata con la alineacin programtica de sistemas nacionales de evaluacin como el
SINERGIA colombiano. Sonia Ospina, et al., y Ricardo Toledo explican que el rasgo principal del sistema
colombiano es la alineacin de la evaluacin a la planiicacin de los programas del gobierno central con
claros propsitos polticos (political accountability). En este caso, la evaluacin est diseada para proveer
a los tomadores de decisiones y altos funcionarios con informacin sobre el desempeo organizacional y
sectorial, con la expectativa de que esta informacin se considere en los procesos de toma de decisiones y
planiicacin. Vase: Ospina, et al. y Toledo, Op. Cit.
37
38
Otro ejemplo que sirve para ilustrar la estandarizacin es la elaboracin de las ECR bajo los mismos
trminos de referencia, lo mismo ocurre con las Evaluaciones de Diseo y las Especicas de Desempeo.
Figura 3:
Lineamientos para
la evaluacin y
publicacin del
PAE
Elaboracin
(Actualizacin)
de MIR por
dependencia
Evaluacin
externa anual
obligatoria +
otras
evaluaciones
Difusin de
resultados de la
evaluacin en
los sitios web
institucionales
Mecanismo de
seguimiento
43
Decreto de creacin del Consejo Nacional de Evaluacin de la Poltica Social, Diario Oicial de la
Federacin, Art. VII, 2005.
44 La Comisin Nacional de Desarrollo Social est integrada por los 32 titulares de las dependencias
responsables del desarrollo social de los gobiernos de las entidades federativas; por los presidentes de las
comisiones de Desarrollo Social de las Cmaras de Diputados y de Senadores; por un representante de
cada una de las asociaciones nacionales de autoridades municipales, y por los titulares de las secretaras de
Desarrollo Social; Educacin Pblica; Salud; Trabajo y Previsin Social; Agricultura, Ganadera, Desarrollo
Rural, Pesca y Alimentacin, y Medio Ambiente y Recursos Naturales.
45 Adems del Comit Directivo, el CONEVAL est a cargo de un secretario ejecutivo. Desde 2005
este cargo lo asume Gonzalo Hernndez Licona. Las funciones en este cargo son coordinar, ejecutar y
supervisar los servicios tcnicos y la administracin de recursos con los que cuenta el CONEVAL.
1. UE y UR, otras U
Anlisis y seleccin de
los aspectos
susceptibles de mejora
2. UE y UR, otras U
Clasiicacin y
priorizacin de los
aspectos susceptibles
de mejora
Rubros de Clasificacin:
Especicos
Institucionales
Interinstitucionales
Intergubernamentales
3. UE y UR, otras U
Formulacin de
instrumentos
susceptibles de mejora
4. Dependencias y
entidades
Difucin de los
instrumentos
Plan de trabajo
Plan institucional
Posicin institucional
Niveles de prioridad:
Alta
Media
Baja
53
Vase el apartado sobre el Mecanismo en el sitio oicial de CONEVAL. Disponible en: http://www.
coneval.gob.mx/coneval2/htmls/evaluacion_monitoreo/HomeEvalMonitoreo.jsp?categorias=EVAL_
MON,EVAL_MON-mecanismos Consultado el 23 de marzo de 2010.
C
Evaluaciones de Consistencia y Resultados?
En el proceso del Mecanismo 2008, a excepcin de la Secretara de Economa,
la Secretara de Medio Ambiente y Recursos Naturales (SEMARNAT) y el
Instituto Mexicano del Seguro Social (IMSS), la mayora de las entidades
cumplieron con los requisitos en cuanto a la difusin de sus resultados.54 Por
su parte, segn informacin oicial del CONEVAL, procedente de los hallazgos
de las ECR, en materia de planeacin estratgica se registra que poco ms de
la mitad (58%) de los programas utilizan los resultados de las evaluaciones
para mejorar su desempeo. Adems, las unidades responsables reconocen
la importancia de utilizar los resultados de la evaluacin, puesto que uno de
cada tres programas evaluados (32%), han clasiicado esta condicin como
Aspecto Susceptible de Mejora (ASM) (tabla 3).55
Tabla 3: Hallazgos
Tema
Subtemas
Si
No
ASM
Orientacin
a Resultados
58%
42%
32%
51%
49%
13%
49%
51%
13%
21%
79%
4%
Fuente: De la Garza,
Op. Cit.
54 Ms explcitamente estas dependencias cumplieron con la publicacin de sus planes de trabajo, planes
institucionales y/o posiciones institucionales, en el sitio web oicial del CONEVAL.
55
DEPENDENCIA
O ENTIDAD
Programas
Sujetos
a ECR
Cumplimiento
ASM
Incumplimiento ASM
SALUD-DIF
0.00
100.00
SEMARNAT
14
35.71
64.29
CONACYT
50.00
50.00
SALUD
87.50
12.50
SAGARPA
11
11
100.00
0.00
SHCPAGROASEMEX
100.00
0.00
SEDESOL
16
16
100.00
0.00
SEP
26
26
100.00
0.00
IMSS
100.00
0.00
SE
100.00
0.00
SHCP-CDI
100.00
0.00
SRA
100.00
0.00
STPS
100.00
0.00
TOTAL
106
93
87.74
13
12.26
350
300
303
229
250
200
149
36
35
14
14
11
7
SAGARPA
64
IMSS
68
50
STPS
100
CONCAYT
150
SRA
SEMARNAT
SE
SALUD
SCHP
SEDESOL
SEP
29%
BAJA
66%
Estos datos pueden tener distintas lecturas, por una parte puede
signiicar que las UR perciben un diseo inadecuado de sus programas, por
lo que las recomendaciones derivadas de la evaluacin son prioritarias. Por
otra parte, puede representar que las UR reconocen las recomendaciones
como una actividad sustantiva dentro de la operacin del programa o
tambin que las recomendaciones estn orientadas a modiicar actividades
que son relevantes para el funcionamiento del programa, sin especiicar si
habr cambios o no. Por ello, no se puede establecer a-priori una conclusin
sobre estas cifras.
Al ver los resultados por tipo de actor, llama la atencin que 70%
de los ASM se consideraron especicos, es decir que las UR perciben que la
solucin se circunscribe a su propio mbito de accin y depende nicamente
de ellas. Los ASM institucionales representaron 22%, esto es que su
atencin est sujeta a diferentes unidades administrativas o reas dentro
de una misma entidad o dependencia que opera el programa; slo 5% se
clasiicaron como ASM intergubernamentales, lo que signiica que deben
involucrarse otros rdenes de gobierno, y, inalmente, 3% se perciben como
interinstitucionales, esto es que otras dependencias o entidades de la APF
deben estar involucradas para darles solucin.
G
INTERINSTITUCIONALES
INTERGUBERNAMENTALES
INSTITUCIONALES
ESPECFICOS
Interinstitucionales
Intergubernamentales
0%
25%
50%
ALTA
MEDIA
75%
100%
BAJA
56 Algunos aspectos que incluye el informe son: promover mecanismos para la identiicacin de la
poblacin potencial y de la poblacin objetivo de los programas federales; promover sinergias entre
instituciones y dependencias para potenciar los beneicios otorgados por los programas federales; contar
con evaluaciones externas rigurosas y sistemticas para las polticas y programas de desarrollo social de
estados y municipios; y mejorar la cobertura del conjunto de las acciones de la poltica social para acercarse
al cumplimiento de los derechos sociales de la poblacin. Para conocer ms sobre este tipo de aspectos
remtase al Informe, disponible en: http://www.coneval.gob.mx/contenido/eval_mon/2733.pdf
60 Esto se extrae de las opiniones de funcionarios y ex funcionarios de algunas dependencias como CDI,
CONEVAL, SEP, SHCP y SEMARNAT. Comunicacin personal establecida el 17, 18, 21, 26 y 28 de mayo de
2010, respectivamente.
61
62
63
C
La evaluacin importa porque permite: (1) valorar la efectividad y eiciencia
de las polticas y, con ese diagnstico, motivar la mejora continua de los
programas; (2) fortalecer los procesos de rendicin de cuentas a travs del
monitoreo sobre el desempeo del gobierno; y (3) medir el impacto de la
asignacin presupuestaria de los programas pblicos. La conformacin
del sistema de evaluacin y el inicio de las evaluaciones a los programas
federales en Mxico coinciden con la tendencia internacional hacia valorar
estos beneicios de la evaluacin.
De esta manera, se ha consolidado un sistema en el que existen
instrumentos y ejercicios sistematizados de evaluacin. Ello representa un
gran avance, pues anteriormente las evaluaciones, en especial las evaluaciones
B
Burdescu et al, Institucionalizar los sistemas de seguimiento y evaluacin:
cinco experiencias de Amrica Latina, Breve Boletn del Banco Mundial,
Nm. 78, septiembre 2005.
Caiden G. y Caiden N., Enfoques y lineamientos para el seguimiento, la
evaluacin y el desempeo en programas del sector pblico, Revista del
CLAD Reforma y Democracia, Nm. 12, Caracas, Oct. 1998.
Referencias electrnicas
AGROASEMEX (2010) Evaluacin de programas. Disponible en: http://
www.coneval.gob.mx/evaluaciones/evaluaciones.jsp?categorias=LINKS_
EVALUACIONES-shcp,LINKS_EVALUACIONES Consultado el 25 de mayo
de 2010.
h t t p : / / w w w. s e m a r n a t . g o b. m x / q u e e s s e m a r n a t / e va l u a c i o n e s /
evaluacion2007/Paginas/ampliaciondistritosriego.aspx Consultado el 20
de mayo de 2010
SEP (2010) Reglas de operacin del programa Programa de Educacin
comunitaria y Fomento Educativo (CONAFE). Disponible en: http://
conafe.gob.mx/saro/index.html?fomento_educativo.htm Consultado el 27
de abril de 2010.
SHCP (2008) Catlogo de categoras programticas de la Administracin
Pblica Federal publicado por la SHCP. Disponible en: http://www.
apartados.hacienda.gob.mx/presupuesto/temas/lineamientos/2008/
documentos/psro_2008.pdf Consultado el 27 de abril de 2010.
SFP (2008) Reglas de Operacin de programas sociales federales, ejercicio
iscal 2008. Disponible en: http://www.funcionpublica.gob.mx/scagp/
dgorcs/reglas/2008/20%20SEDESOL%2008/desarrollo.htm
Consulta
realizada el 23 de abril de 2010.
En sentido estricto, SICALIDAD es una estrategia que contempla muchos programas o proyectos. Sin
embargo, en este texto se utilizan ambos trminos (programa y estrategia) de manera intercambiable.
En mi opinin, esto imprimira excesiva rigidez y costos de regulacin con una alta probabilidad de
resultar contraproducentes.
Aunque es difcil contar con una estimacin precisa, la cobertura de la seguridad social en Mxico, de
acuerdo con diversas fuentes, no ha rebasado 50% de la poblacin.
5.1% del PIB en salud, muy por debajo del promedio latinoamericano de
7%, y el nivel de gasto de pases comparables como Argentina, Colombia o
Uruguay.4 Durante el Siglo XX no slo no se consigui construir un modelo
universal de proteccin a la salud como derecho de ciudadana; tambin
se contribuy, paradjicamente, a la acentuacin de la desigualdad en esa
materia. El estado de salud, como atributo individual y como bien colectivo,
es uno de los recursos ms poderosos con los que cuenta un pas, ya que
es una precondicin bsica para que la inversin social en otros rubros
como la educacinpueda rendir frutos econmicos y sociales. De manera
creciente, adems del imperativo moral de la proteccin social a la salud,
se reconoce que el capital humano es el activo ms importante para el
desarrollo de largo plazo de los pases. Constituye, por tanto, una prioridad
mxima de poltica pblica.
A diferencia de otros derechos sociales, el derecho a la salud
se explicita de manera tarda en la Constitucin (1983), y comienza a
articularse operativamente hasta la reforma de la Ley General de Salud, con
la creacin del Sistema Nacional de Proteccin Social en Salud en 2003. A
pesar de que, formalmente, la poblacin abierta (exenta de seguridad social)
ha contado con acceso a los servicios pblicos de salud desde la dcada de
1940, con la creacin de la Secretara de Salubridad y Asistencia (SSA), los
problemas de baja cobertura, desigualdad en el acceso, fragmentacin en la
provisin y problemas serios de calidad y heterogeneidad en los servicios
ofrecen un panorama desfavorable para el pleno ejercicio del derecho a la
salud en Mxico. En 2005, un estudio realizado por la Organizacin para
la Cooperacin y el Desarrollo Econmicos (OCDE)5 demostr que, a pesar
de las reformas descentralizadoras de los aos 1980 y 19906 e importantes
esfuerzos presupuestarios y operativos, prevalecen enormes disparidades
regionales de cobertura, gasto pblico y condiciones de salud en Mxico.
Adems de la herencia de subinversin pblica en salud y los crecientes
problemas inancieros del sistema de seguridad social, la estructura misma
del sistema imposibilit alcanzar la cobertura universal y el cumplimiento
de estndares de calidad que aseguraran la seguridad y la satisfaccin del
paciente, as como la prestacin de servicios en condiciones ptimas para
el personal mdico y administrativo responsables. Entre otros factores,
el estudio identiic serios problemas de coordinacin, fragmentacin,
inequidad en la inversin, baja capacidad tcnica y administrativa en el
personal mdico y de gestin, as como la ausencia de insumos e incentivos
para la mejora del desempeo individual y organizacional. En consecuencia,
existen rezagos importantes en los indicadores bsicos de salud.
4
Julio Frenk, La salud como derecho ciudadano, Nexos, Nm. 410, Febrero 2012, p. 45.
Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE), Estudios de la OCDE sobre los
sistemas de salud-Mxico, Mxico, OCDE-Secretara de Salud, 2005.
Se calcula que 51% del gasto en salud es gasto de bolsillo. F. Knaul et al., Evidence is good for your
health system: policy reform to remedy catastrophic and empoverishing health spending in Mexico, he
Lancet, Vol.368, Nm. 9550, Noviembre de 2006, pp. 1828-41, citado por Julio Frenk, Op. Cit., p. 46.
dem.
En los trminos de la Ley General de Salud, el Sistema Nacional de Salud est compuesto por todas las
instituciones pblicas de la administracin pblica federal y local, as como los organismos de los sectores
social y privado.
10 Las Auditoras Mdicas del Instituto Mexicano del Seguro Social (IMSS) durante la dcada de 1950
fueron la primera experiencia de Mxico en la materia.
Cuadro 1:
Fuente: Elaboracin propia con base al Programa de Accin Especico 2007-2012 SICALIDAD, 2007.
Cuadro 2:
Variabilidad en la prctica
Deiciente Capacitacin
Acadmica en calidad
Escasa Alienacin de
Incentivos y Calidad
SISTEMA
INTEGRAL
DE CALIDAD
EN SALUD
Atomizacin de
los proyectos de la Cruzada
Organizaciones de salud sin
Estrategias de voz
14
Cuadro 3:
Proyectos SICALIDAD
1. CALIDAD PERCIBIDA
1.1 Construir ciudadana en salud: Aval
Ciudadano
1.2 Percepcin de los profesionales: Caminando
con los trabajadores de la salud
2. CALIDAD TCNICA
2.1 Seguridad del paciente
2.2 Prevencin y Reduccin de la Infeccin
Nosocomial (PREREIN)
2.3 Expediente Clnico Integrado y de Calidad (ECIC)
2.4 Calidad en la Atencin Materna
2.5 Cuidados Paliativos (PALIAR)
2.6 Uso Racional de Medicamentos (URM)
2.7 Servicios de Urgencias que Mejoran la
Atencin y Resolucin (SUMAR)
2.8 Medicina Basada en Evidencia: difusin de
Guas de Prctica Clnica (MGE-GPC)
2.9 Plan de Ciudados de Enfermera (PLACE)
2.10 Calidad de Atencin Odontolgica (CAO)
2.11 Programa de Atencin Domiciliaria (PAD)
CALIDAD
3. CALIDAD EN LA GESTIN DE LOS SERVICIOS
DE SALUD. INSTITUCIONALIZACIN DE LA
CALIDAD
3.1 Acreditacin y Garanta de Calidad
3.2 INDICAS. Sistema Nacional de Indicadores de
Calidad en Salud
3.3 Comit Nacional por la Calidad en Salud
(CONACAS)
3.4 Comits Estatales de Calidad en Salud (CECAS)
3.5 Gestores de Calidad en Atencin Primaria y
Hospitales
3.6 Creacin y fortalecimiento de los Comits de
Calidad y Seguridad del Paciente (COCASEP) en
Hospitales y Atencin Primaria
3.7 Componentes de calidad en Convenios de
Gestin de SPSS
3.8 Modelo de Gestin por la Calidad Total
3.9 Currcula de Calidad en la formacin de los
profesionales
3.10Vinculacin a SICALIDAD del programa de
estmulos a la calidad del desempeo del
personal de salud
Tabla 1: Poblacin
Tabla
objetivo de SICALIDAD
INSTITUCIN
No. de Unidades
4137
1387
568
Petrleos Mexicanos
60
245
Secretara de Marina
35
14264
42
892
SICALIDAD
17
18
20
21
22
Ibdem, p. 19.
SICALIDAD
con el proceso de evaluacin
En los trminos de la convocatoria del Premio, SICALIDAD present una
estrategia de acciones de mejora anclada en una lectura y una valoracin
propia de los hallazgos derivados de las evaluaciones realizadas a
SICALIDAD, la identiicacin de prioridades y la seleccin estratgica que
permitiera maximizar su incidencia en el corto y mediano plazo.
Tabla 3: Cadena
HALLAZGOS
ACCIONES
RESULTADO
ESPERADO
METAS
Avance
Agosto
No existen
elementos
para valorar
aspectos
culturales que
inciden en la
calidad ms all
de la capacidad
tcnica.
1.- Incrementar en
20% la instalacin
de los Comits
de Calidad
y Seguridad
del Paciente
(COCASEP) en
hospitales y
jurisdicciones
como foros de
anlisis y toma
de decisiones
para mejorar la
calidad de los
servicios de salud.
Documentar el
nivel de avance
de la cultura de
calidad en los
profesionales de
la salud a travs
del programa.
20% (Dic.
2011)
60%
2.-Incrementar
20% la igura del
gestor de calidad
en hospitales y
jurisdicciones
como brazo
coordinador de
las acciones para
mejorar la calidad
y seguridad de
los pacientes.
20% (Dic.
2011)
60%
3.- Medicin
de la cultura
de seguridad
del paciente en
al menos 30
hospitales del pas.
30 hospitales
(Dic. 2011)
80%
4.- Realizar
encuesta de
calidad en los
profesionales
de salud para
evaluar el nivel
de conocimiento,
la aplicacin y
el impacto del
programa en
las unidades
mdicas y en el
personal, derivado
de la difusin
y capacitacin
desde 2007.
100% (Dic.
2012)
60%
HALLAZGOS
ACCIONES
RESULTADO
ESPERADO
METAS
Avance
Agosto
Falta presencia,
supervisin y
seguimiento de
las DGES y de
los REC para
mantener la
eiciencia en
los procesos.
5.-Realizar planes
de re-acreditacin
y de supervisin
para garantizar
la calidad de los
servicios en las
unidades mdicas
acreditadas
a la fecha.
Garantizar los
estndares de
calidad que
permitieron la
acreditacin e
incrementar
el nmero
de unidades
acreditadas.
Planes y
dictmenes
de re-acreditacin y de
superivsin
de unidades
mdicas en
todas las
entidades
federativas.
(Nov. 2012)
30% (al
menos 10
entidades
federativas)
Trmites lentos
y engorrosos
para el lujo
de recursos a
las unidades
mdicas
inanciadas.
6.- Publicacin
de convocatorias
y transferencias
de recursos
inancieros en el
primer semestre
del ao.
Dictmenes de
inanciamiento
en el primer
cuatrimestre
del ao y
transferencia
de recursos
en el primer
semestre.
Dictamen
del Comit
Tcnico en
apoyos inancieros y comprobantes de
transferencias
de recursos
(Ene.2012)
60%
Privilegiar la
acreditacin
Establecer
prioridades.
Realizar
evaluacin
de impacto
7.-Establecer como
prioridades en
la convoctarias
de Acuerdos
de Gestin y
Capacitacin 2011
las prioridades de
los proyectos.
Fomentar
aplicacin de
proyectos de
SICALIDAD en
las unidades
mdicas
Criterios de
prio-rizacin
en las convocatorias e
Informe de
Resultados de
la Eva-luacin
de Impacto.
(Ene.2012)
40%
Criterios de
priorizacin
y resultados
de impacto
de al menos
10 entidades
federativas.
8.-Desarrollar
y aplicar
instrumentos
para Evaluacin
de Impacto de
la Acreditacin
en las unidades
mdicas de
las entidades
federativas
Medir el
impacto de la
acreditacin
en los servicios
de salud en
las entidades
federativas,
evaluando
tambin las
prioridades de
los proyectos
SICALIDAD
100% (Ene.
2012)
40%
Informes de
resultados
de impacto
en al menos
10 entidades
federativas.
9.- Desarrollar y
aplicar Evaluacin
de la voz de los
ciudadanos en
donde exista igura
de aval ciudadano.
Medir el
impacto de la
igura de aval
ciudadano en
las unidades
mdicas
100% (Dic.
2011)
60% Resultados de
encuesta y
recomendaciones.
10.- Diseo y
aplicacin de una
nueva Encuesta
de Satisfaccin
y Conianza
(ENCONSA)
Medir la
conianza de los
ciudadanos en
la prestacin
de los servicios
de salud
100% (Dic.
2011)
60%
(Piloto y
recomendaciones)
Acciones de Mejora
Accin de Mejora
Meta comprometida
Agosto
Alcanzada
Incremento de 20% en
su operacin a nivel
nacional en el sector.
Incremento de 12% en
el nmero de hospitales
y jurisdicciones con
Gestor de Calidad.
9.7%
Implementacin del
Instrumento de Medicin
en al menos 30 hospitales
del pas de mediana y
alta complejidad (80%)
40%
Sistematizacin de
resultados (60%)
80%
30%
23%
60%
71.1%
Accin de Mejora
Meta comprometida
Agosto
Alcanzada
100%
100%
Al menos 4 entidades
federativas (40%)
60%
80%
60%
100%
Fuente: Elaboracin propia con base en el Resumen Narrativo presentado por SICALIDAD en la segunda
etapa del Premio. Las metas de 100% se reieren a acciones de mejora discretas (no procesales).
24 Por ejemplo, algunas de las medidas de contingencia que se proponen no resuelven el problema de
fondo. Como respuesta a la baja participacin en la Encuesta de Voz para los Avales y la posibilidad de
que la muestra no sea representativa a nivel nacional, se plantea ampliar el universo de participantes a
diversos actores sociales. Aunque esto permite incorporar otras percepciones que son importantes para la
formacin de ciudadana en salud, no resuelven el problema de atribucin ni de poca representatividad de
la muestra per se.
Tabla 5: Mapa
de riesgos
ACCIN
RESTRICCIONES
RIESGOS
MEDIDAS DE CONTINGENCIA
COCASEP
Resistencia de los
directivos para
instalar el Comit
y sesionar de
manera continua.
Simulacin.
Seguimiento trimestral,
e incentivos para realizar
la Memoria Anual.
Gestor de
Calidad
Rotacin de
personal elevada.
Falta de
posicionamiento
del gestor en la
unidad mdica.
Establecer un peril
mnimo para el gestor.
Cultura de
Seguridad en
el Paciente
Baja participacin
en la encuesta.
Retraso en
distribucin y
levantamiento
del instrumento.
Desarrollar el
instrumento va internet
para llegar a todas las
unidades hospitalarias.
Encuesta de
profesionales
Baja participacin,
y limitantes en
la interconexin
a internet.
Prdida de conianza
del personal en la
participacin en
encuestas, derivado
de que no se realicen
las recomendaciones
de las encuestas
anteriores.
Difundir resultados de
encuesta a nivel estatal
y solicitar planes de
accin especicos y
difundir avances.
Planes de
acreditacin,
reacreditacin
y supervisi
Deiciencia de
infraestructura
y de personal en
algunas unidades
mdicas
Falta de
presupuesto en la
unidades. Falta de
presupuesto de la
DGES para salidas
de acreditacin,
re-acreditacin
y supervisin.
Preparar un plan
de acreditacin por
entidad federativa,
de comn acuerdo
con el responsable
estatal de calidad.
Solicitar ampliacin
presupuestaria
para viticos.
Acuerdos de
Gestin y
Capacitacin
en Calidad
Falta de
documentacin de
cuentas bancarias
por parte de
las entidades
federativas
para realizar las
transferencias
o entrega tarda
de documentos.
Modiicaciones
por parte de SHCP
al presupuesto
asignado, por
cambios en
la poltica de
hacienda.
Fomentar en su
momento otros medios
de inanciamiento en las
entidades federativas.
Priorizacin
en
Convocatorias
Ninguna
Ninguna
Ninguna
Medicin del
impacto de la
acreditacin
Que los
responsables de
calidad estatales
no acepten la
evaluacin de
impacto.
Considerar alternativas
de evaluacin.
ACCIN
RESTRICCIONES
RIESGOS
MEDIDAS DE CONTINGENCIA
Evaluacin
de la voz
de Avales
Ciudadanos
Baja participacin
ciudadana.
Que la muestra
de avales
ciudadanos no
sea representativa
a nivel nacional;
que no exista
comunicacin
efectiva con
los avales.
Dirigir la encuesta a
todas las entidades
federativas y considerar
a todos los grupos
representativos de los
avales (ciudadanos
a ttulo individual,
asociaciones,
escuelas, etc.)
ENCONSA
Fala de personal
en las unidades
mdicas para
aplicar la
ENCONSA
Incentivos la
participacin en la
prueba piloto, a travs
de gestores, emitiendo
una constancia de
participacin.
consistente, que el grado de motivacin, compromiso y sentido de misin del equipo es muy sobresaliente.
unidades, y releja cierto grado de aceptacin por parte de los grupos directivos.
Esto representa en s mismo, que se han vencido resistencias internas de las
organizaciones, se han resuelto problemas de accin colectiva y que el mensaje
va permeando en espacios estratgicos de las unidades. Sin embargo, nada nos
dice sobre la operacin e inluencia de los comits en la variable de inters: la
calidad de los servicios de salud y la formacin de ciudadana en salud.
Tabla 6: Nmero
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0
8726
7273
ATENCIN
PRIMARIA
HOSPITALES
250
2007
218 378
225 391
2008
2009
607
2010
615
2011
Cuadro 4:
13%
40%
43%
25%
43%
24%
45%
41%
20%
42%
30%
28%
42%
15%
44%
17%
NUNCA
33%
CASI NUNCA
CASI SIEMPRE
SIEMPRE
Otro dato relevante, derivado de la encuesta, tiene que ver con los
niveles de estandarizacin y adopcin de las guas prcticas clnicas en la toma
de decisiones cotidiana. Aunque SICALIDAD ha puesto particular nfasis en
un modelo de medicina basado en evidencia, y la adopcin de protocolos y
guas profesionales para las diversas etapas de la atencin mdica, incluyendo
el manejo adecuado de los expedientes y la actualizacin y la regularizacin de
las prcticas clnicas, existe todava un nmero importante de profesionales
que toma decisiones en funcin de su experiencia personal. Si a este hecho se
agrega que la mayora de los participantes cuenta con menos de 10 aos de
antigedad, esto puede ser la fuente de mucha variacin en el manejo clnico.
A la pregunta, cmo toma usted las decisiones en su prctica profesional?
menos de uno de cada diez profesionales hizo alusin a las Guas de Prctica
Clnica, y slo 4.1% suele consultar las publicaciones cienticas.
Cuadro 5:
Mediante artculos
cienticos, revistas
y publicaciones
Libros de texto
4.1%
5.3%
7.3%
Utiliza Guas de
Prctica Clnica (GPC)
9.7%
17.7%
26%
30%
0%
5%
10%
15%
20%
25%
30%
Cuadro 6:
1% 2%
24%
73%
1% 3% 19%
77%
1% 5%
37%
48%
1% 4%
32%
63%
3% 6%
NUNCA
29%
CASI NUNCA
62%
CASI SIEMPRE
SIEMPRE
11.8%
14.4%
Cuidados Paliativos(PALLAR)
14.5%
de SICALIDAD
15.4%
16.4%
21.9%
Acuersdos de Gestin
22%
Boletn SICALIDAD
26.2%
26.5%
29.%8
30.9%
31.1%
Gestores de Calidad
38.4%
39.3%
39.4%
43.5%
45.5%
52.5%
52.6%
55.4%
63.2%
67.2%
$1,600,000
$1,400,000
$1,200,000
$1,000,000
$800,000
$600,000
$400,000
$200,000
$0
de recursos SICALIDAD
AGUASCALIENTES
CAMPECHE
COLIMA
CHIAPAS
CHIHUAHUA
DISTRITO FEDERAL
DURANGO
GUANAJUATO
JALISCO
MICHOACN
NAYARIT
QUERTARO
QUINTANA ROO
SINALOA
SONORA
TAMAPULIPAS
TLAXCALA
YUCATN
ZACATECAS
ISSSTE
DIF TULTITLN
BAJA CALIFORNIA
COLIMA
GUERRERO
MXICO
MORELOS
NUEVO LEN
OAXACA
PUEBLA
TABASCO
VERACRUZ
Tabla 7: Transferencia
de resultados acreditacin29
DIMENSIONES/
ENTIDAD
HIDALGO
GUERRERO
TABASCO
AGUASCALIENTES
Nmero de
Procesos
Mejorados
Percepciones
84% trato
digno
93%
recomendara
la unidad
84% trato
digno
98%recomendara
unidad
34.8%
acreditacin
trae mejoras
90% percibe
mejora
secundaria
78% la
acreditacin
mejor
percepcin
de usuarios
93.4% trato
digno
96.7%
recomendara
la unidad
89.8% percibe
mejora
secundaria
Expedientes
80% glucosa
32% presin
arterial
80% glucosa
55% presin
63% control
de glucosa,
57% presin
75% glucosa
55% presin
Personal y
Equipamiento
47,722
profesionales
Ampliacin y
obra nueva en
43 unidades
29
contrataciones
(Consulta
Externa)
64%
65%-75%
70%
Medicamentos 82%
(Recetas
surtidas)
Avance
Acreditacin
80.1%
23.8%
89.9%
105%
Financiamiento Global
$ 600,
323,539.88
$13,815,736.35
$466,107,273.89
$9,161,075.35
percibidos de la acreditacin
6%
10%
13%
14%
15%
16%
27%
Cuadro 9:
ENCONSA
Tareas pendientes
Las metas que no se alcanzaron fueron el nmero de gestores de
calidad designados, el avance en la aplicacin de la encuesta Cultura de
Seguridad del Paciente y el avance en la acreditacin, re-acreditacin y
supervisin de unidades mdicas. En relacin a los gestores, el programa
document la designacin de 110 gestores (entre enero y agosto), lo que
representa un incremento de 9.7% respecto de 2010, ligeramente abajo de
la meta de 12%, lo que probablemente compromete la meta de 20% para
2012. Sin embargo, SICALIDAD reporta un retraso en la contabilizacin
de los gestores del IMSS y del ISSSTE, cuya documentacin ya haba
sido enviada a la Direccin General de Calidad. Este hecho puede indicar
menor luidez en la comunicacin y la realizacin de trmites con estas dos
instituciones que, por su peso e inluencia en el Sistema de Salud, son de la
mayor importancia.
Tabla 8: Evolucin
2000
1500
1000
500
0
2007
2008
2009
2010
NMERO DE GESTORES
900
HISTRICO 2004-2010
FEDERALES
YUCATN
TLAXCALA
SINALOA
TABASCO
QUINTANA ROO
PUEBLA
NUEVO LEN
MORELOS
JALISCO
GUERRERO
DISTRITO FEDERAL
ESTADO DE MXICO
COAHUILA
CHIAPAS
AGUASCALIENTES
800
700
600
500
400
300
200
100
$0
2011
Fuente: Elaboracin propia con informacin del Reporte de Acreditacin 2011 (SICALIDAD)
Resultados esperados
Todas las iniciativas de mejora parecen indicar que SICALIDAD estar
mejor posicionado para avanzar en la consecucin de sus objetivos a
partir de la instrumentacin de estas acciones. La debida alineacin y la
cuidadosa y comprometida instrumentacin de la ruta crtica derivada de la
evaluacin fue precisamente la que le granje el reconocimiento del Jurado
30 Las decisiones de Jurado se realizaron estrictamente con el criterio de corte a agosto de 2011. Esta es
nicamente una aclaracin de contexto.
Cuadro 9:
L
El equipo de SICALIDAD es relativamente reducido y cuenta con pocos
instrumentos directos de intervencin en su compleja y diversa poblacin
objetivo, en el marco de las facultades expresas del gobierno federal en el
sector, para inducir una autntica revolucin cultural en la prestacin de los
servicios mdicos y contribuir a la formacin de ciudadana en salud. En ese
marco, los recursos con los que cuenta el equipo podran describirse como
soft power: incentivos suaves que dependen de la credibilidad y la capacidad
de generacin de consensos para frenar las resistencias naturales de las
organizaciones frente a la evaluacin externa de sus rutinas arraigadas, y
la presin para que existan espacios de contralora social y deliberacin en
aspectos sensibles de la toma de decisiones. El equipo reconoce que mucho
depende de su capacidad de convocatoria, de la credibilidad de su mensaje
y del buen talante en el manejo de las relaciones intergubernamentales.
Sortear este difcil camino hacia la transformacin de las prioridades del
sector parece slo posible con un sentido de misin compartido, mucho
trabajo en equipo y un liderazgo decisivo. sa dinmica de trabajo se relej
claramente en la interaccin del Jurado con el equipo de SICALIDAD.
Todos los miembros del equipo participaron activamente en la seleccin
de hallazgos, acciones y estrategias para cumplir las metas. Se asignaron
responsables directos por cada lnea de accin, pero se mantuvo la
cooperacin transversal del equipo en todas las acciones comprometidas.
Durante la revisin de las acciones, ofrecieron retroalimentacin informada
y entusiasta, compartieron experiencias fallidas y algunos xitos que
permitieron al equipo evaluador conocer mejor la complejidad del entorno
que enfrentan los operadores: alta rotacin en niveles jerrquicos de los
sistemas estatales de salud, enormes barreras de entrada para los avales
ciudadanos, diicultades para incentivar el conocimiento y la participacin
en la convocatorias, restricciones vinculadas al ciclo presupuestal.
En ese margen, y con una clara disposicin para darle vuelta a los
obstculos, los miembros del equipo relexionaron sobre la necesidad de
ser facilitadores constantes del seguimiento de todos los procesos y tener
siempre abiertos los canales de comunicacin. Por reconocer que su misin
tiene que ver con un cambio en las actitudes, los valores y las conductas
de usuarios y prestadores de servicios por igual, el equipo de SICALIDAD
depende mucho de la concientizacin y la generacin de espacios en los que
las partes colaboren de manera voluntaria y permanente. El liderazgo, el
sentido de misin y el trabajo en equipo son factores de difcil medicin.
No obstante, su presencia es inconfundible. El lenguaje comn y el sentido
de compromiso se relejan no slo en la apropiacin individual de la misin
de SICALIDAD por parte de los miembros del equipo. Se encuentra tambin
en el bagaje conceptual y normativo que permea todos los documentos de
SICALIDAD.31
31 Por dar un ejemplo: El Plan de Accin Especico 2007-2012 reconoce pblicamente y de manera
individual a todos los actores que contribuyeron en la conceptualizacin y diseo de SICALIDAD,
reconociendo que es una empresa colectiva en la que participaron especialistas del IMSS, ISSSTE, SNDIF,
CONAMED, OCDE, entre otras. Finalmente, el documento seala: Nuestro agradecimiento entraable a
quienes nos precedieron en el trabajo y la dedicacin a los temas de calidad y seguridad del paciente, por
su trabajo, su legado y su testimonio. SICALIDAD, Programa de Accin Especico 2007-2012, Op. Cit.,
p.108.
A
El modelo de gestin de SICALIDAD, por la diversidad de actores e
instituciones que involucra, ha conducido, de manera afortunada, a una
lgica de operacin abierta a las seales diversas que provienen del entorno
A
Una hiptesis natural derivada del anlisis de la experiencia de SICALIDAD
se relaciona con la naturaleza misma del programa. La familiaridad del
equipo de SICALIDAD con los conceptos, los requisitos y la vocacin
transformadora de la evaluacin tiene mucho que ver con el hecho de que
SICALIDAD opera con instrumentos, insumos y modelos de intervencin
anclados en la evaluacin para la mejora continua orientada a la calidad en
la atencin. En ese sentido, la vocacin de poltica pblica y la dinmica de
su poblacin objetivo, generan una ainidad electiva con las preocupaciones
y capacidades que imperan en el mbito federal en material de evaluacin
de programas. La implicacin directa de esta hiptesis, es que el desempeo
notable del programa puede ser parcialmente atribuible a una ventaja
comparativa pre-existente, derivada de las condiciones de operacin
del programa. SICALIDAD se dedica a fomentar la calidad a partir de la
evaluacin de la calidad en el servicio de las unidades mdicas, y tiene un
modelo de incidencia anlogo al esfuerzo de la poltica pblica de evaluacin
de todos los sectores: generacin de indicadores, promocin de modelos de
mejora de la gestin, creacin de un lenguaje comn y una red de actores
para fortalecer la redicin de cuentas, etc. A pesar de que en todos los
mbitos de poltica pblica existen condiciones para y la necesidad de
la evaluacin y la utilizacin de las evaluaciones para la mejora continua,
algunos sectores, tienen ya antecedentes importantes en materia de
evaluacin, sobre todo si se les compara con sectores como el cultural o
el ambiental, en donde la cultura de evaluacin es mucho ms reciente o
los requisitos tcnicos para monitorear los productos y los resultados son
todava materia de debate tcnico y conceptual de fondo. A pesar de que
slo lo que se mide se puede mejorar, algunos programas tienen que tomar
decisiones de mayor complejidad para decidir qu medir y cmo hacerlo, de
manera consistente con sus objetivos sociales.
Es importante sealar que estas diferencias entre el nivel de
maduracin, la calidad de las evaluaciones y el tipo de compromisos
planteados fueron tomados en consideracin por el Jurado, tratando
de aislar los factores que explican el nivel de compromiso y la adecuada
internalizacin de la evaluacin, controlando por las diferencias
sistemticas de insumos y margen de maniobra de cada programa, evitando
as comparar peras con manzanas. Sin embargo, el anlisis ms puntual de
esta experiencia nos lleva necesariamente a explorar esta posibilidad con el
in de informar lecciones de poltica pblica ms all del sector.
Conclusiones
Es evidente que nuestro sistema de gestin por resultados se
encuentra todava en la etapa de ensayo y error. A pesar de que se ha avanzado
de manera muy notable en la dimensin institucional de la evaluacin,
existe todava mucho margen de mejora y una gran heterogeneidad en
relacin a la utilizacin de la evaluacin. En primer lugar, todava hay
mucho por avanzar en el fortalecimiento del mercado de evaluacin per se,
para asegurar niveles ptimos en la calidad de las evaluaciones y fomentar
su orientacin al proceso de toma de decisiones. La consolidacin del
mercado de evaluacin seguramente requerira revisiones y ajustes a nivel
normativo y gerencial, pero depende en ltima instancia, de la formacin
de capital humano no slo para la realizacin de las evaluaciones en todas
sus variantes metodolgicas, sino tambin la formacin de capacidades
entre quienes tienen bajo su responsabilidad tanto la gestin de las
evaluaciones como su incorporacin en el proceso interno de mejora de la
gestin. Es en ese sentido que la relexin prctica sobre la utilizacin de la
evaluacin, aqu y ahora, nos lleva a la necesidad de invertir, mucho ms de
lo que hemos hecho a la fecha, en la capacitacin de los actores vinculados
al proceso de evaluacin.
Una de las grandes lecciones de SICALIDAD tiene que ver con las
capacidades adquiridas por el equipo operadores del programa en materia
de evaluacin. En cmo, a partir de una formacin slida en torno a la
funcin evaluativa, los funcionarios adquieren conciencia de su enorme
utilidad y cuentan con elementos profesionales para ser interlocutores
proactivos de los evaluadores, receptores crticos de los hallazgos y actores
capaces y dispuestos a internalizar las recomendaciones y movilizarlos
estratgicamente para detonar procesos de mejora. El nivel de compromiso
y liderazgo que caracteriza la experiencia de SICALIDAD en el marco del
Premio 2011 es tambin atribuible a la conviccin basada en evidencia,
de los potenciales de la evaluacin. En la prctica cotidiana de la red de
SICALIDAD, los funcionarios han aprendido, mediante ensayo y error, cul
es la importancia de que el lujo de informacin y el manejo de indicadores
sean acompaados por la creacin de infraestructura de capital humano
que tenga incentivos para apropiarse dichos insumos y hacer suya la meta
comn: agregar valor al ciudadano. Muchos de los atributos del equipo de
SICALIDAD que merecen reconocimiento tienen que ver con la actitud y
los valores pro evaluacin que caracterizan al equipo. Esto permite que
la evaluacin no sea vista como un costo organizacional, sino como un
valioso insumo estratgico, merecedor de un nivel alto de atencin y una
incorporacin permanente en el proceso de toma de decisiones.
Por esta razn, la experiencia de SICALIDAD nos recuerda que, sin
menoscabo del perfeccionamiento del marco regulatorio e institucional de
nuestro sistema de evaluacin, existe un muy amplio margen de maniobra
en las tareas de concientizacin y capacitacin para la evaluacin. En
analoga con la misin de SICALIDAD en la formacin de ciudadana en
Apndices
Caractersticas de los apoyos de SICALIDAD
ESTRUCTURA DE LOS APOYOS FINANCIEROS
CONCEPTO
MONTO MXIMO
Proyectos de
Capacitacin,
publicaciones
e investigacion
operativa en calidad
$400,000.00 (Capacitacin)
$200,000.00 (Publicaciones)
$200,000 (Investigacin Operativa)
Premio Nacional de
Calidad en Salud
Reconocimiento a la
Memoria Anual del
Comit de Calidad y
Seguridad del Paciente
Premios y
reconocimientos
Presupuesto
SICALIDAD
SS
2007
No disponible
55,583,155,867
2008
115,622,808
69,426,100,000
0.17
2009
115,718,875
85,036,468,164
0.14
2010
164,304,081
89,892,930,927
0.18
2011
166,587,627
105,313,896,605
0.16
Ao
Gasto
SICALIDAD
SS
2007
No disponible
53,144,031,993
2008
101,069,538
69,743,470,263
0.14
2009
81,856,375
80,959,255,960
0.10
2010
153,132,365
86,765,574,210
0.18
2011
No disponible
No disponible
Ao
SICALIDAD
Presupuesto
de Presupuesto
Ejercido
Gasto
2007
No disponible
No disponible
2008
115,622,808
101,069,538
87.41
2009
115,718,875
81,856,375
70.74
2010
164,304,081
153,132,365
93.20
2011
No disponible
No disponible
B
F. Knaul et al., Evidence is good for your health system: policy reform to
remedy catastrophic and empoverishing health spending in Mexico, he
Lancet, Vol.368, Nm. 9550, Noviembre de 2006, pp. 1828-41.
Frenk, Julio, La salud como derecho ciudadano, Nexos, Nm. 410, Febrero
2012.
Metropolitana-Xochimilco,
Evaluacin
de
Antecedentes
El Programa de Atencin a la Demanda de Educacin para Adultos y el
Modelo de Educacin para la Vida y el Trabajo, que coordina el Instituto
Nacional para la Educacin de los Adultos (INEA), buscan atender los
problemas de rezago educativo y analfabetismo que enfrenta la poblacin
mexicana. Esto, con el propsito de contribuir a disminuir las desigualdades en
las oportunidades educativas entre grupos sociales incrementando la escolaridad
de los beneiciarios.1 Desde su creacin en 1981, el INEA emprendi acciones
para generar una oferta de educacin bsica que permitiera atender a la
poblacin que no pudo iniciar o concluir su formacin educativa, a nivel
primaria o secundaria, en edad normativa.
1 Reglas de Operacin de los programas Atencin a la Demanda de Educacin para Adultos (INEA) y Modelo de
Educacin para la Vida y el Trabajo (INEA), 2012, publicadas en el Diario Oicial de la Federacin el viernes
30 de diciembre de 2011. (ver en: http://www.inea.gob.mx/transparencia/pdf/marco_normativo/Reglas_
de_Operacion2012.pdf)
datos se obtuvieron de los resultados del Censo de Poblacin y Vivienda del Instituto Nacional de
Estadstica y Geografa (INEGI).
Informacin del Decreto de Presupuesto de Egresos de la Federacin para el ejercicio iscal 2012,
publicado en el Diario Oicial de la Federacin el 12 de diciembre de 2011 (ver en: http://dof.gob.mx/
nota_detalle.php?codigo=5226418&fecha=12/12/2011).
L
en la mejora del desempeo
Las evaluaciones relevantes en el marco del Premio 2011 se insertan
dentro de los esfuerzos de evaluacin de la presente administracin federal
(2006-2012) y forman parte, tanto del Programa de Mejora de la Gestin
(PMG), como del Sistema de Evaluacin del Desempeo (SED); ambos en
operacin desde 2008. El Programa de Atencin a la Demanda de Educacin
para Adultos6 y el Modelo de Educacin para la Vida y el Trabajo (MEVyT),
diseados y normados por el INEA, fueron sujetos a dos evaluaciones en
este periodo: una Evaluacin de Consistencia de Resultados en 2008 y
una Evaluacin de Peril, Reclutamiento, Capacitacin y Gratiicacin de
Asesores en 2009, las cuales ofrecieron resultados y recomendaciones para
mejorar el funcionamiento y la operacin del Programa.
La Evaluacin de Consistencia de Resultados fue realizada en marzo
de 2008 por la Facultad Latinoamericana de Ciencias Sociales (FLACSO) e
implic, en trminos generales, un diagnstico sobre la capacidad institucional,
organizacional y de gestin de los programas para alcanzar resultados. Con
esta ptica, se identiicaron algunas de las principales fortalezas y reas de
oportunidad en la operacin del Programa; entre las cuales se encuentran,
principalmente, el diseo del Programa, cuyo propsito est bien orientado
hacia el compromiso de desarrollar capacidades para la vida y el trabajo
en sectores diferenciados de la poblacin, a travs de la concepcin de la
educacin como un proceso permanente de generacin de capacidades. Por
otro lado, en el Programa existe tambin una clara deinicin del problema
que se busca atender: en este caso, a travs del Modelo de Educacin para la
Vida y el Trabajo (MEVyT), se brindan opciones educativas que se ajustan
El Instituto Nacional para la Educacin de los Adultos (INEA) no establece ninguna relacin laboral con
las personas de la sociedad civil que apoyan en las funciones de formacin educativa.
Ahumada Lobo y Asociados, Estudios Econmicos y Polticas Pblicas, Informe Final del Diseo y
Desarrollo para 2008 del Sistema de Seguimiento y Evaluacin de los Beneicios del MEVYT y Evaluacin
del Peril, Reclutamiento y Remuneracin de los Asesores que Aplican el MEVYT, Mxico, INEA, 2009.
Valoracin Diagnstica, documento presentado por el INEA para la inscripcin en el Premio 2011:
Programas Comprometidos con el proceso de evaluacin.
Ibdem.
B
Ahumada Lobo y Asociados, Estudios Econmicos y Polticas Pblicas,
Informe Final del Diseo y Desarrollo para 2008 del Sistema de Seguimiento y
Evaluacin de los Beneicios del MEVYT y Evaluacin del Peril, Reclutamiento
y Remuneracin de los Asesores que Aplican el MEVYT, Mxico, INEA, 2009.
Boissiere, M., Determinants of Primary Education Outcomes in Developing
Countries, Washington, D.C., Banco Mundial, 2004.
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
(CONEVAL). Indicadores de carencia social (consultado en http://web.
coneval.gob.mx/Paginas/ principal.aspx).
---------. Evaluacin y Monitoreo de Programas Sociales. Evaluaciones
de Programas Federales (consultado en http://www.coneval.gob.mx/
cmsconeval/rw/pages/ evaluacion/evaluaciones/consistencia/index.es.do).
Introduccin
Comparar y describir las diferencias entre las polticas de acceso a
informacin en el Sistema Educativo Nacional de los aos 1990 con las
que ahora existen, probablemente se asemejara a relatar los cambios que
encontr Rip Van Winkle al despertar de su letargo. En un par de dcadas,
el Sistema Educativo Nacional ha transitado de una poltica oicial en la
que se ocultaban los resultados obtenidos por estudiantes mexicanos en
pruebas internacionales como TIMSS1 a una compulsin por difundir
puntajes de exmenes como apuesta gubernamental dilecta para mejorar
la calidad educativa.
1
Mexicanos Primero, La creacin del Instituto Nacional de Evaluacin Educativa de Mxico. Un modelo
de institucionalidad mixta, como experiencia de gobernabilidad en los sistemas educativos, 2007.
Obtenido de http://www.globalpartnership.org/epdf/uploads/121, enero del 2012.
Ver: Sergio Crdenas, La rendicin de cuentas en el Sistema Educativo Mexicano, Serie calidad de
gobierno y rendicin de cuentas en las entidades federativas, Documento de Trabajo Nm. 5, Mxico,
CIDE-PNUD, 2010.
D. Wiliam, What is assessment for Learning, Studies in Educational Evaluation, Vol. 37, Nm. 1, 2011,
pp. 314.
L
El programa Escuelas de Calidad
El programa Escuelas de Calidad (PEC) puede ser deinido como una
intervencin basada en principios de la gestin centrada en la escuela
(School Based Management), a travs de la cual se pretende que las
comunidades escolares reciban recursos adicionales y realicen un ejercicio
de planeacin participativa, con el in de identiicar oportunidades de
mejora y acordar acciones que permitan mejorar la eicacia de las escuelas.
Basndose en los supuestos de este modelo de reforma4 es posible
sugerir que la transferencia de recursos econmicos y el uso de ciertas
facultades, as como el desarrollo de capacidades a nivel comunidad
escolar, permitira fortalecer la participacin de los centros escolares en
la toma de decisiones, corresponsabilizar a los diferentes actores sociales
y educativos, promoviendo la seguridad, la transparencia y la rendicin de
cuentas, impulsando la participacin entre la Federacin, las Entidades
Federativas y Municipios, as como con Organismos de la Sociedad Civil,
en sus respectivos mbitos de actuacin, para apoyar las acciones que la
comunidad educativa decida, con la inalidad de mejorar la calidad del
servicio educativo y los resultados de aprendizaje.5
Este programa, con ms de diez aos de operacin, ha tenido un
crecimiento signiicativo con el paso de los aos, gracias a diferentes
factores entre los que probablemente se encuentre la lexibilidad
normativa para ajustar su implementacin a condiciones locales, el
nfasis en el monitoreo, la orientacin a la transformacin de la gestin
escolar y los mecanismos de inanciamiento, incluyendo recursos
por contrapartida y la creacin de ideicomisos estatales, as como el
inanciamiento de organismos internacionales. Adicionalmente, una
de las caractersticas principales del PEC es la realizacin peridica de
evaluaciones escolares como uno de sus principales componentes. Lo
anterior habra resultado en un aprendizaje que se expresara en una
frecuente utilizacin de informacin y hallazgos por parte de los actores
escolares y los funcionarios a cargo del programa.
Secretara de Educacin Pblica, (SEP), Reglas de Operacin del Programa Escuelas de Calidad, 2011.
Ver: SEP-IIPE, Estudio de caracterizacin de las escuelas de tiempo completo (ETC) en Mxico. Encuesta
a Directores y Equipos Estatales, 2010; J. Angrist, et al., Who Beneits from KIPP, Documento de
Trabajo NBER-15740, National Bureau of Economic Research, 2010.; W. Dobbie y R. Fryer, Getting
Beneath the Veil of Efective Schools: Evidence from New York City, Documento de Trabajo NBER17362, National Bureau of Economic Research, 2011; C. Bellei, Does lengthening the school day increase
students academic achievement? Results from a natural experiment in Chile, Vol. 22, Nm. 5, 2009, pp.
629-640.
M. Zorrilla, Informe Final de la Evaluacin del Diseo del Programa Nacional de Horario Extendido en
Primaria, Programa Nacional Escuelas de Tiempo Completo, Universidad Autnoma de Aguascalientes,
2008.
SEP, Reglas de Operacin del Programa Nacional Escuelas de Tiempo Completo, 2011.
10
UNESCO-ILL, Global Report on Adult Learning and Education, Institute for Lifelong Learning, 2009.
11
Ibdem.
Las evaluaciones
Sin mayor sorpresa, los objetivos y los mtodos de las evaluaciones cuyos
hallazgos fueron el sustento para los compromisos y las actividades
iniciadas en los tres programas, mostraron una gran variacin. Esto
result en una mayor complejidad para identiicar la pertinencia de las
acciones propuestas por los responsables de cada programa con relacin
a los hallazgos presentados por los evaluadores, as como para analizar las
decisiones con respecto al uso de la informacin disponible por parte de
los responsables de cada programa. Sin embargo, con los compromisos
reportados en cada programa en respuesta a la convocatoria, fue posible
identiicar por lo menos la percepcin de los tomadores de decisiones
con respecto a las recomendaciones de los evaluadores, as como conocer
las actividades que, desde su perspectiva, contribuiran a eliminar o
contrarrestar los problemas resaltados en las evaluaciones.
En el caso del Programa Escuelas de Calidad (el cual cuenta incluso con
evaluaciones de impacto disponibles desde el ao 2006, una condicin atpica
en los programas educativos en Mxico), los responsables seleccionaron
recomendaciones que incluyeron un anlisis de procedimientos que se
presentan en las escuelas beneiciadas. Enfocarse en actividades tan
especicas y complejas aparentemente fue resultado de distintos factores,
entre los que destaca el tiempo que lleva implementndose este programa,
as como por la experiencia en evaluaciones que se remite incluso a perodos
previos a la creacin del Consejo Nacional de Evaluacin de la Poltica de
Desarrollo Social (CONEVAL) y de la normatividad vigente en el pas sobre
evaluacin de programas sociales.
En una condicin similar al ejemplo anterior, en el caso de los
programas implementados por el INEA (cuyos responsables hicieron
uso de dos evaluaciones externas con objetivos bien delimitados), fue
posible observar la seleccin de hallazgos reportados que derivaron en
intervenciones muy especicas para conocer y determinar el peril de
los asesores educativos, quienes estn a cargo de un componente clave
del programa. Finalmente, en el otro extremo, la evaluacin realizada al
Programa Escuelas de Tiempo Completo, clasiicada como de diseo y
con el objeto de identiicar la correspondencia entre el problema pblico
identiicado y las acciones por desarrollar, oblig a centrarse en aspectos
generales, con hallazgos que no se centraban en aspectos operativos y de
gestin del programa, sino en la deinicin de los elementos que mejor
y Evaluaciones utilizadas14
Programa
Evaluacin e institucin
Escuelas de Calidad
Atencin a la Demanda de
Educacin para Adultos
Evaluacin de consistencia y
Resultados 2008, FLACSO.
Programa
Escuelas de
Calidad
Programa
Escuelas
de Tiempo
Completo
INEA
15 Un ejemplo de la complejidad y relevancia de este tipo de ejercicio puede encontrarse en: C. Weiss,
Excerpts from Evaluation Research: Methods of Assessing Program Efectiveness, American Journal of
Evaluation, Vol. 17, Junio de 1996, p. 173.
Tabla 3: Acciones
propuestas
Programa
Acciones de mejora
Escuelas de
Calidad
Escuelas de
Actividades de seguimiento a las ETC que permitirn
Tiempo Completo obtener informacin cualitativa sobre el modo en que
se concreta el Programa en las escuelas: los aspectos
pedaggicos, organizativos, administrativos y de
participacin de la comunidad en la tarea educativa.
Atencin a
la Demanda
de Educacin
para Adultos
Programa
Resultados esperados
Escuelas de Calidad
Escuelas de Tiempo
Completo
Atencin a la
Demanda de
Educacin para
Adultos
Comentarios Finales
Es importante sealar que las observaciones vertidas en este captulo son
en realidad una celebracin de los cambios observados en las polticas de
acceso a informacin y de generacin de conocimiento til para reorientar
la gestin de los programas educativos. La participacin de estos programas
en la plausible iniciativa que se documenta y analiza en este libro, incita a
una relexin en la que es necesario identiicar y sealar oportunidades de
mejora en los procesos de adopcin y uso de evaluaciones (similar a lo que se
exige al interior de los programas en las escuelas o bien a los instructores),
de forma que se construyan --en un corto plazo-- los aprendizajes que
complementarn los cambios normativos y que incluso podran resultar en
adecuaciones a ese marco, con el in de asegurar una mayor disponibilidad
de informacin e insumos para la adecuada toma de decisiones en la gestin
de los programas.
La respuesta de los responsables de los programas es el mejor
ejemplo de la consideracin del proceso de evaluacin, como un relejo del
proceso de diseo e implementacin de cualquier poltica. Las decisiones
y las prioridades expresadas tanto en los documentos revisados como en
las entrevistas realizadas en el proceso de evaluacin, formaran parte
de un proceso de aprendizaje, en el que evidentemente existen recursos
y experiencias distintas en cada proceso y que en consecuencia relejan
la necesidad de analizar las etapas en las que los programas requieren
mayor acompaamiento, similar a lo que sucede cuando en las escuelas
se incorporan procedimientos novedosos de planeacin. En este sentido,
en este captulo destacamos cmo se diluye la precisin en las decisiones
conforme entramos a las etapas de aprovechamiento de informacin en
los programas, es decir, se resalta que, por ahora, la disponibilidad de
informacin o la alineacin de las evaluaciones con las necesidades de los
responsables de gestionar los programas (los lineamientos que guan su
implementacin los detallan) probablemente no sea un problema a resolver,
sino precisamente la generacin de ciertas culturas y la implantacin de
prcticas que deben observarse entre los responsables de los programas.
Adems de las restricciones y oportunidades de mejora que se
observan con respecto al uso de la informacin generada en las evaluaciones,
es importante observar a la par las restricciones tradicionales de los procesos
de evaluacin, con el in de reducir la probabilidad de que estas limitaciones
interacten con la falta de experiencia en materia de aprovechamiento de la
informacin entre los responsables de administrar los programas federales.
Un aspecto fundamental al analizar los resultados de los cambios en
las polticas de evaluacin y el proceso de acompaamiento a los funcionarios
responsables de los programas, es recordar tres temas primordiales. En
primer lugar, la frase atribuida a Einstein en la que se seala que no todo lo
contado cuenta y no todo lo que cuenta es contado, con lo cual resaltamos
la imposibilidad de realizar evaluaciones que incluyan u observen todos los
B
Angrist, J., Dynarski, S., Kane, T., Pathak, P, y Walters, C., Who Beneits
from KIPP, Documento de Trabajo NBER-15740, National Bureau of
Economic Research, 2010.
Bellei, C., Does lengthening the school day increase students academic
achievement? Results from a natural experiment in Chile, Economics of
Education Review, Vol. 22, Nm. 5, 2009, pp. 629-640.
16 N. Harris, Value-Added Measures in Education: What Every Educator Needs to Know, Cambridge,
Harvard Education Press, 2011.
Oicina de Censos de los Estados Unidos (U.S. Census Bureau) deine a alguien de Origen hispano
o latino, como una persona de cultura u origen cubano, mexicano, puertorriqueo, sudamericano o
centroamericano, u otra cultura u origen espaol, independientemente de la raza. (Hispanic or Latino
refers to a person of Cuban, Mexican, Puerto Rican, South or Central American, or other Spanish culture or
origin regardless of race. U.S. Census Bureau, he Hispanic Population: 2010, 2010 Census Briefs, Mayo
2011.p.2. (http://www.census.gov/prod/cen2010/briefs/c2010br-04.pdf)
2 Ver,
por ejemplo, Daniel Dockterman, Statistical Proile. Hispanics of Mexican Origin in the United States,
2009, Pew Research Center- Pew Hispanic Center, 2011. (http://www.pewhispanic.org/2011/05/26/
hispanics-of-mexican-origin-in-the-united-states-2009/); Mauro Lazcano y Jorge Navarro Lucio, 29
Millones mexicanos viven en Estados Unidos, Macroeconoma, 1 abril 2010, (http://macroeconomia.com.
mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidos-casi-otro-pais/).
3 Portal
Ibdem.
Ver: Secretara de Relaciones Exteriores, Estructura orgnica bsica (vigencia a partir de: 1 de enero de
2011), http://www.sre.gob.mx/index.php/cancilleria/organigrama
Reglamento Interior de la Secretara de Relaciones Exteriores, Art. 23, publicado en el Diario Oicial de
la Federacin el 8 de enero de 2009.
Ibdem.
9 Presidencia
de la Repblica, Primer Informe de Ejecucin del Plan Nacional de Desarrollo 2007-2012, 2007.
http://pnd.calderon.presidencia.gob.mx/pdf/PrimerInformeEjecucion/5_9.pdf
Accin de mejora
Avance
100%
70%
30%
100%
80%
70%
12%
50%
30%
No
Accin de mejora
Avance
10
100%
11
100%
12
100%
13
100%
14
100%
15
80%
16
100%
17
100%
Acciones de mejora
En las 17 acciones de mejora, los operadores identiicaron las actividades
que, llevadas a efecto, daran cuenta de cada una de aqullas. El ejercicio
sirvi para identiicar los riesgos que enfrentaran las acciones, as como
las implicaciones de la colaboracin de distintas instancias al interior de
la SRE. El anlisis que sigue slo considera las nueve acciones que, en
agosto del 2011, se reportan como terminadas al 100% (ver tabla 2). Para
una aproximacin ordenada, se han identiicado cinco temas en los cuales
inscribirlas que se incluyen en la tabla 2.
Tabla 2: Temas
y acciones de mejora
Tema
Acciones
a) Planeacin
b) Organizacin
c) Procedimientos
d) Tecnologas
de Informacin
y Comunicacin
e) Difusin
a) Planeacin
En el tema de planeacin slo hay una accin de mejora: Llevar a cabo un
proceso de planeacin estratgica que genere la misin, visin, objetivos generales
y especicos, y estos conceptos se relejen en la matriz de marco lgico, de cuya
ejecucin se espera Contar con una matriz de marco lgico ms completa,
alineada con las prioridades de poltica exterior y que contribuya a medir el
desempeo del programa. No hay mejor manera de precisar la posicin de un
proyecto al interior de una organizacin que a travs de la revisin o de la
realizacin de un ejercicio de planeacin estratgica. Como todo en la vida
de una organizacin, un plan puede volverse letra muerta. Sin embargo,
la virtud del plan estratgico y, en este caso, con su concomitante matriz
de marco lgico actualizada, descansa en la indispensable participacin
de quienes, al inal del da, tendrn que implementarlo. As se conjura el
riesgo de su inaplicacin en la realidad. Pero ms importante, permite
situar al programa de Expedicin de pasaportes y servicios consulares
en el lugar correcto, dentro del contexto organizacional, y determinar las
responsabilidades de los actores y sus alcances.
Los actores responsables de la planeacin estratgica son la DGSC
y la DGPOP (ver tabla 3). La primera es, de hecho, la unidad que conduce
el programa, razn por la cual, desde luego, participa en el taller, y que
explica por qu le corresponde revisar y validar la nueva matriz de marco
lgico, actividad clave de la accin de mejora. Por su parte, la DGPOP no
slo interviene como el rea insustituible de gestin de recursos, sino,
por su perspectiva y su conocimiento de los meandros organizacionales,
como participante en el taller de planeacin estratgica, como gestor para
contratar al consultor que impartira el taller y, junto con la DGSC, como
encargado de registrar la nueva matriz ante la Secretara de Hacienda y
Crdito Pblico (SHCP).
Tabla 3: Actividades
No
Actividad
Responsables
DGPOP
DGPOP/DGSC
DGSC
DGSC/DGPOP
Riesgo
Probabilidad
Impacto
Baja
Alto
Media
Alto
Por su parte, el riesgo 2 ilustra esa perenne lucha contra los recursos
escasos y, de modo primordial, contra el tiempo. Porque justamente de
eso se trata aqu: las cargas de trabajo reciben el peso de la culpa, aunque,
en realidad, el problema reside en la planeacin del tiempo. Aun cuando
el programa en su conjunto forma parte de las prioridades de la DGSC
(precisamente, el rea sustantiva) y que su inters no debera descarrilarse
por la insuiciencia de recursos, el riesgo de probabilidad media de
que las cargas de trabajo impidieran realizar la actividad tendran, como se
puede apreciar en la tabla 4, un impacto alto en la concrecin de la accin y,
al inal, del programa mismo. En efecto, el taller de planeacin estratgica
se coloc en el primer lugar de la lista de tareas, porque haba que encuadrar
todo el esfuerzo institucional en una matriz actualizada de marco lgico.
De otro modo, estratgicamente hablando, se corra el riesgo de que las
distintas reas participantes desalinearan su proceder respecto del objetivo
comn. Y, quiz ms importante, quedaran fuera del itinerario institucional
de la SRE en su conjunto.
O
De la planeacin estratgica a la adecuacin de la estructura apenas hay
un paso lgico. No siempre, por supuesto, una organizacin necesita ese
alineamiento. A veces, a la estructura se le someti primero a un cierto
reacomodo, slo para que los tomadores de decisin se dieran cuenta que,
ahora, hace falta una justiicacin de mayor perspectiva a nivel de plan
estratgico. Pero en otras ocasiones sucede al revs: a la actualizacin del
plan le sigue la consecuente modiicacin de estructuras o, como la DGSC
lo ha concebido, el fortalecimiento de su propia estructura. Esta accin de
mejora, por s misma, invita a pensar en una labor organizacional de cierta
envergadura, indispensable, es cierto, para dar acomodo a las obligaciones
que emanan del programa de Expedicin de pasaportes y servicios
consulares.
Pero veamos. Las actividades de la accin de mejora Fortalecer la
estructura organizacional de la DGSC giran en torno a esa otra expresin
de la escasez de recursos que se compendia en la insuiciencia de personal.
La DGSC, como cabeza del programa, entiende que con recursos humanos
adicionales podr enfrentar las exigencias de aqul. No se trata, al parecer,
de contrataciones deinitivas. Las actividades 2 (Solicitar a DGSERH el
costeo de plazas por honorarios) y 3 (Solicitar autorizacin a la SHCP para
transferir recursos provenientes de ingresos consulares a la partida de
honorarios), a cargo de la DGPOP, indican que se echar mano de personal
por honorarios. Las nuevas contrataciones se destinarn a robustecer las
funciones de los consulados mexicanos.
Tabla 5: Actividades
No
Actividad
Responsables
Identiicar requerimientos
de personal.
DGSC
DGPOP
DGPOP
Solicitar autorizacin a la
SHCP para transferir recursos
provenientes de ingresos consulares
a la partida de honorarios.
Gestionar la adecuacin
presupuestaria ante la
SHCP. DGPOP.
DGPOP
Gestionar la contratacin de
personal ante DGSERH.
DGSC
Riesgo
Probabilidad
Impacto
La SHCP no autorice
la transferencia de
recursos de ingresos
consulares a la partida
de honorarios.
Media
Alto
Tabla 7: Actividades
No
Actividad
Responsable
DGBIRMA/DGTII
DGBIRMA/DGTII
DGBIRMA/DGTII
DGBIRMA/DGTII
Tabla 8: Riesgos
No
Riesgo
Probabilidad
Impacto
Alta
Alto
Media
Alto
Media
Medio
c) Procedimientos
Para entender una organizacin, nada ms recomendable que estudiar sus
rutinas, es decir, sus procedimientos. En ellos estn inscritos, como en el
ADN, sus formas y contenidos, sus estilos y decisiones, sus incentivos y
oportunidades, sus actores y reglas implcitas, sus medios y sus ines. No
hace falta, por supuesto, analizar todos los procedimientos de la SRE ni,
siquiera, de la DGSC, para hacerse una idea de la organizacin. A reserva de
un examen detenido, la sola mencin de la necesidad de Emitir reglas claras
sobre cmo contabilizar las compulsas y de Evaluar la eliminacin o modiicacin
de los requisitos de irma del titular para ciertos trmites, ambas acciones de
mejora planteadas en el marco del programa de Expedicin de pasaportes
y servicios consulares, revela dos cosas: por un lado, un desfasamiento
entre las prcticas organizacionales en la trinchera (valga la analoga) y la
realidad que se busca atender con los cambios que implica el programa; por
el otro, la aparente ambigedad de las reglas.
As lo insinan las actividades de las dos acciones de mejora que,
para ines analticos, se han insertado en el tema de procedimientos. Y
se ha hecho as porque un procedimiento constituye un conjunto de reglas
de menor calado, es cierto que norman el comportamiento, casi
ininitesimal, de personas de carne y hueso que todos los das, como es el
caso, se dedican a compulsar documentos. Si a las reglas les falta claridad, las
rutinas se pierden en un nmero de tareas que no aaden valor a la cadena,
producen informacin poco til, y generan costos adicionales. Para decirlo
de manera breve: el resultado es ineiciencia. En ese sentido, la emisin
de reglas claras para contabilizar compulsas y la evaluacin de eliminar o
modiicar el requisito de irma del titular, indican que los operadores del
programa se han dado cuenta de que las rutinas que se aplican en ambos
casos ya no atienden, apropiadamente, las necesidades internas.
Por eso, es sensato el conjunto de actividades que dan cuenta de la
propuesta de mejora sobre la emisin de reglas para contabilizar compulsas,
pues se aprecia una secuencia lgica para su ejecucin: de la revisin y, en
su caso, la actualizacin de esas reglas, hasta la supervisin in situ de su
aplicacin (ver tabla 9). Desde luego, la clave del xito en la consumacin de
las actividades descansa en la primera actividad: revisar la normatividad que
regula las compulsas. No slo se trata de hacer la revisin, sino de hacerla
de modo que, en efecto, los cambios arrojen claridad sobre las reglas. Las
representaciones consulares ganarn en eiciencia.
Tabla 9: Actividades
No
Actividad
Responsable
DGSC
DGSC
DGSC
DGSC
No
Riesgo
Probabilidad
Impacto
Media
Medio
Media
Medio
No
Actividad
Responsable
DGSC
Riesgo
Probabilidad
Impacto
Media
Alto
No
Actividad
Responsable
DGSC/DGTII
DGSC/DGTII
Riesgo
Probabilidad
Impacto
Alta
Alto
Alta
Alto
Actividad
Responsable
DGTII
DGTII
10 E. F., Schumacher, Lo pequeo es hermoso, Barcelona, Ediciones Orbis, 1973, p. 67.Y esta es la razn que
Schumacher ofrece: porque la accin es un asunto altamente personal y uno no puede contactar ms
que con un nmero limitado de personas al mismo tiempo.
11 Debe hacerse notar, sin embargo, que el riesgo 1 no guarda lgica con la accin, toda vez que se reiere
a las cargas de trabajo para la revisin normativa de las compulsas. stas tienen que ver con el cotejo de
documentos respecto de su original, mientras que la accin de mejora, slo con la notiicacin electrnica
al titular del pasaporte. Aqu se ha asumido que el riesgo se relacionaba con cargas de trabajo para los
efectos de la accin bajo anlisis.
Riesgo
Probabilidad
Impacto
Baja
Alto
Baja
Medio
No
Actividad
Responsable
DGTII
DGTII
No
Riesgo
Probabilidad
Impacto
Media
Alto
e) Difusin
Qu explica la presencia perdurable en la sociedad de las
organizaciones, en general, y las pblicas, en particular? Ms all del
mandato constitucional y legal que las crea, hay un sedimento humano que
les da vida, las hace respirar, las obliga a avanzar en pos de los objetivos
para las que fueron creadas. Sin esos objetivos, simplemente perderan
todo sentido de orientacin y, al inal, de importancia. Pues, con qu
Actividad
Responsable
DGSC
DGSC
DGSC
DGTII
Riesgo
Probabilidad
Impacto
Media
Alto
R
Slo es el principio. Ser reconocida, junto con otras agencias gubernamentales,
por el Premio 2011 obliga a la SRE y a las unidades administrativas
involucradas, en especial, a la DGSC, a honrar los compromisos derivados
de cada una de las acciones de mejora analizadas en este captulo. Como
pudo apreciarse antes, las nueve acciones de mejora, aqu revisadas,
implicaban actividades a cumplirse en agosto del 2011; otras, en cambio,
no lograron ese cometido, aunque su conclusin se pospuso para algn
momento de ese mismo ao. Pero todas las acciones y, en particular, las
nueve que se concluyeron en agosto aun cuando, en s mismas, tenan un
plazo de cumplimiento que ya tuvo lugar, desencadenan otra serie de tareas
que tendrn que efectuarse rutinariamente a partir de ese momento. Ms
all del reconocimiento, ese es el compromiso ms importante para la SRE
y la DGSC.
A menudo, los datos se escabullen. O mejor dicho, tienden a ocultar
la realidad que viven personas de carne y hueso: a la fecha, resulta imposible
determinar el nmero exacto de mexicanos viviendo en Estados Unidos.
No obstante ello, la realidad escurridiza de esos mexicanos ha encontrado
una suerte de punto de equilibrio. Entre los millones de mexicanos en
Estados Unidos e, incluso, sus hijos que tambin son mexicanos y, por lo
tanto, tienen derechos de este lado de la frontera y el Estado, que debe
proveerles servicios consulares en virtud de su nacionalidad, se ha cerrado
la brecha de atencin. En el pasado, muchos paisanos emigraron sin que la
necesidad de ocupar servicios consulares los apremiara. Pero en las ltimas
dcadas, las circunstancias internacionales cambiaron, quiz demasiado
rpidamente, y llevaron a los pases receptores de migracin a hacer ms
estrictas sus regulaciones en la materia. De modo que muchos mexicanos
en Estados Unidos han perdido espacio para movilizarse econmica,
geogrica y socialmente en aquel pas. Esa prdida la ha compensado el
gobierno mexicano acercndoles sus servicios consulares y de proteccin.
B
Dockterman, Daniel, Statistical Proile. Hispanics of Mexican Origin in the
United States, 2009, Pew Research Center- Pew Hispanic Center, 2011.
(http://www.pewhispanic.org/2011/05/26/hispanics-of-mexican-originin-the-united-states-2009/)
Hirschman, Albert O., Exit, Voice, and Loyalty. Responses to Decline in Firms,
Organizations, and States, Cambridge, Massachussetts, Harvard University
Press, 1970.
Lazcano, Mauro y Jorge Navarro Lucio, 29 Millones mexicanos viven en
Estados Unidos, Macroeconoma, 1 abril 2010, (http://macroeconomia.
com.mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidoscasi-otro-pais/).
Presidencia de la Repblica, Primer Informe de Ejecucin del Plan Nacional de
Desarrollo 2007-2012, 2007.http://pnd.calderon.presidencia.gob.mx/pdf/
PrimerInformeEjecucion/5_9.pdf
Schumacher, E.F. Lo pequeo es hermoso, Barcelona, Ediciones Orbis, 1973.
A
como herramientas de cambio: el programa
de becas de posgrado del CONACYT
Rodrigo Velzquez Lpez Velarde
Introduccin
La formacin de capital humano altamente capacitado es considerada como
un factor clave para el desarrollo de los pases. La principal razn por las que
los gobiernos, las agencias internacionales y los organismos de la sociedad
civil deciden invertir recursos en esta accin es porque las personas con alta
capacidad cientica o tecnolgica pueden utilizar los conocimientos y las
habilidades aprendidas para ayudar a sus pases a identiicar y solucionar
problemas. La poblacin con estudios de posgrado aplica el conocimiento
aprendido para disear nuevas estrategias y procesos de innovacin que
elevan la productividad, la competencia econmica y, en general, el bienestar
social de la ciudadana. La aplicacin de los conocimientos cienticos se
puede observar en distintos mbitos. Por ejemplo, en el sector empresarial es
notorio el desarrollo cientico y tecnolgico en el incremento del rendimiento
Ver: Sylvia Ortega et al., Invertir en el conocimiento: El Programa de Becas-crdito del CONACYT, Mxico,
SEP-CONACYT y Plaza y Valds, 2001, pp. 39-40.
Centro Redes, Evaluacin de Impacto del Programa de Formacin de Cienticos y Tecnlogos, Mxico,
CONACYT, 2008.
A
Los primeros esfuerzos por invertir en el desarrollo cientico y
tecnolgico en Mxico empezaron a inales de los aos 1920 con la
creacin de los primeros institutos de investigacin de la Universidad
Nacional Autnoma de Mxico (UNAM). Durante las dcadas de 1930 y
1940 se fundaron institutos de gran importancia para la investigacin
tales como el Instituto Politcnico Nacional, los Institutos de Fsica y
Qumica, El Colegio de Mxico, por mencionar algunos. Otros apoyos a
la formacin cientica ocurrieron en 1954 y 1966, momentos en que se
crean la igura de personal acadmico de tiempo completo y el Programa
de Profesores Investigadores, respectivamente.5 A pesar de estos avances,
los cuales fueron vitales para la iniciacin de la investigacin en Mxico,
no exista en el pas una institucin federal que tuviera como uno de
sus principales objetivos el apoyar la formacin de recursos humanos
altamente capacitados. Fue hasta 1970 que el gobierno federal decidi dar
un impulso consistente en este sentido con la creacin del CONACYT. El
Programa de Becas, hoy conocido como el Programa de Becas de Posgrado
y otras modalidades de Apoyo a la Calidad del CONACYT, surgi en 1971
para ofrecer a la poblacin la posibilidad de realizar estudios de posgrado
en instituciones acadmicas nacionales y extranjeras de calidad para
formar cienticos y tecnlogos que ofrezcan soluciones a los problemas y
generen conocimiento til y aplicado al pas.
El CONACYT, a travs del PBP, parte de la premisa de que el
crecimiento econmico y el bienestar, tanto individual como social, estn
sustentados en gran medida no slo en la inversin en capital fsico,
sino tambin en el capital humano.6 De esta forma, se considera que la
productividad e innovacin tecnolgica est basada en la formacin de
recursos humanos (cienticos e ingenieros) altamente capacitados que
generen y difundan conocimiento que permita coadyuvar al desarrollo
econmico, social y cultural de Mxico. Es as que la asignacin de becas de
posgrado es considerada como un componente esencial que contribuye a la
movilidad social en el pas.
EL PBP es un factor esencial del Sistema Nacional de Ciencia y
Tecnologa y se inserta en varias de las estrategias planteadas tanto del
Plan Nacional de Desarrollo 2007-2012 como en el Programa Especial de
5
Carlos Bazdresch Parada, Prlogo, en Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 20.
Ver Reglas de Operacin de los programas del Consejo Nacional de Ciencia y Tecnologa en el Diario
Oicial de la Federacin, 31 de diciembre de 2010, p. 110. Las Reglas de Operacin que operaron durante
la administracin del Presidente Fox consideraban que el objetivo general era fomentar, mediante el
otorgamiento de apoyos a la formacin, el desarrollo y la consolidacin de cienticos y tecnlogos, para
responder a la demanda de los sectores productivo, acadmico, gubernamental, y social del pas. Centro
Redes, Evaluacin de impacto, Op. Cit., p. 32. Es notorio el cambio en el objetivo general del PBP del actual
gobierno ya que ste se centra en la competitividad del pas dejando de lado otras reas.
9 Reglas de Operacin, Op. Cit., p. 111. En las Reglas de Operacin anteriores se planteaban seis objetivos
a) Beca de Fomento
b) Beca de Formacin
c) Beca de Desarrollo
d) Beca de Vinculacin
e) Beca Mixta
f) Beca Especica
La Beca de Fomento fue creada para promover aptitudes e
inclinaciones cienticas y tecnolgicas en distintos niveles educativos.
El apoyo destinado para la formacin de recursos humanos altamente
capacitados en Mxico o el extranjero mediante apoyos econmicos
y asistenciales para cursar estudios de posgrado recae en la Beca de
Formacin. Las Becas de Desarrollo y de Vinculacin son otorgadas para
realizar estancias tcnicas y acadmicas respectivamente. El apoyo adicional
que se brinda a un becario que cuenta con una Beca de Formacin es la
Beca Mixta. sta ltima complementa la formacin cientica y tecnolgica
del becario dndole apoyo para llevar a cabo una estancia acadmica en
alguna institucin nacional o extranjera. Por ltimo, la Beca Especica se
otorga con base en convenios de colaboracin suscritos por el CONACYT y
entidades federativas con instituciones o personas morales con la inalidad
de fomentar, formar, desarrollar o vincular los recursos humanos con
diversos sectores y reas especicas.12
Las Reglas de Operacin deinen la cobertura del PBP de manera
muy general pues establecen que [E]l Programa est enfocado a facilitar
al capital humano el acceso a oportunidades de fomento, formacin,
desarrollo y vinculacin tanto en el pas como en el extranjero, orientadas
a satisfacer las demandas de los diversos sectores de la sociedad.13 Debido
a esta generalidad, no se puede deinir con claridad cul es el alcance que
pretende lograr el PBP. Del mismo modo, la poblacin objetivo del programa
no precisa con exactitud a quines est enfocado el apoyo ofrecido ya que
slo se establece que est dirigido a personas que tengan inters en llevar a
cabo estudios, o formarse mediante actividades cienticas o tecnolgicas en
dependencias, instituciones acadmicas, centros de investigacin pblicos,
privados, nacionales o extranjeros o en algn otra instancia que permita
cubrir el objetivo del programa.
12 Hasta el 2004, el CONACYT estableca tres tipos de becas (posgrados nacionales, posgrados en el
extranjero y becas para estancias tcnicas en el extranjero). El criterio para determinar el tipo de beca era
el lugar donde se realizara el posgrado y la modalidad de ste.
13
Figura 1:
40000
35000
30634
26918
30000
23210
25000
20000
15000
10000
5000
0
16816
13483
11934 12371
19243 20111
21019
15259 16170
6133
7045
8296
10027 11457
8758 10088
2001
2002
2003
2004
2005
Becas Vigentes
2006
2007
2008
2009
2010
Becas Nuevas
14
15 Gobierno Federal, Cuarto Informe de Ejecucin del Plan Nacional de Desarrollo 2007-2012, Mxico, 2010, p. 251.
16 Es importante subrayar que el PBP no siempre ha crecido sostenidamente. Aunque durante los aos
1970 el PBP tuvo una tasa de crecimiento anual positiva sta se revirti signiicativamente en la dcada
de 1980 debido a los problemas econmicos que sufri el pas. A partir de los aos 1990 la tasa de
crecimiento es positiva. Ortega et. al., Invertir en el Conocimiento, Op. Cit., p. 54.
17 Consejo Nacional de Evaluacin de la Poltica Social, Informe de Evaluacin Especica de Desempeo 20092010, Mxico, p. 12.
0.15%
ESPECIALIDAD EXTRANJERO
ESPECIALIDAD NACIONAL
2.02%
MAESTRA EXTRANJERO
32.47%
DOCTORADO NACIONAL
59.00%
MAESTRA NACIONAL
5.52%
DOCTORADO EXTRANJERO
Fuente: Elaboracin propia con base en CONACYT, Informe de Labores 2010, Mxico, 2010, p. 3.
Para el ao 2010, 37.5% de las becas inanciadas por el PBP fueron para estudios doctorales.
19 Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 43; CONACYT, Informe de Labores 2010, Mxico, 2010, p. 3.
14000
12000
10000
8000
6000
4000
2000
0
2001
2002
2003
2004
2005
PRESUPUESTO CONACYT
2006
2007
2008
2009
2010
PRESUPUESTO BECAS
20
21 Gobierno Federal, Indicadores de Actividades Cienticas y Tecnolgicas, Mxico, Edicin Bolsillo, 2011, pp. 95, 116.
22 Como se puede observar en la igura 3, a partir de 2007 los recursos del ramo 38 (Consejo Nacional de
Ciencia y Tecnologa) se han incrementado sustancialmente. Desde 2008, el gasto en este ramo ha sido el de
mayor participacin del gasto federal en ciencia y tecnologa. Para el ao 2010, dicho gasto equivali a 34.9%.
Hasta 2007, el sector administrativo al que se le destinaban ms recursos en ciencia y tecnologa era el de
educacin pblica. CONACYT, Informe General del Estado de la Ciencia y la Tecnologa, Mxico, 2011, pp. 19-22.
23 En el ao 2000 hubo 29,674 egresados de programas de posgrado en el pas. Para el ao 2009 este
nmero creci a 72,522. El nmero de egresados no implica necesariamente que el grado haya sido
otorgado a la estudiante. Gobierno Federal, Indicadores de Actividades, Op. Cit., p. 121.
Figura 4:
Direccin de Becas
Direccin de Becas
Nacionales
Direccin de Becas al
Extranjero
Direccin de
Asignacin de Becas
Nacionales
Direccin de
Asignacin de Becas
al Extranjero
24 En aos anteriores la operacin del PBP estuvo a cargo de otras direcciones adjuntas. De hecho, hasta
1995 el programa fue operado por dos direcciones: la Direccin Adjunta de Investigacin Cientica y la
Direccin Adjunta de Modernizacin Tecnolgica. Durante la administracin del presidente Zedillo se
llev a cabo una reorganizacin institucional que tuvo como uno de sus objetivos principales el que el PBP
fuera diseado e implementado por una sola direccin. Bazdresch, Prlogo, Op. Cit., p.18.
E
Como concursante en el Premio 2011, el Programa de Becas de Posgrado y
otras modalidades de apoyo a la calidad fue valorado por el comit evaluador
con base en el compromiso de este programa con el uso de las evaluaciones
que se le han realizado en aos recientes. Originalmente, tres evaluaciones al
PBP fueron consideradas para participar en el Premio 2011: la Evaluacin
de Impacto del Programa de Formacin de Cienticos y Tecnlogos 19972006, inanciada por el Banco Mundial y realizada por el Centro Redes
entre 2007 y 2008 y dos evaluaciones especicas de desempeo llevadas
a cabo por C-230 Consultores, S.C. y coordinadas por el Consejo Nacional
de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) en 2008 y
2009-2010. A continuacin se sintetizan los principales resultados de estas
evaluaciones. 26
25
26
La siguiente seccin se basa en la informacin de la evaluacin del Centro Redes y en los dos estudios
realizados por C-230 Consultores, S.C. (2008, 2009-2010).
27
28
Ibdem., p. 2.
Resultados
La valoracin de los resultados indic que las evaluaciones externas
realizadas al programa no son de impacto o seguimiento a beneiciarios.
Asimismo, la evaluacin seala que este hecho diiculta evaluar el grado del
cumplimiento de las actividades del programa con respecto al in de ste,
por lo que no es posible analizar los efectos ni la efectividad del PBP.
La valoracin general de los indicadores airma que el indicador
de in no mide el impacto del programa en la competitividad del pas
pues utiliza un ndice internacional que considera factores que no estn
estrechamente relacionados a los resultados del programa. De igual manera,
la evaluacin estableci que los indicadores de la matriz de indicadores
de resultados (MIR) del PBP no coinciden con las Reglas de Operacin ya
que stas contemplan indicadores del Programa de Formacin, Desarrollo
y Consolidacin de Cienticos y Tecnlogos y de Recursos Humanos de
Alto Nivel. Por este motivo, los estndares de cumplimiento para cada
meta del PBP no coinciden con los de las Reglas de Operacin ya que este
ordenamiento nicamente contempla los del programa macro. Finalmente,
se asevera que los indicadores no miden los beneicios derivados de haber
realizado un posgrado, as como tampoco la capacidad de producir riqueza.
En lo referente a la cobertura del PBP, se observ que aunque la
poblacin objetivo est bien deinida no cuenta con una frmula. Esta ausencia
diiculta conocer el nivel de cobertura real del programa. Por otra parte, la
evaluacin menciona que no existe informacin suiciente que documente
la evolucin histrica del PBP. Por ltimo, las principales observaciones al
seguimiento de los aspectos de mejora sealan que, en general, la demanda
de apoyos individuales no releja las necesidades de recursos humanos de
los sectores que intenta vincular el CONCACYT (acadmico, productivo o
gubernamental) sino los intereses o preferencias de los becarios. De igual
manera, se establece que el PBP debe especializar y focalizar los apoyos que
otorga tratando de evitar que la demanda de recursos humanos cienticos y
30
Resultados
La EED 2009-2010 incluy un componente adicional a la evaluacin de 2008,
ste fue el fomento de vocaciones cienticas y tecnolgicas. Este estudio no revela
informacin sustancialmente diferente a la de un ao anterior. En lo referente
a resultados, el PBP tuvo una buena valoracin en trminos de cobertura y
nivel de satisfaccin de los ex becarios. Al igual que la evaluacin previa, sta
encuentra que dado que no se realiz una evaluacin de impacto en la que se
compare dos grupos (uno de control y uno de tratamiento, antes y despus de la
implementacin del programa) es imposible conocer el efecto del PBP en el nivel
de competitividad del pas. En el mismo sentido, la evaluacin establece que no
se cumpli con el indicador del in ya que la posicin de Mxico en cuanto al nivel
competitividad qued cinco lugares debajo de lo esperado en el ndice Global de
Competitividad del Foro Econmico Mundial. Esta evaluacin insiste en que la
competitividad depende de factores ajenos al PBP por lo que se sugiere tomar
como indicador nicamente el relativo a la innovacin. En trminos de cobertura,
la EED hall que la poblacin potencial no est bien deinida, pues no considera el
total de la poblacin que requiere el apoyo del PBP.
Dado que el PBP no cuenta con una evaluacin de impacto que
cumpla con los requisitos deinidos por el CONEVAL, los evaluadores
externos recomiendan hacer un estudio de factibilidad para analizar la
posibilidad de realizar una evaluacin de ese tipo. Asimismo, se sugiere
modiicar el indicador del in del programa y modiicar el Reglamento de
Becas para conseguir que los ex becarios aumenten su estada en Mxico.
Tambin se apunta que es necesario construir un indicador que muestre
el nmero de becarios que obtienen el grado y se seala que es necesario
seguir trabajando en la construccin de indicadores que muestren, de mejor
manera, los resultados y los avances del programa.
H
acciones de mejora y resultados esperados
De acuerdo con las bases establecidas para valorar la relevancia y el potencial
de mejora de los programas inscritos al Premio 2011, los participantes
enviaron una cdula o icha de inscripcin en la que identiicaron las
31
Cuadro 1:
Ficha de Inscripcin del Programa de Becas de Posgrado y otras modalidades de apoyo a la calidad
Evaluacin
Hallazgos ms
relevantes
Resultado esperado
Fechas de inicio
y conclusin
de avance
a agosto
de
Evidencia de
conclusin
Evaluacin de
Impacto del
Programa de
Formacin de
Cienticos y
Tecnlogos
1997-2006
1. Impacto sobre
la equidad
2. Impacto sobre
la ocupacin
3. Impacto sobre el
mbito cienticotecnolgico y
acadmico
4. Impacto sobre
el medio social,
sector productivo
y la innovacin
5. La emigracin
caliicada,
tendencias recientes
6. Satisfaccin de
los ex becarios
Septiembre 2007
Noviembre 2008
100%
Publicacin
del Estudio
por parte del
Foro de CyT
Evaluacin
Hallazgos ms
relevantes
Resultado esperado
Fechas de inicio
y conclusin
de avance
a agosto
de
Evidencia de
conclusin
Evaluacin
Especica de
Desempeo
2008
El Programa de
Becas para estudios
de posgrado
no cuenta con
evaluaciones
externas de impacto
o de seguimiento
de beneiciarios
24 de junio de 2010
25 de junio de 2010
100%
Programa
del Evento
Evaluacin
Especica de
Desempeo
2009-2010
DebidoaqueelPrograma
nocuentaancon
unaevaluacinde
impactoquecumpla
conlosrequerimientos
establecidospor
CONEVAL,seindic
alCONACYTrealizar
unaevaluacindeeste
tipo,puesprevalecela
necesidaddeconocer
losefectoseimpactos
delPrograma.
30%
Informe Final
Hallazgos ms relevantes
Resultado esperado
Evidencia de avance
a agosto de
Evaluacin
de Impacto
del
Programa
de
Formacin
de
Cienticos y
Tecnlogos
1997-2006
Optimizacin
de costos y
aumento del
nmero de becas
en el extranjero
a partir de 2009
Incremento
de becarios en
Mxico a partir
del 2008
Informacin
coniable en 2011
sobre las variables
enunciadas en
el hallazgo y la
elaboracin de
un reporte de
indicadores anual
Estudio sobre la
optimizacin de
costos y aumento
del nmero de becas
en el extranjero
asignadas a
partir de 2009
Cuadros oiciales
comparativos sobre
el incremento de
becarios extranjeros
en Mxico a
partir de 2008
Reportes oiciales
a 2011 de ex
becarios que son
miembros del SNI
Por otra parte, resulta un acierto de los responsables del PBP el haber
establecido las direcciones que estuvieron a cargo de la implementacin
de las estrategias, sobre todo en los casos en que la responsabilidad la
comparten dos direcciones o una direccin y las entidades de la Repblica.
De la misma manera, la previsin de riesgos de cada una de las estrategias
fue otro punto favorable del anexo ya que este ejercicio probablemente
permiti la anticipacin de escenarios adversos.34
Cuadro 3:
Resultado
Esperado
Estrategias
Meta
definida
Responsables
Riesgos
Optimizacin
de costos y
aumento del
nmero de
becas en el
extranjero
del 2009
Establecer nuevas
polticas para el
pago de conceptos
de apoyo de la
becas (establecer un
tope en el costo de
colegiaturas) y que
quede expresado
en la convocatoria
Direccin
Adjunta de
Posgrado
y Becas
Que el becario
no pueda
obtener el
inanciamiento
complementario
Incrementar
la suscripcin
convenios con
instituciones,
organismos y pases
en el extranjero
No
Direccin
Adjunta de
Planeacin y
Cooperacin
Internacional/
Direccin
Adjunta de
Posgrado
y Becas
Falta de voluntad
o inters de la
contraparte
por suscribir
los convenios;
incumplimiento
eventual del
convenio por
la contraparte
Mejorar los
trminos y
condiciones de los
convenios irmados
con instituciones,
organismos y pases
en el extranjero
No
Direccin
Adjunta de
Planeacin y
Cooperacin
Internacional/
Direccin
Adjunta de
Posgrados
y Becas
Falta de voluntad
o inters de la
contraparte
por suscribir
los convenios;
incumplimiento
eventual del
convenio por
la contraparte
Suscribir convenios
con entidades
federativas para
la formacin de
recursos humanos
de alto nivel en
el extranjero
No
Direccin
Adjunta de
Posgrados
y Becas/
Entidades
Federativas
Falta de
continuidad o
inters; cambio
de polticas o de
prioridades en
los gobiernos
de los estado
34 El anexo de la nueva icha de inscripcin no contiene informacin que sustente que los operadores
del programa hayan previsto planes alternativos de accin en los casos donde hubiera diicultades en la
implementacin de las estrategias planteadas.
Resultado
Esperado
Estrategias
Meta
definida
Responsables
Riesgos
Incremento
del nmero
de becarios
extranjeros
en Mxico
a partir
del 2008
Promocin del
PNPC a travs de la
feria de posgrado
en Mesoamrica
No
Direccin
Adjunta de
Posgrados
y Becas
Desinters, falta
de viabilidad
para venir al pas
por parte de los
estudiantes
Posibilidad de
elegibilidad de
extranjeros en
convocatorias
nacionales
Escasos
estudiantes
extranjeros en
los posgrados
del PNPC por
la inseguridad
y alto costo
en el nivel de
vida en el pas,
presupuesto
insuiciente
Informacin
coniable del
2010 sobre
las variables
enunciadas en
el hallazgo, y
que anualmente
se reporten
indicadores
Realizar el anlisis
de la informacin
de los miembros
del SNI que fueron
becarios CONACYT
Direccin
Adjunta de
Posgrados
y Becas
Disponibilidad
de informacin
en el Sistema
Nacional de
Investigadores
Informacin
coniable del
2010 sobre
las variables
enunciadas
en el hallazgo,
y que
anualmente
se reporten
indicadores
A
La siguiente y ltima fase del Premio 2011 valorada por el comit
evaluador fue la revisin de la implementacin de estrategias ijadas para
obtener los resultados esperados. El periodo en el que los responsables
del PBP tuvieron para implementar las estrategias fue de cinco meses (del
31 de marzo al 30 de agosto de 2011). Para la valoracin de esta fase los
operadores del programa entregaron un resumen narrativo con la sntesis
de las acciones de mejora implementadas, la estrategia de implementacin
y los resultados alcanzados a agosto de 2011. Tambin se requiri que en
el resumen narrativo se explicara cules seran los resultados del programa
a mediano plazo as como las lecciones aprendidas.35 A continuacin se
sintetizan las acciones implementadas y logros obtenidos.
35
Tambin se solicit soporte documental que demostrara los resultados alcanzados hasta el momento.
I
M
36
Este tope fue establecido en las convocatorias de becas para estudios de posgrado en el extranjero.
I
M
Para este resultado se establecieron dos estrategias (realizacin de feria de
posgrados en Centroamrica y posibilidad de elegibilidad de extranjeros
en convocatorias nacionales). Aunque estas acciones probablemente
contribuyeron para lograr el incremento signiicativo en el nmero de
nuevas becas otorgadas, no existe informacin que permita determinar
cul fue la aportacin de cada una para lograr el resultado. Del mismo
modo, no se deini en la segunda icha de inscripcin una meta clara en
cuanto al nmero de ferias de posgrado a realizar y cmo y en qu medida
contribuiran a incrementar el nmero de becas otorgadas. Por otra parte,
la estrategia de elegibilidad de extranjeros en convocatorias nacionales
no representa por s misma un gran esfuerzo del programa para atraer a
becarios extranjeros. La eicacia de esta estrategia se centra en la promocin
de becas para extranjeros ms all de las fronteras de Mxico.
I
anualmente se reporten indicadores
Para este resultado s se deini una estrategia con una meta concreta, misma
que se cumpli a cabalidad. La integracin de sistemas de informacin de
los programas de CONACYT y el anlisis de la informacin de los miembros
del SNI arrojaron datos tiles que permiten dimensionar en cierta medida
el impacto del PBP. Adems, este resultado s tiene una vinculacin directa
con las recomendaciones hechas en las evaluaciones realizadas al programa
(Centro Redes y EED). De acuerdo con los operadores del programa, el
rea de oportunidad en este rubro es establecer un sistema de monitoreo
y una evaluacin orientada a resultados e impactos del programa. Estos
instrumentos permitirn la identiicacin de instituciones educativas,
tanto en Mxico como en el extranjero, que facilitan las condiciones para que
becarios CONACYT egresados formen parte del SNI. Por medio de este tipo
de acciones tambin se obtendr ms informacin sobre las trayectorias de
los ex becarios del PBP como el rea de conocimiento, gnero, nivel del SNI
y sector productivo. En el cuadro 4 se sintetizan los resultados esperados,
estrategias, logros alcanzados y balance de stos.
En la ltima fase del Premio 2011, el comit evaluador valor,
con base en un resumen narrativo del programa, cuatro componentes
del PBP: la implementacin y avances a agosto de 2011; las estrategias
diseadas para asumir las acciones de mejora como elementos constitutivos
del programa; los efectos potenciales de la acciones de mejora en trminos
del funcionamiento y resultados del programa; y las lecciones aprendidas.38
El PBP obtuvo una caliicacin de 65 y fue el penltimo mejor evaluado. El
comit evaluador reconoci los logros alcanzados y resalt el compromiso
de los responsables del programa de contar en el pas con capital humano
altamente caliicado. Asimismo, el jurado valor positivamente la
disposicin de tomar en cuenta las recomendaciones y los hallazgos de las
evaluaciones as como el esfuerzo de CONACYT por realizar una evaluacin
de impacto pese a la complejidad que implica dicho estudio. En particular,
el comit evaluador coincidi en que los aspectos mejor evaluados fueron
la implementacin y la estrategia. Como debilidades, se seal que algunos
cambios en el programa fueron implementados en aos anteriores por lo
que se percibe la inercia de dichos esfuerzos. Tambin se hizo hincapi en la
diicultad de dimensionar el esfuerzo del programa debido a la ausencia de
metas preestablecas. Otro punto dbil detectado por el jurado fue la falta
de informacin para evaluar y dar seguimiento a los ex becarios.
38 Cada institucin participante caliic cada uno de los aspectos y otorg un puntaje total. La caliicacin
inal que recibi el PBP fue el resultado de promediar el puntaje total de cada institucin.
Cuadro 4.
Resultado
Esperado
Estrategias
Resultados alcanzados
Observaciones
Optimizacin
de costos y
aumento del
nmero de
becas en el
extranjero
asignadas
a partir
de 2009
Nuevas polticas
para el pago de
conceptos de
apoyo de la beca
Reduccin de costos
de inanciamiento
para becas en
el extranjero
en un 11%
Establecimiento
de convenios con
instituciones
educativas
extranjeras con la
obtencin de por
lo menos un 10%
de descuento en
las colegiaturas
Incremento del
12% en el nmero
de becas en el
extranjero
Incrementar la
suscripcin de
convenios con
instituciones
educativas del
extranjero
Mejorar los
trminos y
condiciones de
los convenios
existentes con
instituciones
del extranjero
Promocin del
PNPC a travs
de la feria de
posgrado en
Mesoamrica
Posibilidad de
elegibilidad de
extranjeros en
convocatorias
nacionales
Suscribir
convenios
con entidades
federativas
para becas en
el extranjero
Incremento
del nmero
de becarios
extranjeros
en Mxico
a partir
del 2008
Aunque se establecieron
convenios con instituciones
educativas extranjeras se
desconoce la dimensin del
esfuerzo del programa ya que
no se ijaron metas concretas
Incremento de
220% en el nmero
de nuevas becas a
extranjeros entre
2007 y 2010 para
realizar estudios
de posgrado en
centros CONACYT,
universidades
particulares e
instituciones
de educacin
superior pblicas
No se report informacin
suiciente para valorar en
qu medida las dos ferias
realizadas en Centroamrica
contribuyeron al resultado
esperado ya que no se deini
una meta para esta estrategia
La meta se cumpli pero no
representa un gran esfuerzo
del programa establecer la
elegibilidad de extranjeros en
las convocatorias nacionales.
La eicacia de esta estrategia
se centra en la promocin
de las becas para estudios
de posgrado en el pas
Informacin
coniable del
2010 sobre
las variables
enunciadas
en el
hallazgo, y
que
anualmente
se reporten
indicadores
Realizar el
anlisis de la
informacin de
los miembros
del SNI que
fueron becarios
CONACYT
Conclusin
El Programa de Becas de Posgrado y otras modalidades de apoyo a la
calidad del CONACYT contribuye de manera signiicativa con las polticas de
desarrollo cientico y tecnolgico y de equidad del pas. Dicha contribucin
recae principalmente en la formacin de capital humano de alto nivel.
Uno de los ines principales del programa es que los recursos humanos
altamente capacitados respondan a las necesidades, los problemas y los
retos que enfrenta Mxico. El PBP, al ser participante del Premio 2011
tuvo que encarar tres retos de los cuales se desprenden lecciones valiosas
tanto para este programa como para otros similares.
El primer reto fue la identiicacin de hallazgos relevantes de
las evaluaciones realizadas al programa. En un primer momento, los
responsables del PBP, con base en la evaluacin del Centro Redes,
identiicaron impactos que no tenan una relacin lgica con las acciones
de mejora planteadas ni con los resultados esperados. Asimismo, estos
hallazgos no mostraron una relacin directa con el objetivo del programa
de becas, el cual se enfoca en incrementar la competitividad del pas.
Como establecieron las evaluaciones especicas de desempeo, resulta
difcil vincular los productos del PBP con la competitividad ya que sta no
depende directa y nicamente de los resultados del programa. Sobre este
punto, el comit evaluador indic que es necesario realinear las acciones
del programa de becas para que se evalen a la luz de sus productos y no
en otros tienen problemas para vincular las estrategias con las acciones de
mejora y los resultados esperados. Afortunadamente, el CONACYT cuenta
con la disposicin de utilizar a las evaluaciones como herramientas de
cambio para alcanzar sus objetivos. En la medida que esta voluntad est
acompaada de acciones encaminadas a mejorar las polticas del programa,
los objetivos de esta institucin se irn consiguiendo.
B
Bazdresch Parada, Carlos, Prlogo, en Ortega et al., Invertir en el
Conocimiento: El Programa de Becas-crdito del CONACYT, Mxico, SEPCONACYT y Plaza y Valds, 2001.
Cejudo, Guillermo, Minuta de las sesiones de trabajo con los programas
seleccionados para el Premio Programas Federales comprometidos con el
proceso de evaluacin, Mxico, 2011.
Centro Redes, Evaluacin de Impacto del Programa de Formacin de Cienticos
y Tecnlogos, Mxico: CONACYT, Mxico, 2008.
Consejo Nacional de Ciencia y Tecnologa, Ciencia y Tecnologa para la
Competitividad, Mxico, FCE y CONACYT, 2006.
_______, Informe de Labores 2010, Mxico, 2010.
_______, Informe General del Estado de la Ciencia y la Tecnologa, Mxico,
2011.
Consejo Nacional de Evaluacin de la Poltica Social, Informe de Evaluacin
Especica de Desempeo 2009-2010, Mxico, 2010.
_______, Informe de la Evaluacin Especica de Desempeo 2008, Mxico,
2008.
Direccin Adjunta de Posgrado y Becas, Anexo de Resultados alcanzados
por el programa de becas de posgrado y otras modalidades de apoyo a la
calidad, Mxico, 2011.
Introduccin
La capacidad de autocrtica, as como la posibilidad de descubrir los errores y
tendencias negativas que se encubren por accin de la cotidianeidad; adems
de contar con la cualidad de reconocer serenamente los aciertos de las acciones
realizadas por determinadas instancias gubernamentales, son condiciones
fundamentales para evitar y erradicar la rigidez que puede producir, y que de
hecho ha producido, nuestra perniciosa burocracia. De ah la importancia de la
vigilancia y evaluacin permanente y, sobre todo, de la capacidad de reaccin
ante los resultados: tanto en la profundizacin de las acciones positivas,
como en la correccin de las tendencias negativas, que en conjunto, forman
parte fundamental del quehacer de toda institucin pblica en el marco de un
desprestigio generalizado, que a la fecha tienen algunas de las instituciones
pblicas y algunos de los programas sociales en Mxico. En efecto, dadas las
condiciones de pobreza y la falta de regulacin que se viven en nuestro pas,
mismas que se han visto agravadas por la crisis mundial, se hace necesaria
una nueva forma de hacer poltica y una nueva forma de instrumentar los
programas sociales, de forma tal que se garantice una correspondencia
adecuada entre el uso del recurso pblico destinado a determinado in y los
beneiciarios de dicho recurso. Por esta razn, la vigilanciala permanente
y las recomendaciones hechas por organismos distintos a la dependencia
encargada de ejecutar los programas, es fundamental.
En Mxico, la evaluacin de programas que tienen que ver con el
campo ha estado especialmente abandonada; de ah que en el marco de la
poltica institucional actual, tenga una especial relevancia volcar la atencin
sobre este sector y, sobre todo, atender a las respuestas que las instancias
especicas den a esas evaluaciones.
Con el in de dar seguimiento a este proceso de evaluacin, en el
contexto del Premio 2011, se estudiarn en este captulo las experiencias
relacionadas con las evaluaciones que se realizaron a los programas:
Prorbol, de la Comisin Nacional Forestal (Conafor), el Fondo para
el Apoyo a Proyectos Productivos en Ncleos Agrarios (FAPPA), Joven
Emprendedor Rural y Fondo de Tierras (JERFT), y el Programa de la Mujer
en el Sector Agrario, Secretara de la Reforma Agraria (SRA). La importancia
que tiene el anlisis de estas experiencias radica en que nos permite destacar
las fortalezas y las debilidades, para que ms adelante otros programas
orientados al campo mexicano puedan hacer uso de estas experiencias, as
como servir al mismo tiempo para mejorar el diseo futuro de programas
orientados al campo y se puedan incorporar los elementos que permitan
corregir los defectos que pudieran surgir de la instrumentacin de stos,
y se establezcan las caractersticas de la evaluacin que contribuyan a
instrumentar adecuadamente los programas.
Prorbol (Conafor)
Siguiendo a Conafor, Prorbol es el principal programa federal de apoyo
al sector forestal que ordena en un solo esquema el otorgamiento de
estmulos a los poseedores y propietarios de terrenos para realizar acciones
encaminadas a proteger, conservar, restaurar y aprovechar de manera
sustentable los recursos en bosques, selvas y zonas ridas de Mxico. La
Comisin Nacional Forestal es la institucin responsable de llevar a cabo este
programa, bajo reglas de operacin y a travs de una convocatoria anual en la
que se establecen los requisitos, plazos y procedimientos para la asignacin
y entrega de recursos a los beneiciarios. Por sus caractersticas, Prorbol
garantiza la equidad, transparencia y eicacia en el ejercicio de los recursos
pblicos destinados a impulsar el desarrollo sustentable para beneicio de los
dueos y habitantes de las regiones forestales y del pas en general.1
1
http://www.conafor.gob.mx/portal/index.php/tramites-y-servicios/apoyos-2012, (Consultado el 11 de
febrero de 2012).
Sven Wunder, Pagos por servicios ambientales: principios bsicos esenciales, CIFOR, Occasional Paper No.
42(s), 2005.
3 J. Hardner, J. y R. Rice, Rethinking green consumerism, Scientiic American, pp.89-95, 2002; E. Niesten
y R. Rice, Sustainable forest management and conservation incentive agreements, International Forestry
Review, Vol. 6, pp. 56-60, 2004; S. Scherr et al., For services rendered. Current status and future potential
of markets for ecosystem services of tropical forests: an overview en Technical Series #21, Yokohama:
International Tropical Timber Organization (ITTO), 2004; P. Ferraro y A. Kiss, Direct payments to
conserve biodiversity, Science, Noviembre 29, 2002, pp. 1718-1719.
4
www.conafor.gob.mx
plazo el resultado de sus acciones, pero cabe destacar la actitud abierta a los
sealamientos y el intento por hacer caso a las recomendaciones derivadas
de las evaluaciones.
En cuanto a algunas debilidades, se menciona que se deben
identiicar las categoras de apoyo destinadas a las poblaciones marginadas,
y se recomienda que, con base en las evaluaciones de aos anteriores
se realice un ejercicio contabilizacin de la supericie, que permita la
cuantiicacin y la caracterizacin de las zonas prioritarias, focalizacin
de los programas por regin, integracin de los programas de promocin
especicos y la integracin de programas para zonas frgiles. Conafor, en
respuesta a las recomendaciones hechas, ha instrumentado una serie de
estudios, convenios, documentales, lineamientos, talleres, etc., mismos
que han permitido tener una visin ms clara del complicado fenmeno
que consiste en empatar los intereses humanos con los de su entorno
relacionado con la Biodiversidad. La evaluacin del impacto (positivo o
negativo) del programa, es muy complicada, pues el componente de corto
plazo en este caso no favorece a los instrumentadores del programa. No
obstante, es necesario estudiar proyectos de impacto que manejen los
bosques productivamente por perodos de muchos aos; asimismo, se sabe
que una hectrea plantada con yute equivale a 5 hectreas de bosque en
cuanto a la captacin de CO2 se reiere, por lo cual, con menos inversin
podran obtenerse resultados de trascendencia.
Pese a la diicultad que implica medir con precisin los resultados
del programa, como se dijo anteriormente, Conafor procura hacer uso de
los estudios tcnicos como herramienta para la toma de decisiones y, por lo
mismo, intenta que su actuar est sustentado en los resultados de dichos
estudios. Esta forma de actuar es adecuada y pone de maniiesto que las
autoridades tienen la capacidad de reaccionar ante los sealamientos de los
organismos evaluadores, y aunque no se puede calcular el impacto, por la
diicultad temporal del fenmeno analizado, se puede decir que se ha hecho
caso de las recomendaciones planteadas.
Finalmente, dada la situacin de pobreza del pas y dada la
naturaleza de la economa de mercado en la que opera el programa
Prorbol, as como el negativo historial de corrupcin en nuestro pas,
est latente la presencia del conocido riesgo moral; pues ante una
oferta ilegal de recursos para vender madera o usar los bosques de forma
lucrativa, es posible que haya quienes reciban los pagos del programa y,
a la vez, los pagos de su contrario, es decir, del dinero que tiende a no
preservar la Biodiversidad.
No obstante, Conafor obtuvo en la evaluacin inal el cuarto lugar de
13 programas participantes, lo cual revela el compromiso de la institucin
con el programa de evaluacin, pese a la diicultad de medir el impacto
concreto de sus acciones.
A
N
P
FAPPA
P
SRA
Reglas de Operacin del Programa Fondo para el Apoyo a Proyectos Productivos en Ncleos Agrarios
(FAPPA), Diario Oicial de la Federacin.
12
13
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_ext_comp/PROMUSAG.pdf,
consultado el 13 de febrero de 2012.
Conclusiones
El programa que observ mejor desempeo, tanto por la profesionalizacin
de su actividad, como por la eiciencia con la que fueron instrumentadas las
recomendaciones por las supervisiones realizadas, pese a la diicultad de
instrumentar algunas de ellas, fue el programa Prorbol: el uso de tcnicas
modernas y estudios cienticos para poner en prctica el programa;
la constante evaluacin de impacto, en un mbito de poltica pblica de
enorme complejidad para la medicin y la identiicacin de los impactos,
como es el caso de la poltica ambiental. Este esfuerzo fue reconocido con
el cuarto lugar del Premio.. Por su parte, los programas instrumentados
por la SRA se enfrentaron a problemas que les afectan en comn por
pertenecer a la misma secretara. Podemos mencionar el problema de la
falta de informacin para los ncleos que podran beneiciarse de los
programas; problemas de falta de personal y falta de capacitacin del
personal para seleccionar adecuadamente a los posibles beneiciarios del
programa y, inalmente, las acciones realizadas por los programas tuvieron
alcances limitados por constreirse a acciones de propaganda (trpticos,
volantes, etc.) y cursos de capacitacin, ejecutados por el mismo personal
que por ser limitado no poda abarcar muchas comunidades. Los resultados
de la evaluacin conirman lo antedicho, pues los programas de la SRA se
colocaron en los ltimos lugares de la evaluacin. Quizs no fue la falta de
compromiso con el proceso de evaluacin lo que llev a los programas de la
SRA a obtener los resultados obtenidos, como la falta de recursos para su
instrumentacin; en todo caso, falt capacidad de gestin de parte de las
autoridades correspondientes para allegarse de esos recursos y as poder
instrumentar de mejor manera las recomendaciones que les hicieran a los
programas.
En resumen, el proceso de evaluacin dio a las instituciones
elementos para relejar las virtudes y las deiciencias de sus respectivos
programas. La instrumentacin de las recomendaciones depende, como
queda visto ac, de la disposicin de las autoridades dirigentes, pero
tambin de los recursos econmicos y humanos para la instrumentacin
de las mejoras, de lo cual se deduce que la evaluacin debe ser permanente
y los recursos humanos mejorar; as como asignar de forma cada vez ms
eiciente los recursos econmicos destinados a los programas para que se
potencien los beneicios derivados de una mejor instrumentacin.
B
CONEVAL, 2011: Informe de la Evaluacin Especica de Desempeo 20102011. Valoracin de la Informacin contenida en el Sistema de Evaluacin
del Desempeo (SED). Prorbol - Programa de Servicios Ambientales por
Captura de Carbono, Biodiversidad y Sistemas Agroforestales (CABSA)
Comisin Nacional Forestal.
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/JERFT.pdf (13 de febrero de 2012).
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/PROMUSAG.pdf (13 de febrero de 2012).
Heterogeneidad en la calidad y
Las evaluaciones a partir de las cuales se disearon las acciones de mejora
ofrecieron hallazgos y recomendaciones de desigual calidad y pertinencia,
y en no pocas ocasiones, ofrecieron pistas contradictorias e inconsistentes
para la mejora de los programas. Evidentemente, la calidad de los insumos,
en interaccin con la capacidad de traducirlos en acciones de mejora, afect
de manera determinante la calidad y el potencial efecto de las acciones.
Aunque en el marco del Premio esta variable no fue parte de la valoracin
del compromiso de los programas, la revisin de las acciones y estrategias
de mejora relej importantes limitaciones en el campo de accin de los
programas directamente vinculadas con la calidad de los insumos bsicos.
2 Y, en el mejor escenario, la articulacin de una demanda integral por rendicin de cuentas desde la sociedad.
D
capacidades para la evaluacin
El principal desafo identiicado en esta experiencia est relacionado con
una gran heterogeneidad y un nivel relativamente bajo de capacidades
en materia de evaluacin. A pesar de que existe un alto grado de
compromiso con el proceso de evaluacin, las capacidades reales para
analizar, seleccionar, operacionalizar y responder a los hallazgos de la
evaluacin, la claridad en la seleccin de los mismos, y la deinicin de
los indicadores pertinentes, ms all de las restricciones materiales para
su instrumentacin, releja un manejo dbil de los conceptos principales
de la evaluacin y una apropiacin endeble del modelo causal detrs de las
intervenciones. Una debilidad recurrente en los planteamientos iniciales
presentados por los programas est directamente relacionada con la poca
claridad en la planeacin de las acciones, la generacin de indicadores y la
seleccin de metas. Muchos de los instrumentos imprescindibles para el
monitoreo y la evaluacin de programas son todava conceptos nuevos con
los que los operadores estn poco familiarizados, y existe todava confusin
en torno a sus atributos necesarios y su funcin especicas. Por este motivo,
los operadores cuentan con pocos elementos para ser usuarios informados
y proactivos de los resultados de las evaluaciones, a pesar de reconocer la
importancia de dichos procesos, y realizar esfuerzos reales para satisfacer
las demandas de mejora.
D
Una preocupacin recurrente de los operadores, que guarda relacin directa
con el problema de fragmentacin del sistema de rendicin de cuentas, tiene
que ver con la multiplicidad de seales y demandas de atencin vinculados
a la evaluacin y el monitoreo que se confunden y traslapan con procesos
de iscalizacin y demandas dispersas e inconexas de informacin, que
deben atenderse con un margen limitado de atencin organizacional. Esto
ha impedido, entre otras cosas, que la atencin organizacional se oriente de
manera consistente a los resultados y permita acumular conocimientos de
manera ms rpida al interior de las organizaciones. En la medida en el que
Premio centr la atencin organizacional en el diseo y la instrumentacin
de acciones de mejoras, se veriicaron procesos de aprendizaje e intercambio
de informacin muy modestos, pero que suelen carecer de espacios
permanentes en la gestin cotidiana de los programas.
A
En particular, los programas de sectores descentralizados reportaron
problemas para dar continuidad a las acciones de mejora y acumular
memoria institucional en materia de desempeo y coordinacin por la muy
alta rotacin de funcionarios y/o la naturaleza episdica de la participacin
ciudadana (proyectos productivos, avales ciudadanos, asesores educativos).
Esta situacin impide la acumulacin incremental de mejoras, ya que
peridicamente se inicia desde cero en aspectos clave de la operacin
y la capacitacin, y tambin se genera incertidumbre y diicultad para el
establecimiento de metas e indicadores, en la medida en que existen
muchos factores externos a los programas que tienen un comportamiento
inestable e impactan directamente sus indicadores de gestin, procesos y
productos.
L
clara de responsabilidades
El cumplimiento de las metas --en los plazos establecidos-- y la calidad de
los documentos de veriicacin, estuvieron directamente relacionados con
la presencia de liderazgos que le dieron visibilidad y relevancia interna a las
evaluaciones, equipo de tuvieron la capacidad de asignar responsabilidades
individuales explcitas por cada accin de mejora, y realizar un trabajo en
equipo coordinado, en el marco de una estrategia comn. En los casos de
SICALIDAD y el Programa de expedicin de pasaportes y servicios consulares
de la SRE, este factor fue determinante para la calidad y coherencia interna
de las propuestas presentadas, para el adecuado seguimiento de las acciones
y el cumplimiento efectivo de las metas.