Programa de Desarrollo de Capacidades, Innovacin Tecnolgica y Extensionismo Rural

Componente de Desarrollo de Capacidades y Extensionismo Rural

GUA OPERATIVA DE LOS CENTROS ESTATALES DE CAPACITACIN Y SEGUIMIENTO DE LA CALIDAD DE LOS SERVICIOS PROFESIONALES 2012 (CECS)

Seguimiento y Evaluacin de las Estrategias

Septiembre de 2012

I.

PRESENTACIN

El propsito de la Gua Operativa de los Centros Estatales de Capacitacin y Seguimiento de la Calidad de los Servicios Profesionales 2012 es que los CECS cuenten con elementos operativos que les permita dar cumplimiento a las funciones sustantivas ya sealadas en el Manual de Procesos y Procedimientos para la Operacin de los Centros Estatales de Capacitacin y Seguimiento de la Calidad de los Servicios Profesionales, as como con instrumentos y esquemas operativos que les ayuden a desarrollar sus funciones de forma estandarizada y contar con las evidencias normativas de su trabajo. Para ello, cada Centro Estatal debe organizar sus recursos humanos y materiales, de tal forma que a partir de las funciones que debe desempear, el universo de servicios que debe atender y que est ligado al recurso que va a recibir con la estructura funcional propuesta, deber dar cumplimiento a las responsabilidades a las cuales se ha comprometido. En el Manual de Procesos y Procedimientos para la Operacin de los Centros Estatales de Capacitacin y Seguimiento de la Calidad de los Servicios Profesionales, ya se han sealado los procesos y procedimientos generales a seguir por los CECS para dar cumplimiento a sus Funciones Sustantivas, ahora bien, la presente Gua propone una descripcin ms puntual e incluye algunos instrumentos que le permiten desarrollar sus funciones y contar con las evidencias normativas de su trabajo. De esta forma, a continuacin se abordar la Funcin Sustantiva de Evaluacin de las Estrategias en los Territorios, proporcionando un conjunto de instrumentos a utilizar por los CECS.

II.

OBJETIVO GENERAL

Fomentar el desarrollo de capacidades de los productores, sus organizaciones y las familias rurales a travs del seguimiento y supervisin de los servicios profesionales que proporcionan los PSP contratados en el marco del Componente de Desarrollo de Capacidades y Extensionismo Rural, contribuyendo con su formacin mediante la retroalimentacin y propuesta de reas de mejora.

III.

MARCO INSTITUCIONAL

Los Centros Estatales de Capacitacin y Seguimiento de la Calidad de los Servicios Profesionales (CECS) contribuyen a hacer realidad las polticas de Desarrollo Rural Sustentable, inscritas en el marco institucional y normativo de la SAGARPA, de tal manera que los lineamientos de poltica institucional deben observarse de forma transversal en cada una de sus funciones sustantivas: capacitacin a prestadores de servicios; la evaluacin del desempeo; la evaluacin de las estrategias en los territorios y la certificacin de competencias. Sus funciones se enmarcan en las Reglas de Operacin 2012, en especial al Captulo IV Programa de Desarrollo de Capacidades, Innovacin Tecnolgica y Extensionismo Rural, especficamente en la Seccin II, del Componente Desarrollo de Capacidades y Extensionismo Rural y se describe en el Artculo 36. En las mismas Reglas de Operacin, en el Anexo LVI, Trminos de Referencia para la Integracin y Procedimientos de los Centros Estatales de Capacitacin y Seguimiento de la Calidad de los Servicios Profesionales (CECS), se define el marco normativo de su operacin desde la propuesta y criterios de seleccin de las Instituciones de Educacin Superior que pueden fungir como CECS, hasta sus responsabilidades y funciones; as como las posibles sanciones por incumplimiento. En ese marco, se identifican las Funciones Sustantivas de los CECS, que generan un Manual de Procesos y Procedimientos para la Operacin de estos Centros, el cual describe los cinco procesos que un CECS debe desempear: 1. 2. 3. 4. 5. Capacitacin a Prestadores de Servicios Profesionales Supervisin del desempeo y seguimiento de la calidad de los servicios profesionales Seguimiento y evaluacin de las Estrategias Evaluacin de Competencias Laborales de los Prestadores de Servicios Profesionales Administracin

La presente Gua Operativa tiene como propsito generar elementos, instrumentos y orientacin operativa para la funcin de Seguimiento y Evaluacin de las Estrategias.

IV.

IDENTIFICACIN E INTERACCIN DE PROCESOS

1. IDENTIFICACIN DE PROCESOS
Estado inicial del proceso PSP que van a proporcionar un servicio a la poblacin objetivo. BDU y Diagnstico de necesidades de capacitacin. PSP que van a proporcionar un servicio a partir de un programa de trabajo. BDU y Programas de trabajo Estrategias nacionales en los DDR. BDU, Resultados e indicadores de las Estrategias Mapeo de PSP candidatos a certificarse en CL Recursos comprometidos para el cumplimiento de las funciones y responsabilidades de los CECS Estado final del Proceso (Resultado de Valor) Usuario Interno Usuario Externo FormadoresAcadmicos de las Instituciones de Educacin Superior (IES) y del CECS CDE/Supervisores en colaboracin con los EATC, si existen condiciones PSP capacitados a partir de la identificacin de las reas de mejora para desarrollar el servicio contratado satisfactoriamente PSP contratados en el marco del Componente de DCyEX Nombre del Proceso

Capacitacin a PSP

Supervisin del desempeo y seguimiento de la calidad de los servicios Seguimiento y evaluacin de las Estrategias Evaluacin de competencias laborales de los PSP

CDE, EATC y UTEs. Evaluadores del CECS para Competencias Laborales

Instancia Ejecutora del Gasto.

PSP Certificados en CL

Administracin

2.

MAPEO DE PROCESOS

Poblacin Obje vo

PSP

Servicios autorizados

Instancia Ejecutora

Recurso autorizado para el CECS

Programa de Trabajo de los PSP Base de Datos nica 2012

Capacitacin a PSP

Supervisin de servicios

Evaluacin general de estrategias

Cer ficacin de CL

Administracin

Diagnos co necesidades de capacitacin PSP

Mapeo de servicios por Concepto y Tipo de Apoyo

Mapeo de servicios por Estrategia en los DDR

Diagnos co de PSP candidatos a Cer ficacin

Administracin del Recurso para el abastecimiento de bienes y servicios

Plan de Formacin

Plan de supervisin de la calidad de los servicios

Plan de evaluacin de las Estrategias

Plan de cer ficacin de CL

Capacitacin tcnica y metodolgica

Supervisin del Desempeo de los PSP

Evaluacin de las Estrategias en los DDR

Evaluacin de Competencias Laborales

PSP Capacitados

PSP Acreditados

Resultados de las Estrategias

PSP Cer ficados

Poblacin Obje vo

V.

DESCRIPCIN DE PROCEDIMIENTOS OPERATIVOS

El objetivo del seguimiento y evaluacin es extraer informacin pertinente para la medicin y anlisis del desempeo, adems puede utilizarse como base para el ajuste, la reorientacin y la planificacin de las estrategias nacionales y estatales y ayuda a mejorar el desempeo de los Programas y a medir sus resultados. Como seguimiento y evaluacin se entender la revisin de los avances en relacin al logro de los objetivos, la supervisin de las estrategias y acciones emprendidas por otros actores presentes en el territorio y, en consecuencia, decidir sobre las nuevas estrategias y acciones que se deben llevar a cabo para asegurar el avance hacia los resultados ms importantes. El seguimiento de las estrategias y del Componente deber ser un proceso contnuo en el que tomen parte: el CECS, las UTEs y los EATC. El Seguimiento y Evaluacin ser aplicada a las actividades finalizadas o en curso, para determinar en qu medida se estn logrando los objetivos establecidos y contribuyendo a la toma de decisiones. Esta funcin sustantiva del CECS se debe realizar durante todo el ejercicio y debe iniciarse preferentemente antes de que empiecen a operar los servicios, es decir, cuando en la Comisin Estatal de Desarrollo de Capacidades, Innovacin Tecnolgica y Extensionismo Rural define sus prioridades para el desarrollo del campo en la entidad, y planea su ejecucin a travs de estrategias nacionales y estatales, en ese momento se debern definir los alcances del servicio, los objetivos, las metas y los indicadores que deber retomar el CECS para evaluar la estrategia. Corresponder a cada CECS desarrollar de forma coordinada con cada uno de los actores sealados, definir un Plan de seguimiento y evaluacin, el cual contenga: El tiempo para la realizarlo Etapas claves del plan Identificacin de actores involucrados Recursos necesarios para el desarrollo del plan (recurso humano, logstica para la coordinacin y realizacin de las actividades requeridas) Responsables de la ejecucin del plan

Es importante sealar que ser vital contar con la participacin de expertos que pertenezcan a la IES y que tengan relacin con el CECS. Con el Seguimiento y Evaluacin de las Estrategias y del Componente de Desarrollo de Capacidades y Extensionismo Rural, se busca: Controlar el proceso de instrumentacin de las estrategias. Obtener la informacin necesaria, tanto para controlar el proceso, como realizar la evaluacin de las estrategias.

Emitir recomendaciones de ajustes y mejoras en el diseo e instrumentacin de las estrategias. Valorar el cumplimiento de los objetivos y resultados esperados por cada estrategia y el Componente en su conjunto. Valorar los niveles de aprendizaje o cambios de prcticas logrados conforme a las estrategias de desarrollo de capacidades.

1. Consideraciones especficas para el Seguimiento y Evaluacin de las Estrategias y el Componente de Desarrollo de Capacidades y Extensionismo Rural. Cada uno de los actores que interviene en el proceso (CECS, EATC, UTE, PSP) deber tener claro su rol y responsabilidades. En resumen, se propone que estas sean las siguientes: Establecer un marco de seguimiento sistemtico y desarrollarlo a travs del plan de seguimiento y evaluacin. Reunirse regularmente entre actores y las partes interesadas para evaluar los avances en el logro de los resultados. Desarrollar actividades conjuntas de seguimiento y evaluacin para valorar los logros y las limitaciones. Identificar las lecciones o buenas prcticas, as como experiencias exitosas de la implementacin de las estrategias y/o el Componente. Identificar acciones que pudieran haber desarrollado capacidades adicionales entre las partes interesadas y diferentes actores. Revisar la idea. Informar regularmente a las instituciones a nivel estatal y nacional los resultados particulares y buscar oportunidades para influir los procesos para definir polticas pblicas y de toma de decisiones. Asegurar la calidad del trabajo de seguimiento y evaluacin, y ofrecer orientacin en funcin de las necesidades.

2. Seleccin de enfoque y herramientas para el seguimiento Puede ser desde la perspectiva del DDR o de los sistemas producto. Existe una diversidad de herramientas que pueden ser aplicadas al seguimiento de proyectos, programas, efectos y cualquier otra actividad programtica. Ser responsabilidad del CECS y actores sealados como responsables de este proceso definir y establecer la combinacin ms adecuada de enfoques y herramientas de seguimiento para cada estrategia y/o programa, asegurndose de que stas sean las apropiadas y guarden un equilibrio que permita la medicin de los resultados, las diferentes formas de instrumentacin de la estrategia as como las formas para el seguimiento y retroalimentacin entre los participantes en cada DDR. Los modos y formatos para los informes de resultados debern ser acordados por adelantado y debern cubrir, en la medida de lo posible, las necesidades de los diferentes usuarios y actores participantes en el proceso, al adoptar esto minimiza la carga de trabajo y simplifica la sistematizacin de la informacin resultante.

Ejemplo de un ciclo de evaluacin:

3. Analizar de forma estratgica la informacin del Territorio El punto de partida es la Base de Datos nica, que como ya se mencion anteriormente, debe contener todos los servicios del componente, es decir que debe contener los servicios del inciso a, b, c y d. Para verificar que la BDU contenga todos los servicios, se deber hacer una revisin del anexo tcnico, y en caso de haber alguna diferencia considerable, el CECS deber solicitar a las Instancias Ejecutoras la informacin completa o en su caso, la aclaracin correspondiente. Una vez que el CECS ha recibo la Base de Datos y que ha hecho una primera revisin de la misma para verificar que cuente con la informacin mnima necesaria para iniciar la planeacin de la supervisin y seguimiento de los servicios, a nivel de DDR se procede a analizar la informacin, a travs del CDE y en su caso, con el apoyo de los EATC. Cabe aclarar que el producto a generar ser el mapeo de los servicios en el territorio y la responsabilidad de obtenerlo ser del CECS. El mapeo de los servicios sirve para conocer la cobertura de los mismos y su distribucin territorial. Este mapeo consistir en realizar un listado de servicios por DDR y clasificados por estrategia para facilitar su anlisis y su corre spondencia entre estrategias y las prioridades locales. El anlisis a desarrollar es el siguiente: 1. Identificar de acuerdo al Concepto y Tipo de Apoyo, los servicios en el Estado y en cada Territorio. 2. Identificar el tipo de Estrategia a la que pertenecen los servicios en el Estado y los Territorios. 3. Identificar el Componente al que pertenecen los servicios, la cadena productiva y el Proyecto. 4. Identificar la temporalidad del servicio. 5. Identificar la integralidad de los servicios dentro de las estrategias y su articulacin con otras. A continuacin se presentan una serie de tablas que pueden servir como referencia para organizar la informacin e iniciar el anlisis; depender del CECS la definicin de sus propias herramientas. Tabla 3.1. Concepto de apoyo por DDR
Concepto de apoyo A ORGANIZACION O ASISTENCIA A EVENTOS DE INTERCAMBIO B SERVICIOS OTORGADOS POR PSP C SERVICIOS PRESTADOS POR IES_INCA Total general DDR 1 DDR 2 DDR N Total general

Tabla 3.2. Tipo de Apoyo por DDR

Tipo de Apoyo por DDR A1. ORGANIZACION DE REUNION ESTATAL B1. SERVICIOS DE DESARROLLO EMPRESARIAL B2. SERVICIOS DE ASESORA PROFESIONAL PARA LA PUESTA EN MARCHA DE PROYECTOS DDR 1 DDR 2 DDR N Total general

Tabla 3.3. Servicios en los DDRs por Estrategias Estrategias

ACUACULTURA Y PESCA ASISTENCIA TECNICA AGRICOLA ASISTENCIA TECNICA PECUARIA DESARROLLO EMPRESARIAL Total general DDR 1 DDR 2 DDR N Total general

Tabla 3.4. Servicios por Cadena o Sistema Producto.

Etiquetas de fila AGRICULTURA ARROZ DURAZNO DESARROLLO RURAL MIEL GANADERIA Total general DDR 1 DDR 2 DDR N Total general

Con relacin a la temporalidad, se requiere obtener informacin sobre las fechas claves en el desarrollo del servicio: autorizacin, inicio del servicio, trmino del programa de trabajo, solicitud de evaluacin, etc. Grafico No.1: Ejemplo de temporalidad
350 300 250 200 150 100 50 0
feb-11 feb-12

abr-10

abr-11

abr-12

feb-13

ago-10

ago-11

ago-12

abr-13

ago-13

jun-12

jun-10

jun-11

jun-13

oct-13

oct-10

dic-10

oct-11

dic-11

oct-12

dic-12

Autorizacin

Solicitud de evaluacin

Termino del programa de trabajo

dic-13

10

4. Determinar la correspondencia entre las estrategias y las prioridades locales El siguiente paso es obtener informacin a nivel distrital sobre las prioridades de desarrollo local para verificar la congruencia de los servicios con stos, las fuentes de consulta son: 1. Agenda de innovacin 2. Planes y Proyectos de desarrollo territorial 3. Planes rectores de los Sistemas producto La herramienta bsica para relacionar el servicio con las prioridades de desarrollo local es la BDU, colocando SI o NO en la celda AZ de acuerdo al instructivo de llenado; posteriormente se procede a realizar el anlisis y de acuerdo a los resultados, el CECS realiza conclusiones sobre la orientacin de los servicios. Tabla 4.1. Anlisis de congruencia de los servicios con la planeacin local, tomando como referencia las estrategias.
DDR 1 Etiquetas de fila ACUACULTURA Y PESCA ASISTENCIA TECNICA AGRICOLA ASISTENCIA TECNICA PECUARIA DESARROLLO EMPRESARIAL PESA .. . Total general SI NO SI DDR 2 NO SI DDR 3 NO SI DDR N NO Total general SI NO

Tabla 4.2. Anlisis de congruencia de los servicios con la planeacin local, tomando como referencia los sistemas producto.
Etiquetas de fila ARROZ AVESTRUZ BAGRE DURAZNO JAIBA LECHE MIEL Total general SI DDR 1 NO SI DDR 2 NO SI DDR 3 NO SI DDR N NO Total general SI NO

Con la informacin obtenida, el CECS podr elaborar conclusiones sobre la orientacin que se le da a los servicios a nivel distrital; es importante mencionar que la oportunidad en que se elabore este anlisis permitir que en las Comisiones o Grupos Colegiados, se podr aportar elementos para una mejor toma de decisiones.

11

5. Definir los trminos de referencia para el seguimiento y la evaluacin de las Estrategias en los DDR Una de las funciones de la Comisin Estatal de Desarrollo de Capacidades, Innovacin Tecnolgica y Extensionismo Rural es la definicin de las Prioridades, en el marco del Componente, asimismo, las UTEs son responsables, entre otras cosas, de la definicin de los programas de supervisin especializada en situacin de trabajo a aplicar con sus respectivos indicadores de desempeo y resultados en los beneficiarios, adems de apoyar al CECS en el anlisis y seguimiento de la estrategia que corresponda, con el fin de generar informes de avances y resultados y proponer soluciones a restricciones que se presenten; de acuerdo a lo establecido en los TERMINOS DE REFERENCIA PARA LA INTEGRACION Y PROCEDIMIENTOS DE LA UNIDAD TECNICA ESPECIALIZADA (UTE). Por lo anterior, el CECS debe solicitar a cada una de las UTEs los referentes metodolgicos para dar seguimiento y evaluar la estrategia. Para las Estrategias Estatales, el CECS debe solicitar a la Instancia Ejecutora por lo menos los resultados esperados y expresados en trminos de desarrollo de capacidades en los beneficiarios. 5.1 Definicin de Indicadores Un indicador es la representacin cuantitativa que sirve para medir el cambio de una o varias variables, comparadas con otras. Sirve para valorar el resultado medido y para estimar el logro de objetivos.

Los indicadores permiten efectuar seguimiento a las metas sobre acciones, polticas, y actividades para continuar o reorientar caminos a seguir.
Dado que el objetivo del CECS es dar seguimiento y evaluar la estrategia, debe considerar dos tipos de indicadores: a) indicadores que aporten informacin relacionada con el comportamiento de la estrategia durante su ejecucin, de tal manera que sea posible introducir cambios durante el proceso. b) indicadores que permiten evaluar los resultados para verificar el grado de cumplimiento de los objetivos de la estrategia y su contribucin al desarrollo. Para la definicin de estos ltimos, se debern abordar variables relacionadas directamente con el objetivo del componente fomentar el desarrollo de capacidades de los productores, sus

organizaciones, las familias rurales, otros actores que realizan oficios, as como las instituciones especializadas en la capacitacin e investigacin, en los sectores agropecuarios, acucolas y pesqueros, en el marco del sistema nacional de desarrollo de capacidades, innovacin tecnolgica y extensionismo, que facilite el acceso al conocimiento, informacin y uso de tecnologas modernas; su interaccin con sus socios estratgicos en investigacin, educacin, agronegocios y el mercado; y el desarrollo de sus propias habilidades y prcticas tcnicas, organizacionales y gerenciales.
Dicho de otra forma, el CECS deber valorar los niveles de aprendizaje observados a travs del cambio de prcticas de los beneficiarios, conforme a las estrategias de desarrollo de capacidades acordadas. 12

El punto de partida para la definicin de indicadores inicia con la identificacin de los siguientes aspectos: Alcance y enfoque de la estrategia Actores implicados Actividades o tareas a realizar por los PSP con la poblacin objetivo Productos e informes a entregar Variables o indicadores a medir en cuanto a resultados esperados en la poblacin objetivo

La construccin de indicadores de seguimiento y evaluacin es responsabilidad directa del CECS, y en el caso de las estrategias nacionales se deber buscar el apoyo de la UTE correspondiente; en el caso de las estrategias estatales, deber apoyase de las instancias ejecutoras. En ambos casos, podrn apoyar los EATC. Para el seguimiento de las estrategias no solo se debe realizar a partir de indicadores, tambin se debe obtener informacin cualitativa, para orientar al CECS sobre algunos elementos a observar, se propone que se aborde lo siguiente: Ejemplo: Sobre la operacin del componente Recepcin de informacin para cumplir las funciones Recepcin de los recursos para cumplir las funciones Funcionamiento de la CEDCyER Coordinacin de actores CECS, UTE, Operadores Funcionamiento de las subcomisiones o grupos de trabajo para dar seguimiento a las estrategias La CEDCyER o grupos de trabajo definen prioridades/resultados Las UTEs proporcionan soporte al CECS Ejemplo Sobre el seguimiento de los servicios / Estrategias. Programas de trabajo alineados a las estrategias Planes de supervisin acordado con los PSP PSP capacitados en metodologa / tcnica Acompaamiento de los PSP (capacitacin) Seguimiento de avance del servicio Seguimiento en la integracin de evidencias Una vez que el CECS definia los indicadores de seguimiento y resultados, el siguiente paso es la elaboracin de una matriz de indicadores por estrategia y por DDR.

13

Tabla 5.1 Matriz de Indicadores por Estrategia y por DDR

Lnea de base Unidad de medida Situacin inicial del (Valor indicador numrico) Meta Resultado esperado (Valor numrico) Tiempo (Meses) Descripcin del indicador Forma de clculo Medio de verificacin

Resultado Esperado

Indicador

Adicionalmente, el CECS debe elaborar una plan de ejecucin para definir los responsables de dar seguimiento al monitoreo y clculo de los indicadores; este plan podr ser elaborado en coordinacin con los EATC. El Plan de seguimiento debe contener las actividades a realizar, los responsables, la periodicidad del monitoreo, etc. Ejemplo: Tabla 5.2. Plan de Ejecucin

Actividad

Fecha de inicio

Fecha de trmino

Periodicidad de monitoreo

Requerimientos

Responsable(s)

6. Elaborar informes La calidad en el anlisis de la informacin del proceso, permitir a los CECS aportar elementos estratgicos para que los tomadores de decisiones puedan orientar, mejorar o proponer acciones que permitan incidir en el desarrollo del territorio. Es de suma importancia sealar que el proceso realizado ser de poca utilidad si la sistematizacin de la informacin es deficiente y/o no se presenta oportunamente a las autoridades encargadas de tomar las decisiones sobre la poltica pblica. Los informes debern presentarse en la Comisin de DCyER de forma peridica y estar a criterio del CECS definir su contenido, sin embargo, como mnimo debern contener: 1. El anlisis de cobertura de los servicios en los Territorios 14

2. 3. 4. 5.

El anlisis de correspondencia entre las estrategias y las prioridades locales Informe de seguimiento de la estrategia Resultados alcanzados por cada una de las estrategias Factores restrictivos y coadyuvantes con sus respectivas recomendaciones

El CECS deber elaborar el informe que podr ser en extenso y en presentacin ejecutiva. Es importante que se presente y analice con los actores involucrados en la operacin del Componente, as como que se realice su entrega oficial.

15