Diplomado en Evaluacin de impacto regulatorio: Metodologas y estrategias aplicadas a casos prcticos

Julio-Noviembre, 2012

Mensaje del Titular de la COFEMER La Comisin Federal de Mejora Regulatoria (COFEMER) y la Red Latinoamericana de Mejora Regulatoria y Competitividad (LATIN-REG) te extienden la ms cordial bienvenida a este Diplomado en Evaluacin de Impacto Regulatorio: Metodologas y Estrategias Aplicadas a Casos Prcticos. Esta ser la primera ocasin que lanzamos esta iniciativa bajo este importante tema, por lo cual esperamos se cubran todas tus expectativas. La COFEMER, como agencia del gobierno federal encargada de impulsar la poltica de mejora regulatoria en Mxico y la iniciativa LATIN-REG se congratulan de contribuir en el fortalecimiento de las capacidades de los servidores pblicos e integrantes de la sociedad civil interesados en los temas de regulacin. En un esfuerzo sin precedentes, la COFEMER y la iniciativa LATIN-REG han preparado un diplomado que busca generar una visin comn entre los diseadores y participantes en el proceso de la poltica regulatoria, con el fin de privilegiar el anlisis tcnico en el mejoramiento de la regulacin, tanto en Mxico como en otros pases. El Diplomado tiene como objetivo generar conocimiento experto sobre los conceptos y herramientas necesarias en el estudio, comprensin y evaluacin de la regulacin. Mediante el mtodo del caso, se expondrn situaciones reales que se presentan en el proceso regulatorio a fin de desarrollar capacidades para el anlisis de la poltica regulatoria. Su objetivo es brindar a los participantes metodologas para la evaluacin de impacto regulatorio, de sus diversos enfoques, as como de las posibles estrategias que pueden ser utilizadas en el proceso de implementacin de la poltica regulatoria. El temario se encuentra organizado en 4 mdulos, los cuales requieren una dedicacin de 60 horas: 1. Introduccin a la Evaluacin de Impacto Regulatorio y a las Decisiones Estratgicas. 2. Evaluacin de Impacto de la Regulacin Administrativa. 3. Evaluacin de Impacto de la Regulacin Social. 4. Evaluacin de Impacto de la Regulacin Econmica. En la COFEMER, en conjunto con la iniciativa LATIN-REG, competitividad de la regin. Te felicitamos por unirte a este proyecto y te exhortamos a alcanzar los objetivos planteados en este nuevo reto.

Alfonso Carballo Prez

Introduccin a la Evaluacin de Impacto Regulatorio y a las Decisiones Estratgicas

Mdulo I

Diplomado en Evaluacin de impacto regulatorio: Metodologas y estrategias aplicadas a casos prcticos

Metodologas de evaluacin de impacto regulatorio

4 Lectura Mdulo I

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN La elaboracin del material expuesto en esta lectura estuvo a cargo de Alfonso Carballo Prez, Julio Csar Rocha Lpez, Margherita Corina y Rafael Hernndez Kotasek. Para cualquier duda respecto a este material puedes escribir a los siguientes correos electrnicos: margherita.corina@cofemer.gob.mx y rafael.hernandez@cofemer.gob.mx. Tambin puedes consultar algunas respuestas a los ejercicios planteados en el desarrollo de la lectura en las cuentas de twitter: @alfonsocarballo y @MargheCorina. La elaboracin del caso de estudio presentado con esta lectura estuvo a cargo de Alfonso Carballo, Margherita Corina y Rafael Hernndez Kotasek. En caso de dudas puedes escribir a margherita.corina@cofemer.gob.mx y rafael.hernandez@cofemer.gob.mx.

Comisin Federal de Mejora Regulatoria

DIPLOMADOS COFEMER/LATIN-REG NDICE I. II. INTRODUCCIN EVALUACIN a) Evaluacin ex-ante b) Evaluacin ex-dure c) Evaluacin ex-post III.

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN 8 9 13 14 14 16 19 21 22 23 24 24 26 28 31 31 34

METODOLOGAS DE LA EVALUACIN DE IMPACTO a) Mtodos Cuantitativos a.1) Diseo experimental a.2) Diseo cuasi-experimental a.2.1) Mtodo de pareo a.2.2) Mtodo de comparaciones reflexivas a.2.3) Mtodo de Diferencias en Diferencias para medir impactos a.3) Diseo no experimental

b) Mtodos Cualitativos b.1) Mtodos contextuales de recoleccin de informacin IV. V. QU ESTRATEGIA DE EVALUACIN CONVIENE UTILIZAR? BIBLIOGRAFA

Comisin Federal de Mejora Regulatoria

DIPLOMADOS COFEMER/LATIN-REG I. INTRODUCCIN

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

En la primera lectura de este Mdulo se explic como el hacedor de la poltica regulatoria se enfrenta a ciertas dificultades para introducir o modificar regulaciones, pues se encuentra ante diversas interacciones con los agentes que estn en el propio entorno regulatorio. En este sentido, los diseadores de las polticas regulatorias deben tomar decisiones estratgicas basadas en las valoraciones que se realizan sobre el impacto regulatorio y sobre la viabilidad de las polticas en su proceso de implementacin. Al respecto, en la evaluacin de impacto regulatorio existen valiosas herramientas que apoyan a los reguladores para llevar a cabo una evaluacin de impacto regulatorio eficaz y eficiente y poder tomar dichas decisiones. Asimismo, en la lectura 2 se habl de la importancia de la creacin de valor pblico, toda vez que en ocasiones se observa cmo algunos programas pblicos o agencias de gobierno caen en situaciones de crisis en donde son severamente cuestionados. Uno de los principales argumentos es la posible falta de resultados. Esta problemtica se agudiza ante la complejidad para generar y mostrar ese valor pblico que, a diferencia del valor privado, debe dirigirse hacia la sociedad. As, un buen programa de mejoramiento a la regulacin, o incluso una agencia reguladora podra ser obstaculizada, cuestionada e incluso eliminada del quehacer pblico. Por esta razn, el uso de metodologas para estimar impacto regulatorio pueden ayudar, en gran medida, a los reguladores para mostrar ese valor pblico que estn generando a la sociedad. En este sentido, el uso de metodologas para la evaluacin y la cuantificacin del valor pblico que generan las medidas de mejora regulatoria implementadas por una agencia es un tema central dentro de las estrategias que el regulador debe tener para posicionarse en la agenda pblica. Al respecto, en esta lectura presentaremos las ms importantes metodologas de evaluacin de impacto regulatorio y su relevancia para llevar a cabo una evaluacin de impacto eficaz y eficiente, mismas que se clasifican en cuantitativas, como los son el diseo experimental, cuasi experimental y no experimental; as como cualitativas, como lo es el mtodo de recoleccin de informacin. Es importante considerar que no se puede hablar de una metodologa universal que aplique para todos los diseos regulatorios. Como se plante en la primera lectura, la aplicacin de la regulacin es un campo muy amplio, razn por la cual la naturaleza de los problemas o situaciones que pretendemos regular no pueden seguir una misma metodologa, pues depender del tipo de regulacin en la que se requiere intervenir, que puede ser regulacin social, regulacin econmica y regulacin administrativa.

Comisin Federal de Mejora Regulatoria

DIPLOMADOS COFEMER/LATIN-REG II. EVALUACIN

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

Evaluar es un ejercicio que implica recolectar nueva informacin, aprender de la experiencia y verificar hiptesis respecto a cmo funcionan los modelos tericos en la prctica. Puedes imaginar por un momento cmo sera el rumbo de tu vida, de tu empresa o de tu pas si por cada decisin tomada no existiera un anlisis y reflexin sobre qu impacto tienen esas decisiones a travs del tiempo? Sin duda alguna la vida sera ms fcil, pero seguramente sera ms confusa, sin rumbo, sin un plan de accin y de reaccin, que te permitiera adecuar tus acciones en bsqueda de tus objetivos. La evaluacin te permite analizar la calidad y el impacto de tus decisiones, en relacin con tu plan de accin. Para que el seguimiento y la evaluacin resulten realmente valiosos tienes que haber planificado el anlisis de manera correcta. En las lecturas previas se han mostrado conceptos de planificacin y estrategia, uno de ellos es la teora del marco lgico, a fin de llevar esta planificacin de forma adecuada para lograr incrementar tanto la eficacia como la eficiencia de las polticas regulatorias. Siguiendo esta lnea, incrementar la eficacia y la eficiencia de las polticas regulatorias es un desafo constante de los gobiernos. Para responder a este desafo se han desarrollado nuevas herramientas de gestin que permiten el monitoreo y la evaluacin de los resultados de las inversiones pblicas. Una de esas herramientas en la administracin pblica es la evaluacin de impacto, siendo sta nuestra motivacin para la presente lectura. A grandes rasgos, podemos decir que la evaluacin de la regulacin consiste en la comparacin de los impactos reales de la poltica regulatoria, con los planes estratgicos previamente acordados; al mismo tiempo, la evaluacin est enfocada en los objetivos planteados, lo que se logr conseguir y cmo se consiguieron, todo esto con base en tres conceptos: Eficacia Eficiencia Impacto

La Organizacin de las Naciones Unidas en 19841 defini la evaluacin como: DEFINICIN: Evaluacin. Proceso en que se determina, de manera sistemtica y objetiva, la pertinencia, eficiencia, eficacia e impacto de las actividades en relacin con los objetivos planteados para la realizacin de estas.

Organizacin de la Naciones Unidas, "Pautas bsicas para el seguimiento y evaluacin de programas ", mimeo FEGS, Caracas Venezuela.

Comisin Federal de Mejora Regulatoria

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Adicional a esta definicin, Rossi, socilogo y profesor emrito de la Universidad de Massachusetts, Lipsey, Director del Centro para la Investigacin y metodologa de evaluacin, y Freeman, asesor de ciencias sociales para Mxico, Centroamrica y el Caribe de la Fundacin Ford2, g g . L definicin consiste en que implcitamente en ella se encuentra el concepto de costo de oportunidad y el de contra factual, que ms adelante desarrollaremos. Frecuentemente escuchamos Q g Qu eficaz result ser esa reg . Sin embargo, encontramos que en los informes de evaluacin se utilizan estas expresiones con bastante trivialidad, sin analizar lo que significa en todo el sentido de la palabra. Al respecto, el objetivo de los hacedores de polticas regulatorias es maximizar el impacto de los recursos pblicos disponibles para beneficiar a la sociedad (sea mediante nuevas inversiones, nuevos programas o nuevas regulaciones que generen bienestar). Para lograr este objetivo no slo es necesario que la regulacin genere los impactos buscados, sino que stos sean producidos al menor costo posible. En otras palabras, se deben elegir las regulaciones que sean eficaces y eficientes. Para no generar confusin, en las lecturas pasadas hemos dado una definicin de lo que es eficiencia y eficacia y la diferencia que existe entre estos dos conceptos. En muchos libros de texto se seala que el trmino eficiencia hace referencia a los recursos que son empleados y los resultados que son obtenidos. En particular, se relaciona con la utilizacin correcta o adecuada de los recursos disponibles en los medios de produccin. Incluso se seala que la eficiencia se presenta cuando se logran las metas con la menor cantidad de recursos, o bien se obtienen los mayores resultados con la mnima inversin de recursos. Por otra parte, en los libros de texto tambin se distingue el trmino eficacia, como una medida del logro de resultados o el cumplimiento de objetivos, sea cual sea el costo a lo que se incurre. El objetivo de las evaluaciones de impacto regulatorio est siempre relacionado con la determinacin de la eficacia y la eficiencia de una regulacin, tanto ex-ante como ex post. Generalmente, el inters se concentra en determinar si se estn obteniendo los objetivos plateados o los impactos deseados; si estos componentes son la mejor alternativa para solucionar el problema en cuestin, o si existen otras alternativas que puedan generar mejores resultados; si los resultados justifican los costos en que se incurre. Todas estas interrogantes estn relacionadas con la eficacia y la eficiencia de las regulaciones en la generacin de los efectos sobre los regulados o beneficiarios. Por ello, la evaluacin de los impactos es el primer paso para determinar la eficiencia y eficacia de una regulacin.

, P., L

, M.

, H. (2004), Evaluation A Systematic Approach. Sptima edicin.

Comisin Federal de Mejora Regulatoria

10

DIPLOMADOS COFEMER/LATIN-REG DEFINICIN:

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

Eficacia. Grado de cumplimiento de los objetivos que motivaron la ejecucin de la regulacin.

Es decir, el anlisis de eficacia se concentra exclusivamente en el anlisis de los efectos positivos que fueron previstos en el diseo de la regulacin, y, a su vez, fueron consignados como objetivos de la regulacin. Existen cuatro aspectos que se deben involucrar en el anlisis de los resultados de las evaluaciones de impacto, con el fin de determinar el xito o fracaso de una regulacin (su eficacia): 1. La medida de comparacin sobre la cual se contrastan los impactos estimados. 2. El tiempo en que se producen los impactos. 3. El nmero de objetivos e indicadores de impacto utilizados en la evaluacin. 4. La distribucin de los impactos entre los beneficiarios (Levin, 1983). Cada uno de estos factores puede impactar positiva o negativamente sobre la percepcin de los involucrados acerca de la eficacia de la regulacin. La eficacia contempla el cumplimiento de los objetivos, sin importar el costo o el uso de los recursos. Una determinada iniciativa es ms o menos eficaz segn el grado en que se cumplen los objetivos, tomando en cuenta la calidad y la oportunidad, y no los costos. De esta forma, la eficacia se puede expresar por medio del siguiente indicador:

A diferencia de la eficacia, la eficiencia considera los costos en los que se incurre para el logro de los objetivos planteados en la implementacin de alguna poltica regulatoria: DEFINICIN: Eficiencia. La eficiencia es el logro de los objetivos planteados por la regulacin al mnimo costo.

El objetivo de los tomadores de decisiones en la implementacin de una poltica regulatoria es maximizar el impacto positivo de una poltica regulatoria, haciendo uso de los recursos pblicos disponibles. Para lograr este objetivo no slo es necesario invertir en polticas regulatorias que generen los impactos buscados, sino que stos sean producidos al menor costo posible. En otras palabras, se debe elegir la accin regulatoria ms eficiente. Comisin Federal de Mejora Regulatoria 11

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN
EFICIENCIA Recordando la lectura 3 del mdulo I, existen dos enfoques para evaluar la eficiencia: el anlisis costobeneficio y el anlisis costo-efectividad. La diferencia bsica es el mtodo que utilizan para valorar los beneficios. El primero, expresa los beneficios en trminos monetarios, mientras que en el segundo enfoque mide los beneficios a travs de indicadores sociales, que evalan los cambios en las condiciones de bienestar estudiadas. A partir de los resultados de la evaluacin de impacto, se pueden aplicar los dos mtodos para determinar la eficiencia de la regulacin.

Por lo tanto el trmino de eficiencia corresponde al siguiente indicador:

En ocasiones, la regulacin ms eficaz en la generacin de los impactos buscados es tambin la ms eficiente; en particular, lograr los objetivos propuestos al menor costo posible. Sin embargo, es posible que una regulacin ineficaz sea eficiente, debido a que sus costos son menores en comparacin con otras alternativas, pero no puede lograr los objetivos propuestos. En estos casos, para que la regulacin sea eficiente y eficaz, es necesario determinar que no existen alternativas posibles que generen los impactos buscados a un menor costo. Por ello, para identificar la eficiencia y la eficacia y jerarquizar los resultados de las regulaciones se puede emplear el clculo de indicadores costoimpacto, mismos que nos arrojan cunto cuesta cada alternativa, y obtener cierta magnitud de impacto en busca del cumplimiento de los objetivos. DEFINICIN: Impacto. Efecto que produce una determinada accin sobre el objetivo planteado, en particular es la magnitud del cambio atribuible a la regulacin implementada.

El impacto se refiere a los efectos que la regulacin planteada tiene sobre la comunidad en general. El criterio de impacto puede confundirse con el concepto de eficacia; sin embargo, el de impacto es ms amplio porque va ms all del estudio del alcance de los efectos previstos y del anlisis de los efectos deseados, as como del examen de dichos efectos sobre la poblacin beneficiaria. La preocupacin fundamental que surge al momento de implementar una regulacin, es que dicha poltica regulatoria mejore el bienestar de la poblacin; por lo que, el proceso de evaluacin resulta muy importante para conocer los efectos y el xito de la misma en cuanto al logro de sus objetivos y eficiencia. Ello, toda vez que una regulacin deficiente puede generar mayores prdidas desde el punto de vista social que los beneficios que pretenda generar originalmente. As, el ejercicio de evaluacin ex ante, ex dure y ex post nos permitir tomar decisiones antes, durante o despus de emitir la regulacin, y nos dar indicios sobre si la misma debe ser emitida, modificada o incluso eliminada o Comisin Federal de Mejora Regulatoria 12

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN sustituida por otra regulacin. En la medida que contemos con valoraciones ms claras y precisas sobre los costos y beneficios que implican las polticas pblicas, considerando su viabilidad de implementacin y las posibles interacciones que suceden en el entorno de la poltica pblica, podremos construir estrategias y decisiones ms exitosas. a) Evaluacin ex ante La evaluacin ex ante ayuda a tomar la decisin sobre cul es el la accin que producir un mayor impacto, acorde con la planificacin establecida. Por evaluacin ex ante se entender la comparacin, numrica o no, de los costos y beneficios que se estima genere la poltica regulatoria si es ejecutada. La misma se lleva a cabo antes de la aplicacin prctica de la regulacin, supuestamente para evaluar la necesidad de actuar o establecer un punto de partida. El propsito de esta valoracin ex ante es apoyar la toma de decisiones de inversin y asignacin de los recursos. En las evaluaciones ex ante se comparan dos situaciones: la situacin actual, sin que se g , g , y la situacin con regulacin, g , que corresponder a la simulacin de la situacin con regulacin. As, el impacto de la poltica regulatoria ser la diferencia del resultado del antes y despus de la implementacin de la regulacin. Por lo tanto, la evaluacin ex ante se caracterizar por cumplir con las siguientes etapas: Etapas de la evaluacin ex ante

1. Descripcin de la situacin previa a la regulacin e identificacin de la problemtica y los objetivos perseguidos 2. Identificar alternativas de solucin de acuerdo a la estrategia y planeacin

3. Seleccionar los posibles beneficiarios (grupo que se ver impactado por la regulacin de forma directa) 4. Recolectar todos los datos necesarios para estimar el impacto entre la situacin antes y despus de la regulacin 5. Simular la situacin sin y con regulacin y medir los impactos

6. Jerarquizar siguiendo la estrategia a desarrollar las polticas

regulatorias por eficacia y eficiencia Fuente: Elaborado por COFEMER

Comisin Federal de Mejora Regulatoria

13

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Siguiendo este esquema, las evaluaciones ex ante permiten incrementar la eficiencia y eficacia de las acciones de poltica regulatoria. b) Evaluacin ex dure Es la evaluacin realizada durante la etapa de implementacin del proceso regulatorio, la cual considera los efectos inmediatos de la entrada en vigor de una regulacin. La ventaja de la evaluacin ex dure radica en que produce alertas tempranas sobre la implementacin de una regulacin y seala las posibles correcciones. Al respecto, es importante sealar que el perodo en el que se desarrolla la evaluacin ex dure es muy breve, derivado de que considera los efectos inmediatos de la entrada en vigor de una regulacin mientras se est implementando, por lo que, una vez implementada, la etapa sucesiva es una evaluacin ex post. Por ello, a diferencia de la evaluacin ex ante y ex post, la evaluacin ex dure puede contener menor riqueza de informacin sobre el fenmeno que est siendo regulado. c) Evaluacin Ex post Es la valoracin retrospectiva sobre un diseo regulatorio que ya fue implementado y ha sido aplicado durante un periodo de tiempo considerable. La evaluacin ex post de impacto regulatorio considera una regulacin que sigue siendo vigente pero que se desea evaluar a fin de conocer si los objetivos regulatorios originalmente planteados se estn alcanzando. A diferencia de la evaluacin ex ante y ex dure, la evaluacin ex post puede contener mayor riqueza de informacin sobre el fenmeno que est siendo regulado y permite determinar una evaluacin de resultados para ver si efectivamente la poltica est alcanzando, o alcanz, los objetivos estimados en la evaluacin ex ante. Dicha evaluacin abarca la totalidad del perodo de regulacin, normalmente prestando especial atencin a los resultados finales, con el fin de obtener informacin para determinar si la regulacin implementada sigue siendo importante para los objetivos planteados o resulta necesario emprender acciones regulatorias encaminadas en adaptar la regulacin a los nuevos objetivos que se presenten, derivado de que las situaciones son dinmicas y cambiantes. Las medicin de los efectos ex post provee informacin sobre el desempeo de la regulacin y con esta valoracin se determina si la regulacin debe seguir vigente o si debe ser modificada, o incluso eliminada. Es decir, la medida en que la regulacin est obteniendo u obtuvo los resultados esperados de acuerdo con los objetivos y metas establecidas. En resumen, la evaluacin ex post es relevante para que despus de un periodo de implementacin y maduracin de la poltica, el hacedor de polticas pblicas defina si la poltica debe continuar, si hay que realizar algunos ajustes o modificaciones para incrementar su efectividad, o si definitivamente se tiene que suspender porque no se consiguieron los objetivos originalmente planteados.

Comisin Federal de Mejora Regulatoria

14

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Al igual que en la evaluacin ex ante, se sugiere que en la evaluacin ex post se sigan las siguientes etapas: Etapas de la evaluacin ex post

1. Analizar e identificar los objetivos centrales de la regulacin 2. Desarrollar las preguntas que se buscan responder con la evaluacin

3. Identificar el tipo de datos con los que se cuenta ( en caso de ser necesario desarrollar un mtodo de recoleccin adecuado) 4. Establecer la metodologa apropiada para la evaluacin
5. Estimar el impacto de la regulacin

6. Estimacin de la eficacia y eficiencia

Fuente: Elaborado por COFEMER

Muchos gobiernos, instituciones y funcionarios pblicos muestran una postura en contra de realizar evaluaciones de impacto; por un lado, se tiene la errnea percepcin de que ante recursos limitados no es conveniente realizar evaluaciones de impacto, ya que b j h h ,h h ; , ser costosas, resultan ser prolongadas y tcnicamente complejas. Sin embargo, tal vez el mayor obstculo para llevar a cabo una evaluacin es el hecho de que los resultados pueden ser polticamente delicados, especialmente si son negativos. Sin embargo, con una planificacin adecuada y oportuna, y una estrategia enfocada a recibir el apoyo de las autoridades responsables, una evaluacin rigurosa puede constituirse como una herramienta muy poderosa para evaluar la conveniencia y eficacia de las polticas regulatorias. Gracias a una informacin adecuada se pueden prever situaciones en las que no se obtienen los resultados planificados, no se obtiene una solucin a las problemtica planteadas, se desperdician recursos econmicos, y, en general, se obtiene una prdida de bienestar social. Por ello, es importante que los reguladores conozcan los diferentes tipos de experimentos o diseos metodolgicos para estimar el impacto.

Comisin Federal de Mejora Regulatoria

15

DIPLOMADOS COFEMER/LATIN-REG III.

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

METODOLOGAS DE LA EVALUACIN DE IMPACTO

REGULACIN

Un aspecto relevante a destacar en el presente diplomado es el hecho de que el diseo de cada evaluacin de impacto ser nico y depender de diversos factores, como los son el tipo de datos disponibles, el tiempo de implementacin, de la capacidad local para planificar, de la estrategia de implementacin y de aspectos presupuestarios. Asimismo, las evaluaciones que generen resultados de alta calidad, crebles y generalizables para las autoridades responsables requerirn de un fuerte apoyo financiero y poltico, una planificacin oportuna y cuidadosa, la participacin de las partes interesadas en el diseo de los objetivos, una combinacin apropiada de metodologas (incluidas tcnicas cuantitativas y cualitativas), la aplicacin rigurosa de estas tcnicas y una buena comunicacin entre los miembros del equipo durante el proceso. En esta seccin nos enfocaremos en mostrar las metodologas apropiadas para cada tipo de evaluacin, mismas que pueden dividirse principalmente en cuantitativas y cualitativas. En particular, las metodologas cuantitativas utilizan diversos diseos que se adaptan al tipo de estudio que se pretende realizar, dependiendo de los datos disponibles con los que cuenten los evaluadores al momento de realizar la evaluacin. Al respecto, dichos diseos utilizan diversas tcnicas o mtodos para alcanzar un determinado objetivo. En general la estructura tanto de las metodologas, como de los diseos y sus respectivos mtodos o tcnicas se presentan a continuacin.

Mtodologas de evaluacin de impacto

Cuantitativa

Cualitativa

Diseos experimentales

Diseos cuasiexperimentales

Diseos no experimentales

Tcnica de aleatorizacin de grupo de control y tratamiento

Mtodo de pareo Mtodo de comparaciones reflexivas

Mtodo de variables instrumentales

1. Entrevistas individuales y grupales 2. Observacin 3. Grupos de enfoque 4. Reuniones con la comunidad 5. Interpretacin de los registros, transcripciones y otra informacin cuantitativa

Sin embargo, antes de adentrarnos en lo que son las metodologas cuantitativas y cualitativas de evaluacin de impacto, es importante introducir el concepto del contrafactual, toda vez que este es un instrumento utilizado para llevar a cabo una correcta aplicacin de las metodologas de evaluacin de impacto; sin l se podran obtener Comisin Federal de Mejora Regulatoria 16

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN resultados de una evaluacin de impacto errneos, mismos que conllevaran a los reguladores a tomar decisiones equivocadas sobre la implementacin de una u otra poltica regulatoria. El contra factual es necesario para contestar a las siguientes preguntas: Qu hubiera pasado si no existiera la regulacin? o Cul hubiera sido la situacin de los beneficiarios si ellos no hubieran sido captados por la regulacin o no hubieran estado expuestos a la regulacin que se evala? La forma en la que se respondan las preguntas anteriores en Una historia no es slo muchas ocasiones dicta la calidad de la evaluacin de verdad cuando se narra impacto; f , g cmo ha sucedido, sino tambin cuando relata tanto cmo hubiera podido frecuentemente van acompaadas de una ausencia de acontecer. construccin del escenario contra-factual. Es decir, al J. Mario Simmel mismo tiempo en que la regulacin fue llevada a cabo, pudieron haber existido factores externos (exgenos) que impactaron de alguna forma a la poblacin a la que iba dirigida la regulacin. Por ejemplo, si se habla de una reforma laboral y se dice que se generaron ms de un milln de empleos a partir de su implementacin, puede ser el caso que, justo a partir de ese ao, la economa del pas se viera impulsada por las exportaciones, y con ello se present un incremento en el nmero de empleos (que se hubiera dado an sin la regulacin). Es por ello que, la evaluacin de impacto regulatorio requiere de una sofisticada herramienta que permita determinar cuntos efectos observados se deben a la regulacin y cuntos se deben a factores externos. Para ello las preguntas iniciales responden a la necesidad de establecer un punto de comparacin, se escenario de comparacin es lo que se contra-factual. DEFINICIN: Escenario contra-factual. Escenario simulado/alternativo de lo que habra ocurrido sin la regulacin.

La importancia del escenario contra-factual es que la evaluacin de impacto se basa, esencialmente, en la comparacin de la situaci regulacin. Para determinar el escenario contra-factual, es necesario separar el efecto de las regulaciones de otros factores externos y no provocados por la misma regulacin. Esto se logra con la formacin de grupos de comparacin o de control (conformado por personas que no son beneficiadas por la regulacin), que son comparados con el grupo de tratamiento (personas que han recibido los beneficios de la regulacin). Por ello, el contra factual est conformado por dos grupos de agentes o situaciones a las cuales ad algunos se le aplica la regulacin y a otros no, para que, sucesivamente, puedan ser Comisin Federal de Mejora Regulatoria 17

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN comparadas para poder verificar cuanto los efectos ajenos a la regulacin hayan impactado en los resultados del anlisis y, de esta forma, poder separar el impacto exclusivo de la regulacin. DEFINICIN: Grupo de Control: Es el grupo de agentes a los cuales no se le aplica deliberadamente la regulacin, lo que resulta ser la condicin o factor que se prueba. Por ejemplo, en un estudio que mide los efectos de la implementacin de una regulacin que trata la aplicacin de un nuevo medicamento, el grupo de control recibir un placebo en vez del medicamento. Otro ejemplo podra ser alguna regulacin implementada en determinada zona geogrfica, como por ejemplo, implementar una regulacin que se dirija exclusivamente a todos los individuos que viven en el Distrito Federal. Al respecto, si se pretende medir el efecto de tal regulacin es indispensable contar con un grupo de control (es decir alguna ciudad con caractersticas muy similares) a fin de comparar los resultados, por ejemplo un grupo de control podra ser la ciudad de Monterrey y sus zonas conurbadas y el grupo de tratamiento en este caso sera el Distrito Federal. Grupo de tratamiento: Es el grupo de personas a las cuales se aplica la regulacin. En el ejemplo de los medicamentos anteriores, el grupo de tratamiento seran aquellas personas a las que se les da la medicina a fin de evaluar los efectos de la misma; de igual forma, en el ejemplo de la regulacin en el Distrito Federal, el grupo de tratamiento son los individuos que viven dentro del Distrito Federal. El grupo de tratamiento puede ser tan especfico como lo requiera la regulacin; es decir, si existe alguna regulacin enfocada a los restaurantes que vendan bebidas alcohlicas en el Distrito Federal, el grupo de tratamiento nicamente sern los restaurantes que vendan bebidas alcohlicas que estn dentro del Distrito Federal. De esta forma, contar con un grupo de control y uno de tratamiento resulta fundamental para construir el contra-factual; es decir, los efectos (coques) externos ante cualquier regulacin se vern reflejados en ambos grupos, por lo tanto, la diferencia entre los dos grupos ser nicamente determinado por la regulacin. Gracias a esto, se puede separar el impacto exclusivo de la regulacin. Ahora bien, la pregunta que responde el mtodo de evaluacin de impacto del contra factual es, cul hubiera sido la situacin de las personas que se ven impactadas por la regulacin, si a ellos no les hubiera impactado la regulacin o no hubieran estado expuestos a la regulacin que se evala? De tal manera que el impacto real se puede Comisin Federal de Mejora Regulatoria 18

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN considerar como la diferencia entre las condiciones que se dan con la implementacin de la regulacin, , menos las condiciones que se dan en ausencia de la regulacin, .

Si pudiramos tener una caja mgica en la cual observramos los dos escenarios, el impacto real sera fcil de identificar, dado que slo una de las dos situaciones puede ocurrir (situacin con regulacin, o situacin sin regulacin); sin embargo, la cuantificacin del impacto real resulta un proceso ms complicado derivado de que el problema real a estimar resulta ser la situacin imaginaria que se pudiera producir sin regulacin, . Una vez explicado que es el contra factual, se pueden revisar las ms importantes metodologas de evaluacin de impacto, mismas que se dividen entre mtodos cuantitativos y cualitativos. Asimismo, como se anticip, las metodologas cuantitativas utilizan diversos diseos que se adaptan al tipo de estudio que se pretende realizar, dependiendo de los datos disponibles con los que cuenten los evaluadores al momento de realizar la evaluacin y dichos diseos utilizan diversas tcnicas o mtodos para alcanzar un determinado objetivo. En los mtodos cuantitativos podemos ver diversas metodologas mismas que se clasifican en (Baker, 20003): a.1) Diseo experimental a.2) Diseo cuasi experimental a.2.1) Mtodo de Pareo a.2.2) Mtodo de comparaciones reflexivas a.2.3) Mtodo de Diferencias en Diferencias para medir impactos a.3) Diseo no experimental Asimismo, en los mtodos cualitativos podemos ver otra metodologa: b.1) Mtodos contextuales de recoleccin de informacin

B k , Y.L. (2000), Evaluacin del impacto de los proyectos de desarrollo en la pobreza . W Banco Mundial. Tomado de http://www.worldbank.org.

h g

DC:

Comisin Federal de Mejora Regulatoria

19

DIPLOMADOS COFEMER/LATIN-REG a) Mtodos Cuantitativos

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

Los distintos mtodos cuantitativos que se presentan a continuacin utilizan la tcnica de comparacin para determinar la causalidad entre la regulacin y los cambios experimentados por los beneficiarios (la poblacin objetivo de la regulacin). Los mtodos cuantitativos de evaluacin de impacto son aquellos que determinan la causalidad a travs de la construccin de un escenario contra-f . E ra-factual debe ser un concepto que siempre est en la mente de los reguladores y evaluadores, y, sobre todo, que sea un concepto completamente comprensible. La dificultad radica principalmente en separar los efectos externos que hayan pasado al mismo tiempo en que se implementa la regulacin y saber si efectivamente los impactos que se analizan dependieron de dichos efectos externos o de la regulacin implementada. Ahora bien, para conocer los diferentes diseos que se utilizan en los mtodos cuantitativos de anlisis, utilicemos un ejemplo muy sencillo, pero a la vez sumamente intuitivo: el matrimonio. Cmo saber si la decisin fue la correcta? Con quin me comparo? Y Si nunca me hubiera casado? Son preguntas que sin duda muchas personas se llegan a hacer en algn momento de su vida. El contra-factual es el escenario en el cual existe la misma persona, con la nica diferencia de no haberse casado; en particular, si se pudiera crear un clon de la misma persona, con la nica diferencia de que sta ltima no estuviera casada, sera la situacin ideal para ver si efectivamente el casarse represent una buena o mala idea, lo que se denomina el contra factual. Por ello, derivado de que en esta vida no existen los clones, entonces se necesita encontrar una persona casi idntica a la que se requiere comparar, por ejemplo que sea de la misma edad, que cuenta con el mismo grado de estudio, los mismos gustos, el mismo trabajo, etctera, con la diferencia de que ste ltimo no se cas. Al respecto, este representa el grupo de control y la persona casada el grupo de tratamiento. La situacin h b ( -factual) es creada a travs de la vida de otra persona casi idntica, con lo cual se hace posible responder a las preguntas iniciales. En este caso si se elige al azar o aleatoriamente como grupo de control a una persona dentro de un grupo de individuos que cumple con las caractersticas de la persona casada, exceptuando el hecho de estar casado, se dice que el diseo de la evaluacin es un diseo experimental; no obstante, si en vez de elegir al individuo al azar, se elige premeditadamente a una persona que cumple con las caractersticas necesarias para comparase, se dice que es un diseo cuasi experimental. Sin embargo, diversamente de los dos casos anteriormente analizados, existen situaciones en las que resulta difcil encontrar un grupo de control adecuado para poder ser comparado, por lo que los evaluadores no consideran un grupo a comparar, y nicamente separan los efectos que se producen del matrimonio para evaluar una determinada situacin, lo que se denomina diseo no experimental. A continuacin se explicarn a fondo las distintas metodologas y diseos de evaluacin. Comisin Federal de Mejora Regulatoria 20

DIPLOMADOS COFEMER/LATIN-REG a.1) Diseo Experimental

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN asignacin tanto del grupo o aleatorio4. El diseo de

Aleatorizacin La aleatorizacin a grandes rasgo es elegir al azar; consiste en evitar seguir un sesgo de seleccin a la hora de escoger la muestra, distribuyendo al azar o aleatoriamente a los sujetos, que tienen la misma probabilidad de formar parte de la muestra. A travs de esta tcnica, se pretende que el azar distribuya de manera similar las caractersticas a travs de los distintos grupos y se eliminen las grandes diferencias en las variables desconocidas, dando lugar a grupos homogneos en ese aspecto.

Los diseos experimentales son las evaluaciones en donde la de control como del grupo de tratamiento se realiza al azar experimentos tuvo su inicio terico a partir de 1935 por el matemtico ingls Sir Ronald A. Fisher5, quien sent la base de la teora del diseo experimental, y que a la fecha se encuentra bastante desarrollada y ampliada. Actualmente las aplicaciones son mltiples, especialmente en la investigacin de las ciencias sociales, ingeniera, laboratorios, y casi todas las ramas de las ciencias naturales. El diseo experimental es considerando como la metodologa ms robusta para la construccin del escenario contra-factual en evaluacin de impacto. La aplicacin de esta metodologa requiere que la seleccin de beneficiarios (grupo de tratamiento) y no beneficiarios (grupo de control) se realice al azar, lo cual garantiza que los grupos sean comparables.

La aleatorizacin, que no es ms que la seleccin al azar en la seleccin de los grupos de tratamiento y control, garantiza que las diferencias entre las caractersticas de estos grupos, como por ejemplo las edades, sexo, educacin, etctera, se deba exclusivamente por causas inherentes a la poltica pblica implementada, controlando as la incidencia de otras variables independientes que estn asociadas con la variable de impacto (variable dependiente) y la poltica pblica. De este modo, el grupo de comparacin provee informacin de lo que le hubiera ocurrido a los agentes en caso de no haber sido regulados. Cabe resaltar que la seleccin al azar no garantiza que los dos grupos sean exactamente idnticos en la situacin sin regulacin, sino que asegura que esas diferencias se deban al azar.

Un experimento aleatorio es aquel del que no podemos predecir su resultado, es decir, que depende de la suerte o azar. 5 Ronald Aylmer Fisher (1890-1962) Miembro de la Royal Society (1929) Fue nombrado doctor honoris causa por las universidades de Harvard, Chicago, Calcuta, Londres, Glasgow, Adelaida, Leeds, etc. Fue nombrado caballero de la Corona britnica en 1952. Su gran aportacin consisti en aplicar el clculo estadstico a la investigacin experimental. En 1921 introdujo el concepto de probabilidad a partir del anlisis de las series estadsticas y, cuatro aos ms tarde, cre el concepto cientfico de informacin, que es considerado el punto de partida en el desarrollo de la teora matemtica de la informacin.

Comisin Federal de Mejora Regulatoria

21

DIPLOMADOS COFEMER/LATIN-REG Limitaciones del diseo experimental:

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

a. Puede ser polticamente difcil proporcionar una regulacin a un grupo y excluir a otro. b. Durante el experimento, los individuos en los grupos de tratamiento o control podran cambiar determinadas caractersticas que los identifican, lo que invalidara o contaminara los resultados. De manera alternativa, las personas que no estaban consideradas para verse impactadas por la regulacin podran buscarlo a travs de otras fuentes. Por ejemplo alguna regulacin que otorgue beneficios fiscales es una regulacin que puede traer incentivos a modificar el comportamiento de los individuos. c. Su aplicacin puede ser costosa y tomar bastante tiempo, particularmente en la recopilacin de datos, por lo tanto su viabilidad poltica se puede ver afectada.

COMENTARIOS ADICIONALES: VARIABLES DEPENDIENTES E INDEPENDIENTES Los siguientes conceptos parten del hecho de que en un diseo experimental, la hiptesis plantea que los cambios en una o ms de las variables independientes generarn cambios en una o ms de las variables dependientes. De esta forma, pasaremos a definir lo que es una variable dependiente y lo que es una variable independiente. Variable independiente: Es una variable que no depende de otra, por lo general, es el objeto o evento en el que se centra la investigacin. Por ejemplo una regulacin. Variable dependiente: Es una variable que depende de otra o est subordinada a otra variable (variable independiente). Por ejemplo la variable sobre la cual la regulacin pretende impactar. En primer lugar, es importante mencionar que un modelo es una aproximacin de un fenmeno ms complejo. Es por eso que cualquier modelo que refleje una situacin compleja debe contener un trmino de error, que represente la diferencia entre el modelo terico y lo observado. En un modelo de regresin lineal, que en su forma ms sencilla podemos definir como la esperanza condicional, expresado de la siguiente forma: Y=+ ( * )+ (2 *2 )++( * )+ La variable dependiente es la Y (dado que depende de los valores de las Xs) mientras que las b X ; b del error dentro de nuestra ecuacin .L g . E , j 1 b la variab Y b X1.
Para ms detalle ver Econometra de Gujarati, Damodar Mcgraw-Hill.

a.2) Diseos cuasi-experimentales La segunda alternativa para construir el escenario contra-factual son los diseos cuasiexperimentales. En comparacin con el diseo experimental, este diseo no hace la seleccin de los grupos de tratamiento y de control al azar. El diseo se basa principalmente en analizar aquellas polticas pblicas en las cuales puede ingresar Comisin Federal de Mejora Regulatoria 22

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN cualquier individuo que cumpla con los criterios de elegibilidad y focalizacin 6 de la poltica. En otras palabras, el ingreso de un individuo al programa en este tipo de diseo g , h b sacado la pelota ganadora en un sorteo. Al respecto, en el diseo cuasi experimental se pueden utilizar diversos mtodos para seleccionar el grupo de control, como a continuacin se explica. a. 2.1) Mtodo de pareo En el diseo cuasi experimental una de las alternativas para seleccionar el grupo de comparacin es el mtodo de pareo, esta tcnica se utiliza generalmente en la evaluacin de programas sociales; sin embargo, algunas de las caractersticas del mtodo de pareo pueden utilizarse en la evaluacin de impacto de regulaciones sectoriales. El objetivo de este mtodo es encontrar o identificar un grupo de individuos que no forman parte de la poltica pblica, pero cumplen con los criterios de seleccin de la poltica y son similares a las personas que conforman el grupo de tratamiento en aquellas caractersticas observables que podran incidir en la variable de impacto. En resumen, este mtodo busca simular la situacin contra-factual a partir de un subgrupo de personas no beneficiadas; de este grupo de no beneficiarios se seleccionan a aquellos que tengan caractersticas muy similares a los beneficiarios. Es decir, los pares son seleccionados con base en similitudes con las caractersticas observadas. Esto supone que no hay problemas de seleccin basado en caractersticas no observables.

Beneficiarios

No Beneficiarios

Por ejemplo, las intervenciones de reduccin de la pobreza generalmente buscan beneficiar slo a aquellas personas con mayores condiciones socioeconmicas desfavorables. Por ejemplo, bajo ingreso, desempleo, analfabetismo, enfermedades, etc.

Comisin Federal de Mejora Regulatoria

23

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Luego, se comparan los resultados obtenidos entre el grupo beneficiario y el grupo de control. Una ventaja de este mtodo es que permite la evaluacin del programa de una manera fcil y estadsticamente confiable, lo nico sofisticado es encontrar al grupo de control. Para facilitar la aplicacin del mtodo de pareo se han desarrollado modelos economtricos que permiten controlar los efectos de un conjunto de variables observables e identificar aquellos individuos que son similares a las personas que conforman el grupo de tratamiento. Estos modelos no son parte del material expuesto en el presente diplomado dado que requieran tcnicas economtricas. Uno de los mtodos ms utilizados con este propsito es el Propensity Score Mactching Method.7 a.2.2) Mtodo de comparaciones reflexivas Otra alternativa usada en el diseo cuasi experimental para seleccionar el grupo de control es comparar la situacin de los beneficiarios antes y despus de la regulacin. A este mtodo se le conoce como mtodo de comparaciones reflexivas, en donde la situacin inicial o previa a la implementacin de la poltica regulatoria, denominada lnea base, conforma el escenario contra-factual, respecto a la cual se contrasta la situacin de los beneficiarios despus haber ejecutado la poltica regulatoria. El supuesto general de este mtodo es que las condiciones de vida de los beneficiarios no cambiaran en la ausencia de la regulacin, lo cual es difcil de suponer en muchos casos. Este diseo resulta importante para el caso en que la regulacin se aplique, por ejemplo, a todo el pas, por lo que no hay forma de establecer un grupo de control y un grupo de tratamiento. Un ejemplo al respecto podra ser un programa nacional de alfabetizacin que tiene la infraestructura para beneficiar a todas las personas analfabetas del pas, por ello, no es posible encontrar una muestra representativa de personas analfabetas que no estn siendo capacitadas por el programa. En este caso, se evaluara el impacto del programa comparando la tasa promedio de analfabetismo del grupo de beneficiarios antes y despus del programa, controlando los factores externos que pudieran haber incidido en el resultado. a.2.3) Mtodo de Diferencias en Diferencias para medir impactos La metodologa de diferencia en diferencias compara el cambio en los resultados entre los grupos de tratamientos y control antes y despus de haber implementado la poltica pblica. Se le conoce como metodologa de diferencias en diferencias ya que el impacto es el resultado despus de realizar dos comparaciones, o mejor dicho dos restas: la primera respecto a la situacin antes y despus de la implementacin de la poltica regulatoria, y
7

Para una explicacin detallada ver Ravallion (1999).

Comisin Federal de Mejora Regulatoria

24

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN la segunda respecto a las diferencias entre el grupo de control y el grupo de tratamiento. En particular, las dos restas nos permiten encontrar la diferencia entre el antes y el despus para el grupo de tratamiento, menos la diferencia entre el antes y el despus para el grupo de control.

FORMULA DEL MTODO DE DIFERENCIAS EN DIFERENCIAS Matemticamente hablando, el mtodo de diferencias en diferencias se puede representar de la siguiente manera: Donde g g 1 g 0 al ao previo a la regulacin. De esta forma la primer resta ( ) muestra los cambios para el grupo de tratamiento entre el antes y el despus de la regulacin; mientras que la segunda resta ( ) muestra los cambios entre el antes y el despus de la regulacin para el grupo de control. Finalmente, el impacto se puede interpretar como la diferencia entre el antes y el despus de la regulacin entre el grupo de tratamiento y el grupo de control. ( ) ( )

Grficamente se podra expresar de la siguiente forma.

Resultados Grupo de tratamiento B

En dnde B es ( C es ( )

) y

Por lo tanto, siguiendo la frmula anterior, el impacto es igual a (B-C).

Grupo de control

Tiempo Ao de la regulacin

Con ello se logra controlar las diferencias entre las caractersticas observables y no observables entre los grupos de tratamiento y control.

Comisin Federal de Mejora Regulatoria

25

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Cabe destacar que el mtodo de diferencias en diferencias es de gran uso para los evaluadores de regulaciones, lo que se trata de comparar es el antes y el despus para aquellos grupos a los que impacta la regulacin contra aquellos grupos que no son regulados.

EJEMPLO MTODO DE DIFERENCIAS EN DIFERENCIAS Para ejemplificar este mtodo supongamos la siguiente situacin. Para el ao 2010 el estado de Veracruz contaba con la Ley para Prevenir, Atender, Combatir, Sancionar y Erradicar la Trata de Personas para el estado de Veracruz. Entre los estados que tambin contaban con una legislacin similar se encuentran Baja California, Chiapas, el Distrito Federal, Hidalgo, Quintana Roo, Nayarit, Sonora y Yucatn. Se estima que cada ao en Mxico hay 10 mil personas traficadas, de las que la mitad es llevada a Estados Unidos y Canad. Los estados de origen son principalmente Guerrero, Chiapas, Oaxaca, Hidalgo, Puebla, Michoacn, Guanajuato, Campeche, Zacatecas, Colima, Veracruz y Quintana Roo. Si consideramos que las caractersticas para los datos de trata de personas entre el estado de Veracruz y Puebla es similar, entonces podemos utilizar como grupo de control al estado de Puebla, dado que no tiene una ley de trata de personas y s se encuentra entre los estados de origen al igual que Veracruz. Supongamos que los resultados del nmero de trata de personas en cada estado son los siguientes despus de la legislacin de 2010: Antes (2009) Veracruz Puebla total 9,000 4,000 (9000-4000)=5,000 Despus (2011) 7,000 3,000 (7000-3000)= 4,000 total -2,000 -1,000 -1,000 B C B-C

De esta forma (7,000 9,000) (3000 4000) 2,000 ( 1000) 2000 + 1000 ,

Por lo tanto, el impacto de Ley para Prevenir, Atender, Combatir, Sancionar y Erradicar la Trata de Personas para el estado de Veracruz fue la disminucin de mil personas afectadas por el delito de trata. Por ello, el argumentar que debido a la legislacin disminuyeron dos mil personas afectadas por el delito de trata sera errneo, ya que de igual forma sin la regulacin (suponiendo que Veracruz tenga el mismo comportamiento de Puebla) se hubieran reducido mil; lo que quiere decir que el impacto es la diferencia entre lo que pas en Veracruz despus de la regulacin, menos lo que hubiera pasado sin regulacin (la cual suponemos sera igual que Puebla; es decir, mil unidades).

Comisin Federal de Mejora Regulatoria

26

DIPLOMADOS COFEMER/LATIN-REG a.3) Diseos no experimentales

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

A diferencia de los diseos experimentales y cuasi experimentales, el diseo no experimental no construye un grupo de control o comparacin para contrastar los cambios en el grupo de tratamiento. En estos diseos el grupo de personas que se ven impactadas por la regulacin se compara con un grupo conformado por personas que pueden cumplir o no los criterios de seleccin de la poltica regulatoria. As, es muy probable que este grupo de no beneficiarios o regulados difiera del grupo de tratamiento en aquellas caractersticas observables y no observables. Para eliminar las diferencias entre estos dos grupos se utilizan variables instrumentales, que es una tcnica economtrica que usa una o ms variables (instrumentos) que sean pertinentes a la participacin pero no a los resultados de la participacin (Banco Mundial, 2003b). De igual manera la tcnica de variables instrumentales es una tcnica compleja, la cual requiere de conocimientos que no se expondrn en el presente diplomado.8 Finalmente, se debe tener en cuenta que en muchas evaluaciones estos diseos ms que sustitutos son utilizados como alternativas complementarias de evaluacin. Por ejemplo, alguna regulacin puede ser evaluada en uno de sus objetivos con un diseo experimental y los dems con diseos no experimentales. Tambin, una evaluacin podra seleccionar aleatoriamente las reas geogrficas en donde la regulacin se implementara (diseo experimental) y, luego, utilizar un diseo cuasi experimental para conformar los grupos de tratamiento y comparacin dentro de cada rea. Esta estrategia fue utilizada en la evaluacin de impacto de programa PROGRESA de Mxico.

P ed.), Thomson. Captulo 15.

Introductory Econometrics, J

M. W

g (2

Comisin Federal de Mejora Regulatoria

27

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

COMENTARIOS ADICIONALES: RECOLECCIN DE DATOS

Ni la sabidura y el conocimiento, ni la manipulacin estadstica, ni la persuasin en el reporte de los resultados de una evaluacin, pueden compensar completamente las limitaciones de una baja calidad de la informacin (datos incompletos, invlidos, no confiables). Burstein, Freeman and Rossi (1985). En aos recientes los mtodos de evaluacin de impacto se han difundido ampliamente en la investigacin aplicada. Sin embargo, la variedad de mtodos responde a problemas particulares y especficos los cuales estn determinados normalmente por los datos disponibles y el impacto que se busca medir. La recoleccin de la informacin es una de las actividades ms importantes en una evaluacin, debido a la alta incidencia de su calidad en los resultados. La estrategia de evaluacin en la que se anticipan los posibles efectos de los programas, requiere que se recolecte el mismo tipo de informacin para los beneficiarios y no beneficiarios (grupos de tratamiento y de comparacin). As, se suelen utilizar instrumentos de recoleccin estandarizados, que pre establecen categoras de clasificacin (Weiss, 1998). Por ejemplo, si la variable de impacto es la situacin laboral de los beneficiarios, las categoras podran ser: asalariado, trabajador por cuenta propia, desempleado, etc. Estas categoras deben ser predefinas por el evaluador, clarificando su significado y criterios de clasificacin. Estos instrumentos de recoleccin de informacin pueden ser entrevistas estructuradas, cuestionarios, registros administrativos, etc. La informacin recolectada a travs de estos medios permite, y facilita a su vez, la transformacin numrica de la informacin. Estos instrumentos son comnmente denominados mtodos cuantitativos de recoleccin de la informacin. No obstante, Hentschel (1997) prefiere denominarlos mtodos no contextuales de recoleccin de informacin, con el propsito de diferenciar entre tipos de datos (cuantitativos y cualitativos) y mtodos de recoleccin. Lo que hace que un experimento sea verdadero y tenga el poder de medir correctamente el impacto de una variable sobre otra es la aleatorizacin en la seleccin de la muestra del estudio y en la aleatorizacin del tratamiento, ambos bajo el control del investigador. Como ya se explic anteriormente, esta caracterstica garantiza que los grupos de beneficiarios y no beneficiarios sean comparables. Sin embargo, en muchas ocasiones la evaluacin no fue planeada desde un inicio y no se tiene un escenario contra-factual desarrollado, qu tipo de evaluacin se realiza? La evaluacin en muchas ocasiones llega como g b , g se realizaron en administraciones previas; por eso mismo, es necesario obtener conclusiones en base a los datos que se tienen disponibles o en base a encuestas retrospectivas que nos permitan establecer un escenario previo a la regulacin. Lo recomendable sera utilizar las encuestas, sin embargo depende mucho del presupuesto que se tenga y del tiempo transcurrido de la poltica a evaluar; es decir, si ya pasaron 20 aos difcilmente la informacin que se obtenga ser la adecuada, y es mejor realizar una evaluacin cualitativa.

b) Mtodos Cualitativos Un mtodo para evaluar el impacto de una regulacin es considerado cualitativo cuando la causalidad entre la poltica y el cambio experimentado por los beneficiarios no se establece a partir de un escenario contra-factual. Es decir, los mtodos cualitativos de evaluacin dan informacin que no puede ser expresada con los nmeros.

Comisin Federal de Mejora Regulatoria

28

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN El mtodo cualitativo no utiliza variables y no incorpora evidencia sobre individuos que no recibieron el impacto de la poltica. Segn Schutt9 (2001), el mtodo cualitativo utiliza una g h , pensamientos que conducen a un evento en particular o un resultado. Este enfoque describe las condiciones iniciales de los individuos que se vieron impactados por la poltica, y luego relata una serie de eventos que ocurren en diferentes momentos y que conducen al resultado o impacto. As mismo, Mohr (1999) argumenta que el mtodo , ntre dos (. . b hacia un lado de la carretera (causa) y derrumb el poste de la luz de la esquina (efecto)), a diferencia de la definicin de causalidad factual que utiliza el mtodo cuantitativo. Los mtodos cualitativos incluyen: Entrevistas individuales y grupales; Observacin; Grupos de enfoque; Reuniones con la comunidad; Interpretacin de los registros, transcripciones y otra informacin cuantitativa;

En seguida presentamos una serie de recomendaciones para hacer los resultados cualitativos lo ms fiables posible: Registre la informacin exacta y completa; Formule las preguntas correctas y dirjalas apropiadamente; Use el mtodo que mejor le ayude a responder las preguntas que se est haciendo; Separe los sentimientos y comentarios subjetivos propios y los de los dems de la realidad objetiva y trate de asegurarse de que sus descubrimientos sean objetivos;

Existe un gran debate que consiste en decretar si el mtodo cualitativo puede determinar o no causalidad, y por lo tanto, si es o no adecuada su aplicacin. La aplicacin de mtodos cuantitativos ha sido aceptado gracias a su rigidez y objetividad; sin embargo, su dificultad (dificultad de planeacin y recoleccin principalmente) sobre los datos y la falta de una cultura de evaluacin que cuantifique las polticas han llevado a la utilizacin de mtodos que se adaptan a los datos disponibles y sobre todo que no necesitan la elaboracin de un escenario de comparacin. Por ello, en las ltimas dcadas ha aumentado el nmero de autores que exploran el uso de mtodos cualitativos en la evaluacin de impacto, especialmente en la descripcin del mecanismo y contexto que define la relacin de causalidad. Schutt establece que estos dos criterios (mecanismo y

Schutt, R. (2001). Investigating the social World: the process and practice of research.

Comisin Federal de Mejora Regulatoria

29

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN contexto) deben ser considerados para determinar y comprender la relacin de causalidad entre dos variables cuando se utiliza un mtodo cuantitativo. Mecanismo: Es algn proceso que crea la conexin entre las actividades y efectos. Contexto: Es el espacio fsico, geogrfico, temporal, histrico y cultural dentro del cual una accin es desarrollada. El contexto se convierte en el marco terico, el punto de referencia, el mapa, el cual es usado para ubicar las personas y acciones en tiempo y espacio, as como recurso para entender sus experiencias. No se podra interpretar una accin, una conversacin o una exclamacin a menos que sea analizada en su contexto.

El mtodo cualitativo de evaluacin de impacto utiliza un enfoque inductivo de investigacin y no impone situaciones ficticias o controladas a la realidad que se estudia. La evaluacin comienza con la recoleccin de la informacin. Las preguntas que guan esta bsqueda de informacin son: Cules efectos produjo la regulacin? Qu significado tienen estos efectos para los beneficiarios? Cules fueron los mecanismos por los cuales se generaron estos efectos? Cul es el contexto o entorno en el cual se generaron estos efectos?

El anlisis de esta informacin permite identificar y describir los efectos de la regulacin y el contexto o entorno en el cual se produjeron. Esta caracterstica del mtodo cualitativo de evaluacin de impacto implica obtener evidencia de aquellos efectos que no pudieron anticiparse al inicio de la regulacin o la evaluacin (efectos tanto positivos como negativos). Por otra parte, la ausencia de un grupo contra-factual implica que en lugar de buscar aislar los factores externos de la regulacin, este mtodo los incorpora en el estudio para observar las interacciones que ocurren entre los beneficiarios y la regulacin, en su contexto geogrfico, cultural, organizacional e histrico. Es as como, en lugar de utilizar un experimento (comparacin) para determinar la causalidad, el mtodo cualitativo emplea la tcnica de trabajo de campo que permite al evaluador observar y/o interactuar con los beneficiarios de la regulacin (Guba y Lincoln, 1985). El evaluador debe conocer que piensan los beneficiarios, y cuales son sus percepciones acerca de sus necesidades y el impacto de la regulacin. Con este propsito, en un estudio de caso se utilizan mltiples tcnicas de recoleccin de informacin que van desde la observacin hasta el anlisis de documentos.

Comisin Federal de Mejora Regulatoria

30

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

b.1) Mtodos contextuales de recoleccin de informacin

REGULACIN

En esta estrategia de evaluacin de impacto se utilizan principalmente mtodos de recoleccin de la informacin que permiten comprender el comportamiento humano en el entorno social, cultural, econmico y poltico de una localidad. Es decir, son instrumentos con mayor capacidad de captar el entorno del fenmeno que se analiza. Hentschel (1997) los denomina mtodos contextuales de recoleccin de la informacin (cualitativos). Estos mtodos buscan capturar las experiencias de los beneficiarios a los que les lleg la regulacin tal y como ellos las viven, no a travs de categoras pre-establecidas por el evaluador. Buscan descubrir lo que piensan los beneficiarios y registrarlo en sus propias palabras. La informacin en los mtodos contextuales proviene del trabajo de campo que realice el evaluador. Es decir, el evaluador debe permanecer en el lugar donde los cambios en los beneficiarios puedan ser observados, los involucrados en el programa puedan ser entrevistados y puedan ser analizados documentos escritos. El evaluador debe hablar con los involucrados acerca de sus experiencias y percepciones. Los mtodos contextuales agrupan fundamentalmente tres instrumentos de recoleccin de la informacin: observacin directa, entrevistas y revisin de documentos. IV. QU ESTRATEGIA DE EVALUACIN CONVIENE UTILIZAR?

Hasta el momento se han definido dos grandes metodologas de evaluacin de impacto cuantitativo y cualitativo- las cuales se utilizarn de acuerdo al objetivo de anlisis que se pretende realizar. Estas grandes metodologas de evaluacin con base en la informacin que utiliza, cuantitativa o cualitativa, incorporan una gran cantidad de tcnicas que de igual forma se utilizan dependiendo del tiempo, de la informacin que se tenga y, sobre todo, de la viabilidad poltica del anlisis. Por ejemplo, si se pretende realizar una evaluacin bajo el diseo experimental sobre el impacto de una poltica en contra del cncer, difcilmente se permitir elegir al azar a los beneficiarios ya que puede resultar poltica regulatoria. Por otra parte el tiempo resulta fundamental, tanto en la evaluacin como en la viabilidad poltica, el pretender estimar los impactos a travs de un diseo experimental, implicar tanto un proceso de seleccin de los grupos, implementar la regulacin, esperar algunos aos y finalmente realizar la evaluacin, lo cual no es polticamente visible para la mayora de los gobiernos. De tal manera que es necesario identificar el mtodo correcto y toda una estrategia que persiga la viabilidad poltica en su aplicacin. Ante estos aspectos una decisin fundamental que podr impactar tanto en la viabilidad como en la calidad de la evaluacin consiste en identificar la estrategia y el mtodo a utilizar. Como hemos visto, el mtodo a utilizar depende en gran parte de los datos disponibles, el tiempo y del presupuesto asignado.

Comisin Federal de Mejora Regulatoria

31

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN Se podra decir que el mtodo experimental es sin duda alguna el que mejor cuantifica los impactos; sin embargo, este mtodo requiere de una planeacin larga, de datos precisos y sobre todo de la voluntad de administraciones previas para hacer aleatoria la muestra tanto para el grupo de control como para el grupo de tratamiento. Al mismo tiempo requiere un esfuerzo de paciencia y constante medicin y recoleccin de informacin. Por otro lado, se encuentran los diseos cuasi experimentales, los cuales son de utilidad y cuentan con un diseo ms flexible, en el cual, mediante tcnicas economtricas, es posible encontrar un escenario contra-factual. Finalmente, dentro de los mtodos cuantitativos se tienen los diseos no experimentales, el cual, tal como su nombre lo , g de x , , a travs de diversas tcnicas, se pueden separar los efectos y el impacto de la poltica regulatoria sobre los beneficiarios, una de estas tcnicas es el uso de variables instrumentales. En el otro extremo tenemos las evaluaciones cualitativas, las cuales ms que un tipo de evaluacin pueden ser de gran utilidad como complemento a las evaluaciones cuantitativas o como parte de la evaluacin del proceso. Las discusiones sobre la evaluacin en los sectores sociales suelen caer rpidamente en b . F gg los enfoques y/o mtodos de estas dos orientaciones, y se atribuye alguna parte de las diferencias a la falta de voluntad o viabilidad para poder evaluar los sectores sociales. Indudablemente, el fervor por buscar rigor en los procesos evaluativos ha generado una tendencia de aplicaciones cuantitativas; sin embargo, a veces, se ha llegado a situaciones en las que se busca tratar de aplicar el anlisis costo-beneficio para todo tipo de evaluaciones de iniciativas sociales al grado de asignarle precios a la vida y a las necesidades de los individuos. De ah que podemos concluir, que los mtodos cualitativos y los cuantitativos son muy diferentes. En una determinada evaluacin se pueden aplicar mtodos cuantitativos y tambin cualitativos, para generar diferentes tipos de informacin que, en su conjunto, responden las diferentes preguntas propuestas por el proceso evaluativo. Por ejemplo, los mtodos cuantitativos podran dimensionar un determinado problema, cambio o impacto y los mtodos cualitativos podran ayudar a entender por qu se presentan, tomando en cuenta las caractersticas y condiciones del contexto y las caractersticas y comportamientos de los actores involucrados.

Comisin Federal de Mejora Regulatoria

32

DIPLOMADOS COFEMER/LATIN-REG V BIBLIOGRAFA

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN

Banco Mundial. (2003a). "The contribution of social protection to the Milennium Goals". Tomado de http://www.worldbank.org., (2003b). PovertyNet. Tomado de http://www.worldbank.org. Cohen, E., et. al. (2001). "Los desafos de la reforma del estado en los programas sociales: tres estudios de caso". Serie de Polticas Sociales. No. 45. CEPAL. Guba, E., y Lincoln, Y. (1985). "Effective evaluation". Jossey-Bass Publishers. OECD. (2002a). "Overview of results-docused management and budgeting in IECD member countries". PUMA. Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza 82. _____, (2002b). Glossary if key terms in evaluation and results based management. _____, (2001). Outcome focused management and budgeting. PUMA. _____, (1998). Best practice guidelines for evaluation. PUMA Policy Brief. No. 5. Mohr, L. (1999). "The qualitative method of impact analysis". American Journal of Evaluation. Vol. 20, No. 1. pp 69 - 84. _____, (1988). Impact analysis for program evaluation. The university of Michigan. Schutt, R. (2001). "Investigating the social World: the process and practice of research". Perrin, B. (2003). "Implementing the vision: addressing chalanges to results-focused management and budgeting". Programa de las Naciones Unidas para el Desarrollo PNUD-. (1997). Informe de desarrollo humano. ORGANIZACIN DE LA NACIONES UNIDAS, "Pautas bsicas para el seguimiento y evaluacin de programas", mimeo FEGS, Caracas Venezuela. B g ,D . M g g b , M http://www.bcrp.gob.pe/Espanol/WMoneda/Moneda129/mon129_5.pdf. :C 129

M k , K.M., Eficacia, eficiencia, equidad y sostenibilidad: qu queremos decir?, Instituto Interamericano para el Desarrollo Social INDES/BID-. Tomado de http://indes.iadb.org. Brousseau, R., y Montalvn, G. (2002). Monitoreo y evaluacin de proyectos. Banco Interamericano de Desarrollo. Tomado de www.iadb.org. B k , Y.L. (2000), E Washington DC: Banco Mundial. Tomado de http://www.worldbank.org. Comisin Federal de Mejora Regulatoria b z . 33

DIPLOMADOS COFEMER/LATIN-REG

METODOLOGAS DE LA EVALUACIN DE IMPACTO REGULATORIO

REGULACIN R , M. (1999). Th M h h g b : M S introduction to evaluation. Banco Mundial. Tomado de http://www.worldbank.org. Soderstrom, E. (1981). Social impact assessment, experimental methods and approaches. Weiss, C. (1998). Evaluation: methods for studying programs and policies. Ospina, S. (2002). La evaluacin como herramienta para una gestin pblica orientada a resultados. CLAD. Gujarati, D. (1997). Econometr[1]a. Tercera edicin. McGrawHill. Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social ILPES.(2005). M programas de lucha contra b z , S g Ch .

Comisin Federal de Mejora Regulatoria

34