Material de Apoyo Al Manual Gerencial Cap 5 PDF

Ministerio de Planificacin Nacional y Poltica Econmica
CAPITULO 5:
ENFOQUES Y DISEOS
METODOLOGICOS PARA LA
EVALUACION

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

DE EVALUACIONES ESTRATGICAS DE GOBIERNO
Apartado 5.1:
Enfoques metodolgicos
Material 5.1.1: Validez y confiabilidad

Basado en: Martnez M., Miguel (2006): Validez y confiabilidad en la investigacin cualitativa. PARADIGMA
No. 27, pp. 7-33. Con contenidos adicionales y modificados por parte de la AES.
Validez y confiabilidad en las investigaciones evaluativas

La dificultad relacionada con la validez y confiabilidad de los resultados en las investigaciones evaluativas
que utilizan mtodos y tcnicas de orientacin cuantitativa y/o cualitativa ser tratada en este apartado
debido a la importancia que tiene en la evaluacin.

La validez y confiabilidad en la investigacin cuantitativa

En la investigacin cuantitativa que tiene su origen en el positivismo tradicional, se distinguen diferentes
tipos de validez: validez de construccin, validez interna, validez externa. Todas tratan de verificar si en
realidad medimos lo que nos proponemos medir. Igualmente, se busca determinar un buen nivel de
confiabilidad, es decir, la posibilidad de repetir la misma investigacin con idnticos resultados.

La validez de construcciones hipotticas (de constructos), que es la ms importante, trata de establecer
una medida operacional para los conceptos usados. Por ejemplo, un instrumento para medir la inteligencia
debe medir la inteligencia, y no la memoria, lo cual requiere a) un entendimiento consensuado y explcito
acerca de lo que se entiende por inteligencia (a diferencia de la memoria) y b) un instrumento que logre
medir un conjunto de variables que efectivamente reflejen dicho concepto. Al tratar solamente con
variables que representan hechos directamente observables, sera sencillo lograr la validez, sinembargo, la
validez de constructos llega a ser un desafo cuando hablamos precisamente de conceptos complejos y no
directamente medibles, como podra ser el caso de variables como la motivacin, calidad de servicio al
cliente, y ms an en cuanto a variables que, por ejemplo, estn relacionado con actitudes, sentimientos
etc.

La validez interna est relacionada especficamente con el establecimiento o bsqueda de una relacin
causal o explicativa; es decir, si el evento X lleva al evento Y; excluyendo la posibilidad de que sea causado
por el evento Z. La validez interna es maximizada mediante diseos experimentales o cuasi-experimentales y
analiza internamente el estudio cuestionando si las relaciones causales encontradas son vlidas en el
contexto del estudio, lo cual no necesariamente significara que deben ser vlidas para otras unidades que
no son las investigadas.

La validez externa, por el otro lado trata de verificar si los resultados de un determinado estudio son
generalizables ms all de los linderos del mismo. La validez externa responde a la pregunta: Lo que
encontr en el estudio a qu otras personas, grupos, contextos o situaciones se aplica?. Algunos autores se
refieren a este tipo de validez con el nombre de validez de contenido, pues la definen como la
representatividad o adecuacin muestral del contenido que se mide con el contenido del universo del cual
es extrada (Kerlinger, 1981a, p. 322).

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA
Es importante mencionar que la validez interna y externa suelen enconctarse en cierto conflicto. La validez
interna es maximizada cuando se logra eliminar todas las variables confusoras y crear un ambiente en que
solamente estn presentes las variables de inters que representan la relacin causal. Esto suele ser el caso
en los llamados experimentos de laboratorio. La validez externa, por el otro lado, requiere que las variables
de inters se midan en su contexto natural para que se pueda inferir el resultado del estudio ms all de los
lmites del mismo. Para medir, por ejemplo, el efecto de un programa televisivo didctico sobre una
determinada rea de aprendizaje, uno podra fcilmente crear una situacin de laboratorio donde los
jvenes se expongan al programa en un ambiente perfectamente controlado y con mnimas influencias
externas (maximizando la validez interna). Pero aunque se logre medir un efecto de aprendizaje positivo,
este mismo efecto se dara en los jvenes que lo miren en su casa, tomando en cuenta todos los factores
que puedan disminuir la atencin y el por ende, la asimilacin de la informacin? (problema de la validez
externa).
Finalmente, la confiabilidad tiene por objeto asegurarse que un investigador, siguiendo los mismos
procedimientos descritos por otro investigador anterior y conduciendo el mismo estudio, puede llegar a los
mismos resultados y conclusiones. Ntese que se trata de rehacer el mismo estudio, no una rplica del
mismo.

En la investigacin cuantitativa, la validez (interna y externa) se asocia a las respectivas estrategias de
investigacin (experimentales, cuasi-experimentales o no experimentales; de campo o de laboratorio) que
son tratadas en el captulo 5 del Manual Gerencial para el diseo y ejecucin de Evaluaciones Estratgicas de
Gobierno. La confiabilidad es alcanzada sobre todo a travs de un mximo escrutinio en la construccin y
validacin de los instrumentos para la recoleccin (captulo 6 del mismo manual) as como de la uniformidad
de la forma de aplicacin.

La validez y confiabilidad en la investigacin cualitativa

1. La Validez

En sentido amplio y general, una investigacin cualitativa tendr un alto nivel de validez en la medida en
que sus resultados reflejen una imagen lo ms completa posible, clara y representativa de la realidad o
situacin estudiada.

Pero no se tiene un solo tipo de conocimiento. El positivismo tradicional ha mostrado ser eficaz en las
ciencias naturales donde produce un conocimiento adecuado para tratar con el mundo fsico. Sin embargo,
en las ciencias sociales, el estudio de variables aisladas, desligadas de realidad compleja desde la cual se
tienen que comprender, ha resultado demasiado reduccionista. La respuesta la dan distintas ramas de las
ciencias histrico-hermenuticas (ciencias interpretativas) que llevan a una priorizacin de una metodologa
cualitativa y un anlisis interpretativo (en lugar de estadstico). Por esta va, producen el conocimiento
interactivo que subyace en las relaciones sociales.

En las ciencias hermenuticas, el desafo de la validez se enfrenta de una manera distinta positivismo
tradicional y la investigacin cuantitativa. La validez se aprecia de acuerdo al nivel de su habilidad para
producir relaciones humanas con alto sentido de empata y vinculacin. Una investigacin tiene un alto nivel
de validez si al observar o apreciar una realidad, se observa o aprecia esa realidad en sentido pleno, y no
slo un aspecto o parte de la misma.

Si la confiabilidad ha representado siempre un requisito difcil para las investigaciones cualitativas, debido a
la naturaleza peculiar de stas (imposibilidad de repetir, stricto sensu, el mismo estudio), no ha ocurrido lo

mismo en relacin con la validez. Al contrario, la validez es la fuerza mayor de estas investigaciones. En
efecto, la aseveracin de los investigadores cualitativos de que sus estudios poseen un alto nivel de validez,
deriva de su modo de recoger la informacin y de las tcnicas de anlisis que usan. Esos procedimientos los
inducen a relacionarse intensamente con los sujetos participantes en el estudio, a recoger los datos durante
largos perodos de tiempo, revisarlos, compararlos y analizarlos de manera continua, al adecuar las
entrevistas a las categoras empricas de los participantes y no a conceptos abstractos o extraos trados de
otro medio, a utilizar la observacin participativa en los medios y contextos reales donde se dan los hechos
y, finalmente, a incorporar en el proceso de anlisis una continua actividad de realimentacin y re
evaluacin. Aunque todo esto garantiza un alto nivel de validez, tambin la validez es perfectible, y ser
tanto mayor en la medida en que se tengan en cuenta algunos problemas y dificultades que se pueden
presentar en la investigacin cualitativa.

Entre otros, para una buena validez interna, habr que prestar especial atencin a los siguientes:

a) Puede haber un cambio notable en el ambiente estudiado entre el principio y el fin de la investigacin. En
este caso, habr que recoger y cotejar la informacin en diferentes momentos del proceso.

b) Es necesario calibrar bien hasta qu punto la realidad observada es una funcin de la posicin, el estatus y
el rol que el investigador ha asumido dentro del grupo. Las situaciones interactivas siempre crean nuevas
realidades o modifican las existentes.

c) La credibilidad de la informacin puede variar mucho: los informantes pueden mentir, omitir datos
relevantes o tener una visin distorsionada de las cosas. Ser necesario contrastarla con la de otros,
recogerla en tiempos diferentes, etc.; conviene, asimismo, que la muestra de informantes represente en la
mejor forma posible los grupos, orientaciones o posiciones de la poblacin estudiada, como estrategia para
corregir distorsiones perceptivas y prejuicios, aunque siempre seguir siendo cierto que la verdad no es
producida por el ejercicio azarstico y democrtico en la recoleccin de la informacin general, sino por la
informacin de las personas ms capacitadas y fidedignas.

En cuanto a la validez externa, es necesario recordar que a menudo las estructuras de significado
descubiertas en un grupo no son comparables con las de otro, porque son especficas y propias de ese
grupo, en esa situacin y en esas circunstancias, o porque el segundo grupo ha sido escogido en diferentes
circunstancias o a partir de criterios distintos y no le son aplicables las conclusiones obtenidas en el primero.
Por ende, las ciencias hermenuticas suelen concentrarse en la plena comprensin del caso (o los casos)
estudiado(s), y no asegurar una validez externa.

2. La Confiabilidad

Una investigacin con buena confiabilidad es aquella que es estable, segura, congruente, igual a s misma en
diferentes tiempos y previsible para el futuro. Tambin la confiabilidad tiene dos caras, una interna y otra
externa: hay confiabilidad interna cuando varios observadores, al estudiar la misma realidad, concuerdan en
sus conclusiones; hay confiabilidad externa cuando investigadores independientes, al estudiar una realidad
en tiempos o situaciones diferentes, llegan a los mismos resultados.

El concepto tradicional de confiabilidad externa implica que un estudio se puede repetir con el mismo
mtodo sin alterar los resultados, es decir, es una medida de la replicabilidad de los resultados de la
investigacin. En las ciencias humanas, dicha confiabilidad de ninguna manera se puede considerar como un
simple dicotoma (un estudio es o no es confiable) sino como una caracterstica gradual (de menor a
mayor) dado que es prcticamente imposible reproducir las condiciones exactas en que un
comportamiento y su estudio tuvieron lugar.

En los estudios realizados por medio de investigaciones cualitativas, que, en general, estn guiados por una
orientacin sistmica, hermenutica, fenomenolgica, etnogrfica y humanista, la confiabilidad est
orientada hacia el nivel de concordancia interpretativa entre diferentes observadores, evaluadores o jueces
del mismo fenmeno, es decir, la confiabilidad ser, sobre todo interna, inter-jueces.

Dada la naturaleza particular de toda investigacin cualitativa y la complejidad de las realidades que estudia,
no es posible repetir o replicar un estudio en sentido estricto, como se puede hacer en muchas
investigaciones experimentales. Debido a ello, la confiabilidad de estos estudios se logra usando otros
procedimientos rigurosos y sistemticos.

La confiabilidad interna es muy importante. En efecto, el nivel de consenso entre diferentes observadores
de la misma realidad eleva la credibilidad que merecen las estructuras significativas descubiertas en un
determinado ambiente, as como la seguridad de que el nivel de congruencia de los fenmenos en estudio
es fuerte y slido.

Los investigadores cualitativos suelen utilizar varias estrategias para reducir las amenazas que se le
presentan a la confiabilidad interna:

a) Usar categoras descriptivas de bajo nivel de inferencia, es decir, lo ms concretas y precisas posible. Los
datos son algo ya interpretado (Hanson, 1977); por esto, es conveniente que estn cercanos a la realidad
observada: quin hizo qu cosa y en qu circunstancias. Los comentarios interpretativos pueden aadirse,
eliminarse o modificarse ms tarde. Adems, la mayora de los autores coinciden en sealar que los
procedimientos cualitativos son ricos en datos primarios y frescos, que ofrecen al lector mltiples ejemplos
extrados de las notas de campo, y son, por esto, generalmente consideradas como ms crebles.

b) El mejor aval para la confiabilidad interna de un estudio cualitativo es la presencia de varios
investigadores. El trabajo en equipo, aunque es ms difcil y costoso, garantiza un mejor equilibrio de las
observaciones, los anlisis y la interpretacin.

c) Pedir la colaboracin de los sujetos informantes para confirmar la objetividad de las notas o apuntes de
campo. Asegurarse de que lo visto o registrado por el investigador coincide o es consistente con lo que ven o
dicen los sujetos del grupo estudiado.

d) Utilizar todos los medios tcnicos disponibles en la actualidad para conservar en vivo la realidad
presenciada: grabaciones de audio y de vdeo, fotografas, diapositivas, etc. Este material permitir repetir
las observaciones de realidades que son, de por s, irrepetibles, y que las puedan presenciar otros
observadores ausentes en el momento en que sucedieron los hechos. Su aporte ms valioso radica en que
nos permiten volver a los datos brutos y poder categorizarlos y conceptualizarlos de nuevo.

Para alcanzar un buen nivel de confiabilidad externa, se puede recurrir, entre otras, a las siguientes
estrategias:

a) Precisar el nivel de participacin y la posicin asumida por el investigador en el grupo estudiado; cierta
informacin puede ser diferente de acuerdo con el sexo de quien la d (las mujeres pueden ocultar ciertos
datos ntimos si el investigador, por ejemplo, es de sexo masculino); igual sucede si el investigador ha hecho
amigos dentro del grupo; stos le darn informaciones que no les dan otros.


b) Identificar claramente a los informantes. stos pueden representar grupos definidos y dar informacin
parcial o prejuiciada. Los miembros que simpatizan y colaboran ms con los investigadores pueden ser, por
esto mismo, miembros atpicos. Esta situacin se puede advertir al hacer una buena descripcin del tipo de
personas que han servido como informantes.

c) Un tercer elemento que puede influir en los datos es el contexto en que se recogen. Debido a ello,
conviene especificar el contexto fsico, social e interpersonal de que se derivan. Esto aumentar la
replicabilidad de los estudios.

d) Para que sea posible una cierta rplica es imprescindible la identificacin de los supuestos y
metateoras que subyacen en la eleccin de la terminologa y los mtodos de anlisis. Los conceptos de
cultura, ciencia, mtodo, anlisis, dato, codificacin y muchos otros pueden diferir
sustancialmente entre diferentes investigadores.

e) Precisar los mtodos de recoleccin de la informacin y de su anlisis, de tal manera que otros
investigadores puedan servirse del reporte original como un manual de operacin para repetir el estudio. La
replicabilidad se vuelve imposible sin una precisa identificacin y cuidadosa descripcin de las estrategias de
procedimiento.

3. La triangulacin para mejorar la validez y la confiabilidad

En sentido amplio, en las ciencias humanas, tambin se pueden realizar varias triangulaciones que
mejoran notablemente los resultados de la investigacin y su validez y la confiabilidad. De una manera
particular, se pueden combinar, en diferentes formas, tcnicas y procedimientos cualitativos y
cuantitativos. La idea central es utilizar todo lo que se considere pertinente, tenga relacin y se considere
til.

Ms concretamente, se pueden identificar varios tipos bsicos de triangulacin:

a) Triangulacin de mtodos y tcnicas: que consiste en el uso de mltiples mtodos o tcnicas para
estudiar un problema determinado (por ejemplo, el hacer un estudio panormico primero, con una
encuesta, y despus utilizar la observacin participativa o una tcnica de entrevista).

b) Triangulacin de datos: en la cual se utiliza una variedad de datos para realizar el estudio, provenientes
de diferentes fuentes de informacin.

c) Triangulacin de investigadores: en la cual participan diferentes investigadores o evaluadores, quiz con
formacin, profesin y experiencia tambin diferentes.

d) Triangulacin de teoras: que consiste en emplear varias perspectivas para interpretar y darle estructura
a un mismo conjunto de datos (por ejemplo, una teora basada en las tcnicas de correlacin, anlisis de
varianza, anlisis de regresin, anlisis factorial o cluster analysis y otra que utilice la observacin
participativa).

e) Triangulacin interdisciplinaria: con la cual se invocan mltiples disciplinas a intervenir en el estudio o
investigacin en cuestin (por ejemplo, la biologa, la psicologa, la sociologa, la historia, la antropologa,
etc.).
Apartado 5.2:
Diseos metodolgicos cuantitativos
Material 5.2.1: Diseos experimentales y cuasi-experimentales

I.
Introduccin: Sobre el enfoque cuantitativo

Para la evaluacin de efectos e impactos, se utiliza el enfoque cuantitativo para estimar la cuanta del
resultado de la intervencin mediante el estableciendo de relaciones causales.

El enfoque cuantitativo es secuencial, deductivo, probatorio y analiza una realidad supuestamente objetiva.
Estas caractersticas se fundamentan en un proceso de investigacin estructurado, donde es necesario
concluir una fase para continuar con la siguiente. La ilustracin 1 muestra las fases del proceso cuantitativo:

Ilustracin 1. Enfoque cuantitativo: su proceso

Idea
Planteamiento
Del
Problema
Fase 1
Fase 2
Revisin de la
Literatura y
Desarrollo del
Merco terico
Fase 3
Visualizacin
del
Alcance
Del estudio
Elaboracin
de hiptesis y
Definicin
de variables
Fase 4
Fase 5
Definicin y
Seleccin de la
muestra
Desarrollo del
Diseo de
Investigacin
Fase
Fase
Proceso cuantitativo
Elaboracin
del reporte de
resultados
Anlisis de
los datos
Fase
Fase
Recoleccin
de datos
Fase
Fuente: Hernndez, S. y otros, 2010

La evaluacin estratgica bajo el enfoque cuantitativo requiere que el problema de evaluacin sea lo ms
concreto posible, con el fin de elaborar las preguntas sobre cuestiones especficas.
Cuando la intervencin no tiene teora de intervencin o no est bien definida, el evaluador debe revisar la
literatura y usar su experiencia sobre el tema para re-elaborar la teora de la intervencin. En este enfoque,
el alcance de la evaluacin, la(s) hiptesis y preguntas de evaluacin son planteadas antes de recolectar los
datos.


La recoleccin de datos, se fundamenta en la medicin de variables o conceptos contenidos en las hiptesis;
y se lleva a cabo utilizando procedimientos estandarizados. Los datos se presentan mediante variables que
sern analizados cuantitativamente (tratndose de variables mtricas, ordinales o nominales), a travs de
mtodos estadsticos.

Los datos recolectados y analizados bajo el enfoque cuantitativo son utilizados para la prueba de hiptesis
previamente definidas, de manera que los resultados se basan solo en las hiptesis o variables que se
propusieron para ser analizadas.

El proceso de la evaluacin se centra en rechazar o aceptar la hiptesis. Este enfoque busca el mximo
control para lograr que posibles explicaciones -distintas a la propuesta de la intervencin- sean rechazadas y
aumente la confiabilidad de los resultados; siendo stos lo ms objetivos posibles y permitan ser
generalizados sobre la poblacin de inters.

Sobre la inferencia causal y el contrafactual

Es necesario introducir dos conceptos elementales para llevar a cabo evaluaciones de impacto crebles y
precisas dentro del enfoque cuantitativo: inferencia causal y el contrafactual.

Inferencia causal

La evaluacin de impacto trata de atribuir la causalidad de una intervencin sobre un resultado de inters, al
estimar en qu medida esa (y solo esa) intervencin ha contribuido a cambiar un resultado. El programa de
capacitacin laboral aument los ingresos de los jvenes de un barrio rural pobre?; las vacunas
disminuyeron la mortalidad infantil?, el programa de transferencia monetaria condicionada redujo la tasa
de desercin estudiantil?; son preguntas tpicas sobre causalidad presente en la evaluacin de impacto.

Determinar la relacin de causalidad entre una intervencin y un resultado no es sencillo y para ello se usan
1
mtodos de evaluacin de impacto, que descartan la posibilidad de que cualquier factor diferente de la
intervencin en estudio explique el impacto observado.

La interrogante central en la evaluacin de resultados es cul es el impacto o efecto causal de una
intervencin D sobre un resultado de inters Y;. La respuesta a la pregunta se obtiene mediante la frmula
bsica de la evaluacin de impacto:

= (Y | D = 1) (Y | D = 0) (1)

Segn esta frmula, el impacto causal () de una intervencin (D) sobre un resultado (Y) es la diferencia
entre el resultado (Y) con la intervencin (es decir, cuando D = 1) y el mismo resultado (Y) sin la intervencin
(es decir, cuando D = 0).

Sea P un programa de capacitacin, Y el ingreso de los jvenes de un barrio rural pobre, y es la diferencia
entre el ingreso del joven (Y) cuando participa en el programa (D = 1) y el ingreso del joven en ese mismo
momento, sino hubiese participado en el programa (D = 0); entonces, es necesario medir el ingreso de la
Los mtodos de estimacin de evaluacin de impacto se describen ms adelante.
misma persona en dos momentos (con o sin programa) , si esto fuese posible, la nica explicacin sobre la
diferencia en el ingreso de ese individuo es el programa de capacitacin laboral, eliminndose cualquier
factor externo que pudiera explicar tambin la diferencia en los ingresos. En este caso se podra conar en
que la relacin entre el programa de capacitacin laboral y el ingreso es causal.

La frmula bsica de la evaluacin de impacto es vlida a) para cualquier objeto de anlisis (individuo,
comunidad, institucin u otro) que pueda beneciarse o verse afectada por una intervencin; y b) para
cualquier resultado (Y) que est relacionado con la intervencin. Una vez que se cuente con los datos de los
dos componentes esenciales de la frmula, el resultado (Y) tanto con la intervencin como sin ella, se puede
responder a cualquier pregunta acerca del impacto del programa.

Contrafactual

El contrafactual es una estimacin de cul habra sido el resultado (Y) en las variables de inters para un
participante en el programa, si este no hubiera tomado el programa (D) (Gertler, Martnez, Premand,
Rawlings y Vermeersch, 2011).

El impacto () de una intervencin es la diferencia entre los resultados (Y) del mismo individuo cuando ha
participado y cuando no ha participado en la intervencin. No obstante, no es posible medir al mismo
individuo en situaciones diferentes en el mismo momento, debido a que el individuo participa o no en la
intervencin. Esta situacin, es conocida como el problema contrafactual.

El problema del contrafactual se puede resumir en la pregunta siguiente cmo se mide los datos del
resultado (Y) si el individuo que particip en la intervencin (D = 1) no hubiese participado (D = 0) en la
intervencin?

El contrafactual se representa como el segundo trmino en la frmula bsica de evaluacin (Y | D= 0). Por
definicin, es no observable, por lo que se debe estimar. La estimacin del contrafactual requiere mtodos
3
para identificar los grupos de control o comparacin vlidos que reproduzcan o imiten exactamente el
grupo de tratamiento. Si no se cuenta con una estimacin vlida o creble del contrafactual, no se puede
conocer el impacto de una intervencin.

La evaluacin de impacto identifica a un grupo de participantes en la intervencin (el grupo de tratamiento)
y a un grupo de no participantes (el grupo de control o comparacin) estadsticamente idnticos en ausencia
de la intervencin. Si se lograra que los dos grupos fueran absolutamente iguales, a excepcin de que uno
de ellos participa en el programa y el otro no, cualquier diferencia en los resultados debera ser explicada
por la intervencin.

Aunque en realidad nunca existirn dos grupos idnticos en todas sus caractersticas posiblemente
relevantes, la investigacin cuantitativa propone distintos tipos de diseos con el fin de simular la situacin
contrafactual y de esta manera, determinar el resultado neto de una intervencin.

Es imposible medir el resultado de un indicador de inters de una misma persona en dos momentos diferentes, ya que,
no se sabe cul sera el resultado del indicador si la persona no particip en la intervencin.
3
Se le llama grupo de control cuando el diseo es experimental y grupo de comparacin cuando el diseo es no
experimental

Por basarse en la existencia de grupos de control o grupos de comparacin - supuestamente con suficiente
parecido al grupo de intervencin - los diseos ms poderosos para la determinacin del resultado neto
son los llamados diseos experimentales y cuasi-experimentales.

II.
Diseo experimental

4
El diseo experimental tambin es conocido con los nombres de Diseo de controles aleatorios /
5
6
7
experimentos aleatorios (sociales) , experimento social controlado y modelo experimental.

Una evaluacin con diseo experimental es una valoracin lo ms objetiva posible de los resultados de una
intervencin que se caracteriza principalmente por el mecanismo de seleccin al azar de los beneficiarios y
no beneficiarios, as como un absoluto control de la intervencin y sus respectivas modificaciones.

En este tipo de diseos la intervencin y sus respectivas modificaciones son planificadas por el planificador o
evaluador; los factores externos (crisis econmica, alza en el precio internacional del petrleo, desastres
naturales, otros) que pueden incidir sobre los resultados de la intervencin son controlados o manipulados
por el evaluador. Evidentemente, esto no quiere decir que los factores externos son eliminados (lo cual sera
imposible en el mundo social) sino que los grupos se conforman de tal manera que los factores externos
afecten al grupo de beneficiarios como al grupo de no beneficiarios de la misma manera.

La ilustracin 2, muestra las dos etapas del mecanismo de seleccin de las personas que participaran en la
intervencin y aquellas que no participaran. La primera etapa consiste en obtener una muestra al azar
(aleatoria) de los beneficiarios potenciales. Una vez obtenido esa muestra, procede la segunda etapa, que
radica en asignar al azar quienes participaran y quienes no participaran de la intervencin.

Por ejemplo, supngase la siguiente situacin hipottica: Para una poblacin de 1000 mujeres pobres jefas
de hogar en cierta provincia, el Gobierno realiza un proyecto de transferencia monetaria; el administrador
del proyecto asigna un nmero del uno al mil a cada mujer, y posteriormente, de un bolsa que contiene
papelitos con cifras del uno al mil saca al azar (como especie de lotera) una muestra de 500 papelitos, los
cuales corresponden a una muestra de 500 mujeres que son potenciales beneficiarias. A partir de esa
muestra, el administrador asigna al azar las mujeres que participaran y que no participaran de la
intervencin. Ntese, que las mujeres no eligen si participar o no, es el administrador es quien asigna al azar
la participacin.

La importancia de asignar al azar quien participa y quien no en una intervencin es hacer grupos
comparables entre s que no se distinguen por otro factor a excepcin de la variabilidad estadstica. Todas
8
las personas poseen caractersticas observables y caractersticas no observables diferentes. El proceso
aleatorio facilita la comparabilidad de los grupos, ya que asigna una probabilidad igual a cada uno de los
beneficiarios potenciales, con lo cual se asegura de distribuir equivalentemente (en trminos estadsticos)
las caractersticas observables y no observables entre ambos grupos. Al grupo de individuos no participantes
se les llama grupo de control porque son el parmetro de comparacin del grupo de participantes, a estos
Gertler, et al (2011).
Bernal y Pea (2011).
6
dem.
7
Stockmann (2009).
8
Las caractersticas o variables no observables son aquellas que existen y que se registran, las caractersticas o variables
no observables son aquellas que no existen o no se cuenta con un registro de las mismas (Bernal y Pea, 2011:18).
5
10
ltimos se les conoce como grupo de tratamiento o intervencin, porque son quienes reciben el tratamiento
o la intervencin, tal y como aparece en la ilustracin 2.

Ilustracin 2. Diseo experimental

Presente
Futuro

Intervencin
Resultado
o

Poblacin
tratamiento

Seleccin
al
azar

La evaluacin
Muestra
Seleccin al azar
compara ambos

resultados

Resultado
Control

1 Etapa
2 Etapa

Fuente: Elaboracin propia con base a CEPAL (2005)

La primera etapa del diseo experimental es una condicin necesaria para posibilitar la validez externa de la
evaluacin, es decir que aporta informacin acerca de la posibilidad de extrapolar el resultado de la muestra
a la poblacin de inters. Sin embargo, existen otros desafos para la validez externa que estn relacionados
con el carcter artificial del experimento (vase el siguiente apartado sobre experimentos de laboratorio
vs. experimentos de campo). La segunda etapa garantiza la comparabilidad del grupo de intervencin con el
grupo de control maximizando de esta manera la validez interna, esto es, el grado de certeza de que
cualquier diferencia encontrada entre los dos se debe solo al hecho de participar o no en la intervencin que
se evala, controlando as la incidencia de otras factores externos que estn asociadas con la variable de
resultado o inters y la participacin en la intervencin pblica. Si esto se cumple, entonces el impacto de la
intervencin es el resultado de restar los promedios de las variables de resultados entre ambos grupos
(Bernal y Pea, 2011: 40, l).
I.1

I.1.1
Tipos de experimentos
Plan Experimental Solomon de Cuatro Grupos
Una debilidad del diseo sencillo de dos grupos (con medicin antes y despus de la intervencin) es la
dificultad de controlar por factores reactivos de la medicin. Si bien una medicin antes de la medicin es
importante para registrar diferencias entre ambos grupos debido a errores aleatorios, esta misma medicin
puede influir en el resultado. Cuando en el caso de un curso de capacitacin, por ejemplo, se realiza un
examen de entrada y uno ex-post, el grupo de control ya queda familiarizado con los requerimientos.
Aunque ellos no participen en la intervencin, es posible que terminen mejor preparados para el examen ex-
pos que otras personas que no han sido parte del estudio.

11

Al contar con esta amenaza para la validez del estudio, el diseo descrito se ampla mediante el llamado
Plan Experimental Solomon de Cuatro Grupos (Ilustracin 3) con dos grupos adicionales (un grupo
experimental y otro de control), en los cuales solamente se realiza una medicin posterior (para una
descripcin del diseo, vase Bortz y Dring 2002: 539f.). Por este medio se pretende controlar
adicionalmente el efecto reactivo de la medicin.

Ilustracin 3. Plan Experimental Solomon de Cuatro Grupos

Poblacin
Seleccin al azar
Muestra
Medicin
ex ante
Medicin
ex post
Grupo de
intervencin
I (ex ante)
Grupo de
intervencin
I (ex pos)
Grupo de
control I
(ex ante)
Grupo de
control I
(ex post)
Fuente: Elaboracin propia con base a CEPAL (2005)
Grupo de
intervencin
II
Grupo de
control
II
I.1.2
Experimentos de laboratorio y experimentos de campo

En el contexto de la evaluacin se hallan dos tipos de experimentos:

Experimento de laboratorio. Son aquellos experimentos donde la intervencin se lleva a cabo en un
entorno artificial controlado; donde se controlan o manipulan los factores externos de la
intervencin; el ambiente y el desarrollo de la misma; as como el comportamiento del grupo
intervenido y el grupo de control. Bajo condiciones controladas, la influencia y presencia de
factores externos a la intervencin es mnima, lo que permite estudiar las relaciones puras de
causa efecto. Este tipo de experimentos maximiza la validez interna de los resultados, sin
embargo, en el contexto de la evaluacin de intervenciones pblicas, muy raras veces es aplicable,
dado que las intervenciones tienen lugar en un entorno social natural y complejo. Aunque en
12
algunos casos fuera posible aislar la intervencin bajo condiciones de laboratorio, es muy posible
que los efectos observados en condiciones artificiales no se dejaran extrapolar al contexto natural
de la intervencin (problema de la validez externa).
Experimento de campo. Son aquellos experimentos donde la intervencin se realiza en un entono

real, por lo tanto, no se controlan o manipulan los efectos externos que pueden incidir sobre la
intervencin y el comportamiento del grupo de intervencin y control. Bajo estas circunstancias, la
relacin causa efecto se estudia en el contexto real de la intervencin; lo cual permite maximizar
la validez externa. Debido a que este tipo de experimento se estudia en el mbito real, es que su
uso es comn en las evaluaciones de intervenciones pblicas.
I.1.2
Aleatorizacin individual y de conglomerado
I.2
Cundo se aplica diseo experimental en una evaluacin?

En ocasiones, la participacin en una intervencin se puede realizar al azar sea a nivel individual o a nivel de
conglomerado; esto segn las razones ticas o prcticas con las que la intervencin permita hacer la
asignacin aleatoria.

Aleatorizacin a nivel individual. Se lleva a cabo asignando de manera aleatoria la participacin
en la intervencin a nivel individual (por ejemplo: personas, hogares, empresas). En este caso, de la
lista de elegibles, se asignan al azar a aquellas personas, hogares u empresas que participarn en la
intervencin como tambin a aquellos que sern parte del grupo de control.

Aleatorizacin a nivel de conglomerados. La asignacin de los participantes en la intervencin se
hace a nivel de conglomerados (por ejemplo: comunidades, distritos). Generalmente, esta variante
del diseo se aplica cuando la intervencin permea a todo un subgrupo de la poblacin. Este tipo
de aleatorizacin se realiza principalmente cuando existen a) razones ticas: no se puede negar el
acceso a los beneficios de la intervencin a cierto nmero de personas u hogares de la misma
comunidad, por ejemplo, un barrio que presenta la problemtica de nios y nias desnutridas, sise
realiza una intervencin para mejorar la nutricin de este subgrupo de la poblacin, la intervencin
no ser tica si, entrega alimentos solo a aquel grupo de nios y nias que fueron asignadas a
participar en la intervencin y a su vez forman el grupo de intervencin, mientras se le priva de
alimentos a aquellos nios y nias que no tuvieron la suerte de que sus nombres saliera dentro del
grupo de intervencin, sino que les corresponde ser parte del grupo de control; b) razones
prcticas: en ocasiones las restricciones logsticas, presupuestarias y de la capacidad operativa de la
intervencin imposibilitan que los beneficios de la misma afecten al mismo momento a toda la
poblacin, debido a que la intervencin se realiza primero en algunos subgrupos de la poblacin y
luego se lleva a cabo a los restantes subgrupos, esto significa que se pospone la entrada de algunos
subgrupos a la intervencin, y as se garantiza la existencia de grupos de control; c) existe una
interaccin entre los beneficiados y los no beneficiados lo cual puede llevar, por ejemplo, a la
posibilidad de que los beneficios permeen de un grupo a otro: esto implica que a la hora de evaluar
la intervencin se puede concluir errneamente sobre los efectos (o sea: la carencia de efectos) de
la intervencin.

En resumen, la deseabilidad de un tipo u otro de aleatorizacin depende del tipo de preguntas de inters en
la evaluacin, consideraciones polticas y ticas, restricciones logsticas y existencia de externalidades, entre
otras (Bernal y Pea, 2011:).

13


Para la aplicacin o uso de este diseo se debe tener en cuenta las siguientes caractersticas:

La evaluacin mediante este diseo es aplicable nicamente cuando se prev el diseo de la
evaluacin en el momento de planificacin de la intervencin.

El mecanismo de seleccin de los beneficiarios de la intervencin es aleatoria (grupo de
intervencin aleatorio).

El mecanismo de seleccin del grupo de control es aleatoria.

En cuanto a la disponibilidad de los datos para un buen diseo experimental, se requiere que los
datos hayan sido capturados antes y despus de la intervencin tanto para el grupo de intervencin
como el grupo de control, as como la cantidad de veces que sea necesario o recomendable entre
esos dos momentos.

El diseo experimental se aplica solamente cuando la cobertura de la intervencin es parcial. La
aleatoriedad como mecanismo de acceso, raras veces (o mejor dicho: prcticamente nunca) es el
mecanismo ms funcional desde el punto de vista de la teora de cambio subyacente. Por eso, el
diseo experimental requiere, en cierta medida, que la intervencin se disee en funcin de su
evaluabilidad (y no vice-versa) lo cual podra ser justificable en algunos casos de proyectos piloto
que se evalan a pequea escala, antes de que la intervencin se introduzca para una poblacin
objetivo ms amplia.

I.3
Modelos de estimacin del diseo experimental

Los modelos de estimacin son herramientas estadsticas y economtricas utilizadas para estimar los
resultados de una intervencin a partir de relaciones causales; para ello, los modelos se nutren de muchas
variables representadas numricamente y varios supuestos sobre las mismas. En el caso de las evaluaciones,
la variable que representa el resultado de la intervencin en el modelo de estimacin se le conoce como
variable de resultado.

I.3.1
Modelo de diferencias sencillo

La aleatorizacin de los grupos asegura que las caractersticas entre el grupo de intervencin y el grupo de
control sean idnticas. Esto implica dos aspectos importantes:

Que en ausencia de la intervencin, el valor de la variable de resultado sea idntico entre ambos
grupos, permitiendo entonces que el grupo de control sea un buen contrafactual;

Que despus de la intervencin, el valor de la variable de resultado del grupo de intervencin y
grupo de control difiera nicamente por motivos de la exposicin a la intervencin, y no a otras
caractersticas o variables observables o no observables que generan el sesgo de seleccin.

Dado que bajo el diseo experimental se puede contar un buen contrafactual y el sesgo de seleccin es
controlado o resuelto, la estimacin del resultado de la intervencin es relativamente fcil y no implica uso
de tcnicas economtricas complejas en comparacin con los modelos de otros diseos.

14
El resultado de la intervencin bajo el modelo de diferencias en forma general- se estima como la

9
diferencia de medias (promedios) en la variable de resultado entre el grupo de intervencin y el grupo de
control. La diferencia de medias se puede calcular con un el modelo de estimacin lineal de Mnimos
10
Cuadrado Ordinarios (MCO) :

Yi = 0 + 1Di + ui (1)

Donde

Yi representa la variable de resultado para el individuo i,
Di representa una variable binaria, que toma el valor de 1 si el individuo i participa en la intervencin y 0 si el
individuo i es elegible pero no participa en la intervencin,
1 representa el estimador de diferencias. Es el efecto de la intervencin;
ui es el trmino error de la regresin que recoge las variables observadas y no observadas del individuo i,
aparte de Di, que afectan el resultado.

II.3.2 Variantes del modelo de diferencias 11

1. El estimador de diferencias con regresores adicionales o con variables explicativas
adicionales

Esta variante del modelo de diferencias, agrega una(s) variable(s) explicativa(s) adicional(es) al modelo de
regresin (1). Las variables explicativas son aquellas variables que explican en alguna medida la variable de
resultado.

Supngase, que existe un programa sobre capacitacin en el idioma ingls para mujeres jefas de hogar y se
desea evaluar el impacto de ese programa. Se tiene datos tanto para las mujeres del grupo de intervencin y
control sobre el salario (variable de resultado), si particip o no en la intervencin (variable que indica si la
mujer est dentro del grupo de intervencin o control) y adems el nivel de escolaridad (variable explicativa
adicional). La ecuacin 2 representa tal situacin:

Yi = 0 + 1Di + 1X1 + ui (2)

Donde,

Yi representa la variable de resultado para la mujer i (salario),
Di indica si la mujer jefa de hogar particip (D i = 1) o no en la capacitacin (D i = 0),
X1 variable explicativa adicional que representa el nivel de escolaridad de la mujer jefa de hogar i que est
presente antes de la intervencin. X1 no es afectada por la intervencin pero contribuye determinar la
variable de resultado,
1 representa el estimador de diferencias con variables explicativas adicionales (el efecto del programa),
1,K representa el estimador de la contribucin del nivel de escolaridad ( variable adicional) al salario
(variable de resultado) adems del programa.

9
La diferencia es el resultado de la operacin de restar, segn el DRAE.

Vase Gujarati (2004) para una informacin detallada sobre el modelo de estimacin de MCO y sus respectivos
supuestos.
11
Para un mayor detalle, vase Bernal y Pea (2011).
10
15

El estimador de diferencias con regresores adicionales es insesgado, consistente y ms eficiente que el

estimador de diferencias propuesto en la ecuacin (1), ya que al agregar ms variables en la ecuacin, se
mejora la precisin con que se estiman los resultados (Bernal y Pea, 2011:). Para llevar a cabo estimaciones
bajo esta variante se requiere que la base de datos contenga datos sobre las variables explicativas
adicionales para el grupo de intervencin y el grupo de control.

2. El estimador de diferencias con efectos heterogneos

Si dentro de los grupos de anlisis existen subgrupos, es posible que los efectos de la intervencin difieran
entre los individuos o subgrupos, por lo tanto, los resultados de la intervencin puede variar para cada
subgrupo, segn el valor de una determinada variable explicativa. Como ejemplo, supngase que se desea
saber si la mejora en el salario como resultado de una intervencin es ms eficiente en las mujeres y los
hombres (ambos grupos recibieron la misma intervencin). En este caso, X es la variable sexo, y toma el
valor 1 si es mujer o 0 si es hombre.

Para captar si existen diferencias en los resultados, la ecuacin de regresin incluye la interaccin entre la
variable que indica la participacin del individuo i en la intervencin Di, y la variable explicativa Xi:

Yi = 0 + 1Di + 2Xi+ 3 DiXi+ ui (3)

Donde,

Yi es la variable de resultado para el individuo i (salario),
Di es la variable que indica si el individuo particip o no en la intervencin,
Xi es una variable explicativa adicional (sexo),
DiXi es la interaccin entre la variable que indica la participacin en la intervencin y la variable explicativa
de inters, es decir, la interaccin entre la intervencin y el sexo de la persona.
1 representa el estimador de diferencias,
3 representa el efecto diferencial de la intervencin sobre las mujeres. 3 > 0 mide qu tanto mejor es la
intervencin sobre las mujeres con respecto a los hombres.

Si a la hora de estimar la ecuacin, el estimador de la interaccin 3 es mayor a 0 indica que los salarios de
las mujeres mejoraron ms que los de los hombres.

I.4

I.4.1
Fortalezas y debilidades de los diseos experimentales

Fortalezas
Es fcil entender la lgica de un diseo experimental (asigna al azar los participantes de una
intervencin).
Las tcnicas para el clculo del impacto son sencillas, por lo tanto, los resultados son transparentes
para polticos, diseadores de intervenciones y poblacin general (Bernal y Pea, 2011:).
Es el diseo que permite el uso de modelos de estimaciones que arrojan estimaciones ms precisas
o confiables.
16
Los resultados de la evaluacin no son fcilmente manipulables, es decir, no se requiere del uso de
otras tcnicas estadsticas fuera del modelo de diferencias- para estimar los resultados. Con eso se
diferencia de otras tcnicas estadsticas, que se basan en conceptos ms complejos donde las
variables pueden modelarse en cierta medida a conveniencia.
La asignacin al azar minimiza los sesgos sistemticos de seleccin entre el grupo de tratamiento y
control. Si bien sigue expuesto a un error por variabilidad aleatorio, este puede ser estimado
mediante clculos estadsticos (a diferencia de los sesgos sistemticos que pueden pasar
desapercibidos).
Los diseos de experimentos de campo maximizan la validez externa de los resultados de una
evaluacin, y los experimentos de laboratorio maximizan la validez interna.
Si la muestra es lo suficientemente grande se asegura la validez interna de la evaluacin de impacto

(cualquier diferencia entre el grupo de tratamiento y control despus de la intervencin puede ser
atribuida a la intervencin). Esto ocurre porque se minimiza o controla la influencia de factores
externos.
I.4.2
Limitaciones del diseo experimental

Aunque es indiscutible que - en teora - el diseo experimental es el diseo ms poderoso para determinar
el resultado neto de una intervencin, desgraciadamente existen restricciones o limitaciones que suelen
dificultar y muchas veces incluso imposibilitar, la aplicacin de este diseo en la evaluacin:

Mecanismo de seleccin de la intervencin incongruente con los requerimientos de un diseo
experimental: La gran mayora de las intervenciones se caracterizan por mecanismos de seleccin
distintas a la aleatorizacin. Mecanismos frecuentes son, por ejemplo, la auto-seleccin (solo
participa quin quiere participar, por ejemplo en una oferta de capacitacin de participacin
voluntaria), o reglas definidas de acceso (por ejemplo, acceso por altas calificaciones en un
programa de beca, acceso por bajo nivel de ingreso a una prestacin monetaria). En estos casos, un
diseo experimental puro ya no es aplicable.

Otros problemas en la aleatorizacin. Si no se puede asegurar una exitosa aleatorizacin, la
inferencia estadstica que se realice sobre los resultados de la evaluacin no es vlida para la
poblacin de estudio (Bernal y Pea, 2011, ), debido a que los resultados reflejan tanto el impacto
de la intervencin como el efecto en la falla en la aleatorizacin. Entre algunos ejemplos de fallas
en la aleatorizacin estn: a) Cambios en el comportamiento de los grupos observados, por
ejemplo, si el grupo de intervencin sabe que participa de un experimento y est siendo observado
por el evaluador, puede cambiar su comportamiento (efecto experimental o Hawthorne), lo mismo
puede suceder en el grupo de control (Efecto John Henry); b) Tamao de la muestra pequea, una
muestra pequea (puede deberse al alto costo de un diseo experimental social) afecta la precisin
12
de los resultados y no garantiza el supuesto de independencia condicional ; c) El no cumplimiento
del protocolo de tratamiento, y la prdida de muestra, i) introducen correlacin entre el
tratamiento y el trmino error , ii) el tratamiento o la intervencin no es asignado de manera
completamente aleatoria, sino que se basa en caractersticas o preferencias de los individuos, lo
que puede implicar, que las personas asignadas al grupo de intervencin decidan no participar o
12
El supuesto de independencia condicional implica que la variable de resultado en ausencia de la intervencin debera
ser idntica para el grupo de intervencin como para el grupo de control.
17

bien personas del grupo de control participen en la intervencin, lo que genera sesgos de seleccin,
y por lo tanto, las tcnicas descritas para este diseo no son aptas para para estimar los resultados
de la intervencin (dem)..
Discusiones de tipo tico/poltico. Restringir la participacin de personas que cumplen con todas
las condiciones de acceso a una intervencin e igualmente vulnerable que el grupo intervenido,
genera discusiones de tipo moral, especialmente, si el motivo es para contar con un grupo de
control. Es decir, la investigacin abusa de un grupo vulnerable para generar un insumo al
estudio, privndolo a la vez del beneficio que podra ofrecer la intervencin. Dependiendo del tipo
de bien o servicio que se ofrece, impedir el acceso a los beneficios del programa podra hasta poner
en peligro la salud de esas personas o incluso su vida.
Incumplimiento (non-compliance en ingls). Durante el experimento, los individuos en los grupos

de intervencin o control podran cambiar determinadas caractersticas que los identifican, por
ejemplo, algunos agentes que fueron seleccionados para el grupo de intervencin, pueden terminar
no recibindola o ellos mismos podran no estar interesados en la intervencin; de manera
alternativa, los agentes que fueron designados al grupo de control terminan participando en la
intervencin. Este problema invalidara o contaminara la medicin del impacto de la evaluacin,
pues un agente se analiza dentro del grupo de intervencin cuando en la realidad no recibi ningn
beneficio o bien, un agente del grupo de control si recibi los beneficios de la intervencin.

Dificultad de controlar por efecto placebo. El efecto placebo es la relacin positiva entre la
respuesta de la unidad al tratamiento y las expectativas de la unidad acerca de estar expuesta al
tratamiento (Rossi, 2011). Un ejemplo sencillo de cuando se controla por el placebo, es cuando un
medicamento se le otorga a un paciente que pertenece al grupo tratado y se le otorga un placebo
(medicamento que no tiene efecto sobre la salud) a un paciente del grupo de control. Ambos
pacientes tienen expectativas positivas sobre su recuperacin, pero no saben a cul de ellos se le
dio el medicamento y a cual el placebo. En ciencias sociales es difcil controlar por efecto placebo,
ya que, las personas tienen el conocimiento de que estn siendo o no tratadas.

Desgaste de la muestra (attrition en ingls). Algunas unidades desaparecen de la muestra en algn
punto del tiempo entre la encuesta de lnea de base y la encuesta final. Esto tiene implicaciones en
la estimacin del resultado, pues ya no existe el valor de una o las variables de cierto (s)
individuo(s). El desgaste de la muestra no tiene mayores implicaciones cuando a) una cantidad
suficiente de personas permanece en el estudio para que se puedan generar resultados
estadsticamente significativos, y b) el desgaste no es causado por un factor sistemtico que
interacta con la variable de impacto. Por ejemplo, en un programa de capacitacin se podra
observar que solamente los ms motivados y giles concluyan el programa es decir aquellos que
de todas maneras hubieran alcanzado mejores resultados que el promedio de la poblacin de
inters. Desgraciadamente, este sesgo no es la excepcin sino la regla.
18
Externalidades o efecto derrame (spillovers en ingls) y efectos de equilibrio general. Las

externalidades son los efectos externos previstos o no por la intervencin, esto implica que algunos
individuos que no reciben la intervencin pueden beneficiarse del hecho que otros individuos estn
siendo intervenidas. Lo que puede verse como un efecto secundario sumamente positivo desde el
punto de vista de los gestores de la intervencin, le crea dificultades metodolgicas al evaluador
dado que su supuesto grupo de control queda contaminado. (Bernal y Pea, 2011,).

I.4.3
Posible abordaje de las limitaciones

Para asegurar la aleatorizacin de la muestra se puede permitir el ingreso de agentes del grupo de control a
la intervencin en una etapa posterior, una vez que se ha diseado y se ha iniciado la evaluacin. Con esta
tcnica, la seleccin aleatoria determina cundo el beneficiario calificado recibe la intervencin y no si lo
recibe. Esto permite abordar preguntas con respecto al tiempo necesario para que la intervencin sea eficaz
para lograr su propsito.

El mtodo de Variables Instrumentales puede utilizarse para solucionar el problema de non compliance. En
el caso del problema de attrition, se recomienda chequear el balance de las caractersticas en el grupo
afectado por la desaparicin de las unidades muestrales. Para disminuir el problema asociado al efecto
derrame, es aconsejable realizar la aleatorizacin a nivel de grupo y no en forma individual, por ejemplo: un
programa de educacin donde se otorga libros de enseanza bsica por cantones, as el cantn de control
puede estar alejado del cantn de intervencin, atenuando el efecto derrame.

II.
Diseos cuasi-experimentales

Una evaluacin con diseo cuasi experimental es una valoracin de los resultados de una intervencin que
se diferencia del experimento puro en que el mecanismo de seleccin de los beneficiarios y no
beneficiarios no es al azar. Sin embargo, las condiciones de la intervencin tienen algn grado de control.
Siempre que se logra optimizar dicho control, los diseos cuasi-experimentales pueden - segn Bernal y
Pea (2011), adquirir un alto grado de validez interna como si fuera un diseo experimental (aleatorio).

Comnmente, las condiciones de la intervencin evaluada mediante el diseo cuasi-experimental se
desarrollan en un contexto real o natural, es decir, suele aplicarse cuando los planificadores o evaluadores
de la intervencin no controlan la totalidad de los factores externos que pueden incidir en el mecanismo de
seleccin de los intervenidos. Sin embargo, existe la posibilidad de identificar variables relacionadas con el
acceso a la intervencin que permiten formar grupos de comparacin y ejercer algn grado de control sobre
los factores externos.

En algunos (pocos) casos el objeto evaluado est relacionado con un evento fortuito que asign al azar al
grupo de tratamiento. En este caso, la evaluacin de resultados utilizara el mismo instrumental
13
metodolgico del diseo experimental o el modelo de diferencias-en-diferencias (vase apartado II.3),
siempre y cuando se disponga de una base de datos longitudinales:

14
Por ejemplo, Card (1990) citado en Bernal y Pea (2011) realiz un estudio que consisti en determinar si
15
el incremento en el flujo inmigratorio (cubano) disminuy los salarios de las zonas receptoras (Miami). El
evento fortuito que genera una asignacin al tratamiento (inmigracin) que podra parecer aleatoria para
conocer el impacto de la inmigracin sobre los salarios es el cambio inesperado en la ley migratoria, la cual
elimin las restricciones inmigratorias de Cuba, con lo cual, 125 000 cubanos llegaran a Estados Unidos entre
mayo y septiembre de 1980, de los cuales, aproximadamente el 50% se quedaron en Miami; lo que a su vez
provoc que la oferta laboral aumentar alrededor del 7% en este Estado.
13
El diseo experimental utiliza el modelo de diferencias. Para ms detalle, vase pgina ZZZ Cul pgina???
Para un mayor conocimiento sobre este estudio se puede referir a Card, D. (1990). The impact of the Mariel Boat Lift
on the Miami Labor Market. Industrial and Labor Relations Reviews, 43 (2), 245-257.
15
Segn la teora econmica, un aumento en la oferta laboral debido al flujo de inmigrantes provocara un descenso en
los salarios de la localidad receptora de inmigrantes.
14
19


Bajo estas circunstancias el grupo de intervencin son los trabajadores poco calificados en Miami y el grupo
de comparacin son los trabajadores poco calificados de Atlanta, Houston, Los ngeles y Tampa, las cuales
presentaban caractersticas similares a Miami, en cuanto a proporciones de poblaciones hispanas y negras y
tasas de crecimiento econmico.

Sin embargo, lo ms comn es que los mecanismos de seleccin de la intervencin evaluada no se acercan a
una seleccin por azar sino presentan sesgos de seleccin importantes. Por ejemplo, debido a razones
ticas, prcticas o inherentes a la propia lgica de la intervencin, los planificadores de la intervencin no
seleccionan al azar el grupo de los beneficiarios y los no beneficiarios. Quin participa en uno u otro grupo
se debe a criterios de focalizacin, eventos fortuitos o la decisin de la persona a participar de la
intervencin; por lo tanto, es muy probable que aunque todas las personas sean elegibles para la
intervencin, no todas presentan las mismas caractersticas observables y no observables. En otras palabras,
se presenta un sesgo de seleccin. Debido a estas limitaciones, el grupo no beneficiario no puede ser
seleccionado al azar sino tiene que ser construido o formado segn la similitud que presente con las
caractersticas observadas del grupo beneficiarios (grupo de intervencin). Es por esta razn que las
personas que no participan no se les denomina grupo de control (como en el diseo experimental puro)
sino grupo de comparacin.

El hecho de los dos grupos distintos (beneficiario y no beneficiarios) se distinguen en determinadas
caractersticas que no solamente afecten la probabilidad de participar en la intervencin sino que tambin
interactan con los resultados de las variables a evaluar en forma diferente en ambos grupos - an en
ausencia de la intervencin- se le conoce como sesgo de seleccin (Bernal y Pea, 2011:30; Moral, 2009:7).
El sesgo de seleccin puede generar resultados inexactos e incluso errneos: subestimar o sobrestimar el
impacto real de la intervencin; impactos negativos cuando realmente son positivos (y viceversa) e impactos
estadsticamente insignificante cuando en realidad tienen una dimensin importante (y viceversa). Por este
motivo, el impacto de una intervencin no podr ser estimado a travs de la simple diferencia de medias
entre la variable de resultado del grupo de intervencin y el grupo de comparacin.

II.1
Cundo se aplican diseos cuasi experimentales?

La aplicacin o uso de este diseo se realiza cuando estn presentes los siguientes aspectos:

Se utiliza cuando no se puede controlar el acceso a la intervencin o cuando no es factible una
muestra al azar para el grupo de control (CICAP y CEval, 2011).

El mecanismo de seleccin del grupo de control es formado mediante controles construidos o
controles estadsticos, debido a que no es factible formar un grupo de control aleatorio.

Generalmente, los datos estn disponibles solo despus de la intervencin, pero tambin pueden
estar disponibles antes y durante la intervencin.

Igual que los diseos experimentales, la mayora de los diseos cuasi-experimentales son aplicables
nicamente cuando la cobertura de la intervencin es parcial, es decir, cuando la intervencin no
abarca toda la poblacin. Al tratar de una intervencin de cobertura total, no sera posible
conformar un grupo de comparacin.

Fortalezas del uso del diseo cuasi experimental
20
Es el segundo diseo ms rigoroso o confiable despus del diseo experimental para realizar
evaluaciones de resultados.

Mientras el uso de diseos experimentales puros es extremadamente limitado en la evaluacin
de intervenciones pblicas, los diseos experimentales tienen mucho ms campos de aplicacin
(CICAP y CEval, 2011).

Algunas modalidades de los diseos cuasi-experimentales se pueden llevar a cabo, an, cuando su
diseo no se realiz durante la planificacin de la intervencin (y por lo tanto, no se dispone de
datos antes de la misma); cuando aplican exclusivamente con base en datos generados despus de
la intervencin. En muchas ocasiones, se puede utilizar los datos administrativos que se tengan a
disposicin, siempre y cuando se distingan cules son del grupo de intervencin y cules del grupo
de comparacin.
Dependiendo de la calidad de los grupos de comparacin conformados (vase apartado II.3) la

validez interna de un diseo cuasi-experimental puede aproximarse a aquella de un diseo
experimental puro.
Limitaciones del uso de diseos cuasi experimentales

Ningn mtodo cuasi-experimental puede brindar cien por ciento de seguridad acerca de si se
pudieron neutralizar los eventuales efectos de terceras variables (Stockmann, 2009, p. 265).
Los mtodos estadsticos propuestos pueden ser bastante complejos. Esto implica que se necesita
una considerable experiencia en el diseo de la evaluacin y en el anlisis e interpretacin de los
resultados.

Presencia del problema de sesgo de seleccin. Se relaciona con las caractersticas no observables
que puedan sesgar los resultados. Este sesgo puede afectar tanto el diseo muestral como el valor
de la variable de resultados.
II.2
Modelo de estimacin de diferencias en diferencias

Todos los mecanismos de seleccin del grupo de comparacin que se presentarn ms adelante tienen en
comn que no son aleatorios (como en el diseo experimental puro) y por ende se puede presentar un
sesgo de seleccin que puede generar estimaciones inexactas. Por lo tanto, el impacto de una intervencin
no podr ser estimado a travs de la simple diferencia de medias entre la variable de resultado del grupo de
intervencin y el grupo de comparacin. Sin embargo, el diseo cuasi experimental cuenta con modelos
capaces de aislar las distorsiones causadas por el sesgo de seleccin.

Aunque algunas variantes de los diseos cuasi-experimentales se basan en un solo momento de medicin
(despus de la intervencin), lo deseable en la mayora de los casos es contar con datos tanto antes como
despus de la intervencin lo cual permite un anlisis llamado de diferencias en diferencias que puede
complementar la mayora de los diseos experimentales independientemente de cmo se hayan
conformado los respectivos grupos de comparacin (vase apartado II.3).

21

II.2.1 Modelo de diferencias en diferencias sencillo

(Tambin conocido como doble diferencia o DD)

El modelo de diferencias en diferencias es aplicado tanto en el diseo experimental como cuasi
experimental, no obstante, su uso es ms frecuente en cuasi experimentos, debido a que es posible que se
genera una asignacin que conlleva diferencias preexistentes entre el grupo de tratamiento y grupo de
comparacin.

Cuando esto es el caso, es muy probable que se hallen diferencias sistemticas antes y despus de la
intervencin entre el grupo de intervencin y el grupo de comparacin. Si la intervencin se desarroll
16
segn lo planificado, el evaluador hallar diferencias entre ambos grupos despus de la intervencin, no
obstante, debe tener presente que esas diferencias pueden deberse tanto a las diferencias pre existentes
antes de la intervencin como a la intervencin en s.

El modelo de diferencias en diferencias es utilizado para eliminar la influencia de los valores iniciales de la
variable de resultado que pueden variar sistemticamente entre el grupo de intervencin y el grupo de
comparacin (Bernal y Pea, 2011:). Por lo tanto, permite tener en cuenta y hacer desaparecer cualquier
diferencia constante en el tiempo entre ambos grupos.

El modelo de diferencias en diferencias es simplemente el cambio esperado en la variable de resultado
entre el perodo posterior y el perodo anterior a la implementacin de la intervencin en el grupo de
intervencin, menos la diferencia esperada de la variable de resultados en el grupo de comparacin durante
el mismo perodo (Bernal y Pea, 2011:).

Una estimacin por medio de este modelo requiere datos tanto del grupo de intervencin como para el
grupo de comparacin en, al menos, dos perodos de tiempo (antes y despus de la intervencin), es decir,
requiere lo que se llama datos de panel. Si la base de datos contiene datos desde mucho antes de la
intervencin y de seguimiento, incluso se podrn hacer pruebas estadsticas sobre el comportamiento de las
tendencias naturales que presentan las variables, y tomar en cuenta dichos comportamientos a la hora de
estimar e interpretar los resultados.

La tabla 1 refleja la nocin de la estimacin del impacto de un caso hipottico de un programa de
capacitacin laboral donde se dispone de datos para el grupo de tratamiento y de comparacin antes de su
ejecucin y despus su finalizacin.

Primera diferencia: En este paso se estima el cambio (primera diferencia) en el salario promedio
tanto del grupo de intervencin como del grupo de comparacin.

Cambio o primera diferencia para el grupo de intervencin: se le resta al salario promedio
despus de la intervencin (50 unidades monetarias) el salario promedio despus de la
misma (90 unidades monetarias), para obtener el cambio en el salario promedio (40
unidades monetarias).

Cambio o primera diferencia para el grupo de comparacin: El procedimiento es el mismo.
Se le resta al salario promedio despus de la intervencin (55 unidades monetarias) el
16
Se espera que al finalizar la intervencin el valor de la variable de resultado del grupo de intervencin presente
diferencias significativas con respecto al valor de la variable de resultado del grupo de comparacin, ya que el primero
se benefici de los productos de la intervencin, mientras el segundo no.
22
salario promedio despus de la misma (45 unidades monetarias), para obtener el cambio
en el salario promedio (10 unidades monetarias).

Tabla 1. El modelo de diferencias en diferencias

GRUPO
ANTES (t1)
DESPUS(t2)
PRIMERA
DIFERENCIA
(horizontal)
SEGUNDA
DIFERENCIA
(horizontal)
De Intervencin
50
90
90-50 = 40
40-10 = 30
De Comparacin
45
55
55-45 = 10

Fuente:
Elaboracin propia

Segunda diferencia: La segunda diferencia muestra el impacto del programa de capacitacin
laboral y se obtiene diferenciando el cambio o resultado de la primera diferencia de los salarios
promedios de ambos grupos. Para este ejemplo, se diferenciar la primera diferencia del salario
promedio para el grupo de intervencin (40 unidades monetarias) con respecto a la primera
diferencia del salario promedio del grupo de comparacin (10 unidades monetarias), con lo cual se
obtiene la segunda diferencia del salario promedio con un valor de 30 unidades monetarias (40-10).

El impacto del programa de capacitacin laboral es un cambio positivo (aumento) de 30 unidades
monetarias sobre el salario promedio para el grupo intervenido, ya que el salario promedio del
grupo de comparacin aument 10 unidades monetarias durante el lapso de la intervencin, sin
haber participado en la misma.

Este modelo tambin puede calcularse de forma vertical, es decir, la primera diferencia puede obtenerse
restando el valor de la variable de inters antes de la intervencin (50-45 = 5) para ambos grupos y despus
de la intervencin (90-55 = 35) para los dos grupos. La segunda diferencia, vendra dado por la diferencia de
los datos obtenidos en la primera diferencia (35-5 = 30).

II.2.2 Modelo de diferencias en diferencias con regresores adicionales

El modelo de diferencias en diferencias se puede ampliar al agregar aquellas variables explicativas que
capturan el valor de las caractersticas observadas que distinguen al grupo de intervencin del grupo de
comparacin antes de la intervencin. Este modelo agrega particularmente aquellas variables que varan o
cambian el tiempo, con el fin de distinguir cunto del cambio en la variable de resultado se debe a las
caractersticas preexistentes antes del tratamiento entre ambos grupos y cunto al efecto mismo de la
intervencin en s.

La ecuacin que representa este modelo es:

Yi = 0 + 1Di + 2X1i+ k+1Xki+ vi (4)

Donde,

Yi es el cambio en el valor de la variable de resultado durante el desarrollo de la intervencin,
Di representa una variable binaria, que toma el valor de 1 si el individuo i participa en la intervencin y 0 si el
individuo i es elegible pero no participa en la intervencin,
23

Xki es la variable explicativa que representa la caracterstica observada antes de la intervencin, y que no es
afectada directamente por la intervencin,
1 es el estimador del efecto de la intervencin. Es la diferencia entre las dos medias de grupo de Yi,
vi representa el trmino error.

Las variables explicativas adicionales controlan por las diferencias en el cambio en la variable de resultado
durante el desarrollo de la intervencin y no los niveles de la variable de resultados (Bernal y Pea, 2011:).

Esta variante se utiliza cuando se desea controlar por diferencias sistemticas preexistentes entre el grupo
de intervencin y el de comparacin, mejorar la eficiencia del estimador, evaluar la validez del supuesto de
tendencias paralelas y ajustar el estimador si la asignacin a la intervencin depende de una variable
explicativa observada. Los resultados de una intervencin pueden ser dismiles entre los diferentes
subgrupos del grupo de intervencin, por lo que, al agregar la variable explicativa considerada para asignar
la participacin del individuo a la intervencin, se logra un mejor clculo del estimador, y por ende, ms
precisin en la interpretacin del mismo. Por ejemplo, cuando la asignacin a la participacin de un
programa de nutricin para nios y nias depende de la variable estatura por edad, y, los resultados del
programa difieren si son nios y nias altos en comparacin con los nios y nias de ms baja estatura por
edad; es necesario incluir dentro del clculo, la variable estatura por edad para ambos grupos, con el fin de
ajustar el estimador.

II.3
Diseos cuasi experimentales segn la tcnica para conformar el grupo de comparacin

Los diseos cuasi-experimentales se distinguen sobre todo de acuerdo a la manera en que se forman los
grupos de comparacin. Las tcnicas para la conformacin de grupos de comparacin consideradas en este
apartado son: emparejamiento, variables instrumentales y regresin discontinua. De acuerdo al autor y a las
condiciones especficas de la evaluacin, no existe una lnea inequvoca que permiten denominar como
cuasi-experimental todo estudio que use una de las mencionadas tcnicas. Sin embargo, todos tienen en
comn cierto grado de rigurosidad al componer el grupo de comparacin. En esto, se diferencian
significativamente de los diseos no-experimentales sin grupo comparacin, basados nicamente en los
llamados controles reflexivos (es decir, la medicin repetida de diferencias nicamente en el grupo de
intervencin).

II.3.1 Emparejamiento

Tambin recibe el nombre mtodo de pareo, pareamiento, controles construidos o matching (en ingls).

El mtodo de emparejamiento es utilizado para construir grupos de comparacin artificiales cuando los
individuos que participan en la intervencin no han sido asignados al azar pero si de acuerdo a las variables
observables que no estn determinadas por la intervencin. La intencin es que si las variables observables
de los individuos participantes y no participantes son similares, es probable que las variables no observables
entre ambos grupos tambin lo sean y se encuentren balanceadas.

Este mtodo consiste en establecer variables que guan la seleccin de las personas que conformarn el
grupo de comparacin, procurando que el grupo de intervencin y el grupo de control se parezcan en la
mayor medida posible en relacin a dichas variales. Para ello, se empareja o une a cada individuo
17
participante con otro individuo no participante que posea caractersticas observables similares al primero.
Los individuos no participantes emparejados se convierten as en el grupo de comparacin.
17
La informacin sobre las caractersticas similares se requieren ex ante de la ejecucin de la intervencin.
24

Imagnese la existencia de un programa de aprendizaje de lenguas extranjeras que est dirigido a jvenes
entre 18 y 22 aos, que viven en distritos con bajo ndice de desarrollo social, que han finalizado la
secundaria. Ahora bien, este modelo lo que har es buscar jvenes que no hayan participado en el
programa, pero que sus edades oscilen entre los 18 a 22 aos, que tengan su ttulo de secundaria completa,
que vivan en distritos con bajo ndice de desarrollo social; y los emparejar con aquellos que si han sido
seleccionados para participar en la intervencin. Ntese, que las caractersticas o variables de los
participantes y no participantes son observables.

Si la seleccin de los participantes es realizada en base a variables observables, entonces se asumen los
siguientes puntos:

El sesgo de seleccin se debe principalmente a las diferencias en las variables observables (Bernal y
Pea, 2011: 102). Esto implica que la calidad del diseo depende de que se hayan identificado
adecuadamente las variables de elegibilidad (lo cual es un desafo conceptual importante en la
prctica).

Habindose controlado el sesgo de seleccin, las diferencias en los resultados entre el grupo de
intervencin y el grupo de comparacin se debe, en primer lugar, a la exposicin de la intervencin.

Se cumple el supuesto de condicin de independencia condicional". Esto significa que se asegura
que al condicionar en las variables observables, el valor esperado del contrafactual sea lo ms
cercano al valor esperado de la variable de resultado del grupo de comparacin, y por lo tanto, el
sesgo de seleccin es mnimo. Adems, este supuesto implica que la participacin en la
intervencin no est determinada por variables no observables que tambin determinen las
variables de resultados potenciales (Bernal y Pea, 2011:).

Si el sesgo de seleccin obedece solo a las diferencias en las caractersticas observables y su valor es igual a
cero, el impacto de la intervencin se puede estimar de forma insesgada- como la diferencia en el
promedio de las variables de resultado del grupo de intervencin y del grupo de comparacin (Bernal y
Pea, 2011:).

La estimacin suele complicarse, cuando la lista de variables observables es muy grande o contiene valores
mltiples lo cual puede incidir, de manera significativa, en el tamao. En el caso de no incluir todas las
variables relevantes, se corre el riesgo de dejar por fuera caractersticas que hubieran sido relevantes para
identificar correctamente el grupo de comparacin (y en consecuencia: para determinar el resultado neto
de la intervencin). Al contrario, si el nmero de caractersticas observables aumenta o stas asumen
mltiples valores, es ms difcil asegurar que la base de datos contenga una buena unidad de comparacin
para cada una de las unidades intervenidas debido a que es cada vez ms difcil identificar una pareja para
cada unidad tratada que comparta todas las caractersticas observables. A esta situacin se le conoce como
el problema de la maldicin de la dimensionalidad (Gertler, et al 2011: 108; Bernal y Pea, 2011: 103).

El problema de la maldicin de la dimensionalidad se puede resolver emparejando a los individuos, ya no
segn vector de caractersticas observables (cuya dimensin puede ser muy pequea o muy grande), sino
18
segn la probabilidad estimada de participar en la intervencin dada las variables observables. Esto se
18
Rosenbaum and Rubin (1983) citado en Rossi (2011), demostraron que para la validez del estudio es equivalente
realizar matching con todas las caractersticas observadas que hacerlo con el propensity score estimado.
25

conoce como el modelo de Emparejamiento de las Propensiones a Participar o Propensity Score Matching
(PSM, en ingls).

II.3.2 Emparejamiento de las Propensiones a Participar

Este mtodo permite encontrar el mejor grupo de comparacin con el que se empareja el grupo de
intervencin, basado ya no en cada una de las variables observables sino en la probabilidad de participacin
en la intervencin dada las caractersticas observables. Un individuo que no haya participado es elegible
para el grupo de comparacin, si su probabilidad de participacin est muy cerca o es muy similar a la
probabilidad de participacin de un individuo del grupo de intervencin. La probabilidad de participar es un
nmero real entre 0 y 1 que resume todas las caractersticas observadas de las unidades.

Para que el emparejamiento por medio de este mtodo produzca estimaciones que tengan validez externa
(Gertler, et al 2011: 109), se requiere que cada uno de individuos del grupo de intervencin debe
emparejarse con un individuo no haya participado de la intervencin. Sin embargo, existen casos en que no
se haya un individuo no beneficiado con probabilidades de participacin similar o cercana a la probabilidad
de participacin para cada uno de los individuos beneficiarios. Esto implica que el PSM, solo estima el
impacto de la intervencin para aquellos individuos participantes que cuentan con una pareja adecuada, es
19
decir, solo efecta estimaciones en una regin de soporte comn . La ilustracin 4 permite observar la
distribucin de densidad de la probabilidad estimada de participacin de ambos grupos; el rea sombreada
es la regin de soporte comn, y es ac donde las probabilidades de los individuos del grupo de
comparacin son muy cercanas o parecidas a las probabilidades de participacin de los individuos del grupo
de intervencin, fuera de esta regin no se logra construir parejas adecuadas en trminos estadsticos.

Ilustracin 4. Pareo de las propensiones a participar y la Regin de Soporte Comn

Densidad de las propensiones a participar
Densidad

de los individuos del grupo de comparacin

Densidad de las propensiones a participar

de los individuos del grupo de intervencin

Probabilidad de participar
0
1

Fuente: elaboracin propia con base en Banco Mundial (2011)

y Bernal y Pea (2011)
El impacto bajo este mtodo es la diferencia media en las variables de resultados entre el grupo de
intervencin y el grupo de comparacin en el rea de soporte comn, apropiadamente ponderada por la
distribucin de la probabilidad de participacin en la intervencin (Bernal y Pea, 2011: 105).

19
Bernal y Pea (2011: 104), mencionan que el soporte comn de una variable es el conjunto de valores para los cuales
tiene densidad positiva, es decir, el conjunto de valores que pueden ocurrir con alguna probabilidad.
26
Algoritmos para estimar las ponderaciones
Cuanto menor es la diferencia en la probabilidad estimada, mayor es el peso que se le asigna al individuo no
participante en la construccin del contrafactual de los participantes. Entre algunos algoritmos para estimar
las ponderaciones estn:

Vecino ms cercano: Se le asigna ponderacin igual a uno al no participante con la menor distancia
al participante |pi-pj|. Todos los dems no participantes tienen una ponderacin igual a cero.

Calibre: El participante i solo es incluido en el clculo final del impacto promedio si hay algn no
participante cuya distancia sea menor a algn nmero prefijado: |pi-pj|<H. Reduce la posibilidad de
tener malos emparejamientos, sin embargo, algunos participantes pueden no entrar en el clculo.

Kernel: Todos los no participantes tienen una ponderacin positiva en el clculo del contrafactual
de todos los participantes. La ponderacin es inversamente proporcional a la distancia entre las
probabilidades estimadas |pi-pj|.

Pasos para la estimacin de la Propensin a Participar

20
El procedimiento de estimacin comprende los siguientes pasos :

Realizar encuestas representativas y comparables en las cuales se puedan identificar el grupo
intervenido y el grupo de comparacin. O bien, contar con informacin para ambos grupos.
Estimar la probabilidad de que cada individuo se inscriba en la intervencin a travs de las

caractersticas observables de acuerdo al modelo probabilstico especificado (por ejemplo modelos
21
Logit o Probit ). Es fundamental que la distribucin de las variables observables sea la misma (o
muy similar) tanto para los individuos intervenidos como para no intervenidos.
Limitar las muestras a la regin del soporte comn. Se descartan aquellas observaciones de no
participantes con valores estimados de probabilidad demasiados extremos. Restringir las muestras
asegura un soporte comn lo que va a evitar una de las fuentes ms habituales de sesgo de
seleccin.
Seleccionar un algoritmo de emparejamiento.
Para cada individuo tratado se busca un individuo de control o grupo de individuo de comparacin
que tenga una probabilidad de participacin similar. Si no se hayan individuos con probabilidades
similares, se debe volver a especificar el modelo de estimacin de probabilidad.
Examinar que las variables observables entre los grupos de intervencin y comparacin sean
similares o estn balanceadas por grupos de probabilidad predicha. Para realizar esta comparacin
es necesario conocer las ponderaciones asignadas a los individuos del grupo de comparacin, que
estn determinadas por el algoritmo de emparejamiento elegido.
Se estima el resultado o impacto de la intervencin, el cual es, el promedio apropiadamente

ponderado de la diferencia entre la variable de resultado de los grupo de intervencin y grupo de
comparacin.
20
Los pasos descritas son tomados y ligeramente modificados de Moral (2009), y Jalan y Ravallion (2003) tomado de
Gertler, et al (2011) y Bernal y Pea (2011).
21
Para ms detalles puede verse el libro Econometra del autor Damonar Gujarati (2004).
27

Fortalezas de las tcnicas de emparejamiento

Se puede emplear aunque los individuos beneficiarios no han sido seleccionados aleatoriamente,
pero si de acuerdo a caractersticas observables, y adems, que exista un grupo no beneficiario de
la intervencin (es decir: cuando la intervencin no es de cobertura universal).

Limita (no elimina) el sesgo de seleccin. El mtodo de emparejamiento es til cuando el sesgo de
seleccin est determinado principalmente por variables observables, por lo que con buenas
fuentes de datos puede ser un mtodo poderoso para estimaciones de impactos bajo estas
situaciones.

Se puede emplear con un nico levantamiento de informacin, siempre que existan datos para el
grupo de intervencin y comparacin (es decir, no siempre es necesario contar con lnea base),
(Bernal y Pea, 2011: 147). Sin embargo, siempre que exista el riesgo de enfrentar un sesgo de
seleccin debido a variables no observables, es ms recomendable combinar el emparejamiento o
PSM con el mtodo de doble diferencia (vase ms arriba en este apartado).
Limitaciones de las tcnicas de emparejamiento

Los resultados son confiables siempre y cuando existan razones para pensar que las variables no
observables o no disponibles en la base de datos, no son determinante fundamental tanto de la
participacin en el programa como la variable resultado (Bernal y Pea, 2011: 147).
Requiere grandes bases de datos, no obstante, esto puede provocar el problema de la maldicin
de las dimensiones y la falta de una regin de soporte comn (vase los conceptos desarrollados
ms arriba).
Debido a que este mtodo funciona cuando se condiciona que la seleccin de los participantes es a
base de variables observadas, se asume que no existen diferencias sistemticas entre los grupos de
intervencin y comparacin causadas por variables no observables, no obstante, este supuesto no
se puede comprobar ni descartar, por lo que, tampoco se puede descartar el sesgo de seleccin
generado a causa de las variables no observadas. Esta amenaza se puede relativizar al combinar las
tcnicas de emparejamiento con el mtodo de doble diferencia.

Requiere del conocimiento de tcnicas estadsticas complejas.

II.3.3 Variables instrumentales

Es un mtodo empleado para controlar el sesgo de seleccin debido a caractersticas o variables no
observables. Para llevar a cabo la estimacin de resultados mediante este mtodo se requiere de:

La existencia de una nueva variable o instrumento que est altamente relacionada con la variable
que indica si el individuo participa en la intervencin. Si esto sucede, entonces la variable
instrumental predice la probabilidad de participar en la intervencin. En trminos estadsticos esto
28
significa que la variable instrumental est correlacionada con la variable que indica participacin.
Esta condicin se llama relevancia del instrumento o condicin de rango.

Que la variable instrumental a) no debe estar relacionada con las variables no observables que
determinan la variable de resultado, b) ni tener un efecto directo sobre la variable de resultado.
Esto permite asegurar que las variables no observables no dependen de la variable instrumental. En
trminos estadsticos esto se refiere a que no existe correlacin entre la variable instrumental y el
trmino error del modelo. Esta condicin es conocida como exogenidad del instrumento y
restriccin de exclusin.

En resumen, la variable instrumental influye o explica la probabilidad de participar en la intervencin pero
no est relacionada con las variables no observables que determinan la variable de resultado ni la afectan
directamente. Las variables instrumentales se usan primero para predecir la participacin en la intervencin
y segundo para observar cmo vara el indicador de resultados con los valores proyectados.

Este mtodo es utilizado cuando la participacin de los individuos en la intervencin est asociada
principalmente a variables no observables.

Fortalezas del mtodo de Variables Instrumentales
Controla el sesgo de seleccin generado por variables no observables.
Realiza estimaciones confiables con datos no experimentales, siempre y cuando se cumpla que la
variable instrumental est correlacionada con la variable que indica si el individuo participa o no en
la intervencin, pero no est correlacionada con las variables no observables que afectan
directamente el resultado o las variables determinantes del resultado.

Limitaciones del mtodo de Variables Instrumentales

No es fcil hallar variables que cumplan las condiciones para ser variables instrumentales. Si la
variable instrumental no cumple las condiciones de relevancia del instrumento, condicin de
rango, exogenidad del instrumentos y restriccin de exclusin; los resultados estimados sern
sesgados e inconsistentes.
Estima el efecto local y no el efecto promedio. Es decir, estima el efecto solo para aquellas personas
que cambian su decisin de participar ante cambios en la variable instrumental. Por tanto, se debe
tener cuidado a la hora de interpretar el estimador y dar las recomendaciones de la evaluacin
(Bernal y Pea, 2011:).
II.3.4 Diseo de Regresin Discontinua

La seleccin de los participantes en el diseo de regresin discontinua (DRD) es determinada total o
22
parcialmente por una variable continua observada. Especficamente, se determina si el individuo participa
o no en la intervencin a partir de un valor especfico (umbral) de la variable continua observada.
22
Una variable continua es aquella que puede adquirir cualquier valor dentro de un intervalo de valores. Un claro
ejemplo, es la nota de algn examen de escuela, cuyo intervalo va de 0 hasta 100, los nios y nias obtienen notas de
100; 93.6; 80.5; 70; 65.7.
29


En algunos casos, la intervencin dirigida a grupos especficos se basa en un instrumento de focalizacin que
es una variable continua y observaba por el planificador o evaluador (Bernal y Pea, 2011: 189). Por
ejemplo, el gobierno decide crear un programa de becas estudiantiles pero este programa est dirigido solo
a aquellos estudiantes con notas promedios iguales o mayores a 75, en este sentido, el instrumento de
focalizacin es la nota promedio y su umbral es 75 (se asume que la nota puede tomar cualquier valor entre
0 a 100), as los estudiantes beneficiarios sern todos los que tengan una nota igual o superior a 75 y los no
beneficiarios sern los que tengan nota inferior a 75.

Los estudiantes beneficiarios pueden ser o son distintos a los no beneficiarios, es decir, sin conocimiento del
mecanismo de seleccin no se dispone de datos para asegurar que ambos grupos tengan similitud en
trminos estadsticos. El primer grupo puede que se encuentra ms motivado que el segundo, o bien, los
primeros poseen un coeficiente intelectual ms alto, o familiares que estn atentos al rendimiento
acadmicos de sus hijos y por lo tanto, con o sin beca es posible que logren terminar la universidad y
perciban salarios ms altos que los segundos. En tales situaciones, estimar el impacto de la intervencin
tomando en cuenta todos los estudiantes beneficiarios y no beneficiarios del programa de becas puede
generar estimaciones muy alejadas de la realidad.

El DRD toma en cuenta una sub-muestra especial de los estudiantes beneficiarios y no beneficiarios para
elaborar el contrafactual y las estimaciones correspondientes. Se asume, que aquellos individuos que estn
justo alrededor del umbral tienen caractersticas observadas y no observadas similares; de esta forma, el
grupo de intervencin o tratamiento son los estudiantes que estn justo por arriba del umbral y el grupo de
comparacin aquellos que tienen notas justo por abajo del umbral. Rossi (2011) menciona que alrededor del
umbral es como tener un experimento, en el sentido que el grupo de comparacin es similar al grupo de
tratamiento.

Existen dos variantes de DRD: Ntida y Borrosa. Se diferencian entre s por el alcance de la seleccin de los
participantes.

II.3.4.1 Regresin Discontinua Ntida

El diseo de Regresin Ntida (DRN) se le conoce en ingls como Regression Discontinuity Sharp.

La seleccin de los beneficiarios depende completamente (de forma determinstica) del umbral de la
variable continua observada. Por tanto, la participacin no depende de otras caractersticas observadas o no
observadas del individuo.

Ejemplo, sea el caso de un programa de becas (pago de crditos) para estudiantes de primer ingreso a la
universidad. Se les asignar la beca a aquellos estudiantes que hayan tenido una nota promedio igual o
superior a 75 sobre 100 en el ltimo ao de secundaria; por lo tanto, el valor de umbral es 75, y es en este
punto donde se presenta la discontinuidad en la participacin de la intervencin.

La nota promedio de 75 determinar completamente la participacin de los estudiantes en el programa de
becas, por lo tanto, el grupo de intervencin est conformado por los estudiantes con notas iguales o
mayores a 75 y el grupo de comparacin con notas promedio menor a 75. En este caso, el estudiante es
beneficiario de la intervencin simplemente por el hecho de presentar esta caracterstica, no se le solicita
ningn otro requisito.

30
Ilustracin 5. La participacin en la intervencin como funcin del instrumento de focalizacin Z

Pr
1
ob

abi

lid

ad
de

par

tici

pa
ci

n

0

=75 = umbral

A
Instrumento
de
focalizacin
= nota promedio

Fuente: Elaboracin propia con base en Bernal y Pea, 2011: 191

La ilustracin 5 muestra la participacin en la intervencin como funcin del instrumento de focalizacin (A).
La participacin en el tratamiento es discontinua en un punto especfico de la distribucin de la A, y la
probabilidad de participacin salta de uno a cero en ese punto especfico (). Al lado derecho de se ubican
los estudiantes que participan en el programa con probabilidad uno, al lado izquierdo estn los estudiantes
que no participan en el programa con probabilidad cero. La probabilidad de participacin es cero o uno.

Dado que la asignacin a la intervencin es determinada nicamente por la variable observada en cuestin
(ejemplo: la nota promedio), se asume que los individuos a) no contribuyen en la decisin de si participar o
no, y b) no pueden manipular el valor de la variable observada en respuesta a los criterios de elegibilidad de
la intervencin. En este caso, el RDN implica que el proceso de decisin exgeno es complemente
determinado por la variable observada estudiada (Bernal y Pea, 2011:193).

II.3.4.1 Regresin Discontinua Borrosa

El diseo de Regresin Borrosa (DRB) se le conoce en ingls como Regression Discontinuity Fuzzy.

La seleccin de los beneficiarios depende parcialmente (es decir, no de forma determinstica) del umbral de
la variable continua observada. Adems, la seleccin tambin depende de incentivos u otras caractersticas
observadas o no observadas por el evaluador (las cuales no son lo suficientemente fuertes para mover a
todas las unidades del grupo de no beneficiarios al grupo de beneficiarios). Esta situacin puede suceder si
los incentivos para participar en la intervencin cambian discontinuamente en el umbral.

Retomando el caso del programa de beca para los estudiantes universitarios, donde se les otorgaba la beca
a cualquier estudiante que haya obtenido una nota promedio del ltimo ao de secundaria igual o superior
a 75 (umbral). Ahora bien, para otorgar la beca se requiere que el estudiante cumpla a) el requisito de la
nota, b) provenga de un cantn que diste 100 km o ms de la universidad y c) llene el formulario de
solicitud de beca. En este caso, la nota promedio igual o mayor a 75 (umbral) selecciona parcialmente a los
estudiantes que reciben la beca, ya que no todos los estudiantes deciden participar, an, cuando cumplan
31

los tres requisitos, o bien, el programa puede considerar ampliar la oferta a cierto grupo de personas bajo
otros criterios.

Suponga, que todos los estudiantes de las zonas alejadas a la universidad se enteran del programa y la
universidad decide otorgar al azar algunas becas a estudiantes con nota menores a 75 que llenen el
formulario de solicitud de beca (por razones presupuestarias no se implementa universalmente el
programa). Por lo tanto, la universidad dar becas a todos los estudiantes que cumplan los tres requisitos y a
algunos que solo cumplan con dos (vivir lejos y llenar el formulario).

Grfico 1. Regresin Discontinua Borrosa: Probabilidad de participacin

Pr
ob
abi
lid
ad
de
par
tici
pa
ci
n
0.5
0
Z
Instrumento
de focalizacin (umbral)
Fuente: Elaboracin propia con base en Bernal y Pea, 2009: 201

El hecho de que el programa se haya extendido a estudiantes con notas menores a 75, implica que la
probabilidad de participacin cambia discontinuamente en el punto , pero no presenta un cambio brusco
de cero a uno, sino que va tomando valores entre cero y uno. Esto quiere decir, que pueden existir
estudiantes becados a ambos lados del umbral (y no solo a un lado como ocurre en RDN), pero se
concentran significativamente al lado derecho de .

El hecho de que el programa se haya extendido a estudiantes con notas menores a 75, significa que pueden
existir estudiantes becados a ambos lados del umbral (y no solo a un lado como ocurre en RDN), pero se
concentraran significativamente al lado derecho de , ya que i) el programa es dirigido principalmente para
estudiantes con notas mayores a 75, y ii) los estudiantes con notas menores a 75 se les asigna cierta
cantidad de becas y esta restriccin hace que estos ltimos se abstengan de presentar la solicitud de beca,
dado que no tienen garanta de recibir la beca aunque hayan cumplido los requisitos. Por tal razn, hay un
salto discontinuo justo en el punto .

La probabilidad de participacin en el RDB no cambia estrictamente de cero a uno en el umbral. En su lugar,
la probabilidad de participacin en la intervencin cambia discontinuamente justo en el punto , esto es,
existen probabilidades de participacin que toman valores entre cero y uno. Ntese que no es la
participacin en el tratamiento lo que cambia determinsticamente de lado a lado del umbral , sino la
probabilidad de participacin lo que cambia discontinuamente en el punto umbral (Bernal y Pea, 2011:
200).

32
El DRB, es llamado as porque el valor del umbral no selecciona totalmente a los beneficiarios de la
intervencin, como se mencion, existen algunas variables (observables o no observables) o factores que
intervienen en la asignacin de participacin. Dos factores comunes son a) la manipulacin del valor del
umbral, el cual consiste, en disminuir (aumentar) el valor del umbral para asignar la participacin a ms o
menos individuos (en el ejemplo anterior, ingresaron ms estudiantes al programa, ya que se admitieron a
algunos con notas menores a 75); b) comportamiento estratgico en base al umbral, los individuos pueden
comportase diferente si saben que pueden optar por un beneficio si saben que son seleccionados en base al
valor del umbral (por ejemplo, si los estudiantes de secundaria del ltimo nivel conocen de antemano que el
primer ao universitario sern becados si obtiene notas promedios iguales o superiores a 75 , stos harn lo
posible para llegar a ese umbral). Ambos factores contaminan la muestra.

Ventajas de Regresin Discontinua

Supuestos plausibles. Los supuestos necesarios para obtener estimaciones confiables se cumplen
en la mayora de los casos.
Fcil de implementar. En trminos relativos el DRD es fcil de implementar en la prctica. Adems

es un diseo atinente para las polticas pblicas focalizadas.
Validez interna fuerte. Es rigoroso en cuanto a establecer relaciones de causalidad.
Limitaciones de Regresin Discontinua

Estimador local. Las estimaciones de impacto se realizan con base a una sub-muestra (datos
cercanos al punto de discontinuidad), por lo tanto, las estimaciones solo son vlidas alrededor del
umbral y no tienen validez externa para la poblacin entera de inters. Esto implica que se debe
tener cuidado a la hora interpretar las conclusiones y elaboracin de recomendaciones (dbil
validez externa).
Muestras grandes. El DRD requiere que la base de datos sea amplia alrededor del umbral.
Manipulacin del valor del umbral o comportamiento estratgico. Para que este diseo RDN
funcione, los individuos no deben tener el poder para manipular el umbral ni presentar un
comportamiento estratgico en base al umbral (problema de incumplimiento).
La aplicabilidad del DRD depende de un mecanismo de seleccin focalizado para el acceso a la

intervencin. En toda intervencin que no cuenta con un mecanismo de este tipo, el DRD no es
aplicable.
BIBLIOGRAFA

Bernal, R. y Pea, X. (2011). Gua Prctica para la evaluacin de impacto. 1 Edicin, Colombia. Ediciones
Uniandes.

Centro de Investigacin y Capacitacin en Administracin Pblica (CICAP) y Centro de Evaluacin (CEval).
(2011). Seminario de postgrado en evaluacin de impacto de programas y proyectos. San Jos, Costa Rica.

CEPAL. (2005). Manual de evaluacin de impacto. Series Manuales No 47. Cristin Aedo.

33

Gertler, Martnez, Premand, Rawlings y Vermeersch (2011). La evaluacin de impacto en la prctica. Banco
Mundial.

Gujarati, D. (2004). Econometra. Editorial McGraw-Hill

Hernndez Sampieri, R. y otros. (2010). Metodologa de la investigacin. 4 ed. Mxico. MacGraw-Hill.

Moral, I. (2009). Tcnicas cuantitativas de evaluacin de polticas pblicas. I curso de evaluacin de polticas
pblicas y programas presupuestarios. Madrid, Espaa.

Rosero, L. (2004). Evaluacin del impacto de la reforma del sector de la salud en Costa Rica mediante un
estudio cuasi experimental. Rev Panam Salud Pblica. 2004:15 (2) 94-103

Rossi, M. (2011). Evaluacin de impacto. Curso Uso de datos de panel y tcnicas economtricas para la
evaluacin de impactos en proyectos. San Jos, Costa Rica.
34
Material 5.2.2: Variables confusoras

Variables confusoras o Factores confusores externos

En una evaluacin la etapa de interpretacin de los resultados y de valoracin de los hallazgos, es una parte
crucial, ya que se analiza crticamente la posibilidad de que eventuales factores pudieran estar invalidando
metodolgicamente los resultados. El investigador (evaluador) debe ser consciente de que los resultados
obtenidos pueden deberse a otros factores que no corresponden a la intervencin en estudio (PPPP) y que
de no ser considerados estos factores, pudieran llevar a conclusiones equivocadas.

El objetivo de las evaluaciones de impacto consiste en determinar, de la forma ms confiable posible, si una
intervencin (PPPP) es la que causa el impacto intencionado, por lo tanto se debe excluir o controlar la
influencia de otros factores que tambin podran ser responsables de los cambios observados.

Cuando el evaluador determina todos los cambios que se han producido (impacto bruto), debe diferenciar
los efectos e impactos que son ocasionados solamente por la intervencin (impacto neto), de los efectos e
impactos ocasionados por otros factores externos, los cuales se han producido adicionalmente e
independientemente de la intervencin realizada. A estos tambin se le suman los efectos o impactos que
se pudieron generar de forma artificial debido a errores de medicin surgidos en el proceso de investigacin
(Efectos de diseo y/o sesgos de seleccin). Esta situacin puede representarse en la ilustracin 1.

Ilustracin 1: Ecuacin de impacto
Impacto bruto

Todos los efectos
y/o
Impactos que se han
Producido.
Impacto neto
+

Efectos y/o impactos
de la intervencin.
Efectos y/o impactos

de factores externos
Producidos

+
adicionalmente e
independientemente
de la intervencin
realizada.
Efectos de diseo y/o

sesgos de seleccin

Generados de forma
artificial debido a
errores de medicin
surgidos en el proceso
de investigacin.
1. Variables confusoras

El efecto de confusin se produce cuando en el anlisis de una relacin causal, existe distorsin en el efecto
estimado, el que es producido por la presencia de una variable extraa (externa) en el estudio de la
asociacin causal.

El efecto que puede tener la presencia de esta variable extraa en el resultado puede ser diverso: en
ocasiones determina la existencia de asociaciones positivas, las que en la prctica no son reales (error de
tipo I o ) o bien, pueden esconder asociaciones reales, las que en presencia de esta variable extraa,
quedan enmascaradas (error de tipo II o ).

35

El concepto de confusin es crtico en las investigaciones evaluativas, siendo ms importante en el terreno

de la investigacin no experimental que en el campo experimental y cuasi-experimental. Esto se debe a que
los estudios experimentales y cuasi-experimentales permiten un mejor control de este efecto por
caractersticas inherentes a su tipo de diseo (randomizacin, control a priori de eventuales variables
confusoras o el uso de matching o pareamiento de variables).

Conceptualmente deben cumplirse algunos requisitos para considerar a una variable como potencialmente
confusora, como se explica en el siguiente ejemplo en el campo de la medicina:

La variable incriminada debe estar simultneamente asociada con la enfermedad (variable
dependiente) en estudio y con la exposicin.
Por tanto, debe ser un factor de riesgo para la enfermedad estudiada.
El factor extrao si bien es cierto debe estar asociado con la exposicin (o variable
independiente), no debe ser consecuencia de sta ltima.

Grficamente lo anterior corresponde a la siguiente representacin:

Figura 1: Variables confusoras.
Exposicin

Variable

independiente

extraa

Variable
dependiente

Por ejemplo, en el anlisis del efecto protector del Beta Caroteno en relacin con el cncer del sistema
digestivo, se encuentra evidencia favorable acerca del consumo de vegetales en la reduccin del riesgo del
cncer, concluyndose que el consumo de Beta Caroteno en la dieta rica en vegetales es una medida
especfica de proteccin contra el cncer.

Sin embargo, en este ejemplo pueden existir al menos dos posibles variables confusoras a considerar. La
primera, es la edad, variable que se asocia con la incidencia de cncer, y que podra asociarse con el nivel de
consumo de verduras y hortalizas, lo que podra verificarse si en el estudio se contara con informacin
acerca de la constitucin por edad de los sujetos estudiados.

Otra variable confusora podra ser el consumo de fibra en la dieta. En este caso, el nivel de consumo y tipo
de fibra est relacionada simultneamente con la variable consumo de vegetales y con la variable cncer.
Para ambos ejemplos de posibles variables confundentes, se cumplen las condiciones previamente
36
sealadas para poder considerarlas como tales. De no considerarse en el anlisis la presencia de ellas
pudiera concluirse una recomendacin errnea basndose en una relacin ficticia.

Para mayor claridad respecto a las caractersticas de las variables confusoras se plantearn tres situaciones
hipotticas (Figura 2):

1. Para este caso, el tabaquismo se relaciona simultneamente con la exposicin y con el desenlace u
outcome. Corresponde realmente a una variable confusora.
Figura 2: Ejemplo de una variable confusora

Cncer
pulmonar
Exposicin
ocupacional
Variable
independiente
Tabaquismo

2.
En esta situacin, el nivel de colesterol srico corresponde a una variable intermedia, vale decir,
en la cadena causal precede al dao y es consecuencia de la exposicin principal en estudio. En este
caso, la variable no corresponde a una variable confusora.
Figura 3: Ejemplo de una variable intermedia

Dieta
Colesterol
Infarto
miocardio

3.
Finalmente se da ac el caso en que la variable de exposicin (tabaquismo) est asociada con una
tercera variable (consumo de alcohol). Sin embargo, esta ltima, no corresponde a una variable
confusora, puesto que slo se asocia con la exposicin y no con el desenlace.
Figura 4: Ejemplo de una tercera variable asociada con la exposicin
37

Cncer
pulmonar
Tabaquismo
Consumo de
alcohol

No siempre es fcil saber si se cumplen los requisitos para que una variable sea considerada confusora. Por
ejemplo, cmo saber si una variable es factor de riesgo para el desenlace estudiado, si se desconocen
antecedentes al respecto?

Para tales efectos, es posible que en el anlisis se pueda obtener informacin desagregando la informacin
recogida.

En un hipottico ejemplo de estudio de casos (enfermos) y controles (sanos) destinados a establecer la
existencia de asociacin entre la exposicin al consumo de caf y el riesgo de cncer del pncreas, se
estudian 100 casos y 100 de comparacin, con el siguiente resultado:

Tabla 1. Ejemplo: Consumo de caf y cncer de pncreas

Consumo de caf
Pacientes con cncer

(enfermos)
30
70
100
Sujetos control
(sanos)
18
82
100
Exposicin +
Exposicin -
Total
Fuente de las tablas.

23
El valor de Odds ratio correspondiente es:

OR =
30 x 82 = 1.95

________

18 x 70

Con lo cual se concluye que el consumo de caf est asociado con un mayor riesgo de padecer de cncer del
pncreas.

23
En la estadstica, la Odds ratio es una medida de tamao de efecto. Es el cociente de dos razones: el numerador es la
razn de la probabilidad de que un evento suceda o no suceda bajo ciertas condiciones (aqu: personas expuestos a un
riesgo de salud). El denominador es la razn de la probabilidad de que dicho evento suceda o no suceda bajo las
condiciones complementarias (aqu: personas sin exposicin al respectivo riesgo para la salud).
38
Una posible variable de confusin en este estudio pudiera estar dada por la edad de los sujetos participantes
en el estudio. Si as fuera, primeramente se debera estudiar si se cumplen los requisitos para considerar a
esta variable como una variable de confusin:

Figura 5: Ejemplo de una variable confusora

Cncer del
pncreas
Consumo de
caf
Edad de los
participantes

En primer lugar se analizar la relacin existente entre la variable edad y la variable dependiente en estudio
(cncer de pncreas), utilizando para ello informacin desagregada de la edad, considerada sta
dicotmicamente en menores o mayores de 40 aos de edad:

Tabla 2.Ej. Consumo de caf y cncer del pncreas:

casos y controles segn grupo de edad

Edad (aos)
Pacientes con cncer

(enfermos)
50
50
100
Sujetos control
(sanos)
80
20
100
Menos de 40
Ms de 40
Total

Luego, el porcentaje de sujetos mayores de 40 aos con cncer es claramente superior (50%) al de sujetos
sanos (20%).

En una segunda etapa, se estudiar la asociacin entre esta variable (edad) con la variable exposicin.

39

Tabla 3.Ej. Antecedente de exposicin

de acuerdo a categora de edad, casos y controles

Edad (aos)
Menores de 40
Mayores de 40
Expuestos
13
35
Consumo de Caf
No expuestos
117
35
Total
130
70
% Expuesto
10
50

Se aprecia que la frecuencia de exposicin no es uniforme en los estratos de edad, teniendo los mayores de
40 aos un mayor porcentaje de exposicin.

Finalmente, est claro que la edad de los sujetos, as categorizada, no es consecuencia del consumo de caf,
con lo cual se establece el cumplimiento de los requisitos para que la variable edad pueda considerarse
como eventualmente confusora.

2. Fuentes de variables confusoras en la evaluacin de intervenciones

pblicas

Las maneras en que pueden surgir variables confusoras que inciden sobre las variables de resultado de una
intervencin pblica, son muy diversas. Por eso es prcticamente imposible preverlas en su totalidad. Sin
embargo, para disear la evaluacin adecuadamente es importante anticipar al menos las variables
confusoras ms importantes lo cual es ms fcil cuando se tiene conocimiento de las principales fuentes de
factores externos. En trminos generales, se pueden categorizar de la siguiente manera (vase Rossi, Lipsey,
Freeman 2004):

Cambios exgenos
Procesos en el entorno de una intervencin que pueden incidir en la variable de impacto e
incrementar o disminuir su aparente resultado. Por ejemplo, si en el caso de un programa para la
capacitacin de jvenes desempleados se observa un aumento del empleo, el programa se juzgar
exitoso aunque es posible, que el aumento se deba enteramente a factores externos (por ej., el
crecimiento econmico en la regin que resulta en una mayor demanda por mano de obra
calificada). Si, por el contrario, la tasa de empleo no vara, se supondr que el programa qued sin
efecto aunque en realidad, puede haber contrarrestado en forma significativa posibles efectos
negativos de un deterioro general del mercado laboral.
Eventos histricos
De igual manera es posible, que eventos puntuales tengan una incidencia en la variable impacto. A
diferencia de paulatinos cambios exgenos es ms fcil percatarse de la ocurrencia de eventos
histricos relevantes sin embargo, puede ser igualmente difcil determinar la magnitud de su
influencia y, de esta manera, establecer el impacto neto de una intervencin. A modo de ejemplo,
se puede referir a un programa para la introduccin de nuevos mtodos de produccin en el sector
agropecuario cuyo resultado neto queda encubierto por un desastre natural (por ej. inundaciones)
que tuvieron un fuerte impacto sobre la produccin agrcola en la zona afectada.
Cambios endgenos
Proyectos, programas, planes y polticas pblicas que se dirigen a poblaciones objetivo en las cuales
se pueden observar procesos naturales, sea con o sin la presencia de la intervencin, ni de otros
40
factores externos. En la medicina, una mayora de las personas puede curarse de una enfermedad
aguda aunque no haya recibido tratamiento alguno. Este efecto tambin se observa en casos de
proyectos y programas sociales en que la intervencin quiere beneficiar a una poblacin objetivo,
en la cual algunos miembros tienen la capacidad de mejorar su situacin por cuenta propia.
Procesos de maduracin
Intervenciones que se dirigen, por ejemplo, a nios y jvenes que tienen que tomar en cuenta que
las poblaciones de inters se encuentran en una fase en que sus caractersticas (incluyendo las
variables de impacto) cambian en forma continua. Por ejemplo, una evaluacin de un programa
para el fomento de las habilidades lingsticas de nios en escuela primaria tiene que lidiar con el
hecho, de los nios y nias mejorarn sus habilidades con o sin la presencia de un proyecto.
Seleccin no controlada de los beneficiarios
Uno de los obstculos ms importantes para la evaluacin de resultados es la llamada auto-
seleccin de los beneficiarios de una intervencin. Es comn que precisamente el segmento ms
accesible de la poblacin objetivo se caracteriza por una mayor disposicin al cambio.
Intervenciones que se basan en la participacin voluntaria de individuos, hogares u otras unidades,
son casi siempre influenciadas por factores de auto-seleccin. En este caso, los impactos
observados en la poblacin beneficiaria no pueden ser generalizados para otros segmentos de la
poblacin objetivo. El problema de la auto-seleccin se parece a la desercin, es decir al fenmeno
de que algunos beneficiarios dejan de participar en algn momento de la intervencin (lo cual casi
siempre implica que tampoco siguen siendo accesibles para la evaluacin).
41

Apartado 5.3:
Diseos metodolgicos cualitativos
Material 5.3.1: Material de apoyo sobre evaluacin cualitativa
Texto:
Salgado Levano, A.C. (2007): Investigacin cualitativa: Diseos, Evaluacin del Rigor
Metodolgico y Retos, en: Accesible en lnea en: LIBERABIT, No. 13, 2007, pp. 71-78. Accesible
en lnea en: http://www.scielo.org.pe/pdf/liber/v13n13/a09v13n13.pdf
INVESTIGACIN CUALITATIVA: DISEOS,
EVALUACIN DEL RIGOR METODOLGICO Y RETOS
Ana Cecilia Salgado Lvano*
Universidad de San Martn de Porres
Recibido: 2 de setiembre de 2007
Revisado: 5 de setiembre de 2007
Aceptado: 21 de setiembre 2007
RESUMEN
El presente artculo tiene tres objetivos generales, en primer lugar brindar una visin actualizada de los principales diseos de investigacin
cualitativos, en segundo lugar revisar el anlisis de los datos y los criterios para evaluar el rigor metodolgico, y en tercer lugar, plantear algunos
retos, desde dos ngulos, por un lado, la vinculacin con las nuevas tecnologas de la informacin y comunicacin y por otro, la posibilidad del
trabajo conjunto entre la investigacin cuantitativa y la cualitativa en lo que se ha dado por llamar los enfoques mixtos.
Palabras Clave: Investigacin cualitativa, diseos, anlisis de datos, rigor metodolgico, enfoques mixtos.
ABSTRACT
7KHSUHVHQWDUWLFOHKDVWKUHHJHQHUDOREMHFWLYHVLQWKHUVWSODFHWRRIIHUDYLVLRQXSGDWHGRIWKHSULQFLSDOTXDOLWDWLYHGHVLJQVRIUHVHDUFKVHFRQGO\
to check the analysis of the datums and the criteria to evaluate the methodological rigor, and thirdly, to outline some challenges, from two angles,
on the one hand, the entail with the new technologies of the information and communication and for other one, the possibility of the joint work
between the quantitative research and the qualitative one in what it has been given for calling the mixed approaches.
Key Words: Qualitative research, designs, analysis of datums, methodological rigor, mixed approaches.
Generalidades
Hace varias dcadas, la investigacin, las metodologas y las
tcnicas cualitativas eran ignoradas, rechazadas o minimizadas
SRU SDUWH GH OD FRPXQLGDG FLHQWtFD QR LPSRUWDQGR VX
adscripcin terica, temtica o disciplinaria, sin embargo, en la
actualidad este panorama ha cambiado radicalmente y cada vez
gana mayor prestigio en el mundo acadmico.
Segn Jimnez-Domnguez (2000) los mtodos cualitativos
parten del supuesto bsico de que el mundo social est construido
GH VLJQLFDGRV \ VtPERORV 'H DKt TXH OD LQWHUVXEMHWLYLGDG
sea una pieza clave de la investigacin cualitativa y punto de
SDUWLGDSDUDFDSWDUUHH[LYDPHQWHORVVLJQLFDGRVVRFLDOHV/D
UHDOLGDGVRFLDODVtYLVWDHVWiKHFKDGHVLJQLFDGRVFRPSDUWLGRV
de manera intersubjetiva. El objetivo y lo objetivo es el sentido
LQWHUVXEMHWLYR TXH VH DWULEX\H D XQD DFFLyQ /D LQYHVWLJDFLyQ
cualitativa puede ser vista como el intento de obtener una
FRPSUHQVLyQSURIXQGDGHORVVLJQLFDGRV\GHQLFLRQHVGHOD
situacin tal como nos la presentan las personas, ms que la
produccin de una medida cuantitativa de sus caractersticas o
conducta.
/D PHWRGRORJtD FXDOLWDWLYD KD DELHUWR XQ HVSDFLR
multidisciplinario que convoca a profesionales de las ms
diversas disciplinas (socilogos, antroplogos, mdicos,
enfermeras, psiclogos, trabajadores sociales, relacionistas
pblicos, entre otros) lo que lejos de ser un inconveniente aporta
una gran riqueza en la produccin. Sin embargo, tambin provoca
una serie de efectos perversos, tales como, la gran variabilidad
existente en la manera de afrontar el anlisis: Imprecisin
y confusin de conceptos, multiplicidad de mtodos, ms
descripcin que interpretacin, riesgo de especulacin, escasa
visin de conjunto, ateorizacin, entre otros, hasta tal punto que
hoy da no podramos hablar del anlisis cualitativo, sino ms

bien de los anlisis cualitativos (Amescua & Glvez, 2002).
El problema de acuerdo a algunos autores es que hay
diversas visiones que se han considerado como tipos de
investigacin cualitativa (Tesch, 1990, ubica 26 clases) y las
bases epistemolgicas son variadas. Sin embargo, de acuerdo
a Mertens (2005) el constructivismo es probablemente el
SDUDGLJPD TXH KD WHQLGR PD\RU LQXHQFLD HQ HO HQIRTXH
cualitativo, aunque algunos no estn de acuerdo. (Citado por
Hernndez, Fernndez & Baptista, 2006).
El constructivismo propone:
!
!
!
!
!
!
1R KD\ XQD UHDOLGDG REMHWLYD OD UHDOLGDG HV HGLFDGD

socialmente, por consecuencia, mltiples construcciones
mentales pueden ser aprehendidas sobre sta, algunas de
ODVFXDOHVSXHGHQHVWDUHQFRQLFWRFRQRWUDVGHHVWHPRGR
ODVSHUFHSFLRQHVGHODUHDOLGDGVRQPRGLFDGDVDWUDYpVGHO
proceso del estudio (Mertens, 2005).
El conocimiento es construido socialmente por las personas
que participan en la investigacin.
/DWDUHDIXQGDPHQWDOGHOLQYHVWLJDGRUHVHQWHQGHUHOPXQGR
complejo de la experiencia vivencial desde el punto de
vista de quienes la experimentan, as como, comprender sus
GLYHUVDVFRQVWUXFFLRQHVVRFLDOHVVREUHHOVLJQLFDGRGHORV
hechos y el conocimiento.
/D LQYHVWLJDFLyQ HV HQ SDUWH SURGXFWR GH ORV YDORUHV GHO
investigador y no puede ser independiente de ellos.
El investigador y los individuos estudiados se involucran en
un proceso interactivo.
El conocimiento resulta de tal interaccin social y de la
LQXHQFLDGHODFXOWXUD
Segn Hernndez, Fernndez & Baptista (2006) entre algunos

GHORVDXWRUHVTXHGXUDQWHHOVLJOR;;LQX\HURQHQHOGHVDUUROOR
csalgadolevano@peru.com
/,%(5$%,7/LPD3HU~
42
ISSN: 1729 - 4827
,19(67,*$&,1&8$/,7$7,9$',6(f26(9$/8$&,1'(/5,*250(72'2/*,&2<5(726
s mismas y su entorno. Creswell (2005) seala que el diseo

narrativo en diversas ocasiones es un esquema de investigacin,
pero tambin es una forma de intervencin, ya que el contar una
historia ayuda a procesar cuestiones que no estaban claras. Se
usa frecuentemente cuando el objetivo es evaluar una sucesin
de acontecimientos.
/RVGDWRVVHREWLHQHQGHDXWRELRJUDItDVELRJUDItDVHQWUHYLVWDV
documentos, artefactos y materiales personales y testimonios
(que en ocasiones se encuentran en cartas, diarios, artculos en
la prensa, grabaciones radiofnicas y televisivas, entre otros).
3XHGHQUHIHULUVHD7RGDODKLVWRULDGHODYLGDGHXQDSHUVRQD
RJUXSR8QSDVDMHRpSRFDGHGLFKDKLVWRULDGHYLGDR
8QRRYDULRVHSLVRGLRV
El investigador analiza diversas cuestiones: la historia de vida,
SDVDMHRDFRQWHFLPLHQWRVHQVtHODPELHQWHWLHPSR\OXJDU
HQHOFXDOYLYLyODSHUVRQDRJUXSRRVXFHGLHURQORVKHFKRVODV
interacciones, la secuencia de eventos y los resultados. En este
proceso, el investigador reconstruye la historia de la persona
o la cadena de sucesos (casi siempre de manera cronolgica:
de los primeros hechos a los ltimos), posteriormente los
narra bajo su ptica y describe (sobre la base de la evidencia
GLVSRQLEOH H LGHQWLFD FDWHJRUtDV \ WHPDV HPHUJHQWHV HQ ORV
datos narrativos (que provienen de las historias contadas
por los participantes, los documentos, materiales y la propia
narracin del investigador).
Mertens (2005) divide a los estudios narrativos en: (1) De
WySLFRV HQIRFDGRV HQ XQD WHPiWLFD VXFHVR R IHQyPHQR
%LRJUiFRV 'H XQD SHUVRQD JUXSR R FRPXQLGDG VLQ LQFOXLU
la narracin de los participantes en vivo, ya sea porque
fallecieron o no recuerdan a causa de su edad avanzada o
HQIHUPHGDG R VRQ LQDFFHVLEOHV $XWRELRJUiFRV GH XQD
persona, grupo o comunidad incluyendo testimonios orales en
vivo de los actores participantes).
GH LQYHVWLJDFLyQDFFLyQ VRQ 2EVHUYDU FRQVWUXLU XQ ERVTXHMR

del problema y recolectar datos), pensar (analizar e interpretar)
y actuar (resolver problemas e implementar mejoras), las
cuales se dan de una manera cclica, una y otra vez, hasta
que el problema es resuelto, el cambio se logra o la mejora se
introduce satisfactoriamente (Citado por Hernndez, Fernndez
& Baptista, 2006).
Creswell (2005) divide a los diseos fundamentales de la
LQYHVWLJDFLyQDFFLyQHQGRVFODVHV3UiFWLFR\3DUWLFLSDWLYR
Diseos Fenomenolgicos:
Estos diseos se enfocan en las experiencias individuales
VXEMHWLYDVGHORVSDUWLFLSDQWHV5HVSRQGHQDODSUHJXQWD&XiO
HVHOVLJQLFDGRHVWUXFWXUD\HVHQFLDGHXQDH[SHULHQFLDYLYLGD
por una persona (individual), grupo (grupal) o comunidad
(colectiva) respecto de un fenmeno?. El centro de indagacin
de estos diseos reside en la(s) experiencia(s) del participante
o participantes.
'H DFXHUGR FRQ &UHVZHOO $OYDUH]*D\RX \
Mertens, 2005 (Citado por Hernndez, Fernndez & Baptista,
2006) la fenomenologa se fundamenta en las siguientes
premisas:
!
!
!
!
Diseos de Investigacin-Accin:
!
/DQDOLGDGGHOD,QYHVWLJDFLyQ$FFLyQHVUHVROYHUSUREOHPDV
cotidianos e inmediatos, y mejorar prcticas concretas. Su
propsito fundamental se centra en aportar informacin que
gue la toma de decisiones para programas, procesos y reformas
HVWUXFWXUDOHV/RVSLODUHVVREUHORVFXDOHVVHIXQGDPHQWDQORV
diseos de investigacin-accin son:
!
!
!
/RVSDUWLFLSDQWHVTXHHVWiQYLYLHQGRXQSUREOHPDVRQORV
que estn mejor capacitados para abordarlo en un entorno
naturalista.
/D FRQGXFWD GH HVWDV SHUVRQDV HVWi LQXLGD GH PDQHUD
importante por el entorno natural en que se encuentran.
/DPHWRGRORJtDFXDOLWDWLYDHVODPHMRUSDUDHOHVWXGLRGHORV
entornos naturalistas.
Segn Stringer (1999) las tres fases esenciales de los diseos

Se pretende describir y entender los fenmenos desde el

punto de vista de cada participante y desde la perspectiva
construida colectivamente.
6HEDVDHQHODQiOLVLVGHGLVFXUVRV\WHPDVHVSHFtFRVDVt
FRPRHQODE~VTXHGDGHVXVSRVLEOHVVLJQLFDGRV
El investigador confa en la intuicin y en la imaginacin
para lograr aprehender la experiencia de los participantes.
El investigador contextualiza las experiencias en trminos
de su temporalidad (tiempo en que sucedieron), espacio
(lugar en el cual ocurrieron), corporalidad (las personas
fsicas que la vivieron), y el contexto relacional (los lazos
que se generaron durante las experiencias).
/DV HQWUHYLVWDV JUXSRV GH HQIRTXH UHFROHFFLyQ GH
documentos y materiales e historias de vida se dirigen
a encontrar temas sobre experiencias cotidianas y
excepcionales.
Anlisis de los datos

Segn Amescua & Glvez (2002), la fase de anlisis de
los datos representa probablemente el lado oscuro de la
investigacin cualitativa. Tanto los defensores tericos del
mtodo como los productores de investigaciones cualitativas
adolecen de proporcionar escasa informacin sobre los modos
en que transforman los datos en interpretaciones que puedan
VXVWHQWDUVHFLHQWtFDPHQWH
Estos autores consideran que cualquiera que sea el estilo
analtico adoptado, hay un momento en el que el investigador se
/,%(5$%,7/LPD3HU~
ISSN: 1729 - 4827
43

$1$&(&,/,$6$/*$'2/e9$12
74
encierra a solas con los datos y es entonces cuando comienzan

YHUGDGHUDPHQWH ODV GLFXOWDGHV SXHV WLHQH TXH UHVSRQGHU
D SUHJXQWDV WDOHV FRPR &yPR UHDOL]DU WpFQLFDPHQWH ODV
VHGXFWRUDV SURSXHVWDV GH OD WHRUtD" 4Xp KDFHU FRQ XQD
LQIRUPDFLyQWDQKHWHURJpQHD"&yPRGHEHVHUHOPDQHMRSDUD
hacer emerger ese torrente de conceptos y proposiciones que
sugiere el anlisis cualitativo?.
Al respecto, Taylor & Bogdan (1990) proponen un enfoque de
anlisis en progreso en investigacin cualitativa basado en tres
PRPHQWRV'HVFXEULPLHQWR&RGLFDFLyQ\5HODWLYL]DFLyQORV
cuales estn dirigidos a buscar el desarrollo de una comprensin
en profundidad de los escenarios o personas que se estudian:
Fase de descubrimiento: Consiste en buscar temas examinando
los datos de todos los modos posibles, lo cual involucra las
siguientes acciones:
!
!
!
!
!
!
!
/HHUUHSHWLGDPHQWHORVGDWRV
Seguir la pista de temas, intuiciones, interpretaciones e ideas.
Buscar los temas emergentes.
Elaborar las tipologas.
Desarrollar conceptos y proposiciones tericas.
/HHUHOPDWHULDOELEOLRJUiFR
Desarrollar una gua de la historia.
)DVHGHFRGLFDFLyQ Es la reunin y anlisis de todos los datos

TXHVHUHHUHQDWHPDVLGHDVFRQFHSWRVLQWHUSUHWDFLRQHV\
proposiciones, cuyas acciones son:
! 'HVDUUROODUFDWHJRUtDVGHFRGLFDFLyQ
! &RGLFDUWRGRVORVGDWRV
! Separar los datos pertenecientes a las diversas categoras de
FRGLFDFLyQ
! Examinar los datos que no se han considerado.
! 5HQDUHODQiOLVLV
)DVHGHUHODWLYL]DFLyQGHORVGDWRV Consiste en interpretar los
datos en el contexto en el que fueron recogidos, cuyas acciones son:
!
!
!
!
!
!
Datos solicitados o no solicitados.

,QXHQFLDGHOREVHUYDGRUVREUHHOHVFHQDULR
4XLpQHVWDEDDOOt"'LIHUHQFLDVHQWUHORTXHODJHQWHGLFH\
hace cuando est sola y cuando hay otros en el lugar).
Datos directos e indirectos.
Fuentes (Distinguir entre la perspectiva de una sola persona
y las de un grupo ms amplio).
/RVSURSLRVVXSXHVWRVDXWRUUHH[LyQFUtWLFD
Algunos autores unen a la crtica terica una propuesta prctica

GHDQiOLVLVGHOPDWHULDOFXDOLWDWLYRTXHDOQDOHVFDVLOD~QLFD
que se tiene en cuenta, entre otras cosas por ser compatible
con los programas de cmputo, cuyo uso se hace cada vez
ms necesario. Tampoco existe un claro acuerdo entre los
metodlogos, por lo que la diversidad de esquemas propuestos
obliga tambin a buscar consensos. Huberman & Miles (2000)
proponen tres subprocesos vinculados entre s para realizar el

anlisis:
D /D UHGXFFLyQ GH GDWRV, orientada a su seleccin y
condensacin, se realiza anticipadamente (al elaborar el
PDUFR FRQFHSWXDO GHQLU ODV SUHJXQWDV VHOHFFLRQDU ORV
participantes y los instrumentos de recogida de datos), o
una vez recolectados mediante la elaboracin de resmenes,
FRGLFDFLRQHVUHODFLyQGHWHPDVFODVLFDFLRQHVHWF
E /D SUHVHQWDFLyQ GH GDWRV, orientada a facilitar la mirada
UHH[LYD GHO LQYHVWLJDGRU D WUDYpV GH SUHVHQWDFLRQHV
concentradas, como pueden ser resmenes estructurados,
sinopsis, croquis, diagramas, entre otros.
F /D HODERUDFLyQ \ YHULFDFLyQ GH FRQFOXVLRQHV, en la que
VH XWLOL]DQ XQD VHULH GH WiFWLFDV SDUD H[WUDHU VLJQLFDGRV
de los datos, como pueden ser la comparacin/contraste,
el sealamiento de patrones y temas, la triangulacin, la
bsqueda de casos negativos, etc.
Evaluacin del rigor metodolgico
8QD GH ODV GHVYHQWDMDV TXH JHQHUDOPHQWH VH OH KD DWULEXLGR
a la investigacin cualitativa es la falta aparente de validez y
FRQDELOLGDGTXHWLHQHHQWHQGLGDGHDFXHUGRDORVFiQRQHVGH
la investigacin cuantitativa, sin embargo, a juicio de diversos
autores, extrapolar estos criterios a la investigacin cualitativa
es contraproducente pues se violan sus propsitos, sus objetivos
y su naturaleza.
'HDFXHUGRD&DVWLOOR 9iVTXH]XQDGHODVSUHJXQWDV
que el investigador se hace durante toda la investigacin es
FyPR JDUDQWL]DU HO ULJRU GHO WUDEDMR FLHQWtFR 2WUD SUHJXQWD
que se hace es cmo otros investigadores juzgarn el rigor
de la investigacin realizada. Estos cuestionamientos han
generado debates entre los investigadores de los abordajes
cualitativo y cuantitativo. Algunos investigadores cualitativos
DUPDQ TXH ORV FiQRQHV R HVWiQGDUHV FRQ TXH VH MX]JDQ ORV
estudios cuantitativos son inapropiados para evaluar el rigor
metodolgico de los estudios cualitativos, por lo que proponen
RWURV FULWHULRV FRKHUHQWHV FRQ ORV SURSyVLWRV QHV \ EDVHV
ORVyFDVGHOSDUDGLJPDTXHUHSUHVHQWDQ
En este sentido, los criterios que comnmente se utilizan para
HYDOXDU OD FDOLGDG FLHQWtFD GH XQ HVWXGLR FXDOLWDWLYR \ SRU
ende su rigor metodolgico son la dependencia, credibilidad,
DXGLWDELOLGDG\WUDQVIHULELOLGDG*XED /LQFROQ9pDVH
WDPELpQ 5XL] H ,VSL]XD )UDQNOLQ %DOODX
Mertens, 2005).
/D GHSHQGHQFLD R FRQVLVWHQFLD OyJLFD HV HO JUDGR HQ TXH
diferentes investigadores que recolecten datos similares en
el campo y efecten los mismos anlisis, generen resultados
equivalentes. De acuerdo a Franklin & Ballau (2005) existen
dos clases de dependencia, la interna (Grado en el cual
diversos investigadores, al menos dos, generan temas similares
/,%(5$%,7/LPD3HU~
44
ISSN: 1729 - 4827

,19(67,*$&,1&8$/,7$7,9$',6(f26(9$/8$&,1'(/5,*250(72'2/*,&2<5(726
75
con los mismos datos) y la externa (Grado en que diversos

investigadores generan temas similares en el mismo ambiente y
perodo, pero cada quien recaba sus propios datos). En ambos
FDVRV HVH JUDGR QR VH H[SUHVD SRU PHGLR GH XQ FRHFLHQWH
VyORVHYHULFDODVLVWHPDWL]DFLyQHQODUHFROHFFLyQ\HODQiOLVLV
cualitativo (Citado por Hernndez, Fernndez & Baptista,
2006).
del investigador original, siempre y cuando tengan perspectivas

VLPLODUHV/DVSUHJXQWDVTXHVLJXHQSXHGHQD\XGDUDGHWHUPLQDU
si un trabajo de investigacin cualitativa cumple con este criterio:
/DVDPHQD]DVDODGHSHQGHQFLDSXHGHQVHUEiVLFDPHQWHORV
sesgos que pueda introducir el investigador en la sistematizacin
durante la tarea en el campo y el anlisis, el que se disponga de
una sola fuente de datos y la inexperiencia del investigador para
FRGLFDU
3RURWURODGRVHJ~Q&DVWLOOR 9iVTXH]ODFUHGLELOLGDG

se logra cuando el investigador, a travs de observaciones y
conversaciones prolongadas con los participantes en el estudio,
recolecta informacin que produce hallazgos que son reconocidos
por los informantes como una verdadera aproximacin sobre
lo que ellos piensan y sienten. As entonces, la credibilidad
VH UHHUH D FyPR ORV UHVXOWDGRV GH XQD LQYHVWLJDFLyQ VRQ
verdaderos para las personas que fueron estudiadas y para
otras personas que han experimentado o estado en contacto
con el fenmeno investigado. Algunas preguntas que le sirven
a los evaluadores de trabajos de investigacin cualitativa para
determinar la credibilidad son:
/DWUDQVIHULELOLGDGRDSOLFDELOLGDGVHUHHUHDODSRVLELOLGDGGH
extender los resultados del estudio a otras poblaciones. En la
investigacin cualitativa la audiencia o el lector del informe
son los que determinan si pueden transferir los hallazgos a
XQ FRQWH[WR GLIHUHQWH GHO HVWXGLR 3DUD HOOR VH QHFHVLWD TXH
se describa densamente el lugar y las caractersticas de las
SHUVRQDVGRQGHHOIHQyPHQRIXHHVWXGLDGR3RUWDQWRHOJUDGR
de transferibilidad es una funcin directa de la similitud entre los
FRQWH[WRV/DVSUHJXQWDVTXHVLUYHQGHJXtDSDUDGHWHUPLQDUHO
grado de transferibilidad de los resultados de una investigacin
cualitativa son:
!
!
!
!
!
!
4Xp VH KL]R SDUD FRQWUDUUHVWDU OD SHUVSHFWLYD GHO

investigador?. Es decir, si se consideraron los efectos de la
presencia del investigador sobre la naturaleza de los datos.
0DQWXYLHURQ ORV LQYHVWLJDGRUHV ODV QRWDV GH FDPSR TXH
surgieron de sus acciones y de sus interacciones durante la
investigacin?.
/RVLQYHVWLJDGRUHVGLVFXWLHURQVXSURSLRFRPSRUWDPLHQWR
y experiencias en relacin con la experiencia de los
informantes?.
6H XWLOL]DURQ RWURV PpWRGRV WULDQJXODFLyQ HQ OD
recoleccin de datos para determinar la congruencia entre
los resultados?.
6HXVDURQWUDQVFULSFLRQHVWH[WXDOHVGHODVHQWUHYLVWDVSDUD
UHVSDOGDU ORV VLJQLFDGRV H LQWHUSUHWDFLyQ SUHVHQWDGRV HQ
los resultados del estudio?.
(O LQYHVWLJDGRU GLVFXWLy VXV LQWHUSUHWDFLRQHV FRQ RWURV
investigadores?.
/RV OHFWRUHV YHQ ORV KDOOD]JRV FRPR VLJQLFDQWHV \
aplicables en su propio contexto?.
El tercer elemento del rigor metodolgico es la auditabilidad,

OODPDGD SRU RWURV DXWRUHV FRQUPDELOLGDG VH WUDWD GH OD
habilidad de otro investigador de seguir la pista o la ruta de lo
TXHHOLQYHVWLJDGRURULJLQDOKDKHFKR3DUDHOORHVQHFHVDULRXQ
registro y documentacin completa de las decisiones e ideas
que el investigador haya tenido en relacin con el estudio.
Esta estrategia permite que otro investigador examine los
datos y pueda llegar a conclusiones iguales o similares a las
6HXVDURQFLQWDVGHJUDEDFLyQPDJQHWRIyQLFDGHYLGHRX
otros mecanismos de grabacin?.
6HGHVFULELHURQODVFDUDFWHUtVWLFDVGHORVLQIRUPDQWHV\VX
proceso de seleccin?.
6H DQDOL]y OD WUDVFULSFLyQ HO GH ODV HQWUHYLVWDV D ORV
informantes?.
/RV FRQWH[WRV ItVLFRV LQWHUSHUVRQDOHV \ VRFLDOHV IXHURQ
discutidos en la presentacin del informe de investigacin?.
&DVWLOOR 9iVTXH]
/RVLQYHVWLJDGRUHVLQGLFDURQORWtSLFRGHODVUHVSXHVWDVGH
los informantes?.
/RVLQYHVWLJDGRUHVH[DPLQDURQODUHSUHVHQWDWLYLGDGGHORV
datos como un todo?.
3RU RWUR ODGR .LQFKHORH 0F/DUHQ SRVWXODQ TXH

no existe un mtodo mgico de indagacin que garantice la
validez de los hallazgos, la pura correccin metodolgica no
produce datos vlidos. Ms all de las distintas orientaciones
HQHOFDPSRFLHQWtFR\FRPRSDUWHGHVXSURSLRGHVDUUROORVH
ha dado un cambio en la forma de ver las realidades sociales:
de modo simple se ha pasado a verlas de manera compleja y
GLYHUVDVHJHQHUDDVtXQDVDQDLQFHUWLGXPEUHHSLVWHPROyJLFD
(derivada de la complejidad, diversidad, indeterminacin,
apertura y causalidad mutua de lo real), en contra de los
DFXHUGRV QRUPDWLYRV PRQROtWLFRV VREUH OD SUiFWLFD FLHQWtFD
(VWRVXSRQHTXHODYHUGDGHVWiUHODFLRQDGDFRQHOVLJQLFDGR
(en un marco de referencias intersubjetivas), y explcitamente
FRQODIRUPDHQTXHVHFRQVWUX\HQORVVLJQLFDGRVHQODYLGD
cotidiana (Citado por Jimnez-Domnguez, 2000).
Algunos retos
Analizaremos dos de los retos ms importantes a los cuales se
enfrenta la investigacin cualitativa, la primera es su vinculacin
con las nuevas tecnologas de la informacin y comunicacin,
y la segunda, es la posibilidad de dejar atrs las disputas
irreconciliables con la investigacin cuantitativa, postulando el
trabajo conjunto a travs de los enfoques mixtos.
/,%(5$%,7/LPD3HU~
ISSN: 1729 - 4827
45

76
$1$&(&,/,$6$/*$'2/e9$12
La Investigacin Cualitativa y las nuevas Tecnologas de la

Informacin y Comunicacin
2UHOODQD 6iQFKH]VHxDODQTXHODIXHUWHLQFXUVLyQGH
la comunicacin e interaccin tecnolgica en la sociedad ha
provocado profundas y veloces transformaciones que afectan a
WRGRVORVFDPSRVGHODDFWLYLGDGKXPDQD/DLQFRUSRUDFLyQGH
las nuevas tecnologas de la informacin y comunicacin, en el
FDPSRGHODLQYHVWLJDFLyQVRFLDOHQJHQHUDO\HVSHFtFDPHQWH
en la investigacin cualitativa supone un potencial temtico
como metodolgico para el estudio de la problemtica social.
Hoy en da los investigadores en general y particularmente los
investigadores en el plano cualitativo, ya no estn restringidos
a un simple lpiz, a un cuaderno de notas, a un sentido diligente
de la vista, a una grabadora de audio, o a un simple ordenador,
ya que el desarrollo tecnolgico ha proporcionado diferentes
herramientas y aplicaciones tecnolgicas, y con ellas nuevos
entornos y formas de investigar, nuevos tipos de datos,
nuevas formas de recolectarlos, almacenarlos, analizarlos y
SUHVHQWDUORV 7RGR HOOR KD PRGLFDGR \ VHJXLUi PRGLFDQGR
an ms la labor que han venido realizando los investigadores
cualitativos.
Estos mismos autores, postulan que las tecnologas de
la informacin y comunicacin han generado muchas
oportunidades para que las personas se pongan en contacto,
interacten, opinen y construyan en grupo. De esta forma
nos movemos hacia otra cultura de investigacin, hacia
RWUD IRUPD GH HQWHQGHU \ KDFHU OD LQYHVWLJDFLyQ /DV UHGHV
telemticas, en especial Internet, ofrecen la posibilidad de
comunicacin e interaccin con personas de todo el mundo
HQWLHPSRVLQVRVSHFKDGRVTXHHUDLPSHQVDEOHDxRVDWUiV/DV
instancias ms recurridas para estos intercambios son el correo
electrnico, las listas de distribucin, los grupos de noticias,
los foros de discusin, los chats, weblogs y wikis, entre otros.
De esta manera, las redes telemticas no son caminos que
van a cualquier parte, sino que conforman una comunidad de
comunidades, un mundo paralelo, creado y sustentado por las
tecnologas de la informacin y comunicacin, por lo cual urge
que el investigador tenga cada vez ms un dominio informtico
que le garantice su labor investigadora.
Sin embargo, el panorama de vincular el desarrollo tecnolgico
con los avances en la investigacin cualitativa, no es sencillo,
muy por el contrario se presenta difcil y espinoso en algunos
casos. Al respecto, Amescua & Glvez (2002) consideran
que una interrogante de nuestros das es sobre el verdadero
papel que juega el ordenador en el anlisis cualitativo.
Como todas las innovaciones, la mquina de la era de la
informacin genera posiciones encontradas entre quienes
la han incorporado y pretenden ver un mundo inacabable de
posibilidades y los partidarios de continuar haciendo las cosas
D PDQR /RV SULPHURV OOHJDQ D SODQWHDU HVWD DFWLYLGDG FRPR
un rea principal de especializacin dentro del anlisis. Al
menos en teora, cualquier forma de anlisis cualitativo podra
ser asistida por ordenador a travs de programas informticos

creados a tal efecto, que facilitan el manejo mecnico de los
GDWRVODE~VTXHGDVHOHFFLyQ\RUJDQL]DFLyQ3URJUDPDVFRPR
Ethnograph, Aquad, Nudist o Atlas-Ti, resultan sumamente
tiles en las fases instrumentales del anlisis para realizar
RSHUDFLRQHVFRPRHOPDUFDGR\FRGLFDFLyQGHOWH[WRODUHODFLyQ
GHFDWHJRUtDV\VXMHWRVODHODERUDFLyQGHWLSRORJtDVRSHUOHVR
HOUHFXHQWRE~VTXHGD\UHFXSHUDFLyQGHXQLGDGHVFRGLFDGDV
siendo especialmente tiles cuando se trabaja simultneamente
con grandes cantidades de informacin (Citado por Gil, Conti,
3LQ]yQ3ULHWR6RODV &UX]
([LVWHQRWURVSURJUDPDVWDOHVFRPR+\SHU4XDO+\SHU5HVHDUFK
Qualpro, Qualog y WinMax que evolucionan con vertiginosidad,
prcticamente todos sirven para las etapas del anlisis:
FRGLFDFLyQ HQ XQ SULPHU SODQR \ HQ XQ VHJXQGR SODQR
interpretacin de datos, descubrimiento de patrones y
generacin de teora fundamentada, adems de que ayudan
a establecer hiptesis, as mismo, todos recuperan y editan
texto, lo mismo que numeran lneas o unidades de contenido.
/D WHQGHQFLD HV TXH ORJUHQ LQFRUSRUDU WRGR WLSR GH PDWHULDO
al anlisis -texto, video, audio, esquemas, diagramas, mapas,
IRWRJUDItDVJUiFDVHWF&LWDGRSRU+HUQiQGH])HUQiQGH]
Baptista, 2006).
No obstante, este alentador panorama, algunos autores han
alertado sobre las grandes limitaciones que entraa el anlisis
asistido por ordenador, como por ejemplo, el fraccionamiento
de la informacin, la prdida de la visin de conjunto y la
descontextualizacin. Tambin existira el riesgo de quedarse
atrapado por la seduccin de la herramienta, reduciendo el
anlisis a simples operaciones mecnicas y perdiendo de vista
el verdadero objeto del anlisis, que es la interpretacin de los
datos, una operacin que difcilmente puede hacer un programa
informtico por s solo. No cabe duda que el ordenador
constituye una ayuda importante como servidor con un gran
potencial para la realizacin de las tareas de rutina y como
apoyo a la elaboracin conceptual y terica, pero no puede
reemplazar la capacidad deductiva del investigador. (Amescua
& Glvez, 2002).
Es posible trabajar con ambos enfoques: El cuantitativo y
el cualitativo?
Durante el desarrollo de la ciencia, han surgido diversas corrientes
de pensamiento, as como diferentes marcos interpretativos, que
han originado diferentes rutas en la bsqueda del conocimiento,
dando como consecuencia dos polos opuestos y aparentemente
antagnicos, el enfoque cuantitativo y el enfoque cualitativo de
ODLQYHVWLJDFLyQSHURODSUHJXQWDTXHVXUJHHV5HDOPHQWHVRQ
irreconciliables?.
Segn Jimnez-Domnguez (2000) se suelen contraponer lo
cualitativo a lo cuantitativo como uno de los rasgos distintivos
de la investigacin cualitativa. Sin embargo, el asunto es mucho
/,%(5$%,7/LPD3HU~
46
ISSN: 1729 - 4827
,19(67,*$&,1&8$/,7$7,9$',6(f26(9$/8$&,1'(/5,*250(72'2/*,&2<5(726
PiVFRPSOHMRVLH[DPLQDPRVHOVLJQLFDGR\XVRGHORVWpUPLQRV
Se supone que esta separacin marca el acceso diferente al
mundo natural y al social, el contraste entre lo objetivo y lo
VXEMHWLYR'HDFXHUGRD,EixH]ODFXDQWLFDFLyQFRPR
medicin est marcada por la subjetividad, dado que lo que se
mide es lo que decide la persona que hace la medicin, y en ese
sentido se puede decir tambin que no hay mediciones fsicas,
sino sociales del mundo fsico. Es claro que una cantidad es
VLHPSUHXQDFDQWLGDGGHDOJR(VSHFtFDPHQWHVHJ~Q%HOWUiQ
(1985), es una cantidad de una cualidad: lo cuantitativo es una
FXDOLGDGFRQXQQ~PHURDVLJQDGR3RURWURODGRFRQHOWpUPLQR
cuantitativo se alude a un intento de matematizacin, pero
el concepto ms general en matemticas no es el de nmero,
VLQR HO GH RUGHQ < WDQWR OD LQYHVWLJDFLyQ FXDQWLWDWLYD FRPR
la cualitativa en ciencias sociales se insertan en procesos de
DQiOLVLV RUGHQDGRV GHO iPELWR VRFLDO PDWHPDWL]DFLyQ 3HUR
adems, hay rdenes no cuantitativos, como los que abordan las
PDWHPiWLFDVFXDOLWDWLYDV,EixH]/DVFLHQFLDVQDWXUDOHV
si bien mayoritariamente se consideran cuantitativas, tambin
producen investigacin que es cualitativa.
Mayntz, Holm & Hbner (1985) plantean que la diferencia
entre lo cuantitativo y lo cualitativo es provisional y poco
SUHFLVD 'H DFXHUGR D 9HUD UHVXOWD LPSRVLEOH TXH HQ
un proceso de construccin de conocimiento un investigador
pueda recurrir a una forma sin utilizar la otra. Es falsa la
separacin entre mtodos empricos e interpretativos como dos
formas distintas de construir conocimiento, lo cual se sustenta
en la nocin de que es imposible observar sin interpretar, as
como interpretar sin observar. Estas diferencias entre hacer
investigacin de corte cuantitativo y de corte cualitativo, segn
este autor, responden ms bien a posturas de tipo ideolgicas,
son asuntos que se relacionan ms con creencias y formaciones,
que con estar construyendo conocimiento realmente por
mecanismos distintos. En la prctica, no son separables, todos
los investigadores deben observar de forma sistematizada
H LQWHUSUHWDU HVR TXH REVHUYDQ HVWR LQFOX\H QR VyOR D ORV
investigadores de las ciencias sociales, sino a los de las ciencias
naturales. As como el mtodo natural-emprico aporta a las
reas sociales, el mtodo hermenutico-interpretativista aporta
DODFRPSUHQVLyQGHOFRQRFLPLHQWRHQODViUHDVQDWXUDOHV/DV
diferencias realmente claras radican en la naturaleza distinta de
sus objetos de estudio, en la naturaleza distinta de sus variables
y en los objetivos particulares de cada investigacin.
Desde 1980 se ha iniciado el debate sobre la legitimidad de la
investigacin mixta, es decir, la posibilidad de realizar estudios
complementando tanto la investigacin cuantitativa como
la cualitativa. Desde entonces, si bien es cierto han existido
opiniones polarizadas de rechazo y aceptacin, es innegable
que ha seguido analizndose, debatindose y plantendose una
nueva visin que avala, fundamenta y enriquece la utilizacin
de ambas investigaciones, en lo que ha dado por llamarse el
Enfoque Integrado Multimodal, tambin conocido como
(QIRTXHV 0L[WRV 9pDVH %UHZHU +XQWHU *UHHQH
77
&DUDFHOOL *UDKDP 0RUVH *ULQQHOO

&UHVZHOO7DVKDNNRUL 7HGGOLH'HQ]LQ /LQFROQ
&UHVZHOO 3ODQR &ODUN *XWWPDQ +DQVRQ
7DVKDNNRUL 7HGGOLH &UHVZHOO 0HUWHQV
*ULQQHO 8QUDX &LWDGR SRU +HUQiQGH] )HUQiQGH]
Baptista, 2006).
El siglo XXI ha comenzado con una tercera va, referida a la
tendencia cada vez mayor de unir ambos enfoques, prueba de
ello, es que durante esta dcada el enfoque mixto ya se aplica
en diversos campos como la Educacin, la Comunicacin,
OD 3VLFRORJtD OD 0HGLFLQD \ OD (QIHUPHUtD HQWUH RWURV 6LQ
embargo, no podemos dejar de sealar que este enfoque
enfrenta escepticismo entre algunos colegas, en especial
entre quienes se muestran radicales ante algunas de estas
posturas, particularmente los fundamentalistas metodolgicos
,QYHVWLJDGRUHV TXH GHHQGHQ XQR GH ORV GRV HQIRTXHV \
desdean el otro, ya sea que hayan adoptado el cuantitativo y
menosprecian al cualitativo, ubicndolo como pseudociencia
VXEMHWLYR VLQ SRGHU GH PHGLFLyQ HWF R DTXHOORV
que han adoptado al cualitativo y desprecian al cuantitativo
-considerndolo impersonal, incapaz de capturar el verdadero
VLJQLFDGRGHODH[SHULHQFLDKXPDQD1RREVWDQWHKD\ODLGHD
de considerar que ambos enfoques utilizados conjuntamente
SXHGHQHQULTXHFHUHOSURFHVRGHODLQYHVWLJDFLyQFLHQWtFDGH
manera importante, ya que no se excluyen ni se sustituyen, sino
que se complementan.
/RV HQIRTXHV PL[WRV SDUWHQ GH OD EDVH GH TXH ORV SURFHVRV
cuantitativo y cualitativo son nicamente posibles elecciones
u opciones para enfrentar problemas de investigacin, ms
que paradigmas o posiciones epistemolgicas (Todd, Nerlich &
0F.HRZQ&RPRSODQWHDQ0D[ZHOO\+HQZRRG
(2004), un mtodo o proceso no es vlido o invlido por s
PLVPRHQFLHUWDVRFDVLRQHVODDSOLFDFLyQGHORVPpWRGRVSXHGH
SURGXFLU GDWRV YiOLGRV \ HQ RWUDV LQYiOLGRV /D YDOLGH] QR
resulta ser una propiedad inherente de un mtodo o proceso en
particular, sino que atae a los datos recolectados, los anlisis
efectuados, y las explicaciones y conclusiones alcanzadas por
XWLOL]DUXQPpWRGRHQXQFRQWH[WRHVSHFtFR\FRQXQSURSyVLWR
particular (Citado por Hernndez, Fernndez & Baptista, 2006).
Coincidimos con Henwood (2004) al sealar que insistir en
que los enfoques cuantitativo y cualitativo son diferentes
no nos lleva a ninguna parte, la polarizacin de enfoques es
hipercrtica, restringe el quehacer del investigador y bloquea
nuevos caminos para incluir, extender, revisar y reinventar las
IRUPDVGHFRQRFLPLHQWRSRUWDOPRWLYRHOHQIRTXHPL[WRHVOD
posicin que promueve ms la innovacin en las ciencias.
5HH[LRQHVQDOHV
Hay mucho que decir de la investigacin cualitativa, falta
an un largo camino por recorrer en el anlisis y evaluacin.
Coincidimos con Mercado-Martnez (2002) en que la produccin
/,%(5$%,7/LPD3HU~
ISSN: 1729 - 4827
47

78
$1$&(&,/,$6$/*$'2/e9$12
generada hasta el momento en el campo de la investigacin

cualitativa ha sido de enorme riqueza en algunas reas debido
al esfuerzo de algunos investigadores y grupos de trabajo. Sin
embargo, hace falta una evaluacin sistemtica de la produccin
en su conjunto, de las orientaciones tericas, las temticas y las
experiencias generadas en las diferentes disciplinas.
divide. En: Todd, Z., Nerlich, B., Mckeown, S. & Clarke, D.

(Eds.). 0L[LQJ 0HWKRGV LQ 3V\FKRORJ\ SS +RYH
3V\FKRORJ\3UHVV
Hoy ms que nunca urge que el investigador se nutra y se

alimente de los ltimos avances que se dan en la comunidad
FLHQWtFD SDUD SURSRQHU QXHYRV DOFDQFHV TXH FRQWULEX\DQ DO
DDQ]DPLHQWR \ FRQVROLGDFLyQ GH OD LQYHVWLJDFLyQ FXDOLWDWLYD
pues slo as estar en condiciones de responder a los retos y
desafos que presenta el actual milenio.
Huberman, A. & Miles, M. (2000). Mtodos para el manejo y

el anlisis de datos. En: Denman, C., Haro, J. (Comp.). 3RUORV
ULQFRQHV$QWRORJtDGHPpWRGRVFXDOLWDWLYRVHQODLQYHVWLJDFLyQ
social+HUPRVLOOR(O&ROHJLRGH6RQRUDSS
+HUQiQGH]5)HUQiQGH]& %DSWLVWD30HWRGRORJtD

GHOD,QYHVWLJDFLyQ. Mxico: Mc Graw Hill.
,EixH]-/DVPHGLGDVGHODVRFLHGDG5HYLVWD(VSDxROD

GH,QYHVWLJDFLRQHV6RFLROyJLFDV, Nm. 29, pp. 85-127.
REFERENCIAS
$OYDUH]*D\RX-&yPRKDFHULQYHVWLJDFLyQFXDOLWDWLYD
)XQGDPHQWRV\0HWRGRORJtD0p[LFR3DLGyV
$PHVFXD 0 *iOYH] $ /RV PRGRV GH DQiOLVLV
HQ LQYHVWLJDFLyQ FXDOLWDWLYD HQ VDOXG 3HUVSHFWLYD FUtWLFD \
UHH[LRQHV HQ YR] DOWD 5HYLVWD (VSDxROD GH 6DOXG 3~EOLFD
9RO1R5HFXSHUDGRHOGHRFWXEUHGHOGH
KWWSZZZVFLHORVSRUJVFLHORSKS"VFULSW VFLBDUWWH[WSLG V
557272002000500005
%HOWUiQ0&LQFRYtDVGHDFFHVRDODUHDOLGDG5HYLVWD
Espaola de Investigacin Social, Nm. 29, pp. 7-41.
Bernal, C. (2006). Metodologa de la Investigacin. Mxico:
3UHQWLFH+DOO
&DVWLOOR ( 9iVTXH] 0 (O ULJRU PHWRGROyJLFR HQ
ODLQYHVWLJDFLyQFXDOLWDWLYD5HYLVWD&RORPELD0pGLFD9RO
1RSS
&UHVZHOO-(GXFDWLRQDOUHVHDUFK3ODQQLQJFRQGXFWLQJ
DQG HYDOXDWLQJ TXDQWLWDWLYH DQG TXDOLWDWLYH UHVHDUFK 8SSHU
6DGGOH5LYHU3HDUVRQ(GXFDWLRQ
)UDQNOLQ & %DOODX 0 5HOLDELOLW\ DQG YDOLGLW\ LQ
TXDOLWDWLYHUHVHDUFK(Q*ULQQHOO5 8QUDX<(GV6RFLDO
ZRUN 5HVHDUFK DQG HYDOXDWLRQ 4XDQWLWDWLYH DQG TXDOLWDWLYH
DSSURDFKHVSS1XHYD<RUN2[IRUG8QLYHUVLW\3UHVV
*LO ( &RQWL ) 3LQ]yQ 6 3ULHWR 0 6RODV 2 &UX]
0 (O$QiOLVLV GH7H[WR DVLVWLGR SRU 2UGHQDGRU HQ OD
Investigacin Cualitativa. Index EnfermSS
Glaser, B. & Strauss, A.(1967). 7KH 'LVFRYHU\ RI *URXQGHG
7KHRU\6WUDWHJLHVIRU4XDOLWDWLYH5HVHDUFK. Chicago: Aldine.
*XED( /LQFROQ<)RXUWKJHQHUDWLRQHYDOXDWLRQ.
1HZEXU\3DUN6DJH
+HQZRRG . 5HLQYHQWLQJ YDOLGLW\ 5HHFWLRQV RQ
principles and practices from beyond the quality-quantity
Ibez, J. (1994). (OUHJUHVRGHOVXMHWR/DLQYHVWLJDFLyQVRFLDO

GHVHJXQGRRUGHQ. Madrid: Siglo XXI.
Jimnez-Domnguez, B. (2000).Investigacin cualitativa y
psicologa social crtica. Contra la lgica binaria y la ilusin de
la pureza. ,QYHVWLJDFLyQFXDOLWDWLYDHQ6DOXG5HFXSHUDGRHO
de octubre del 2007 de:
KWWSZZZFJHXGJP[UHYLVWDXGJUXJLQYHVLJDFLRQKWPO
0D\QW]5+ROP. +EQHU3,QWURGXFFLyQDORV
PpWRGRVGHODVRFLRORJtDHPStULFD. Madrid: Alianza.
Mercado-Martnez, F. (2002). Investigacin cualitativa en
$PpULFD /DWLQD 3HUVSHFWLYDV FUtWLFDV HQ VDOXG International
-RXUQDORI4XDOLWDWLYH0HWKRGV 1 (1)
Mertens, D. (2005). 5HVHDUFKDQGHYDOXDWLRQLQ(GXFDWLRQDQG
3V\FKRORJ\,QWHJUDWLQJGLYHUVLW\ZLWKTXDQWLWDWLYHTXDOLWDWLYH
and mixed methods7KRXVDQG2DNV6DJH
2UHOODQD ' 6iQFKH] 0 (QWRUQRV YLUWXDOHV
nuevos espacios para la investigacin cualitativa. Snchez,
0 5HYXHOWD ) &RRUGV 0HWRGRORJtD GH ,QYHVWLJDFLyQ
&XDOLWDWLYD HQ ,QWHUQHW >PRQRJUiFR HQ OtQHD@ 5HYLVWD
(OHFWUyQLFD GH OD (GXFDFLyQ (GXFDFLyQ \ &XOWXUD HQ OD
6RFLHGDG GH OD ,QIRUPDFLyQ 9RO 1 8QLYHUVLGDG GH
6DODPDQFD 5HFXSHUDGR HO GH 2FWXEUH GHO GH KWWS
www.usal.es/~teoriaeducacion/rev_numero_08_01/n8_01_
orellana_lopez_sanchez_gomez>
5XL]- ,VSL]XD0/DGHVFRGLFDFLyQGHODYLGD
cotidiana%LOEDR8QLYHUVLGDGGH'HXVWR
7D\ORU 6 %RJGDQ 5 ,QWURGXFFLyQ D ORV PpWRGRV
FXDOLWDWLYRVGHLQYHVWLJDFLyQ%DUFHORQD3DLGyV
9HUD-/DLPSRVLELOLGDGGHVHSDUDUORREVHUYDGRGHOR
interpretado: la falsedad del empirismo y del interpretativismo
como mtodos distintos. Episteme1R$xR5HFXSHUDGRHO
GH2FWXEUHGHOGHKWWSZZZXYPQHWHGXLQYHVWLJDFLRQ
episteme/numero5-05/
/,%(5$%,7/LPD3HU~
48
ISSN: 1729 - 4827

Material de Apoyo Al Manual Gerencial Cap 5 PDF

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Material de Apoyo Al Manual Gerencial Cap 5 PDF

Diunggah oleh

Hak Cipta:

Format Tersedia

Ministerio de Planificacin Nacional y Poltica Econmica

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Validez y confiabilidad en las investigaciones evaluativas

La validez y confiabilidad en la investigacin cuantitativa

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

La validez y confiabilidad en la investigacin cualitativa

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

3. La triangulacin para mejorar la validez y la confiabilidad

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

Introduccin: Sobre el enfoque cuantitativo

Fuente: Hernndez, S. y otros, 2010

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Sobre la inferencia causal y el contrafactual

Los mtodos de estimacin de evaluacin de impacto se describen ms adelante.

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Ilustracin 3. Plan Experimental Solomon de Cuatro Grupos

Fuente: Elaboracin propia con base a CEPAL (2005)

Experimentos de laboratorio y experimentos de campo

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

Experimento de campo. Son aquellos experimentos donde la intervencin se realiza en un entono

Aleatorizacin individual y de conglomerado

Cundo se aplica diseo experimental en una evaluacin?

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Modelos de estimacin del diseo experimental

Modelo de diferencias sencillo

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

El resultado de la intervencin bajo el modelo de diferencias en forma general- se estima como la

II.3.2 Variantes del modelo de diferencias 11

La diferencia es el resultado de la operacin de restar, segn el DRAE.

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

El estimador de diferencias con regresores adicionales es insesgado, consistente y ms eficiente que el

Fortalezas y debilidades de los diseos experimentales

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

Si la muestra es lo suficientemente grande se asegura la validez interna de la evaluacin de impacto

Limitaciones del diseo experimental

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Incumplimiento (non-compliance en ingls). Durante el experimento, los individuos en los grupos

Externalidades o efecto derrame (spillovers en ingls) y efectos de equilibrio general. Las

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

Posible abordaje de las limitaciones

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN

Cundo se aplican diseos cuasi experimentales?

Fortalezas del uso del diseo cuasi experimental

SISTEMA NACIONAL DE EVALUACIN SINE COSTA RICA

Ministerio de Planificacin Nacional y Poltica Econmica

Dependiendo de la calidad de los grupos de comparacin conformados (vase apartado II.3) la

Limitaciones del uso de diseos cuasi experimentales

Modelo de estimacin de diferencias en diferencias

MATERIAL DE APOYO PARA EL DISEO Y EJECUCIN