Todos los derechos reservados.

Prohibida la reproduccin total o parcial de esta obra por cualquier procedimiento (ya sea grfico, electrnico, ptico, qumico, mecnico, fotocopia, etc.) y el almacenamiento o transmisin de sus contenidos en soportes magnticos, sonoros, visuales o de cualquier otro tipo sin permiso expreso del editor.

COLECCIN CUADERNOS METODOLGICOS, NM. 30

Primera edicin, junio de 2000 Segunda edicin, noviembre de 2005 CENTRO DE INVESTIGACIONES SOCIOLGICAS Montalbn, 8. 28014 Madrid
DERECHOS RESERVADOS CONFORME A LA LEY

Impreso y hecho en Espaa

Printed and made in Spain

NIPO: 004-05-007-0 ISBN: 84-7476-387-8 Depsito legal: M. 41.632-2005 Fotocomposicin e impresin: EFCA, S.A . Parque Industrial Las Monjas. 28850 Torrejn de Ardoz (Madrid)

Para Carmen y Paco in memoriam.

5
Crticas, respuestas y estrategias
Toda investigacin est sujeta a un juicio por parte de la comunidad cientfica. Tal juicio no se asemeja a los que se suelen celebrar en los tribunales, sino que cada miembro de la comunidad evala independientemente, en momentos diferentes, y de forma descoordinada, los resultados de una investigacin dada. El veredicto final de aceptacin o rechazo es el resultado de factores diferentes: de la publicacin de las conclusiones de la investigacin, contraste de opiniones entre los colegas, utilizacin de esas conclusiones para avanzar en la investigacin e incluso del olvido de la investigacin. Estos elementos y otros ms indican si la evaluacin que se hace de la investigacin y de las conclusiones es positiva o negativa. En definitiva, el crdito de un investigador/a y de su trabajo depende de la opinin que tenga el resto de sus colegas. En un mundo ideal tal opinin est basada en los criterios con que se juzga la investigacin. En el mundo real, la opinin suele fundamentarse adems en cuestiones de rivalidades acadmicas, de disputas por obtener ms poder, de favores que se tienen que devolver, de compadreos en concursos de profesorado, y de otros elementos que forman parte de la condicin humana y, por ende, acadmica. Como se trata de aspectos sobre los que no tengo mucho inters, se me permitir situarme en el mundo ideal que es mucho ms cmodo pero que es tambin ideal en el sentido de que debera ser aquello a lo que la realidad se podra aproximar. Existen varios criterios que suelen servir para juzgar la calidad de una investigacin (Babbie 1989: 119-26). Se pueden resumir en dos: fiabilidad y validez1. La fiabilidad quiere decir que si una investigadora repite la investiga-

1 Prescindo de los criterios para evaluar la investigacin que han introducido las corrientes postmodernistas. Estas corrientes (como la crtica feminista, el deconstruccionismo, los estudios culturales) indican que la manera tradicional de hacer investigacin no es ms que una forma de analizar y explicar la sociedad. Existen otras maneras de dar cuenta de "lo social" que no son ni mejores ni peores, sino simplemente diferentes de la perspectiva tradicional positivista o postpositivista. Para estas corrientes, el mtodo cientfico no est solo ni es el nico legitimado para producir conocimiento sobre la realidad. En consecuencia, este relativismo conduce a introducir criterios diferentes de evaluacin de la investigacin. Tales criterios prescinden de no-

cin en el mismo sitio o con las mismas personas y siguiendo los mismos pasos que ha desarrollado otra investigadora, los resultados que se obtienen son los mismos. Es decir, los resultados de la primera investigacin son fiables. La validez quiere decir que la investigacin produzca resultados ciertos, no errneos ni sesgados. Existen dos tipos de validez: la interna y la externa. La validez interna hace referencia a la inexistencia de errores (o la minimiza- cin de los mismos) en el diseo y realizacin de la investigacin. Un tipo de error consiste en, por ejemplo, aceptar como buena una correlacin espuria entre dos variables. La validez externa se refiere a la capacidad de generalizacin que ofrecen los resultados de la investigacin. Si los resultados son vlidos, se puede generalizar con confianza. Se asume que si las conclusiones de una investigacin no se pueden extrapolar a una poblacin ms amplia, su inters es menor que si se puede generalizar. El objetivo ideal es obtener el mximo de fiabilidad y validez para aumentar la calidad de la investigacin. En las investigaciones que utilizan tcnicas cuantitativas se asume que fiabilidad, validez y generalizacin son criterios que van en el mismo paquete que las tcnicas. En los estudios de caso estos criterios no se aplican con facilidad y, en consecuencia, el resultado del juicio al que se les somete suele ser negativo. Los estudios de caso suelen ser considerados como una forma de hacer investigacin primaria, poco elaborada, superficial y poco rigurosa. Esta percepcin acostumbra a fundamentarse en algunos "defectos" que muchos cientficos sociales asimilan a los estudios de caso. Afortunadamente, existen algunos antdotos poderosos para protegerse frente a estos "defectos" y potenciar la calidad de la investigacin. La tabla 5.1 los sintetiza y en las pginas siguientes se desarrollan. Falta de representatividad. Un solo caso no representa a ninguna poblacin o universo. Un grupo de casos escogidos aleatoriamente, tampoco. Esta crtica es rigurosamente cierta y muchas personas que usan el mtodo del caso dan pie a que se siga formulando al pretender que sus casos representan vlidamente a un universo. Como el caso no es representativo, las conclusiones a las que se llega no pueden generalizarse y se cae en una versin fcil de la falacia ecolgica. En consecuencia, la calidad de la investigacin es baja. Una forma de producir conocimiento que no tiene garanta de calidad queda marginada. En conclusin, el estudio de casos deja de ser considerado una forma seria de producir conocimiento relevante para las ciencias sociales. Esta lnea argumental comete un error bsico que consiste en asimilar la lgica estadstica al estudio de casos. La representatividad puede ser estads________________________________________ ciones como fiabilidad, validez, coherencia, y suelen basarse en factores como la verosimilitud, credibilidad, falsificacin, reflexividad, responsabilidad personal, prctica poltica, polifona textual, emancipacin. El lector/a interesado en estos asuntos puede consultar los trabajos de Vidich y Lyman (1994) y Richardson (1994), adems de los muchos textos que se han publicado sobre las sociologas postmodernas.

TABLA 5.1 ESTRATEGIAS DE REFUERZO DE LA CALIDAD DE LA INVESTIGACIN DE CASOS

Diseo
Coherencia

Trabajo de campo Triangulacin Repeticin

Anlisis de datos

Narracin Revisin de expertos e informantes clave Discusin pblica

Operacionalizacin

Validez interna

Contextualizacin Bsqueda de alternativas

Contraargumentacin Revisin situaciones Bsqueda de alternativas Codificacin

Revisin de informantes clave Verosimilitud

Validez externa

Mapa de teoras Repeticin del estudio en otro tiempo/lugar

"Muestreo" motivado

Conexin de las conclusiones del caso con debates tericos del rea Contribuciones tericas del caso

Fiabilidad

Proceso de Triangulacin Repeticin investigacin Discusin pblica Formacin del investigador/a

Triangulacin Bsqueda Apndice de alternativas Cuaderno de campo Discusin pblica

Relevancia del caso

Mapa de teoras Excepcionalidad Tipicidad

En qu aspectos las conclusiones son relevantes? Construccin de la relevancia Construccin de la naturaleza

tica o analtica. La lgica estadstica no encaja bien con los estudios de caso. La analtica s. La representatividad analtica implica que el caso es apropiado para el tipo de discusin terica que se quiere dilucidar con su anlisis. Las conclusiones a las que se llegue no se pueden extrapolar a un universo, sino al conjunto de teoras a las que el caso se dirige. La tcnica que se suele usar para escoger el caso es lo que se denomina muestreo motivado. Falta de rigor en la recopilacin de materiales, su anlisis y en la elaboracin de las conclusiones. Esta crtica es bastante comn y conduce a minar las intenciones de objetividad que pueda tener la persona que investiga. Si no se es riguroso, el trabajo de campo de un estudio de casos se convierte en aleatorio, sujeto a los caprichos del investigador/a, sus jefes o patrones, a las influencias del entorno, a los vaivenes de la actualidad. El caso deja de estar sujeto a un diseo previo y la persona que investiga vaga intelectualmente por las piezas de informacin que le llegan y que acumula y analiza sin atenerse a esquemas razonados. Estos esquemas pueden estar errados, pero al menos el error introducido es sistemtico y puede ser detectado y corregido posteriormente. Si no existe una lgica, un plan razonado, el error es aleatorio y de difcil erradicacin. El antdoto contra este tipo de problemas es un buen diseo de la investigacin en combinacin con un anclaje terico slido. La formacin del investigador/a es importante para combatir la falta de rigor, pero an ms importante es que tenga el talante adecuado para comprender que su actuacin debe estar presidida por el rigor y no por la dejadez intelectual. Contra la falta de rigor en el anlisis se suele aplicar el antdoto de la triangulacin, la bsqueda de explicaciones alternativas, y la repeticin y revisin de las observaciones. Introduccin de sesgos personales en el estudio. Los sesgos pueden proceder de dos elementos: investigador/a e informantes. Una investigacin que tiene sesgos es percibida como no objetiva, parcial, inclinada hacia una postura determinada. En consecuencia, las conclusiones que se deriven de ella tendrn poca utilidad para la comunidad cientfica. Tambin es cierto que hay estudios de caso que tienen sesgos evidentes y que son tomados como puntos de referencia para realizar contraanlisis recurriendo a otros casos. Estos estudios hacen un gran favor a las ciencias sociales permitiendo avanzar en el conocimiento de la sociedad al fomentar el debate intelectual. Son recordados, sin embargo, como estudios invlidos o como ejemplos de investigacin de baja calidad. Existen formas de evitar la introduccin de sesgos personales en fases distintas de la investigacin. La tcnica de la triangulacin es una de ellas. Consiste en comprobar las informaciones recibidas (de informantes o de documentos) con varias fuentes. Un investigador experimentado se refiere a esta tcnica aunque no con la misma etiqueta: "Un investigador cuidadoso puede minimizar la posibilidad de error constrastando las declaraciones [la informacin verbal que le facilitan] con documentos escritos, evaluando la

consistencia de la informacin que le han facilitado, y evitando basarse en una fuente de informacin nica. Por otra parte, no limitar sus datos a aquello que se ha reconocido pblicamente [por parte de los informantes]" (Selznick 1966: 250). La triangulacin se puede aplicar tambin en la fase del anlisis de datos. Otra tcnica que ayuda a reducir los sesgos es la discusin pblica tanto de la operacionalizacin de los conceptos que se utilicen en la investigacin como de los resultados de la misma. El contraste de opiniones entre personas diferentes ayuda a detectar inclinaciones personales, errores de interpretacin, incoherencias, que afectan a la calidad de la investigacin. Provincianismo o etnocentrismo. En la medida en que los estudios de caso dependen de la interpretacin de la realidad que haga la persona que investiga, por mucho rigor que se quiera poner, y por muchos controles que se establezcan para eliminar sesgos, es inevitable que esta interpretacin tenga sentido desde el punto de vista de la persona que realiza la investigacin. Este "sentido" es deudor de su biografa, historia y situacin social. En consecuencia, pueden quedar ocultas otras voces, otras interpretaciones. No existe una tcnica definitiva para evitar este riesgo. Una mentalidad abierta y sensible a las diferencias, y la capacidad de adoptar el punto de vista de otras personas pueden ayudar a mitigar estos riesgos. Causalidad dbil. Uno de los objetivos de las ciencias sociales y en particular de la Sociologa es producir explicaciones de los fenmenos observados en las que se incluyan las causas que provocan tal fenmeno. La estadstica ha avanzado facilitando esta tarea a los estudios de tipo cuantitativo. Sin embargo, se contina teniendo la percepcin de que en la sociologa cualitativa las relaciones causales suelen estar asentadas dbilmente. Ello es as porque no se puede asegurar con certeza absoluta que una causa X provoca un efecto Y, ni que un efecto Y sea provocado por una causa X o Z. La variable X puede ocasionar mltiples efectos de la misma manera que Y puede ser la consecuencia de la actuacin de varias Xs que hayan quedado ocultas a los ojos y la pericia del investigador/a. Se trata de un problema de solucin difcil. Sirva de consuelo que los estudios de tipo cuantitativo se enfrentan al mismo problema. A travs de una regresin lineal, por ejemplo, slo se puede averiguar el porcentaje de varianza que es explicado por la presencia de una o varias variables en la ecuacin. Estas variables han tenido que ser medidas (observadas) con anterioridad. El investigador/a no puede tener la certeza de que las variables con las que trabaja sean las nicas que explican el fenmeno observado ni las ptimas. Pero est seguro de que si los resultados de la regresin son favorables, con un cierto margen de confianza, algunas de las variables que ha utilizado explican parte del fenmeno. La persona que acomete un estudio cualitativo se enfrenta al mismo problema aunque la solucin es diferente. Para comprobar si una relacin causal que ha percibido (o que sospecha que existe) durante su trabajo de cam

po es vlida, los investigadores/as suelen hacer un anlisis contextual que consiste en comprobar si existen otros factores que expliquen el fenmeno. Esta bsqueda de alternativas se suele combinar con otras dos estrategias. La primera es la repeticin de la observacin en circunstancias diferentes y/o en sitios distintos para ver si la relacin causal existe tambin all. La segunda es la triangulacin. Lo importante es hacerse siempre las preguntas siguientes: las observaciones realizadas llevan a esta conclusin? y existe algn otro factor que pueda causar el fenmeno observado? Extensin y vaguedad desmesuradas. Se trata de una crtica habitual en parte justificada por la prctica de algunos cientficos sociales. Algunos estudios de caso se convierten en monografas extensas, muchas veces descriptivas, sin un norte claro porque el caso no dialoga con unas teoras previas o con otras investigaciones. A no ser que sea un caso excepcional, la audiencia suele perder inters, lo que hace que el estudio sea aparcado y olvidado, contribuyendo as a la marginacin del investigador/a y del mtodo que emplea. Por lo general, este tipo de monografas difcilmente se publican y cuando se publican suele ser en editoriales pequeas con una distribucin escasa. El resultado es que el pblico (la comunidad de cientficos sociales) se queda sin conocer los resultados del estudio. En otras ocasiones los estudios de caso utilizan un lenguaje tan desmesuradamente sofisticado que slo unos pocos iniciados pueden comprenderlo. El conocimiento que emanan estos estudios no trasciende ms all de ese grupo. As, la Sociologa corre el riesgo de convertirse en un coto cerrado al que slo tienen acceso aquellas personas que son capaces de descifrar aquello que se quiere decir en las monografas que producen los socilogos/as. Quiz sea siempre bueno recordar que la democratizacin de la cultura tiene lugar cuando los acadmicos escriben y hablan de manera que se hagan entender por personas ajenas a su disciplina. Para ello se requiere que la persona que investiga haga su trabajo accesible. ste es el problema de los estudios de caso que tiene una solucin menos complicada, aunque requiere esfuerzo. Consiste en hacer una buena narracin del caso. Existen criterios diversos para juzgar la calidad de una narracin 2. Cada persona puede tener los suyos. Las revistas sociolgicas ms importantes suelen enfatizar algunos de los aspectos siguientes. Por un lado se valora una escritura econmica. Esto significa que la narracin debe contener lo necesario para entender el caso. Si una idea se puede expresar en tres frases, para qu utilizar diez? En segundo lugar, se valora la precisin. Es decir, que la narracin tenga un objetivo claro (generalmente hecho explcito al comienzo) y que el caso se cia a ese objetivo. Las disquisiciones sobre temas colaterales puede que no contribuyan a la precisin. En tercer lugar, se valora la claridad argumental. En ausencia de frmulas y procedimientos es

Ntese que se trata de la "narracin", no de la calidad de la investigacin o de las cualificadones de la persona que investiga.
2

tadsticos estandarizados la persona que escribe una narracin sobre un caso con informacin cualitativa precisa argumentar de una forma lgica y convincente aquello que quiere demostrar. El uso de ejemplos, la descripcin de situaciones, y la presentacin de pruebas contribuye a aumentar la claridad. En cuarto lugar, se suele valorar la coherencia interna de la narracin. Esta coherencia suele ser una funcin de la linealidad argumental (es decir, que los argumentos estn construidos lgicamente), de la exposicin cronolgica (que la narracin d cuenta de los sucesos por orden cronolgico), o de la descripcin estructurada y ordenada. Estos cuatro criterios no garantizan la publicacin en ninguna revista o editorial, pero pueden ayudar a pulir un texto si se tienen presentes a la hora de construir la narracin del caso.