UN MATRIMONIO CONVENIENTE: DISEO DE INVESTIGACIN CUALITATIVA Y ESTNDARES PARA LA EVALUACIN DE PROGRAMAS [*]

por Margaret D. LeCompte lecompte@spot.colorado.edu Escuela de Educacin Universidad de Colorado-Boulder RESUMEN Este artculo proporciona una valoracin, desde la perspectiva de la investigacin cualitativa, sobre los Standards de 1 ! para la evaluacin de programas. En este sentido tres son los aspectos de los Standards "ue m#s aportan a los investigadores cualitativos$ a% la preocupacin por los aspectos &umanos de la evaluacin' b% los temas de la valide( ) el signi*icado' ) c%una de*inicin m#s amplia de las t+cnicas legitimadas de recogida ) an#lisis de datos. ,an sido necesarias varias d+cadas para "ue la comunidad evaluativa recono(ca la utilidad del enlace entre los dise-os cualitativos ) cuantitativos. Los Program Evaluation Standards actuali(an los procedimientos de evaluacin, a la ve( "ue legitima una integracin sensata de la amplia variedad de procedimientos disponibles para los evaluadores de programas.

UN MATRIMONIO CONVENIENTE: DISEO DE INVESTIGACIN CUALITATIVA Y ESTNDARES PARA LA EVALUACIN DE PROGRAMAS [*] por Margaret D. LeC !"te lecompte@spot.colorado.edu Escuela de Educacin Universidad de Colorado-Boulder Mi tarea en este artculo es proporcionar una perspectiva como investigadora cualitativa sobre los Standardsde 1 ! para la evaluacin de programas. Estos nuevos Standards son de una importancia *undamental para los evaluadores )a "ue establecen las bases de acuerdo para una actuacin adecuada en el seno de la comunidad evaluativa. .dem#s, el documento es grati*icante para investigadores ) evaluadores cualitativos, como lo es para m misma, por"ue incorpora un reconocimiento o*icial de lo "ue, en mi opinin, &a ocurrido en la educacin ) las ciencias sociales a lo largo de estos /ltimos cincuenta a-os$ un ale0amiento desde la e1clusiva dependencia de las normas positivistas por las "ue medir la calidad de la investigacin. Desarrolladas, como lo *ueron, desde modelos de laboratorio imposibles de reali(ar en la complicada realidad del traba0o de campo, estos criterios *ueron una constante *uente de *ustracin ) de ba0a autoestima para los evaluadores de campo. 2econociendo la sub0etividad de los evaluadores ) participantes, los Standards muestran e*ectivamente la nocin de "ue puede darse algo as como una evaluacin 3ob0etiva3, mientras "ue al mismo tiempo proporciona pautas para completar ) adecuar la documentacin de todas las perspectivas dentro de un pro)ecto dado. Los nuevosStandards &an sido de un inmenso alivio para una de mis alumnas de postgrado "ue &aba utili(ado una versin anterior. Despu+s de &aberle dado una copia de los mismos ella di0o$ 3es maravilloso "ue +sto se &a)a &ec&o. 4inalmente nos trae a los noventa ) "ui(#s... es realmente una visin &olstica. 5os permite &ablar con todos los patrocinadores, utili(ar todo tipo de estrategias de recogida de datos )

considerar todas las posibilidades3. 6ui(#s mis sentimientos se pueden e1presar m#s claramente en el conte1to de mi bautismo de *uego como evaluadora de programas. Esto ocurri durante un traba0o de tres a-os 71 89-1 :1% con un e"uipo de evaluacin asignado al ;oodla<n E1perimental =c&ools >ro0ect 7;E=>%, uno de los primeros e1perimentos de descentrali(acin de centros 7Lecompte, 1 8 %. El ob0eto de evaluacin era un centro de ense-an(a primaria en la (ona sur de C&icago, cu)os alumnos tenan un r+cord poco envidiable de *racasos. Los participantes en el ;E=> *ueron el Comit+ de Educacin de C&icago, la Universidad de C&icago, cu)o campus rodeaba ;oodla<n donde el colegio e1perimental estaba locali(ado, ) la ?rgani(acin ;oodla<n, una institucin de la comunidad *undada por =aul .lins@) ) dedicada a en*rentarse con las intenciones de la Universidad de C&icago de apropiarse de buena parte del suelo de ;oodla<n. ;E=> comen( en 1 89 ) *ue *undado por el Atulo BBB de E=E. 7Elementar) and =econdar) Education .ct%. Como tal, el pro)ecto deba proporcionar a la agencia *inanciadora in*ormes con los resultados de la evaluacin. Los dise-os de evaluacin re"ueridos para tales pro)ectos eran cuasi- e1perimentales' las apreciaciones de la e*icacia de los pro)ectos se basaron en la comparacin pre ) post-test de los datos de los alumnos, normalmente midiendo aspectos tales como la atencin ) el rendimiento relacionado con el programa 7ver LeCompte, 1 :C%. =in embargo, el director de nuestro e"uipo de evaluacin, el Dr. 2obert 2ippe), tena una perspectiva algo m#s amplia de cmo evaluar los cambios sociales. El encargo &ec&o a ;E=> era *avorecer todo lo "ue *uera posible la participacin de la comunidad' se &aba partido de la &iptesis de "ue restaurando el control del colegio desde los estamentos m#s ba0os, contando con los pro*esores de ma)or nivel, ) los administradores ) con un comit+ m#s cercano a los intereses ) necesidades de la comunidad, se incrementara el rendimiento del alumnado. 2ippe) estaba, no obstante, preocupado por la escasa cone1in entre las metas de ;E=> ) los resultados de los alumnos tal ) como se medan en los tests estandari(ados. Con la ausencia de acciones pedaggicas, Dcmo se puede esperar un impacto en el aprendi(a0e del alumnoE. Es m#s, la propia naturale(a del centro, de la comunidad, del e"uipo directivo del mismo, ) de las relaciones con la universidad, &acan problem#tico cual"uier +1ito a la &ora de alcan(ar los ob0etivos, ) sin tener en cuenta lo directamente "ue podan estar conectados con el rendimiento del alumnado. Conociendo "ue ;E=> ) el pro)ecto ?cean-,ill-Bro<nsville de 5e< For@, con +l relacionado, eran inicios radicales en cuanto a re*orma escolar, 2ippe) estableci un dise-o de evaluacin cu)o ob0etivo primordial *ue documentar "u+ ocurra durante el desarrrollo del pro)ecto G1H. Datos como +stos pemitiran al e"uipo de evaluacin 0u(gar no slo los resultados *inales del pro)ecto, sino tambi+n el por "u+ ocurrieron tal ) como se sucedieron. El e"uipo de investigacin era tan poco ortodo1o como el dise-o de la investigacin' 2ippe) nombr como asistentes de la investigacin a tres estudiantes graduados, uno en antropologa, otro en sociologa de la educacin, curriculum e instruccin, ) otro en ciencias polticas "ue &aba crecido en el vecindario de ;E=>. Los estudiantes +ramos los 3documentalistas3' a&ora probablemente nos denominaramos etngra*os. 5uestra tarea era movernos dentro ) *uera del centro, asistir a reuniones relacionadas con +l ) con el personal de la comunidad, ) 3escribir una &istoria3 de todos los acontecimientos "ue observamos. La evaluacin de ;E=> pre*i0 un inter+s en la as llamada evaluacin educativa cualitativa' lo m#s cercano "ue estaba a la evaluacin educativa tradicional era el uso de protocolos observacionales o listas de control para evaluar a los pro*esores ) la )a mencionada recogida de datos sobre el rendimiento de los estudiantes obtenidos en el pre ) post-test. >ara la ma)ora, los m+todos de investigacin estaban sacados de las t+cnicas de traba0o de campo de la sociologa ) la antropologa 7ver, por e0emplo, McCall ) =immons, 1 8 %. Estos 3m+todos cualitativos3 eran, de &ec&o, las Inicas orientaciones disponibles al alcance de todos.

#$U% ES LA INVESTIGACION CUALITATIVA&

La investigacin cualitativa se de*ine de *orma poco precisa como una categora de dise-os de investigacin "ue e1traen descripciones a partir de observaciones "ue adoptan la *orma de entrevistas, narraciones, notas de campo, grabaciones, transcripciones de audio ) vdeo cassettes, registros escritos de todo tipo, *otogra*as o pelculas ) arte*actos. =lo desde mediados de los 9J se &an considerado respetables en los crculos educativos. La ma)or parte de los estudios cualitativos est#n preocupados por el ' (te)t de los acontecimientos, )

centran su indagacin en a"uellos conte1tos en los "ue los seres &umanos se implican e interesan, evalIan ) e1perimentan *+re'ta!e(te 7De<e), 1 !K' 1 !9%. Esto es lo "ue signi*ica calidad$ lo real, m#s "ue lo abstracto' lo global ) concreto, m#s "ue lo disgregado ) cuanti*icado. Es m#s, la investigacin cualitativa investiga conte1tos "ue son naturales, o tomados tal ) como se encuentran, m#s "ue reconstruidos o modi*icados por el investigador 7=&erman ) ;ebb, 1 99%. Esta es la clase de dise-o de investigacin "ue 2ippe) "uera reali(ar. 2obert 2ippe) centr su evaluacin en la "uintaesencia de la preguntas cualitativas$ D6u+ est# pasando en este escenarioE, ) D"u+ signi*ica para los participantesE 7Eric@son, 1 98%. Estas preguntas &an sido utili(adas en investigaciones denominadas de distintas *ormas$ +(ter"retat+,a- 7Eric@son, 1 98%, (at.ra/+-ta- 7Lincoln ) Luba, 1 9M%, 0e( !e( /1g+'a7;ilson, 1 :%, ) *e-'r+"t+,a- 7;olcott, 1 9J%. Estos descriptores en*ati(an la importancia de los constructos de los participantes, o los signi*icados "ue los su0etos de la investigacin asignan a sus acciones, el conte1to del estudio, la relacin entre el investigador ) los "ue est#n siendo estudiados, los m+todos para la recogida de datos, los tipos de evidencias aducidas en apo)o de las a*irmaciones reali(adas, ) los m+todos ) la importancia del an#lisis utili(ado. =on, tal ) como )a &e argumentado en otros momentos 7LeCompte, 1 J' LeCompte ) >reissle, 1 !%, m#s e1actos ) precisos "ue el t+rmino '.a/+tat+, , "ue simplemente sugiere "ue los investigadores cualitativos no cuanti*ican, miden, o cuentan algo, "ue realmente no es el caso.

MODELOS TRADICIONALES EN LA INVESTIGACIN EVALUATIVA 2obert 2ippe) tuvo "ue inventarse su propio dise-o de evaluacin por"ue la bibliogra*a e1istente en evaluacin educativa estaba dominada por acercamientos analticos sistem#ticos empleados &abitualmente en la economa ) la industria 72ivlin, 1 :1%. Estas perspectivas en*ati(aban la medicin de variables *#cilmente escalables ) cuanti*icables "ue generaban datos mu) *iables' se a0ustaban al dominio prevalente en la investigacin educativa e0ercido por el positivismo ) los modelos e1perimentales. Mientras "ue apuntaban temas de causalidad "ue eran de inter+s para los plani*icadores de los programas, los datos "ue proporcionaban eran insatis*actorios por"ue no podan e1plicar por "u+ los programas tenan el impacto -o la *alta del mismo- "ue indicaban los resultados. .dem#s, la valide( de muc&os de los datos era cuestionada por los pr#cticos, "uienes encontraban "ue las preguntas respondidas ) las interpretaciones dadas eran incongruentes con sus propias e1periencias ) creencias 7Luttentag, 1 ::' ,el*got, 1 :K' ,ouse, 1 : ' LeCompte, 1 :C%. Aambi+n el paradigma e1perimental era inadecuado para mostrar las comple0idades del cambio institucional e instruccional. . principios de los setenta estaba claro "ue ni la e1periencia de los alumnos ) pro*esores, ni los *actores relacionados con el centro "ue a*ectan a los resultados de los alumnos, podan consignarse adecuadamente con los procedimientos metodolgicos empiricistas 7Loet( ) LeCompte, 1 9K$C9%. >or el contrario, eran necesarios estudios en pro*undidad a pe"ue-a escala utili(ando observaciones participantes ) no participantes durante un largo perodo de tiempo. Unicamente este tipo de estudios podran a)udar a los investigadores a entender los procesos de cambio, los obst#culos "ue lo impiden ) los *actores "ue lo &acen e1itoso. Los investigadores educativos denominan a esto 3m+todo de estudio de caso3 7=ta@e, 1 :9%, mientras "ue investigadores m#s orientados a las ciencias sociales se centran en observaciones participantes ) le asignan el nombre de 3evaluacin etnogr#*ica3 a tales procedimientos. Las agencias *inanciadoras comien(an r#pidamente a e1igir "ue el 3componente etnogr#*ico3 se inclu)era en cual"uier dise-o de evaluacin. El uso del t+rmino etnogr#*ico, en lugar de un t+rmino m#s general ) apropiado como 3cualitativo3 o 3proceso3, puede &aberse potenciado por el &ec&o de "ue los componentes etnogr#*icos eran llevados a t+rmino por antroplogos ) socilogos, por"ue, tal ) como 2obert 2ippe) &aba aprendido, eran los Inicos individuos *ormados en observacin participante e investigaciones de campo de larga duracin. .dem#s, en tanto "ue las primeras evaluaciones de este tipo *ueron de &ec&o dise-adas por antroplogos, tendieron a rese-ar los estudios reali(ados en antropologa cultural. Entre las primeras llamadas evaluaciones etnogr#*icas nos encontramos con los estudios del 5ational Bnstitute o* Education sobre las escuelas de integracin racial, reali(ados ba0o la supervisin de un antroplogo, Murra) ;a1 71 : %, ) apo)ado por un e"uipo de 0venes antroplogos.

. pesar de su *uer(a, la investigacin etnogr#*ica no estuvo e1enta de di*icultades. Los estudios a menudo duraban muc&o, incluan demasiados datos ) generaban pocos resultados satis*actorios para los "ue deban tomar decisiones. Como remedio, muc&os metodlogos se decantaron por la combinacin de estrategias cuantitativas ) cualitativas 7Naeger, 1 99' Loet( ) LeCompte, 1 1' 2eic&ardt ) Coo@, 1 : %, las primeras para satis*acer a los "ue toman decisiones deseosos de una apreciacin del impacto ) las Iltimas para los plani*icadores ) pr#cticos "ue realmente "ueran comprender cu#les eran las consecuencias de su traba0o. . mediados de los oc&enta, algunos investigadores evaluativos comien(an a proclamar una nueva *orma de evaluacin de proceso, *ormativa, naturalista 7Lincoln ) Luba, 1 9M%, etnogr#*ica 74etterman ) >itman, 1 98% o cualitativa 7LeCompte ) Loet(, 1 9C%. =in embargo no &a sido *#cil "ue los *undamentos ) orientaciones de estos modelos se legitimaran ) se consideraran est#ndares en la evaluacin de programas, veinticinco a-os despu+s del pionero dise-o de evaluacin de 2obert 2ippe).

ORIENTACIONES PARA LA EVALUACION CUALITATIVA .lgunas caractersticas de la investigacin cualitativa son de especial importancia para los evaluadores cualitativos. Fa &e mencionado anteriormente lo relativo a la valide( ) utilidad de resultados para una audiencia variada ) la *ocali(acin en el proceso o los eventos *ormativos, as como la recogida de datos sobre el producto o los resultados sumativos. La postura positivista de los evaluadores tambi+n se &a alterado. Como participantes de la evaluacin, m#s "ue como su0etos de la misma, a"uellos "ue son ob0eto de estudio ad"uieren una nueva identidad "ue supone un papel m#s activo a la &ora de negociar los ob0etivos de la evaluacin. Del mismo modo tambi+n cambia el papel del investigador, "ue pasa de un dise-o detallado, con una postura ob0etiva vis-a-vis ) una e0ecucin del estudio, &acia una posicin m#s centrada en las sub0etividades del pro)ecto. Esto no signi*ica "ue el evaluador se vuelva un participante activo en los traba0os del pro)ecto ob0eto de evaluacin, signi*ica "ue +l o ella no pueden seguir manteni+ndose en una 3presencia ausente3. .l igual "ue los etngra*os, los evaluadores cualitativos son responsables de su comportamiento ) su postura +tica dentro de las di*ciles ) estrec&as interrelaciones "ue caracteri(an la vida de las instituciones "ue evalIan 7v+ase el cdigo +tico de la =ociedad para .ntropologa .plicada, por e0emplo' tambi+n De)&le, ,ess ) LeCompte, 1 C%. .l igual "ue los m+dicos deben considerar la admonicin de 3no &acer da-o3. Como investigadores en la accin o colaboradores, a menudo se encuentran con tensiones entre las constricciones de la apreciacin ) la medicin m#s slida ) los asuntos a tratar por los electores competentes en sus lugares de evaluacin. Especialmente si adoptan una postura de de*ensa de los etngra*os post-modernos 7.nderson, 1 9 ' Litlin ) =m)t&, 1 9 %, estas tensiones resultar#n aspectos destacados ) substantivos de su traba0o "ue complican tanto los aspectos +ticos como el desarrollo de las tareas de evaluacin.

#COMO DE2ERIA DISEARSE UNA EVALUACIN CUALITATIVA& Una concepcin e"uvoca mu) comIn acerca de la investigacin cualitativa en general, ) de la etnogr#*ica en particular, es "ue carece de una teora ) de una estructura. El etngra*o simplemente 3merodea3 7LeCompte ) >reissle, 1 !$ 11!%, registrando todo lo "ue pasa. La recogida de datos no est# guiada a priori por unos interrogantes de investigacin, un marco conceptual, o teora, ) el an#lisis se ci-e a contar &istorias o a la e1plicitacin de buenas a*irmaciones &ec&as por los in*ormantes para al *inal o*recer una presentacin "ue no sea cuantitativa. De &ec&o, la e0ecucin actual de una etnogra*a e*ica( puede "ue no vare muc&o de este estereotipo. Los pla(os de tiempo "ue las agencias re"uieren de los evaluadores, las preguntas espec*icas de inter+s para los electores, ) las mIltiples audiencias "ue necesitan acceder a los resultados de la evaluacin, especialmente cuando se utili(an los m+todos cualitativos ) etnogr#*icos, todos intervienen para "ue el evaluador piense cuidadosamente de antemano "u+ tipo de preguntas constituir#n el centro de la evaluacin, "u+ *uentes de datos responder#n las cuestiones, dnde ) de "ui+n pueden obtenerse esos datos, cmo se manipular#n, dividir#n ) se presentar#n. =in esta plani*icacin por adelantado se perder# muc&o tiempo e1plorando metas "ue no llevan a ninguna parte ) "ue son tangenciales a la evaluacin, o recogiendo datos "ue no responden a las preguntas planteadas por los clientes. Como cual"uier

investigador, el evaluador debe primero decidir cu#les ser#n las preguntas *undamentales "ue deben tener una respuesta. Los evaluadores, no obstante, deben negociar las preguntas de la investigacin con los patrocinadores. Despu+s pueden tomarse algunas libertades a la &ora de plani*icar un con0unto de t+cnicas de recogida de datos "ue sea lo m#s variado, rico ) e*iciente posible. Una venta0a del uso de m+todos cualitativos es "ue casi todo puede de*inirse como un dato potencialmente Itil. Un problema es "ue resulta atractivo recoger cual"uier con0unto de datos, pero los evaluadores deben -como en*ati(a elocuentemente los Standards- conservar con cautela sus recursos de tiempo, personal ) dinero. Esto re"uiere una nota de advertencia$ no siempre es *#cil recoger los datos m#s importantes de una *orma r#pida ) e*ica(' no obstante, los datos "ue son recogidos *#cilmente pueden no ser lo su*icientemente ricos como para contestar a preguntas signi*icativas.

De-arr //a(* .( P/a( Una estrategia Itil para asegurar unos dise-os de evaluacin "ue puedan ser operativos ) e*icaces es construir una matri( de recogida de datos. Esta matri( resulta tambi+n de utilidad para los clientes' les permite entender el alcance *inal del pro)ecto e incluso sugerir alternativas o *uentes adicionales de datos. La *igura 1 muestra una matri( "ue se utili( para la evaluacin de un programa de relacin entre la *amilia ) el centro, tras la 0ornada escolar, en alumnos indios americanos de ense-an(a primaria. Figura 1 Una matriz de planificacin para los procedimientos de recogida de datos Qu necesito conocer? Qu datos De qu fuentes Quin es el responsable de respondern a esta deben obtenerse contactar con las fuentes y cuestin? los datos? recoger los datos?

P Documento de propuesta del pro)ecto P ?bservaciones del O=e est# aula reali(ando el P Entrevistas con el programa tal ) personal del como se concibiE pro)ecto P .n#lisis de los materiales curriculares P Entrevistas con el O6u+ cambios, si personal del &a) alguno, se &an pro)ecto ) la reali(ado sobre el Coordinacin de los pro)ecto originalE recursos P Comparacin de la propuesta comIn OEst# aportando la con el actual (ona educativa el presupuesto del nivel de apo)o "ue pro)ecto ) las prometieronE contribuciones desinteresadas O6u+ logros ) obst#culos &a encontrado el personal en la reali(acin del programaE

P Coordinacin de recursos P ?rientadores *amiliares P Director del pro)ecto

P La coordinacin de recursos establece el guin de la entrevista para s misma' el personal' el director del pro)ecto aporta el material curricular ) establece los intervalos de tiempos de observacin

P 2ecogidos a lo largo de las entrevistas del personal P Director del pro)ecto P Coordinador de (ona P Director de programas especiales de la (ona P ?rientadores *amiliares P Director del pro)ecto P Con la coordinacin de los recursos contacta B. 4o<ler, secretaria de la o*icina de la (ona, para establecer el guin de la entrevista con el personal de la o*icina del distrito P El evaluador tambi+n entrevista al director del pro)ecto P El director del pro)ecto establece las entrevistas con los orientadores *amiliares

P Entrevistas con el personal del pro)ecto

OCon "u+ #nimo ) espritu de colaboracin P Entrevistas con el a*ronta el personal personal del la puesta en pro)ecto marc&a del programaE OEs bien recibido el programa por el personal de los centrosE OEl personal del pro)ecto est# guardando los registros especi*icados de los alumnos tal ) como se especi*icE O=e est#n reali(ando con regularidad las visitas a las *amiliasE P Entrevistas con los directores de los centros P Entrevistas con el orientador escolar asignado al centro

P ?rientadores *amiliares P Director del P 2ecogida a lo largo de las pro)ecto entrevistas con el personal P Coordinacin de los recursos P La Coordinacin de los recursos establece las &oras de las entrevistas para los directores de los centros ) los orientadores escolares

P 2egistros anecdticos

P ?rientadores *amiliares

P El evaluador controla los *ic&eros guardados por los orientadores *amiliares en los centros

P .notaciones sobre las visitas a las P ?rientadores *amilias *amiliares P ?bservacin participante P 2egistros anecdticos 7desarrollados slo para los c&icos ob0eto del programa% P >untuaciones en el Aest LatesMcLrinitie P Metropolitan 2eadiness Aest 7slo preescolar% P ,ome Language =urve) 7todos los alumnos% P .ri(ona =tate .ssessment Aests, administrados por el estado 7slo en !Q% P .ri(ona =tate .ssessment Aests, administrados localmente 7cursos 1Q a !Q% P Bo<a Aest o* Basic =@ills 7cursos !Q ) KQ% P Diagnstico

P El evaluador acompa-a al orientador *amiliar en una muestra de visitas a las *amilias P El director del pro)ecto recoge ) anali(a continuamente estos *ormularios para todos los alumnos ) se los pasa al evaluador P El director del pro)ecto obtendr# de los 0e*es de estudio las puntuaciones de los tests administrados en la (ona, ) los tests administrados a nivel de cada centro de los secretarios de los mismos, seleccionar# los alumnos concretos ) calcular# las puntuaciones individuales ) de grupo. Aambi+n obtendr# puntuaciones de grupo de otros alumnos para utili(arlas como comparacin. Estas puntuaciones se suministrar#n al evaluador.

O6u+ in*luencia P Datos sobre el est# teniendo el desarrollo de los programa sobre los alumnos alumnosE P Datos sobre el rendimiento de los alumnos

individual de lectura 7cursos CQ!Q% P Datos sobre las Entrevistas con actitudes de los los pro*esores de pro*esores de aula ) aula' directores los directores P El evaluador establecer# ) reali(ar# las entrevistas seleccionadas' el director del pro)ecto distribuir# recordatorios para cumplimentar los cuestionarios no respondidos

La matri( est# organi(ada alrededor de preguntas de evaluacin' 0unto a cada pregunta &a) columnas e1plicando "u+ datos ser#n necesarios para contestarlas, de "u+ *uentes se pueden obtener los datos, "ui+n puede establecer los procedimientos para la recogida de datos, ) "ui+n es el responsable de recogerlos. La matri( puede asimismo incluir tanto las tentativas en cuanto a la temporali(acin de la recogida de datos, como las estrategias de an#lisis, inclu)endo la codi*icacin recursiva ) contnua, el desarrollo de diagramas ) la construccin de dominios, tipologas ) ta1onomas. Desarrollar un plan como +ste ) corroborarlo con los clientes, puede a)udar al evaluador a determinar "u+ datos van a ser 3agradables de recoger3 a partir de las *uentes originalmente identi*icadas ) cu#les pueden no ser accesibles. >or tanto la matri( puede servir tanto como de contrato con los patrocinadores como de plan de e0ecucin para los propios evaluadores.

U(a ".(t.a/+3a'+1( e( t r( a /a ' (trata'+1( *e/ e4.+" 2obert 2ippe) tambi+n se asegur de "ue el personal de la evaluacin "ue &aba contratado se sintiese cmodo con los procedimientos cualitativos escogidos, por lo "ue seleccion individuos cu)a *ormacin disciplinaria *uese compatible con los modelos de interaccin cara a cara con *recuencia demandados por la observacin participante. .un"ue no *uera una norma no contar como evaluadores potencialmente cualitativos a a"uellas personas cu)a *ormacin estuviera limitada a dise-os e1perimentales, los evaluadores deban eliminar a los individuos "ue pensaran "ue la observacin de campo o los datos de una entrevista son in*eriores a las puntuaciones de los tests, o "ue se sienten incmodos &ablando e interaccionando socialmente con e1tra-os, incluso pregunt#ndoles cual"uier cuestin pro*esional o personal algo m#s embara(osa "ue el dise-o de evaluacin pudiera tener en cuenta.

A(a/+3a(* / - *at - 5 ' (ta(* /a 6+-t r+a Una ve( "ue se &an recogido los datos, deben ser organi(ados ) colocados de *orma "ue los patrocinadores puedan entenderlos ) usarlos. El an#lisis comien(a con el proceso de 3poner en orden3 72omagnano, 1 1% por lo "ue los datos recogidos son, en primer lugar, categori(ados, limpiados, agrupados ) despu+s comprobados con la matri( de datos. Esto permite saber al evaluador si le *alta algo o aIn le resta algo por recoger, ) le permite entender a"uellas alteraciones en el es"uema original de e0ecucin "ue las e1igencias del traba0o de campo &a)an provocado. . continuacin el evaluador intenta darle sentido a los datos. Este proceso a menudo se ve *acilitado mediante el intento de 3contar la &istoria3 de lo "ue se &a encontrado. Los resultados de la evaluacin no son &istorias, tan slo son los resultados de un traba0o duro "ue tiene en su base una investigacin. =in embargo, la advertencia de ,arr) ;olcott a sentarse simplemente, aIn cuando est#s escribiendo mal ) no tienes #nimos para &acerlo, ) escribir la &istoria sin ninguna re*erencia a las notas 7;olcott, 1 J%, es una buena manera de crear el marco de traba0o inicial sobre el cual unir el an#lisis, independientemente del propsito al "ue sirvan los resultados, evaluacin o investigacin b#sica. La &istoria -o marco de traba0o inicial- se une entonces una ve( m#s con la matri( de datos )a revisada para determinar dnde enca0a de*initivamente cada con0unto de datos. El marco de traba0o re"uiere alteraciones ), algunas veces, revisiones ma)ores, as como procesos de an#lisis m#s *inos, ) &asta el punto "ue los

datos contradigan las primeras impresiones del investigador. Las cuestiones inicialmente indicadas en la matri( pueden ser irrelevantes, mientras "ue otras no contempladas llegan a resultar de especial importancia. 5o obstante, el es"uema de traba0o inicial es una *orma de comen(ar con lo "ue algunas veces se presenta como una pila de in*ormacin aparentemente sin ninguna relacin. Es tambi+n una buena manera de identi*icar los tipos de productos "ue el evaluador deber# producir al terminar la evaluacin. Estos productos, por supuesto, ser#n predicados sobre la base de las necesidades de las distintas audiencias o patrocinadores "ue "uerr#n acceder a los resultados.

#$U% DICEN LOS ESTNDARES DE LA EVALUACIN DE PROGRAMAS A LOS INVESTIGADORES CUALITATIVOS& Entiendo "ue &a) tres aspectos de losStandards "ue son los "ue m#s importancia tienen para los investigadores cualitativos$ la preocupacin por los aspectos &umanos de la evaluacin' las cuestiones de valide( ) signi*icado' ) una de*inicin m#s amplia de las t+cnicas de recogida ) an#lisis de datos "ue se consideran legtimas.

La "arte 6.!a(a *e /a e,a/.a'+1( *e "r gra!aUno de los aspectos m#s bene*iciosos de Program Evaluation Standards de 1 ! es "ue los temas ) dise-os meramente t+cnicos no son considerados nunca m#s como supremos. >or el contrario, los temas &umanos de la interaccin, los intereses encubiertos, los +ticos -a"uellos aspectos implicados en la complicada e1istencia del mundo real en la lnea de *uego- son de especial signi*icado en la evaluacin de la evaluacin. Utili(o la met#*ora 3lnea de *uego3 a conciencia despu+s de &aber sido advertida por un directivo de .E2. 7.merican Educational 2esearc& .ssociation% "ue tales met#*oras eran inapropiadas ) demasiado numerosas en la investigacin educativa. Mi interpretacin es "ue tal crtica puede Inicamente &aber sido &ec&a por alguien cu)a investigacin est+ primordialmente locali(ada en una biblioteca. Mi propia e1periencia &a sido completamente di*erente' *uimos literalmente tiroteados mientras traba0amos en el vecindario de ;E=>, ) me &e sentido a punto de ser tiroteada, siempre meta*ricamente, en otras muc&as tareas de evaluacin. Los mandatos positivistas de la ma)ora de la evaluacin e investigacin educativas ignoraban en el pasado este con*licto ) de0aban al investigador ser al menos sobrecogido, si no manipulado ) mane0ado, por miembros amena(adores ) apasionados de grupos con intereses ocultos. Los Program Evaluation Standards son un buen antdoto *rente a tal ingenuidad. Mientras "ui(# se sobreen*atice la necesidad de "ue el evaluador a)ude a "ue todas las partes lleguen a un consenso -algo "ue no considero como una parte de las tareas del evaluadorlosStandards &acen m#s claro aIn lo pro*undamente "ue puede meterse en problemas el evaluador por no &acer caso al poder, los asuntos a tratar ) las opiniones e1presadas sobre los mismos 7LeCompte 1 K, en prensa%. ?tro aspecto bene*icioso de losStandards es su reconocimiento e1plcito de la naturale(a &umana de la empresa evaluativa. En el est#ndar U1, 3Bdenti*icacin de los patrocinadores3 7p. K % ) el est#ndar > 3>rioridad3 7p. 1CJ%, los evaluadores deben identi*icar ) establecer relaciones contractuales con todos los patrocinadores interesados. En otra parte del documento, los patrocinadores son caracteri(ados como un grupo, m#s "ue como el grupo m#s directamente implicado en el pro)ecto$ participantes del programa, evaluadores, ) la entidad o agencia "ue *inancia la evaluacin. Los patrocinadores inclu)en 3la gama completa de los participantes-ob0etivo3, 7>1, p. 1CC% todos a"u+llos implicados ) todos a"u+llos a*ectados por los resultados de la evaluacin 7>, p. 1CJ% ) todas las personas a*ectadas por el programa o la evaluacin, ) todos a"u+llos "ue tienen legalmente el derec&o a tener in*ormacin derivada de la investigacin 7>8, p. 1M:%. Esto signi*ica "ue los evaluadores no pueden de*inir a los patrocinadores simplemente en t+rminos de a"uellas personas cu)a inclusin es conveniente o e*ectiva en t+rminos de costo-e*icacia. LosStandards urgen incluso a los evaluadores a &acer 3es*uer(os especiales ... para promover la inclusin apropiada de grupos o individuos menos poderosos como patrocinadores, tales como grupos minoritarios raciales, culturales o lingsticos3 7p. K %. Aales consideraciones re*le0an el conse0o dado tradicionalmente a los etngra*os$ no considerar irrelevante o no importante a ningIn in*ormante ) no interesante a ninguna participacin.

Los temas de la revelacin tambi+n est#n implicados a la &ora de identi*icar a los patrocinadores. LosStandards dirigen todas las revelaciones de los resultados a los parocinadores identi*icados' como si en el caso de los etngra*os, los evaluadores no pueden asumir por m#s tiempo "ue los participantes no leer#n sus in*ormes o estar#n *uriosos si el evaluador intenta esconder in*ormacin de ciertos grupos o individuos, d#ndoles una in*ormacin parcial o *iltrada. LosStandards buscan institucionali(ar las pr#cticas relacionadas con la identi*icacin ) proteccin de los patrocinadores 7p. 1C9-1!1%, &aci+ndoles *irmar un contrato de acuerdo con las normas vigentes sobre la proteccin e intervencin con las personas ob0eto de investigacin.

Te!a- *e Va/+*a'+1( e( /a E,a/.a'+1( *e Pr gra!aUn aspecto bene*icioso de losStandards es la descentrali(acin "ue &ace del evaluador con respecto al establecimiento de preguntas signi*icativas de evaluacin. Los evaluadores no pueden )a permanecer cmodamente en la certe(a de "ue &an preguntado todo lo "ue es importante investigar en los programas "ue evalIan. Esto signi*ica "ue los evaluadores deben estar seguros de "ue tienen en cuenta las interpretaciones ) los signi*icados de los participantes. El =tandard UK, 3Bdenti*icacin de valores3 dice "ue cada pro)ecto inclu)e a una variedad de participantes "ue &ar#n -) deben ser capaces de &acerlos- 0uicios de valor e interpretaciones sobre el in*orme del evaluador. Los Program Evaluation Standards se centran en la cuestin de los mIltiples signi*icados presentes en los resultados, o cmo las personas interpretan los datos obtenidos en el in*orme *inal. Los evaluadores deben buscar estas interpretaciones mIltiples, incluso cuando di*ieran de las del evaluador o de la agencia contratante, por"ue muc&as de ellas pueden ser v#lidas. Como en el caso de una buena pr#ctica etnogr#*ica, esto signi*ica tratar con multitud de signi*icados o interpretaciones discrepantes o desaprobatorias, o casos o *uentes de evidencia alternativos 7LeCompte ) >reissle, 1 !%, e implica una investigacin sistem#tica ) diligente de cuanto m#s, me0or. =lo &aciendo +sto, se intensi*ica la *uer(a de la valide( del in*orme *inal. LosStandards tambi+n en*ati(an la necesidad de "ue los evaluadores lleven a cabo descripciones e1&austivas caractersticas de los programas, de las operaciones, de los procesos de e0ecucin ) de los problemas de los participantes "ue participan en ese momento en el programa 7p. 19C% ) la conveniencia de solicitar a)uda de los participantes con ob0eto de asegurarse de "ue esas descripciones son adecuadas 7p. 19!%. Los etnogr#*os, no obstante, es posible "ue todava &agan una crtica al tratamiento de la valide( interna "ue se &ace en los Standards. .parte de lo relativo al resultado *inal, los Standards tienden a tratar el tema de la valide( interna como si careciese de di*icultad. =e presta una atencin mu) considerable al modo en "ue deben desarrollarse los procedimientos de recogida de datos 7p. CJ8% ) a si los "ue aportan la in*ormacin dicen la verdad, resultan *iables o recortan la in*ormacin. Esta cuestin relacionada con la 3valide( del procedimiento3 asume "ue si las reglas para llevar a cabo el estudio se aplican correctamente, tambi+n lo ser#n los datos recogidos. =in embargo, los investigadores cualitativos creen "ue asegurar la valide( interna ) la de constructo es un asunto bastante comple0o. La valide( de constructo en medicin dice si el m+todo usado o la pregunta &ec&a correctamente tienen "ue ver con la in*ormacin buscada. En el nivel m#s simplista, los investigadores cualitativos interpretan "ue esto signi*ica 3Dtiene la construccin de las preguntas -) las propias preguntas- sentido para el in*ormanteE3. Una crtica mu) comIn es "ue los instrumentos utili(ados por los investigadores poseen un lengua0e inaccesible para los in*ormantes. ,acer un buen traba0o de investigacin ) an#lisis cualitativo, no obstante, signi*ica "ue el investigador debe buscar activamente los signi*icados ) las interpretaciones "ue los participantes dan a sus acciones en un pro)ecto ) usarlas para organi(ar me0or su es"uema de an#lisis 7Eric@son, 1 98%. Mas all# de esto, los temas de la valide( implican si las distintas asunciones, es"uemas de traba0o, preguntas ) temas e1plorados por el evaluador o investigador tienen o no sentido ) guardan relacin con la importancia "ue le conceden los patrocinadores o los participantes en la investigacin. Esta *ue una de las preocupaciones de 2ippe)$ &a &abido muc&as evaluaciones en el pasado "ue &an preguntado por cosas "ue los pro*esores ) miembros de la comunidad crean irrelevantes. Demasiados programas &an *allado por partir de criterios "ue no eran importantes para los pr#cticos. La evaluacin de ;E=>, con el enorme peso "ue tuvo la observacin participante ) la e1traccin de redes comple0as de signi*icados, *ue un intento de resolver estos problemas. El +n*asis en la mera valide( del proceso contenido en los Program

Evaluation Standards, incluso cuando se usan las comprobaciones con los participantes, son insu*icientes para remediarlos. Un comentario post-moderno podra a-adir "ue una bIs"ueda de los signi*icados mIltiples supone una e1cesiva preocupacin sobre el valor de la verdad o la valide( de la respuesta de los in*ormadores, sobre todo si se tiene en cuenta "ue el sentido "ue cada in*ormante da a las cosas constitu)e para +l o ella la verdadera realidad. 5inguna &istoria o con0unto de signi*icados es m#s o menos v#lido "ue otro. Esto no recon*orta a los evaluadores -o a cual"uier investigador- "ue se encuentra con el problema de cmo contar una buena &istoria o presentar un con0unto de resultados ) recomendaciones. Los evaluadores pueden, no obstante, tratar las mIltiples realidades presentes como aspectos competentes, ) luego evaluar los costes relativos ) los bene*icios para la agencia *inanciadora adoptando la perspectiva de uno por encima de otro.

U(a *e0+(+'+1( a!"/+a *e /a re' g+*a 5 a(7/+-+- *e *at Los nuevos Program Evaluation Standards suponen un avance *undamental para legitimar el con0unto ecl+ctico de &erramientas metodolgicas utili(ado por los investigadores cualitativos. Los *uncionarios de la ?*icina de Educacin "ue observaron la evaluacin de ;E=> se "uedaron perple0os por el peso dado a la observacin participante ) al an#lisis de documentos. =in embargo, los nuevosStandards aceptan estas t+cnicas as como una amplia gama de otros procedimientos considerados en alguna ocasin como sospec&osos, sesgados o distorsionados, inclu)endo 3entrevistas estructuradas ) no estructuradas, observaciones participantes ) no participantes, audiciones, documentos ) registros ) medidas no obstrusivas de diversos tipos3 7Standards, p.CKJ%. Los Standards otorgan e1plcitamente a los datos cualitativos casi la misma con*ian(a "ue a los datos cuantitativos, ) alertan a los evaluadores contra el 3error comIn3 de descartar datos tales como a"u+llos "ue son recogidos a trav+s de entrevistas personales, testimonios ) an#lisis de documentos, "ue suelen ser considerados como datos distorsionados 7p. CJC%. Estas recomendaciones son verdaderamente tran"uili(adoras para a"uellos investigadores cualitativos deseosos de reali(ar una evaluacin, )a "ue son ellos mismos "uienes crean el verdadero sesgo ) en*o"ue de su traba0o. Aodas estas t+cnicas son las "ue 2obert 2ippe) utili( para desarrollar lo "ue a&ora los nuevosStandards denominan un 3an#lisis de conte1to3 7.C, p. 19 % ) describe como *undamental a la &ora de reali(ar 3evaluaciones reales "ue responden a las condiciones en las "ue el programa se encuentra... ) a la 7interpretacin de% la evaluacin3 7Bbid.%. El conte1to es, por supuesto, el *ondo de la cuestin de las interacciones &umanas' como cual"uier interaccin &umana, los programas educativos est#n 3embebidos en ) a*ectados por elRlos conte1toRs de una *orma di*cil de desenmara-ar3 7op.cit.%. Los modelos positivistas de evaluacin de programas de*inen los *actores conte1tuales como ruidos necesarios de controlar' sin embargo, la necesidad de la descripcin ) el an#lisis e1acto de esos *actores ) e*ectos conte1tuales es, creo, tambi+n e1actamente lo "ue gener la insatis*accin de los sesenta o setenta con el entonces contempor#neo criterio de una buena evaluacin. De *orma similar, los Standards previenen a los evaluadores para "ue no caigan en el an#lisis cualitativo *alto de rigor ) meramente intuitivo. =e reconoce en ellos "ue el an#lisis de datos cualitativos es tan sistem#tico ) traba0oso como los m+todos "ue utili(an los investigadores cuantitativos. Aambi+n reconoce la naturale(a especial de los datos cualitativos ) del an#lisis, sugiriendo "ue los evaluadores cometen un 3error comIn3 cuando limitan el an#lisis de los datos cualitativos a la cuanti*icacin 7Standards, p. CK!% o atienden primordialmente a lo 3Inico3 o inusual en lugar de a lo comIn o a las 3caractersticas generales3 de la vida &umana 7Bbid%. Los antroplogos ) socilogos &an considerado desde &ace tiempo "ue las 3caractersticas generales3 de la vida son a"uellos patrones normativos *recuentemente no reconocidos "ue gobiernan la e1istencia diaria' son +stos, m#s "ue los eventos inusuales, Inicos o no normativos, los "ue constitu)en los procesos de los programas "ue causan los e*ectos "ue el evaluador desea estudiar.

ENLACE RA8ONA2LE 2obert 2ippe) se atrevi a *inales de los sesenta a lo "ue los evaluadores de*endieron en los setenta ) oc&enta$ crear un matrimonio entre los dise-os de investigacin cualitativos ) cuantitativos ) ponerlos al servicio de una evaluacin de programas m#s Itil ) e*ica(. Mientras,

&an sido necesarias varias d+cadas para "ue la comunidad evaluativa recono(ca la utilidad de tal enlace, los Progam Evaluation Standards de 1 ! traen procedimientos de evaluacin 7en t+rminos de mi alumno graduado% 3para los noventa ) m#s all#3, ) legitima una integracin lgica, ra(onable ) sensata de la amplia variedad de procedimientos de investigacin disponibles para los evaluadores de programas.

NOTAS GPH 5?A. DE L. DB2ECCB?5 Durante la reunin anual de la .sociacin .mericana de Bnvestigacin Educativa 7.E2.% reali(ada en la ciudad de 5ueva ?rleans, se celebr un simposium en el "ue participaron diversos e1pertos en evaluacin de programas. El ob0etivo del mismo era presentar di*erentes perspectivas sobre la nueva revisin "ue se &a llevado a cabo de los est#ndares para la evaluacin de programas. En tal conte1to, este traba0o presenta la aportacin reali(ada por Margaret LeCompte al citado simposium. Los interesados pueden consultar la nueva versin de los est#ndares en$ Noint Commitee on =tandards *or Educational Evaluation 71 K%. The program evaluation standards: how to assess evaluations of educational programs . Beverl) ,ills, C.$ =age. G1H El pro)ecto tambi+n recogi la tpica lnea base ) los datos del postest de los alumnos, pero no *ueron +stos el ob0eto inicial de la evaluacin. De &ec&o, a los a)udantes de la investigacin se les insisti para "ue aseguraran a los pro*esores ) los administradores del centro "ue los resultados del pro)ecto 5? seran inmediatos. En e*ecto, les di0imos "ue las me0oras de los alumnos no podran ser evidentes &asta el tercer a-o del pro)ecto, o aIn despu+s de &aber *inali(ado. Esto Iltimo *ue lo "ue en realidad sucedi.

2I2LIOGRA9IA .nderson, L.L. 71 9 %. Critical et&nograp&) in education$ Bts origins, current status and ne< directions. Review of Educational Research, 5 7!%, CK -C:J. De)&le, D., ,ess, L..., ) LeCompte, M.D. 71 C%. .pproac&ing et&ical issues *or "ualitative researc&ers in education. En M.D. LeCompte, ;. Millro) ) N. >reissle. 7Eds.% The hand!oo" of #ualitative research in education. =an Diego, C.$ .cademic >ress, pp. 91M-981. De<e), N. 71 !K%. $rt as e%perience. 5e< For@$ Minton, Balc&. De<e), N. 71 !9%. &ogic: The theor' of in#uir'. 5e< For@$ ,olt. Eric@son, 4. 71 98%. 6ualitative met&ods in researc& on teac&ing. En M.C. ;ittroc@, 7Ed.%, The hand!oo" of research in teaching 7!S edicin%. 5e< For@$ MacMillan, pp. 11 -181. Litlin, .. ) =m)t& N. 71 9 %. Teacher evaluation: Educative alternatives. >&iladelp&ia, >.$ A&e 4almer >ress. Loet(, N. >. ) LeCompte, M.D. 71 1%. 6ualitative researc& in social studies education. En N.>. =&aver 7Ed.%, (and!oo" of research on social studies teaching and learning, a pro)ect of the *ational +ouncil for the Social Studies. 5e< For@$ MacMillan >ublis&ing Co., pp. M8-8:. Loet( N.>. ) LeCompte, M.D. 71 9K%. Ethnograph' and #ualitative design in educational research. 5e< For@$ .cademic >ress. Luttentag, M. 71 :1%. Evaluation and societ). Personalit' and Social Ps'cholog' ,ulletin, -, !1-KJ. ,el*got, N. 71 :K%. >ro*essional re*orm organi(ations and t&e s)mbolic representation o* t&e poor. $merican Sociological Review, !9, K:M-K 1. ,ouse, E. 71 : %. A&e ob0ectivit) *airness and 0ustice o* *ederal evaluation polic) as re*lected in t&e 4ollo<-A&roug& evaluation. Educational Evaluation and Polic' $nal'sis, .71%, C9-KC. Naeger, 2.M. 7Ed.% 71 99%. +omplementar' methods for research in education. ;as&ington, D.C.$ .merican Educational 2esearc& .ssociation. Noint Committee on =tandards *or Educational Evaluation 71 !%. The program evaluation standards: (ow to assess evaluations of educational programs . United =tates. LeCompte, M.D. 71 :C%. A&e uneas) alliance o* communit) action and researc&. School Review, : , 1CM-1!C. LeCompte, M.D. 71 J%. 2evie< o* Designing "ualitative researc&, por C. Mars&all ) L. 2ossman, /ualitative Studies in Education, - 7!%, C M-C 9.

LeCompte, M.D. 7en prensa%. =ome notes on po<er, agenda and voice$ . researc&erTs personal evolution to<ard critical collaborative researc&. En >. MeLaren ) N.M. Liarelli, 7Eds.%. +ritical theor' and educational research. .lban), 5F$ =tate Universit) o* 5e< For@ >ress. LeCompte, M.D. ) Loet(, N. >. 71 9C%. Et&nograp&ic data collection and anal)sis in evaluatlon researc&. Educational Evaluation and Polic' $nal'sis, 4all, !9:-KJJ. LeCompte, M.D. ) >reissle, N. 71 !%. Ethnograph' and #ualitative design in educational research. =an Diego$ .cademic >ress. Lincoln, F.=. ) Luba, E. L. 71 9M%. *aturalistic in#uir'. Beverl) ,ills, C.$ =age. 2eic&ardt, C.=. ) Coo@,A.D.71 : %. 7Eds.% /ualitative and #uantitative methods in evaluation research. Beverl) ,ills, C.$ =age. 2ivlin, ..M. 71 :1%. S'stematic thin"ing for social action. ;as&ington, D.C.$ A&e Broo@ings Bnstitute. 2omagnano, L. 71 1%. 0anaging the dilemmas of change: $ case stud' of two ninth grade general mathematics teachers. Aesis doctoral in+dita, =c&ool o* Education, Universit) o* Colorado-Boulder. =&erman, 2.2. ) ;ebb, 2.B. 71 99%. 6ualitative researc& in education$ . *ocus. En =&erman, 2.2. ) ;ebb, 2.B. 7Eds.% /ualitative Research in Education: 1ocus and 0ethods. 5e< For@$ A&e 4almer >ress, pp. C-CC. =ta@e, 2.E. 71 :9%. A&e case stud) met&od in social in"uir). Educational Researcher 2, M-9. ;a1, M.L. 71 : %. 3esegregated schools: $n intimate portrait !ased on five ethnographic studies. Bn*orme in+dito para el 5ational Bnstitute o* Education. =ocial =cience Bnstitute, ;as&ington Universit), =t. Louis. ;ilson, =. 71 ::%.A&e use o* et&nograp&ic tec&ni"ues in educational researc&. Review of Educational Research, K:, CKM-C8M. ;olcott, ,.M. 71 9J%. ,o< to loo@ li@e an ant&ropologist <it&out reall) being one. Practicing $nthropolog', -71%, 8-1:, M8-M . ;olcott, ,. M. 71 J%. ;riting up "ualitative researc&. 5e<bur) >ar@, C.$ =age. 4Te%to traducido del ingl5s por $na +orrales P5re67