EL MTODO DELPHI.

SU IMPLEMENTACIN EN UNA ESTRATEGIA DIDCTICA PARA LA ENSEANZA DE LAS DEMOSTRACIONES GEOMTRICAS

Mara de Lourdes Bravo Estvez, Universidad de Cienfuegos. Cuba. Jos Joaqun Arrieta Gallastegui, Universidad de Oviedo. Espaa.

Como parte del Programa de Doctorado Diseo y Desarrollo del Curriculum de las universidades de Cienfuegos (Cuba) y Oviedo (Espaa) realizamos la investigacin Una estrategia didctica para la enseanza de las demostraciones geomtricas, fundamentada en la necesidad de buscar nuevos procedimientos que contribuyeran a la elevacin del proceso de enseanza-aprendizaje de la disciplina Geometra en el nivel superior, ante la problemtica de cmo desarrollar la habilidad demostrar para resolver los problemas geomtricos de demostracin durante el tratamiento de la Estereometra en los estudiantes en formacin para profesores de Matemticas?. En la investigacin perseguimos como objetivo la elaboracin e implementacin de una estrategia didctica para la enseanza de las demostraciones geomtricas centrada en un sistema de acciones para el desarrollo de la habilidad demostrar, que permita a los estudiantes en formacin para profesores de Matemticas resolver con mayor xito los problemas geomtricos de la Estereometra. El estudio de campo de la investigacin lo desarrollamos en tres etapas: la del criterio de expertos, la fase experimental y la encuesta a los estudiantes, siguiendo una estrategia de triangulacin. Este trabajo se refiere a la primera de estas etapas, trabajo en que describimos la planificacin, desarrollo y discusin de los resultados obtenidos con la puesta en prctica del Mtodo Delphi. Ruiz e Ispizua (1989) describen la tcnica Delphi como un mtodo de investigacin sociolgica, que independientemente de que pertenece al tipo de entrevista de profundidad en grupo, se aparta de ellas agregando caractersticas particulares. Es una tcnica grupal de anlisis de opinin, parte de un supuesto fundamental y de que el criterio de un individuo particular es menos fiable que el de un grupo de personas en igualdad de condiciones, en general utiliza e investiga la opinin de expertos. Varios son los autores que han aportado una definicin de este mtodo, aunque para Konow y Prez (1990) intentar dar una definicin es como limitar el alcance y contenido del mtodo, por lo que es ms aconsejable dar una descripcin general de sus caractersticas, limitaciones, usos y aplicaciones. Por nuestros intereses nos parece adecuado, para su comprensin en la aplicacin del anlisis de datos, realizar una descripcin de sus elementos fundamentales. Parisca (1995) considera que el Mtodo Delphi se basa en el principio de la inteligencia colectiva y que trata de lograr un consenso de opiniones expresadas individualmente por un grupo de personas seleccionadas cuidadosamente como expertos calificados en torno al tema, por medio de la iteracin sucesiva de un cuestionario retroalimentado de los resultados promedio de la ronda anterior, aplicando clculos estadsticos.

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

En nuestro caso es utilizado el Mtodo Delphi para evaluar las caractersticas de la estrategia didctica y en particular del sistema de acciones para el desarrollo de la habilidad demostrar por expertos en distintas reas del conocimiento matemtico, es aplicado como una previsin del comportamiento de las caractersticas de la estrategia y del sistema a estudiar, que ya son conocidos por lo que se indaga sobre su posible proceder. Las principales caractersticas del mtodo estn dadas por el anonimato de los participantes (excepto el investigador), iteracin (manejar tantas rondas como sean necesarias), retroalimentacin (feedback) controlada, sin presiones para la conformidad, respuesta de grupo en forma estadstica (el grado de consenso se procesa por medio de tcnicas estadsticas) y justificacin de respuestas

(discrepancias/consenso). Suelen distinguirse tres etapas o fases fundamentales en la aplicacin del mtodo, segn la variada bibliografa consultada al respecto, que son: 1. Fase preliminar. Se delimita el contexto, los objetivos, el diseo, los elementos bsicos del

trabajo y la seleccin de los expertos. 2. Fase exploratoria. Elaboracin y aplicacin de los cuestionarios segn sucesivas vueltas, de tal

forma que con las respuestas ms comunes de la primera se confecciona la siguiente. 3. Fase final. Anlisis estadsticos y presentacin de la informacin.

Fases que representamos en el siguiente esquema entrelazado: ESQUEMA DE DESARROLLO DEL MTODO DELPHI

FASE PRELIMINAR

ELEMENTOS BSICOS

SELECCIN DE EXPERTOS

FASE EXPLORATORIA CUESTIONARIO

ANLISIS FEEDBACK

CUESTIONARIO
ANLISIS FEEDBACK

CUESTIONARIO FASE FINAL

Para la aplicacin del mtodo es necesario considerar metodolgicamente dos aspectos bsicos de su caracterizacin sobre los cuales se sustenta, que son:

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

La seleccin del grupo de expertos a encuestar: personas conocedoras, con reconocida competencia y con experiencia en el tema que garantice la confiabilidad de los resultados, creativos e interesados en participar.

Por la limitacin de tiempo y recursos determinamos que el nmero de expertos participante en la investigacin que desarrollamos no fuera muy numeroso, aunque se corresponde con el intervalo sugerido por los autores Ruiz e Ispizua (1989). Elaboracin de los cuestionarios: tener en cuenta la teora de la comunicacin, con mecanismos que reduzcan los sesgos en las respuestas, preguntas claras, precisas e independientes. Suelen ser preguntas cuantitativas para calcular medias y rangos, y cualitativas para la justificacin de sus opiniones. Konow y Prez (1990) distinguen distintos tipos de preguntas para la elaboracin de los cuestionarios. Nosotros utilizamos las preguntas abiertas para sealar justificaciones de una determinada estimacin y mencionar factores que pueden influir en el comportamiento de una determinada cuestin, de las preguntas cerradas escogimos las de votacin para votar por una o ms de las alternativas presentadas y, las preguntas de ranking para ordenar siguiendo un determinado criterio una serie de caractersticas en forma desordenada. En cierta forma tambin empleamos las preguntas de control haciendo dos veces la misma pregunta de forma distinta o indirecta. La mayora de los autores consultados que han estudiado el mtodo opina que se realicen ms de dos vueltas y que a partir de la cuarta ya se mantienen los mismos resultados, por lo que nosotros entendimos realizar tres cuestionarios. Cada respuesta fue ponderada de acuerdo al nivel de confianza particular de cada respuesta y se defini el consenso segn el tipo de pregunta, para nuestro caso estuvo determinado en las preguntas de votacin en las que podan elegir ms de una alternativa al menos el 60% del total de alternativas ponderadas y en el caso de que slo fuera una respuesta, el 40%. En la pregunta de ranking la suma del valor asignado (Sj) consideramos que estuviera por debajo de la media ( S ) del rango de valores (donde interviene el nmero de cuestiones generales y nmero de expertos). Para el indicador de concordancia de los criterios de expertos empleamos tcnicas de diseo experimental no paramtrica. Los autores consultados opinan como ventajas del mtodo, que permite obtener informacin de puntos de vista sobre temas muy amplios y especficos, que el horizonte de anlisis puede ser variado y que permite la participacin de un gran nmero de personas sin dificultades con anonimato y retroalimentacin. Plantean como desventajas del mtodo, que no es muy fiable porque incluso los ms eminentes especialistas pueden equivocarse, as como su tiempo de ejecucin y la masiva participacin. Para la aplicacin del mtodo a partir de lo expresado anteriormente tuvimos en cuenta los siguientes pasos lgicos: 1. Planificacin del criterio de expertos Concepcin inicial del problema. Seleccin de los expertos. Los componentes o elementos necesarios para llevar a cabo el trabajo.
Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

2. Elaboracin y aplicacin de las encuestas. 3. Procesamiento y anlisis de informacin. Estos pasos son descritos a continuacin. En la planificacin del criterio de expertos partimos de la concepcin inicial del problema y la seleccin de los expertos como pasos previos fundamentales para la aplicacin del criterio. En lo referido a la concepcin inicial definimos los elementos bsicos del trabajo que son los siguientes: El objetivo a alcanzar.

Basado en conocer la opinin de un grupo de expertos sobre las caractersticas de la estrategia didctica propuesta, como un elemento que influir en la validacin del experimento para dilucidar la efectividad de la estrategia en el desarrollo de la habilidad demostrar desde otro ngulo, el de los expertos. La situacin actual.

Dada por las insuficiencias en el desarrollo de la habilidad demostrar que presentan los estudiantes en formacin para profesores de Matemticas en el estudio de la Estereometra. Situacin que queda fundamentada por la aplicacin de instrumentos pedaggicos como: encuestas, entrevistas, observaciones de clases, as como por el anlisis del rendimiento acadmico de los estudiantes en la asignatura Estereometra y la propia experiencia profesional. Los componentes o elementos necesarios para llevar a cabo el trabajo.

Son los componentes que conforman la estrategia didctica para la enseanza de las demostraciones geomtricas propuesta en este trabajo, en especial del sistema de acciones para el desarrollo de la habilidad demostrar acompaado por un conjunto de consideraciones didcticas. Los expertos se seleccionaron segn las caractersticas siguientes: aos de experiencia como profesor o profesora (en especial los dedicados a la formacin del profesorado y en particular los referidos a las disciplinas de Geometra y/o Metodologa de la Enseanza de la Matemtica), idoneidad en el sector educacional, prestigio entre el colectivo de profesores y estudiantes, creatividad al impartir sus clases, disposicin para participar en la validacin, capacidad de anlisis y pensamiento lgico, espritu colectivista y autocrtico. Elegir los expertos atendiendo a las caractersticas mencionadas propicia obtener resultados con calidad, junto a otras cualidades propias de stos como pueden ser: la seriedad, la honestidad, la

sinceridad, la responsabilidad y otras en este sentido, que hacen que las opiniones brindadas sean confiables y vlidas para el objetivo propuesto. En nuestro caso seleccionamos diez expertos con el ttulo de Licenciado en Educacin Especialidad Matemtica; dos de ellos con el grado cientfico de Doctor en Ciencias Pedaggicas y Ciencias Matemticas, respectivamente. Desglosados por disciplinas de la siguiente forma: cuatro expertos pertenecientes a Geometra, tres a Metodologa de la Enseanza de la Matemtica y el resto a Anlisis Matemtico, lgebra y Metodologa de la Investigacin Pedaggica. Todos los expertos seleccionados tienen ms de veinte aos de experiencia en educacin y han transitado por los distintos niveles de enseanza, adems de ocupar cargos de direccin en la ens eanza

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

de las Matemticas. Es significativo destacar que el promedio de aos de experiencia en la Educacin Superior, particularmente los dedicados a la formacin de profesores de Matemticas, es de nueve aos. Sus evaluaciones profesionales estn en el rango entre bien y excelente, contando con suficiente prestigio entre el colectivo de estudiantes y trabajadores de la institucin. Una vez conformado el paso anterior se procede a la elaboracin y aplicacin de las encuestas segn cada ronda de preguntas, el procedimiento seguido se representa mediante el siguiente cuadro:
OBJETIVOS ENCUESTAS Bsqueda de elementos comunes y esenciales en las Primera ronda valoraciones de los expertos. preguntas Bsqueda de cuestiones generales ms comunes en Segunda ronda cada pregunta. preguntas Bsqueda de concordancia entre los expertos Tercera ronda preguntas PREGUNTAS de Abiertas de Cerradas de Cerradas

Para el procesamiento y anlisis de la informacin se tiene en cuenta el tipo de pregunta si es abierta o cerrada y se valora desde lo cualitativo o cuantitativo respectivamente. El anlisis cualitativo es fundamentalmente para la primera ronda de preguntas que es de tipo abierta, se leen detalladamente cada una de las respuestas y se resumen los elementos ms comunes y esenciales para elaborar la ronda siguiente. Lo cuantitativo en general es para la segunda y tercera ronda de preguntas, que son de tipo cerrada. En la segunda ronda las caractersticas cuantitativas estn asociadas a atributos, donde solamente ser posible asignar dos valores a las variables. Cuando se presenta la caracterstica deseada, se le asigna el valor 1 y si sta no se presenta se asigna el valor 0. Los expertos pueden seleccionar ms de una caracterstica en cada pregunta, por lo que luego de sumar para cada caracterstica los valores deseados, se tomar como resultado aquellas que representen el 60% o ms. La primera parte de la ltima pregunta es distinta del resto, slo pueden brindar una caracterstica de las tres posibilidades, segn una escala relacionada con el nivel de importancia otorgado a la estrategia didctica, por lo que escogemos aquella que represente como mnimo el 40%. En la ltima ronda, el procesamiento de la informacin es de carcter cuantitativo, tipo de informacin que puede procesarse a partir de tcnicas de diseo experimental no paramtrico (utilizamos bsicamente los datos estadsticos propuestos por Oate, Ramos y Daz, 1990). Se le asigna un rango a cada evaluacin dada por el experto a las preguntas de la tercera ronda, de la siguiente manera: Valor 1 ---------------------------- Evaluacin mayor. . n ---------------------------.

---------------------------- Evaluacin menor.

La suma de rangos que se obtiene a partir de los valores ya definidos para cada pregunta se denota por Sj y se representa por

Sj=

R
i =1

ij

(Rij el rango asociado a la evaluacin del experto i a la pregunta j).

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

Si el experto empleara la misma evaluacin p ara ms de una pregunta, el rango ser igual a la media aritmtica de las posiciones que deben ser adjudicadas. El valor de Sj es utilizado para comparar la importancia de diferentes respuestas, de modo que un menor valor significar una mayor importancia. Adems se emplear para buscar el coeficiente de concordancia. Se define tambin la media de la suma de rangos de cada pregunta j denotada por calcula segn la frmula:

S , la que se

S
S=
j =1

m(n + 1) 2

(1)

Con los valores de Sj y

S es posible calcular el coeficiente de concordancia Kendall (denotado por

k) cuando no existen ligaduras como:

12 ( S j S )
k=
j =1 2 3

12 S 2 n S j
=
j =1 2 3

m ( n n ) m Ti
i =1

m ( n n) m Ti
i =1

(2)

En la frmula anterior Ti representa el resultado de los rangos iguales (llamados tambin ligas), que ofreci el experto i para las preguntas, que se calcula como sigue:

(t
Ti =
i =1

t)
, donde l y t representan los siguientes aspectos:

12

l: nmero de grupos con rangos iguales para el experto i. t: nmero de observaciones dentro de cada uno de los grupos para el experto i. Los valores del coeficiente k deben oscilar entre 0 y 1 (0 < k < 1), si k alcanza el valor uno (k = 1) entonces existe una concordancia total de criterios, mientras mayor sea el valor de k, es decir, cuanto ms se acerque a uno, mayor ser la concordancia entre los expertos. Luego se aplica la Prueba de Significacin de Hiptesis, plantendose la hiptesis nula y la alternativa de la siguiente forma: H0: no existe comunidad de preferencia entre los expertos, k= 0 H1: existe comunidad de preferencia entre los expertos, k 0 Se determina Chi-cuadrado calculado como:
2 X cal = m (n 1) k

(3)

Por otra parte, se busca el Chi-cuadrado tabulado en la tabla del percentil de la distribucin Chicuadrado con un nivel de significacin yn - 1 grados de libertad, representado por
2 2 X tab = X ; n 1

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

Se compara

2 2 2 2 X cal y X tab , si se obtiene que X cal > X tab entonces se rechaza H0 y se infiere que

existe concordancia de criterios preferenciales entre los expertos al considerar vlida la hiptesis alternativa H1. Por ltimo, resumimos bsicamente en qu aspectos estn de acuerdo los expertos como resultado del procesamiento y anlisis de los criterios ofrecidos por ellos. Despus de aplicada la primera ronda de pregunta a los expertos se obtienen los siguientes resultados como aspectos ms comunes y esenciales: La estrategia didctica posee caractersticas novedosas que contribuyen al desarrollo de la habilidad demostrar en el estudio de la Geometra por: El diseo y ejecucin del Curso Facultativo sobre modelos geomtricos en que se potencia el desarrollo de la imaginacin espacial. Las actividades de carcter metodolgico encaminadas a la ejecucin del sistema de acciones para el desarrollo de la habilidad demostrar junto a sus consideraciones didcticas. La proyeccin de un trabajo integral de la habilidad demostrar desde lo acadmico, laboral e investigativo. Sobre el sistema de acciones para el desarrollo de la habilidad demostrar en Geometra puede valorarse que: El sistema por sus acciones contribuye al desarrollo de la imaginacin espacial. Las funciones de orientacin, ejecucin y control permiten un trabajo secuencial graduado en la aplicacin del sistema. Es un sistema generalizador, por lo que es aplicable a otros campos de la ciencia. Las acciones para resolver un problema geomtrico de demostracin se estructuran como un sistema. Los requisitos que cumplen las acciones del sistema hacen de este un sistema en s. y

La aplicacin de la estrategia didctica es importante para el desarrollo de la habilidad demostrar porque: Puede aplicarse en otros campos de las Matemticas o fuera de sta. La estrategia contribuye a fomentar el valor formativo de las demostraciones geomtricas. Potencia el desarrollo de forma gradual de cada una de las acciones que conforman la habilidad.

De la segunda ronda de preguntas se obtiene las siguientes conclusiones por preguntas: Pregunta 1:

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

(A) La estrategia didctica posee caractersticas novedosas que contribuyen al desarrollo de la habilidad demostrar en el estudio de la Estereometra por la proyeccin de un trabajo integral de la habilidad demostrar desde lo acadmico, laboral e investigativo. (80%) Pregunta 2: (B) Las acciones de la habilidad para resolver un problema geomtrico de demostracin se estructuran como un sistema. (100%). (C) El sistema por sus acciones contribuye al desarrollo de la imaginacin espacial. (60%). (D) Es un sistema generalizador, por lo que es aplicable a otros campos de la ciencia. (60%). Pregunta 3 (Primera parte): (E) La aplicacin de la estrategia didctica es muy importante para el desarrollo de la habilidad demostrar. (90%) Pregunta 3 (Segunda Parte): (F) La estrategia didctica es importante p orque contribuye a fomentar el valor formativo de las demostraciones geomtricas. (80%). (G) La estrategia didctica es importante porque potencia el desarrollo de forma gradual de cada una de las acciones que conforman la habilidad. (70%). Las conclusiones parciales obtenidas, como elementos ms comunes, en cada una de las

preguntas realizadas constituyen el cuerpo terico de cuestiones generales para conformar la ronda siguiente, es decir, el tercer cuestionario (para buscar concordancia entre los expertos) queda conformado por las siete cuestiones generales descritas. Los expertos deben asignarle un rango a las cuestiones generales recogidas en los incisos j, segn una escala ascendente del 1 al 7, comenzando por el 1 como la evaluacin mayor hasta llegar al 7 como la evaluacin menor, obtenindose la suma de rangos Sj para cada inciso. La comparacin de los valores obtenidos para Sj conduce a que los menores resultados corresponden a los incisos (B), (A) y (C) tomados en orden ascendente, con diferencias significativas de los dos primeros con respecto al tercero. Calculamos la media

S de la suma de rangos de cada inciso j por la frmula (1) y obtenemos para

m = 10 (nmeros de expertos) y n = 7 (nmero de cuestiones):

S=

10( 7 + 1) = 40 2 S , y los clculos parciales auxiliares que siguen, determinamos el

Con el valor obtenido de Sj y

coeficiente k de Kendall cuando no existen ligaduras por la frmula (2) de la siguiente forma:

S
j =1

2 j

- 7 S = (361+289+1369+2025+3249+2916+2601) 7(40) = 1610

Como todas las evaluaciones realizadas por los expertos i son diferentes, entonces el valor de Ti = 0.

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

El coeficiente k resulta: k=

12(1610) 19320 19320 = = = 0,575 2 3 10 ( 7 7) 100(336) 33600

Obtenemos que 0 < k < 1, aunque este no es muy alto, es aceptable, por lo que estn bsicamente de acuerdo los expertos. Para la Prueba de Significacin de Hiptesis se calcula 10. 6 (0,575) = 34,5. Buscamos en la tabla del percentil de la distribucin Chi-cuadrado con un nivel de significacin = 0,05 y 6 grados de libertad el
2 2 X tab obteniendo: X 0 , 05 ; 6 = 12, 592. 2 X cal por la frmula (3) como sigue: X2 = cal

Como 34,5 > 12,592 entonces se rechaza la hiptesis nula (H0) de que no existe comunidad de preferencia entre los expertos y se considera vlida la hiptesis alternativa (H1) de que existe comunidad de preferencia entre los expertos. Los resultados obtenidos en el criterio de expertos nos permiten arribar a las siguientes conclusiones: Con la aplicacin del Mtodo Delphi, resulta que existe concordancia de criterios

preferenciales entre los expertos sobre las caractersticas de la estrategia didctica que contribuyen al desarrollo de la habilidad demostrar. En la validacin del criterio de expertos se destacan como caractersticas preferencias de la estrategia para la enseanza de las demostraciones geomtricas las siguientes: Las acciones de la habilidad para resolver un problema geomtrico de demostracin se estructuran como un sistema. La estrategia didctica posee caractersticas novedosas que contribuyen al desarrollo de la habilidad demostrar en el estudio de la Geometra por la proyeccin de un trabajo integral de la habilidad demostrar desde lo acadmico, laboral e investigativo. El sistema por sus acciones contribuye al desarrollo de la imaginacin espacial.

BIBLIOGRAFA
BRAVO ESTVEZ , Mara L. (2000). Propuesta de un sistema de acciones didcticas para la enseanza de las demostraciones en Estereometra. Trabajo de investigacin, Universidad de Oviedo. (Espaa). BRAVO ESTVEZ , Mara L. (2002). Una propuesta didctica para el desarrollo de la habilidad demostrar en el estudio de la Estereometra. Tesis de maestra, Universidad de Cienfuegos. (Cuba). BRAVO ESTVEZ , Mara L. (2002). Una estrategia didctica para la enseanza de las demostraciones geomtricas. Tesis doctoral, Universidad de Oviedo. (Espaa).

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Bravo, M. de L. y Arrieta, J. J.: El mtodo Delphi. Su implementacin en una estrategia didctica

10

GUTIRREZ RODRGUEZ , ngel (1991). La investigacin en Didctica de las Matemticas. En Gutirrez Rodrguez, A. (Ed.). rea de conocimiento. Didctica de la Matemtica. Madrid: Sntesis, S.A, 149191. KILPATRIC, J. (1996). Valoracin de la investigacin en Didctica de las Matemticas: ms all del valor aparente. En Puig, L. y Caldern, J. Investigacin y Didctica de las Matemticas. Madrid: Ministerio de Educacin y Ciencia, 31-48. KONOW, I. y PREZ , G. (1990). Mtodo Delphi. En: http://geocities.com/Pentagon/Quarters/7578/pros0103.html OATE MARTNEZ , N., RAMOS MORALES , L. y DAZ ARMESTO, A. [1990]. Utilizacin del Mtodo Delphi en la pronosticacin: una experiencia inicial. La Habana: Instituto de Investigaciones Econmicas de la Junta Central de Planificacin. PARISCA , S. (1995). El mtodo Delphi. Gestin tecnolgica y competitividad. En Parisca, S. Estrategia y filosofa para alcanzar la calidad total y el xito en la gestin impresional. La Habana: Academia, 129-130. PREZ ANDRS, C. (2002). Deben estar las tcnicas de consenso incluidas entre las tcnicas de investigacin cualitativa?. En: http://www.msc.es/salud/epidemiologia/resp/200004/editorial1.htm RUIZ OLABUNAGA , J. e ISPIZUA , M. A. (1989). La tcnica Delphi. En Ruiz Olabunaga, J. e Ispizua, M. A. La descodificacin de la vida cotidiana. Mtodos de investigacin cualitativa. Bilbao, 171-179.

Revista Iberoamericana de Educacin (ISSN: 1681-5653)

Contactar Revista Iberoamericana de Educacin Principal OEI