EL MTODO DELPHY PARA EL PROCESAMIENTO DE LOS RESULTADOS DE ENCUESTAS A EXPERTOS O USUARIOS EN ESTUDIOS DE MERCADO Y EN LA INVESTIGACIN EDUCACIONAL.

Compilacin y elaboracin: Dr. Flix Rodrguez Expsito. Dra. Rita Concepcin Garca. En mtodo Delphy considerado como un de los mtodos subjetivos de pronsticos ms confiables, constituye un procedimiento para confeccionar un cuadro de la evolucin estadstica de las opiniones de expertos o usuarios en un tema tratado. El mismo permite rebasar el marco de las condiciones actuales ms sealadas de un fenmeno y alcanzar una imagen integral y ms amplia de su posible evolucin, reflejando las valoraciones individuales de los expertos , las cuales podrn estar fundamentadas, tanto en un anlisis estrictamente lgico como en su experiencia intuitiva. Para el caso de los usuarios sus criterios estn fundamentados en el valor de uso que encuentran en una propuesta determinada. El presente material se trabajan los aspectos conceptuales ms importantes del mtodo Delphy, con un tratamiento que pueda servir como instrumento de trabajo y ejemplos para directivos y docentes en su labor profesional. El mtodo Delhy fue creado en la decada de los 60 del pasado siglo por Olaf Helmer y Dalkey Gordon con el objetivo de elaborar pronsticos a largo plazo, referentes a posibles acontecimientos en varias ramas de la ciencia, la tcnica y la poltica, y en el caso especfico que nos ocupa los estudios de mercado y las investigaciones educacionales. El mtodo Delphy es la utilizacin sistemtica del juicio intuitivo de un grupo de expertos para obtener un consenso de opiniones informadas o tambin la utilizacin sistemtica del criterio prctico de un grupo de usuarios para conseguir un consenso de opiniones sobre la posible aplicabilidad de una propuesta determinada. La esencia del mtodo esta dada en la organizacin de una comunicacin annima entre los expertos o usuarios consultados individualmente, mediante encuestas, con vista a obtener un consenso general o al menos los motivos de las diferencias. La confrontacin de las opiniones se lleva a cabo mediante una serie de encuestas sucesivas, entre cada una de las cuales la informacin es sometida a un procesamiento estadstico.

Este proceso iterativo donde en cada encuesta se ofrecen los resultados de la encuesta precedente, permite a los expertos o usuarios modificar sus respuestas primarias en funcin de los juicios aportados por otros expertos o usuarios. El nmero de rondas de encuestas se determina por la evolucin de las respuestas, donde a la vez que aparecen uno o varios mximos sin variacin significativa en el transcurso de la aplicacin de las encuestas, se interrumpe el proceso. Mediante este mtodo se elimina el peligro concreto que representan los individuos lderes, como silenciadores de la creatividad individual del resto de los expertos o usuarios consultados. Comnmente tales individuos se muestran apasionados y elocuentes, sin embargo estas cualidades no siempre se combinan con la modestia, el profundo conocimiento del tema que se analiza, un verdadero potencial creativo y una adecuada actitud hacia la discusin. No obstante, aunque estas caractersticas estuvieran presentes, los lderes son perjudiciales al operar la individualidad de los dems sujetos consultados, lo cual entra en contradiccin con la idea misma del mtodo de valoracin de los criterios de todos los expertos o usuarios. Las tres caractersticas principales de este mtodo son las siguientes: Anonimato: Se expresa a travs del no conocimiento de las respuestas dadas por los otros expertos o usuarios, debido a que los miembros del grupo que esta dando su criterio contesta las preguntas sin confrontarse e incluso sin conocerse entre si. Retroalimentacin controlada: Despus de cada encuesta se procesan las respuestas a las preguntas, de forma tal que antes de la siguiente encuesta de la ronda, los participantes puedan evaluar los resultados de la ronda anterior, asi como las razones dadas para cada respuesta. Se tiene la opinin de que los encuestados ests influenciados en cierto grado despus de analizar las respuestas del grupo de personas que esta emitiendo su criterio, aumentando el acuerdo al transcurrir varias rondas del proceso. Respuesta estadstica de grupo: Entre cada encuesta de una ronda, la informacin obtenida se procesa por medio de tcnicas estadsticas, las que dotan al investigador de un instrumento objetivo y concreto en el cual pueden apoyarse para tomar una decisin final. El procesamiento estadstico de la informacin quizs sea la caracterstica ms importante del mtodo que lo diferencia del resto de los mtodos de pronsticos de base subjetiva, debido a

que la decisin final que toma el investigador es un criterio fuertemente avalado por la experiencia y conocimiento del colectivo consultado, as como por indicadores objetivos. El mtodo Delphy es utilizado generalmente en: En la previsin donde los elementos del sistema a estudiar son conocidos y se orienta la encuesta a indagar sobre el comportamiento previsible de los mismos. En la perspectiva los elementos del sistema a estudiar no son conocidos y se orienta en la encuesta a la determinacin de la estructura posible del sistema. La aplicacin del mtodo puede considerarse simultneamente en dos direcciones, segn los lmites del problemas analizado ya sea de influencia nacional solamente o nacional e internacional, en dependencia de los mismos se realizar la seleccin de los sujetos que participaran en las consulta. En general, la aplicacin del mtodo tiene una secuencia metodolgica ordenada en dos fases: Fase preliminar: Se establecen los elemento bsicos que se van a someter a consulta, la determinacin de una lista del personal que ser utilizado en la aplicacin del mtodo, en este momento debemos sealar que si la consulta se va a realizar a expertos hay que determinar de esa lista quienes son expertos (este aspecto ser desarrollado posteriormente) y la consulta se va a realizar a usuarios se todo la cantidad de sujetos seleccionados en dicha lista. Posteriormente de aplica la primera ronda de la encuesta. Fase exploratoria: Donde se retroalimentan a los sujetos consultados y se realiza la segunda ronda de encuesta, repitiendo este proceso hasta que el investigador considere que no es necesario la realizacin de otras rondas segn los criterios expresados anteriormente en este trabajo. Este proceso podemos expresarlo en el siguiente esquema

SECUENCIA METODOLGICA DEL MTODO DELPHY

LISTA DEL PERSONAL QUE SER UTILIZADO EN LA CONSULTA DETERMINACIN DE LOS EXPERTOS
EXPLORATORIA

FASE PRELIMINAR

PRIMERA ENCUESTA

RETROALIMENTACIN CUANTITATIVA Y CUALITATIVA A LOS CONSULTADOS

FASE

SEGUNDO ENCUESTA

RETROALIMENTACIN CUANTITATIVA Y CUALITATIVA A LOS CONSULTADOS

TERCERA ENCUESTA

ELABORACIN DE CONCLUSIONES

Cabe aclarar, que se ai el investigador considera necesario podr realizar una cuarta o quinta encuesta hasta que llegue a un consenso en el asunto sometido a valoracin, aunque la mayora de los autores consideran que a parir de la tercera encuesta los sujetos consultados comenzarn a mantener sus criterios. En la aplicacin prctica del mtodo es necesario tener en cuenta algunas consideraciones metodolgicas en cuanto a: La elaboracin de las encuestas. La seleccin del los expertos o seleccin de los usuarios. En la elaboracin de las encuestas se debe tener en cuenta los principios de la teora de la comunicacin, si se esta realizando un estudio de previsin o de perspectiva y adems crear mecanismos que reduzcan los sesgos en las respuestas. La encuesta debe tener preguntas abiertas que le permita al sujeto consultado la capacidad de valoracin del tema, debido a que constituye un elemento importante para derivar posteriores conclusiones sobre lo que se esta consultado, en cuanto a la eliminacin, inclusin y cambio de denominacin en algunos de los elementos que de discuten. Adems de aportar elementos para realizar modificaciones a la propuesta para la ronda siguiente. La seleccin de los expertos primeramente debemos sealar que entendemos por experto, tanto al individuo en si como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestin y hacer recomendaciones respecto a sus momentos con un mximo de competencia. Se entiende por experto, tanto al individuo en si como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestin y hacer recomendaciones respecto a sus momentos con un mximo de competencia. Para la descripcin de los expertos, desde el punto de vista de la valoracin de la calidad de la solucin del problema, se pueden mencionar las siguientes: Competencia Creatividad Disposicin a participar en la encuesta Conformismo

 Capacidad de anlisis y de pensamiento Espritu colectivista Espritu autocrtico A continuacin trataremos cada una de ellas por separado: Disposicin a participar en la encuesta; es una caracterstica importante, por cuanto posibilita conocer si se incluye o no en la realizacin de la misma. Su negativa o una actitud pasiva hacia la solucin de un problema concreto, una gran ocupacin u otros factores influyen decisivamente enla realizacin de sus funciones: Conformismo; del experto es su sometimiento a los criterios u opiniones de otros fundamentalmente de los lderes. Por lo general estas caracterstica aparece por la no constancia en su propia opinin. Creatividad; del experto es la capacidad de resolver problemas originales. En la actualidad exceptuando opiniones basadas en los estudios de la actividad realizada por el experto, no existe un procedimiento que permita medir de forma cuantitativa la creatividad. Capacidad de anlisis y de pensamiento; es una importante caracterstica del experto, particularmente en la solucin de problemas complejos. Un experto que tenga un conocimiento profundo pero una ceguera profesional no puede resolver de forma eficiente y con calidad un problema que exija un criterio que vaya ms all de los marcos tradicionales. Espritu colectivista; es fundamental al realizar discusiones abiertas. La tica del comportamiento de un experto en una discusin lolectiva influye, en muchos casos en la creacin de un clima psicolgico positivo y en el xito de la solucin del problema. Espritu autocrtico; se observa en la valoracin de su grado de competencia, as como de la toma de decisin en el anlisis del problema. Competencia; del experto consiste en su nivel de calificacin en una determinada esfera del conocimiento. La misma puede determinarse sobre la base del anlisis de la actividad fructfera del mismo, del nivel y profundidad de sus conocimientos de los logros de la ciencia y la tcnica en el mundo, as coo la comprensin del problema y de las perspectiva de su desarrollo.

Existe la tendencia a valorar la competencia de un experto de acuerdo con su grado cientfico y el puesto que este ocupa, sin embargo, no siembre estas condiciones determinan la competencia. En la prctica de la valoracin de criterio de experto ha tenido aceptacin la determinacin de la competencia, utilizando la autovaloracin de las misma por el propio experto . Este procedimiento esta condicionado por el hecho de que la medicin de una propiedad tan compleja como es la competencia solo puede hacerse realmente, a travs, de las propias personas. A continuacin se expone una metodologa para la determinacin de la competencia del experto. En esta metodologa la competencia de los expertos se determina por el coeficiente Kc, el cual se calcula de acuerdo con la opinin del experto sobre su nivel de conocimiento acerca del problema que se est resolviendo y con las fuentes que le permiten argumentar sus criterios. El coeficiente de competencia se calcula por la siguiente frmula: Kc = (kc + ka) Donde Kc: Es el coeficiente de competencia. kc: Es el coeficiente de conocimiento o informacin que tienen el experto acerca del problema, calculado sobre la valoracin del propio experto en una escala de o a 10 y multiplicado por 0,1, de esta forma, la evaluacin 0 indica que el experto no tiene absolutamente ningn conocimiento de la problemtica correspondiente, mientras que la la evaluacin de 1 significa que el experto tienen pleno conocimiento del problema planteado, existiendo entre estas dos evaluaciones extremas nueve posibilidades intermedias. En la prctica esto se investiga por medio de una pregunta con la siguiente Marque con una cruz (X), en la tabla siguiente, el valor que se corresponde con el grado de conocimientos que usted posee sobre el tema resolucin de problemas escolares de qumica. Considere que la escala que le presentamos es ascendente, es decir, el conocimiento sobre el tema referido va creciendo desde 0 hasta 10. 0 1 2 3 4 5 6 7 8 9 10

ka: Es el coeficiente de argumentacin de los criterios del experto, obtenidos como resultado de la suma de los puntos obtenidos a travs de una tabla patrn. Tabla patrn: Grado de influencia de cada una Fuentes de argumentacin. de las fuentes. A (alto) M (medio) B (bajo) Anlisis terico realizados por usted. 0.3 0.2 0.1 Su experiencia obtenida. 0.5 0.4 0.2 Trabajo de autores nacionales. 0.05 0.05 0.05 Trabajo de autores extranjeros. 0.05 0.05 0.05 Su propio conocimiento del estado del problema 0.05 0.05 0.05 en el extranjero. Su intuicin. 0.05 0.05 0.05 Al experto se le presentara esta tabla sin cifras orientndose el marcado de cuales de estas fuente el considera que han influido en su conocimiento. Posteriormente utilizando los valores de la tabla patrn para cada una de las casillas marcadas por el experto se calcula el coeficiente de argumentacin. Un ejemplo prctico para indagar este aspecto es la siguiente interrogante. Realice una auto valoracin del grado de influencia que cada una de las fuentes que le presentamos a continuacin, ha tenido en su conocimiento y criterio sobre la resolucin de problemas escolares de qumica. Para ello marque con una cruz (X), segn corresponda, en A (alto), M (medio) o B (bajo). Grado de influencia de cada una de las fuentes. A (alto) M (medio) B (bajo)

Fuentes de argumentacin. Anlisis terico realizados por usted. Su experiencia obtenida. Trabajo de autores nacionales. Trabajo de autores extranjeros. Su propio conocimiento del estado del problema en el extranjero. Su intuicin.

Ya determinado ambos coeficiente se calcula el coeficiente de competencia del experto el cual se clasifica de la siguiente forma: Si 0,8 Kc 1, el coeficiente de competencia del experto es alto Si 0,5 Kc < 0,8, el coeficiente de competencia del experto es medio Si Kc < 0,5, el coeficiente de competencia del experto es bajo. Se sugiere trabajar con expertos que tengan un coeficiente de competencia alto, pero en ocasiones en la prctica no todas las personas a las que se esta procesando como experto obtienen un coeficiente de competencia alto, por lo que en estos casos se pueden seleccionar algunos expertos con coeficiente de competencia medio, pero cuidado que el coeficiente de competencia promedio de los expertos siempre sea alto, se sugiere no trabajar nunca con expertos de de bajo coeficiente de competencia. A continuacin ponemos una encuesta de ejemplo que puede ser utilizada para determinar el coeficiente de competencia de un experto. ENCUESTA PARA DETERMINAR EL COEFICIENTE DE COMPETENCIA DEL EXPERTO. Nombre y apellidos: ______________________________________________. Usted ha sido seleccionado como posible experto para ser consultado respecto al grado de relevancia de un modelo de competencia para la solucin de problemas escolares de qumica que presumiblemente debe servir para ayudar al resolutor en el proceso de solucin y a los profesores de metodologa de la enseanza de la qumica a la hora de impartir los temas relacionados con la resolucin de problemas. Necesitamos antes de realizarle la consulta correspondiente como parte del mtodo emprico de investigacin consulta a expertos, determinar su coeficiente de competencia en este tema, a los efectos de reforzar la validez del resultado de la consulta que realizaremos. Por esta razn le regamos que responda las siguientes preguntas de la forma ms objetiva que le sea posible. 1.- Marque con una cruz (X), en la tabla siguiente, el valor que se corresponde con el grado de conocimientos que usted posee sobre el tema resolucin de problemas escolares de qumica. Considere que la escala que le presentamos es ascendente, es decir, el conocimiento sobre el tema referido va creciendo desde 0 hasta 10.

10

2.- Realice una auto valoracin del grado de influencia que cada una de las fuentes que le presentamos a continuacin, ha tenido en su conocimiento y criterio sobre la resolucin de problemas escolares de qumica. Para ello marque con una cruz (X), segn corresponda, en A (alto), M (medio) o B (bajo). Grado de influencia de cada una de las fuentes. A (alto) M (medio) B (bajo)

Fuentes de argumentacin. Anlisis terico realizados por usted. Su experiencia obtenida. Trabajo de autores nacionales. Trabajo de autores extranjeros. Su propio conocimiento del estado del problema en el extranjero. Su intuicin. Muchas gracias.

La seleccin de los usuarios primeramente sealaremos que entendemos por usuario es este trabajo aquella personal que utilizara en su prctica cotidiana una determinada propuesta que anteriormente no ha tendi una constatacin emprica y es sometida en ese momento a su criterio para que ella opine sobre su posible efectividad prctica. Para la seleccin de los usuarios se utilizan como criterio los siguientes, tener experiencia en la prctica sobre los que se consulta y ser un posible usuario de la propuesta que se somete a su consideracin. Sobre la cantidad de sujetos que deben ser utilizados para someter a criterio una determinada propuesta depende de la confiabilidad del peritaje, los gastos de su realizacin y la estructura de las especialidades en el grupo. La confiabilidad del peritaje depende de la cantidad y calidad de los expertos o usuarios. Para la solucin de algunos problemas, sobre todo para aquellos que exigen un alto nivel y volumen de conocimiento el aumento de la cantidad de sujetos consultados conduce a un incremento de la confiabilidad del peritaje. Otro aspecto que influye en la confiabilidad de los criterios emitidos por los expertos o usuarios es su composicin, la estructura por especialidades se termina por la amplitud del problema que se resuelve. Al plantearse la necesidad

del peritaje es necesario analizar minuciosamente las esferas de conocimiento y las actividades relacionadas con el problema y vinculado a ello se determinas las especialidades de los expertos o usuarios a considerar en la encuesta. El xito de los resultados del peritaje depende sustancialmente de la relacin que los expertos o usuarios tengan con respecto a el. Por ellos la participacin de los mismos deber verse como un trabajo adicional que debe ser planificado y exige la existencia de estmulos morales o materiales o ambos inclusive cuando las condiciones lo permiten. El procedimiento para la seleccin de los expertos se enmarca en cuatro etapas fundamentales: Determinacin de la cantidad de experto.

Confeccin del listado de posibles expertos y determinacin de su consentimiento para su participacin en el peritaje. Estudio de las caractersticas de los posibles expertos y encuesta para determinar su coeficiente de competencia. Determinacin final de los expertos que sern utilizados para valorar la propuesta.

Para la seleccin de los usuarios se proponen los siguientes momento: Determinacin de la cantidad de usuarios.

Confeccin del listado de posibles usuarios y determinacin de su consentimiento para su participacin en el peritaje. Determinacin final de los usuarios que sern utilizados para valorar la propuesta.

Estamos en condiciones de analizar el tratamiento estadstico para el procesamiento de una propuesta determinada. Supongamos que un investigador esta elaborando una propuesta para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X. Despus de estudiar muchos libros, artculos cientficos, tesis de maestra y doctorado sobre didctica de dicha asignatura y realizar consultas informales a entendidos en la materia en cuestin, elaboro una primera aproximacin terica de la propuesta, se propuso aplicar el mtodo criterio de expertos para perfeccionar a partir de este mtodo emprico.

Para ellos confecciono un listado de 31 especialistas y despus de cumplir el procedimiento para la seleccin de los expertos 28 de ellos fueron seleccionados para la realizacin de la consulta. En este momento se confecciono la encuesta para la realizacin de la primera ronda la cual se muestra a continuacin: ENCUESTA A EXPERTOS. Nombre Institucin a y la que apellidos: pertenece:

_________________________________________________. _________________________________________. Cargo actual: ______________________________________________________. Calificacin profesional, grado cientfico o acadmico: Profesor: _____. Licenciado: _____. Especialista: _____. Master: _____. Doctor: _____. Aos de experiencia en el cargo: ________________. Aos de experiencia docente y/o en la investigacin: ________________. Como parte del tema de tesis de Doctorado en Ciencias Pedaggicas se est elaboraron una propuestas para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X. Se anexa a esta encuesta dicha propuesta la cual dese usted consulte, ya que se requiere su opinin con relacin a: Grado de relevancia de los momentos de la propuesta para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X.

Qu otras momentos pueden incluirse o eliminarse de la propuesta para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X.

Sugerencias de cambios de denominacin de los momento propuestos, cuyo grado de relevancia, sometemos a su consideracin.

Indicaciones: A continuacin le presentamos una tabla que contiene los momentos para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X. A la derecha aparece la escala: MR: Muy relevante. PR: Poco relevante BR: Bastante relevante. NR: No relevante. R: Relevante.

Marque con una cruz (X) en la celda que se corresponda con el grado de relevancia que usted otorga a cada momento de la propuesta para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X. Le agradecemos anticipadamente el esfuerzo que sabemos har para responder, con la mayor fidelidad posible a su manera de pensar la presente encuesta. Muchas gracias. SOBRE EL MODELO DE ACTUACIN
MR BR R PR NR

Posee los elementos estructurales que debe tener. Existe coherencia entre los elementos estructurales Hay correspondencia entre el modelo diseado y la definicin El modelo se adecua al sistema de principios dado. Hay claridad en el contenido de cada elemento del modelo. Hay correspondencia entre los elementos estructurales del modelo, sus objetivos y sus caractersticas Escriba a continuacin que momentos considera que deben ser incluidos o eliminados en est propuesta: Momento que se proponen ser incluidos Momento que se proponen ser eliminados

 Seale a continuacin, si considera que el nombre de alguno de los momentos de la propuesta, debe ser cambiada: El momento aparece como El momento debe ser cambiado por

Otra sugerencia que usted desee hacer sobre la propuesta para el desarrollo de modos de actuacin para el trabajo con sistemas de tareas de una asignatura X, que estamos sometiendo a su consideracin. Despus de aplicada la encuesta se pasa al procesamiento de la misma en cada una de las preguntas, comencemos por la primer pregunta, en la cual se somete a valoracin el modelo de actuacin para el trabajado con sistemas de tareas, en este caso se confecciona una tabla de doble entrada donde se refleja el total de respuestas por aspectos consultados y categoras sealadas y obtenemos una tabla de frecuencia absoluta (primer paso) como la siguiente. SOBRE EL MODELO DE ACTUACIN
TABLA DE FRECUENCIA ABSOLUTA MR BR R PR Posee los elementos estructurales 1 0 0 0 que debe tener. Existe coherencia entre los 15 13 0 0 elementos estructurales Hay correspondencia entre el 8 20 0 0 modelo diseado y la definicin El modelo se adecua al sistema de 7 13 1 7 principios dado. Hay claridad en el contenido de 5 2 6 12 cada elemento del modelo. Hay correspondencia entre los elementos estructurales del 1 1 4 10 modelo, sus objetivos y sus caractersticas NR TOTAL 27 0 0 0 3 12 28 28 28 28 28 28

Al concluir esta tabla pasamos al segundo paso que consiste en construir la tabla de frecuencia acumulada, como la que se muestra a continuacin.

TABLA DE FRECUENCIA ABSOLUTA ACUMULADA MR BR R PR Posee los elementos estructurales 1 1 1 1 que debe tener. Existe coherencia entre los 15 28 28 28 elementos estructurales Hay correspondencia entre el 8 28 28 28 modelo diseado y la definicin El modelo se adecua al sistema de 7 20 21 28 principios dado. Hay claridad en el contenido de 5 7 13 25 cada elemento del modelo. Hay correspondencia entre los elementos estructurales del 1 2 6 16 modelo, sus objetivos y sus caractersticas

NR 28 28 28 28 28 28

El tercer paso consiste en construir la tabla de frecuencia relativa acumulada, para la confeccin de la misma se divide al valor de cada celda de la tabla anterior entre el nmero de expertos consultados, en este caso 28. El cociente de esta divisin debe aproximarse hasta las diez milsimas. Adems la ultima columna debe ser eliminada, pues como se trata de cinco categoras estamos buscando 4 puntos de corte.
TABLA DEL INVERSO DE LA FRECUENCIA ABSOLUTA ACUNULADA MR BR R PR Posee los elementos estructurales 0.0357 0.0357 0.0357 0.0357 que debe tener. Existe coherencia entre los 0.5357 1 1 1 elementos estructurales Hay correspondencia entre el 0.2857 1 1 1 modelo diseado y la definicin El modelo se adecua al sistema de 0.25 0.7143 0.75 1 principios dado. Hay claridad en el contenido de 0.1786 0.25 0.4643 0.8929 cada elemento del modelo. Hay correspondencia entre los elementos estructurales del 0.0357 0.0714 0.2143 0.5714 modelo, sus objetivos y sus caractersticas

En este cuarto paso se buscan las imgenes de cada uno de los valores de las celdas de la tabla anterior, por la inversa de la curva normal, obteniendo una tabla como la que se muestra a continuacin.

TABLA DE DEREMINACIN DE LOS PUNTOS DE CORTES MR BR R PR Suma Pro. N - Prom. Fil. Posee los elementos estructurales -1.8 -1.8 -1.8 -1.8 -7.2 -1.8 2.34 que debe tener. Existe coherencia entre los 0.09 3.49 3.49 3.49 10.56 2.64 -2.1 elementos estructurales Hay correspondencia entre el -0.57 3.49 3.49 3.49 9.9 2.48 -1.94 modelo diseado y la definicin El modelo se adecua al sistema de -0.67 0.57 0.67 3.49 4.06 1.02 -0.48 principios dado. Hay claridad en el contenido de -0.92 -0.67 1.24 -0.44 -0.11 0.65 cada elemento del modelo. 0.09 Hay correspondencia entre los elementos estructurales del -1.8 -1.47 0.18 -3.88 -0.97 1.51 modelo, sus objetivos y sus 0.79 caractersticas Suma -5.67 3.61 4.97 10.09 13 0.54 Punto de corte (Prom. Columna) -0.95 0.6 0.83 1.68 2.17 = N (Prom. Gener.)

Despus de realizados todos los clculos que se orientan en la tabla se pasa a comparar los resultados obtenidos en cada una de los tems que se consultan con los respectivos puntos de cortes para llegar a conclusiones sobre en la categora que los expertos coinciden en ubicar el tems sometido a su criterio. En la siguiente tabla se resume este anlisis.
CONCLUSIONES GENERALES MR BR Posee los elementos estructurales que debe tener. Existe coherencia entre los elementos Si estructurales Hay correspondencia entre el modelo Si diseado y la definicin El modelo se adecua al sistema de SI principios dado. Hay claridad en el contenido de cada elemento del modelo. Hay correspondencia entre los elementos estructurales del modelo, sus objetivos y sus caractersticas

R SI -

PR SI

NR SI -

En la tabla anterior se observa que de la propuesta consultada los expertos coinciden en considerar como muy o bastante relevante los aspectos:

 Existe coherencia entre los elementos estructurales

Hay correspondencia entre el modelo diseado y la definicin El modelo se adecua al sistema de principios dado

Por tanto los mismos pueden quedarse en la forma que fueron elaborados, es decir no necesitan ser modificados. Los restante aspectos deben ser sometidos al anlisis por parte del investigador teniendo en cuesta los criterios suministrado por los expertos en las preguntas abiertas de la encuesta para de esta forma ir perfeccionando la propuesta. Antes de la realizacin de la segunda ronda se deben retroalimentar cualitativa y cuantitativa a los expertos de los resultados obtenidos en la primera ronda y pasar a la segunda ronda con las modificaciones realizada a propuesta que se somete a consideracin. Este mismo proceder del procesamiento de la encuesta que se utiliza para valorar la propuesta por expertos es el que se sigue para realizar el procesamiento de las encuestas a usuarios.