27 Congreso Nacional de Estadstica e Investigacin Operativa Lleida, 8-11 de abril de 2003

HEURSTICAS Y SESGOS EN EL RAZONAMIENTO PROBABILSTICO. IMPLICACIONES PARA LA ENSEANZA DE LA ESTADSTICA

Carmen Daz
Facultad de Psicologa Universidad de Granada, Espaa E- mail: mcbatanero@hotmail.com

RESUMEN
El uso de juicios probabilsticos es fundamental en la toma de decisiones tanto en contextos profesionales, como en investigacin y la vida diaria. En este trabajo realizamos una revisin de la bibliografa sobre las heursticas de representatividad, disponibilidad y ajusteanclaje. Los resultados obtenidos sugieren sesgos generalizados en los juicios sobre frecuencias, percepcin de la aleatoriedad, comprensin del tamao muestral, razonamiento bayesiano, probabilidad compuesta y condicional. La finalidad es proporcionar informacin a los profesores de estadstica y analizar las implicaciones para la enseanza. Palabras clave: heursticas, razonamiento probabilstico, enseanza Cdigo AMS: 97C30

1. Introduccin
A diario nos surgen problemas que requieren el uso de juicios probabilsticos, como estimar la probabilidad de que llueva maana, o conocer la probabilidad de ganar en un juego de azar. Adems, algunos de estos juicios probabilsticos los realizamos para tomar decisiones sobre sucesos que pueden condicionar en parte nuestra vida, o la de otras personas, como cuando se establece un diagnstico mdico. En la concepcin subjetiva o bayesiana, la probabilidad se puede concebir como una medida numrica de la intensidad con que creemos en una determinada proposicin. Si pensamos que una proposicin es completamente falsa, le asignaremos una probabilidad 0 y si, por el contrario, pensamos que es completamente cierta, la probabilidad de que ocurra ser 1. Usaremos el trmino juicio de probabilidad para indicar la asignacin de un nmero a una creencia.

La psicologa del pensamiento se interesa por conocer si las personas siguen la teora normativa (teora de la probabilidad) a la hora de realizar juicios bajo incertidumbre. Ya desde el siglo XVIII los investigadores en la psicologa de la decisin se han interesado por saber si las personas son buenos estadsticos intuitivos o no. Estas investigaciones apuntan a que, al realizar juicios de probabilidad, se dejan llevar por una serie de heursticas que conducen a un conjunto concreto de sesgos (Nisbett y Ross, 1980; Kahneman, Slovic y Tversky, 1982) que son frecuentes en campos tan diversos como la abogaca, educacin, economa, medicina o poltica. Estos errores tienen una base psicolgica, y la comprensin de las leyes tericas de la probabilidad no siempre es suficiente para superarlos, si el sujeto no llega a tomar conciencia de ellos. El conocimiento de este tema es importante para los profesores de estadstica, quienes deben tener en cuenta los razonamientos intuitivos correctos e incorrectos de sus alumnos, con objeto de prever sus dificultades y los errores que continan al finalizar la enseanza y para poder disear actividades didcticas adecuadas para superar estas dificultades. En este trabajo vamos a realizar una revisin de los trabajos ms importantes realizados en torno a este tema y de los resultados obtenidos. Analizaremos tambin las implicaciones para la enseanza de la estadstica.

2. Trabajos sobre razonamiento probabilstico

El origen de los primeros trabajos realizados sobre razonamiento probabilstico, se sita en el periodo de la Ilustracin, cuando los matemticos equipararon la teora de la probabilidad al sentido comn de las personas instruidas. As, los teoremas de Bayes y Bernouilli se consideraban descripciones de los juicios humanos reales. Esta opinin fue cambiando, hasta llegar al momento actual. Algunos pasos importantes en esta evolucin fueron los siguientes: Laplace lleg a afirmar que la probabilidad no podra explicar todos los factores relevantes al juicio humano, porque ste se vea interferido por el deseo y la pasin. Edwards, Lindman y Savage (1963) pusieron por primera vez a prueba experimentalmente si las personas siguen el teorema de Bayes, concluyendo que las inferencias hechas por los sujetos eran proporcionales a las calculadas segn el teorema, aunque mostraban un matiz conservador. Kahneman y Tversky en diferentes trabajos llegaron a la conclusin de que las personas no son bayesianas en absoluto. Estos dos autores propusieron el programa Heursticos y sesgos donde describen los errores que las personas cometemos a la hora de realizar juicios de probabilidad y atribuyen estos errores a una limitacin de la capacidad de procesamiento de la informacin.

A partir de entonces se han realizado muchas investigaciones para estudiar estos errores sistemticos, as como la forma de evitarlos y ayudar a las personas a mejorar la precisin de sus juicios. A continuacin tratamos de resumirlos.

3. Heursticos y sesgos
Las personas, en general, no tienen un razonamiento estadstico correcto cuando hacen inferencias intuitivas sobre acontecimientos inciertos, bien porque no han aprendido nunca estas leyes, bien porque superan sus capacidades de clculo mental. En lugar de esto, confan en reglas relativamente simples llamadas heursticas que son las que guan sus juicios. Estas reglas tienen aparente validez, puede parecer razonables seguirlas, pero a menudo llevan a sesgos predecibles (Kahneman, Slovic y Tversky, 1982). Los procedimientos heursticos descubiertos por estos autores son tres: representatividad, disponibilidad y ajuste-anclaje.

3.1. Representatividad
El razonamiento estadstico en situaciones de inferencia implica la comprensin de dos ideas sobre el muestreo que aparentemente son contrarias: la representatividad de una muestra sugiere que sta proporciona informacin sobre la poblacin; la variabilidad muestral indica que las muestras varan entre s. Los errores se producen cuando se olvida uno de estos dos aspectos. Algunos de los dilemas probabilsticos con los que se enfrentan las personas estn relacionados con la pertenencia de un elemento a una categora (Qu probabilidad hay de que el elemento A pertenezca a la clase B?). Para resolverlo confiamos en la heurstica de representatividad que es la evaluacin del grado de correspondencia o similitud entre una muestra y una poblacin, un ejemplar y una categora, un acto y un actor o, ms generalmente, un resultado y un modelo (Tversky y Kahneman, 1983). Las personas se apoyan en la representatividad adems para predecir resultados. Con el uso de este heurstico se producen, generalmente, buenas respuestas, ya que las muestras y los resultados ms representativos tienen una mayor probabilidad de ocurrencia. Sin embargo, el hecho de fijarnos slo en la similitud de la muestra con la poblacin de origen puede llevarnos a ignorar otros elementos esenciales de la informacin, ocasionando algunos errores como los siguientes: Insensibilidad al tamao de la muestra Consiste en que la probabilidad estimada del estadstico de una muestra ser independiente de su tamao. Propuesto el siguiente problema, si las probabilidades se evalan por representatividad, se responder a ambas preguntas dando el valor de la altura media de la poblacin. Problema 1 Cul es la altura media ms probable de una muestra de 3000 hombres elegidos al azar? Cul es la altura media ms probable de una muestra de 10 hombres elegidos al azar?

La teora estadstica nos indica que el valor esperado del estadstico de la muestra es el del parmetro en la poblacin y no depende del tamao de la muestra, aunque la varianza de la muestra cambia proporcionalmente a su tamao, cambiando entonces las probabilidades de los sucesos. 3

Segn indican Tversky y Kahneman (1971), mediante la representatividad se hace una extensin indebida de la ley de los grandes nmeros, creyendo en la existencia de una "Ley de los pequeos nmeros", por la que pequeas muestras seran representativas en todas sus caractersticas estadsticas de las poblaciones de donde proceden. Este error puede tener importantes consecuencias de cara a la investigacin experimental, ya que los cientficos que creen en la "ley de los pequeos nmeros" sobreestiman la potencia de sus mtodos estadsticos, estiman a la baja la amplitud de sus intervalos de confianza y tienen unas expectativas injustificadas en la replicabilidad de experimentos realizados con pequeas muestras. Concepciones errneas sobre el azar En un experimento aleatorio, se espera que una secuencia pequea de resultados represente fielmente sus caractersticas. Por ello, secuencias relativamente ordenadas no parecen el resultado de un proceso aleatorio. En el siguiente problema: Problema 2. Escribe la secuencia producida al lanzar una moneda al aire. se suele ver ms probable una secuencia del tipo C+C++C, que la secuencia del tipo +++CCC o CCCC+C. Las personas esperan que las caractersticas esenciales del proceso (igual nmero de cruces y caras en un nmero infinito de tiradas) estarn representadas no slo en la secuencia global, sino tambin en cada una de sus partes. Este error lleva tambin a la falacia del jugador donde en un juego de azar, despus de observar una serie larga de rojos en la ruleta, la mayora de la g ente cree que el negro es el que debe de salir a continuacin. El azar se ve como un proceso autocorrector, en el que una desviacin en una direccin induce una desviacin en la otra direccin para restablecer el equilibrio. Falacia de las tasas base La siguiente tarea, relacionada con las tasas base, ha sido una de las ms abordadas en la investigacin acerca del juicio bajo incertidumbre. Se la conoce como el problema del taxi. Problema 3. Un taxi se vio implicado en un accidente nocturno con choque y huida posterior. Hay dos compaas de taxis en la ciudad, la Verde y la Azul. El 85% de los taxis de la ciudad son Verde y el 15% Azul. Un testigo identific el taxi como Azul. El tribunal comprob la fiabilidad del testigo bajo las mismas circunstancias que haba la noche del accidente y lleg a la conclusin de que el testigo identificaba correctamente cada uno de los colores en el 80% de las ocasiones y fallaba en el 20%.Cul es la probabilidad de que el taxi implicado en el accidente fuera en efecto Azul?

La mayora de las personas eligen como respuesta 080 (estimacin que coincide con la fiabilidad del testigo) y un grupo importante elige 050, otros creen que es ms probable que el taxi sea Azul que Verde. Al resolver el problema mediante el teorema d e Bayes se obtiene que la probabilidad de que el taxi implicado sea Azul es de 041. De este error se deduce que las personas ignoran las tasas base de probabilidad de los sucesos. 4

Falacia de la conjuncin Otro error tpico de esta heurstica se suele dar en el clculo de la probabilidad de un suceso en un espacio muestral producto. Se puede llegar a creer que es ms probable la interseccin de dos sucesos que su unin, lo cual se puede detectar mediante el siguiente problema: Problema 4. Linda tiene 31 aos, es soltera, extravertida y muy brillante. Se licenci en filosofa. En sus tiempos de estudiante estaba muy comprometida con asuntos de discriminacin y justicia social, y tambin sola participar en manifestaciones antinucleares. Ordena las siguientes afirmaciones de acuerdo con su grado de probabilidad: 1) Linda es profesora de enseanza primaria; 2)Linda trabaja en una librera y asiste a clases de yoga; 3)Linda est asociada al movimiento feminista, 4)Linda trabaja en un centro de salud como psiquiatra, 5) Linda es miembro del Partido Feminista, 6)Linda es cajera de un banco, 7)Linda es agente de seguros, 8)Linda es cajera de un banco y est asociada al movimiento feminista.

Ante este problema, las personas evalan la respuesta (3) como ms probable que la (6), pero tambin evalan la respuesta (8) como ms probable que la (6). El conjunto de mujeres que son simultneamente cajeras y feministas no puede ser mayor que el conjunto de mujeres que slo son cajeras, lo ms que podra suceder es que fuera i gual si todas las cajeras fueran feministas.

3.2. Disponibilidad
En ocasiones la gente evala la probabilidad de un acontecimiento por la facilidad con que puede recuperarse ejemplos de la misma: generalmente se evocan con ms facilidad ejemplos de clases grandes que ejemplos de categoras menos frecuentes(Tversky y Kahneman, 1974). La accesibilidad puede venir dada por la estructura cognitiva de la persona o por factores situacionales. El uso de este heurstico puede encubrir varios errores y est relacionado con la falta de capacidad combinatoria: Sesgos debido a la facilidad para recuperar ejemplos Una categora cuyos ejemplos se recuperan fcilmente aparecer ms numerosa que una categora de igual frecuencia pero cuyos ejemplos sean menos recuperables. En el siguiente problema, se suele dar la respuesta b) porque es ms fcil recordar comits de 2 personas, aunque la teora combinatoria nos dice que los dos casos son igualmente numerosos. Problema 5. Una persona debe seleccionar comits a partir de un grupo de 10 personas (Cada persona puede formar parte de ms de un comit). A) Hay ms comits distintos formados por 8 persona; B) Hay ms comits distintos formados por 2 personas.

Sesgos debidos a la efectividad de un proceso de bsqueda Problema 6 Hay ms palabras que empiecen con la letra A o palabras con la A en segunda posicin?

Ante esta pregunta se suele responder que son ms frecuentes las palabras que empiezan con esa letra, ya que es ms fcil recuperar las palabras por su inicial que por cualquier otra letra de su secuencia total. Experiencia personal Cuando hacemos algo con otra persona, podemos recordar nuestro punto de vista mejor de lo que recordamos el punto de vista de la otra persona. En un experimento de Ross y Sicoly (1979) citado por Ayuso (2001) pidieron a matrimonios que estimaran por separado, en qu medida eran responsables de varias actividades como limpiar la casa, preparar el desayuno... Cada cnyuge tenda a pensar que haba tenido ms responsabilidad que la que el otro cnyuge le atribua. Como resultado, la responsabilidad total sumaba ms de 100%.

3.3. Ajuste- anclaje

Hay situaciones en las que comenzamos a hacer estimaciones a partir de un valor inicial y luego vamos haciendo ajustes hasta llegar a la respuesta final. El valor inicial o ajuste suelen ser tpicamente insuficiente y llevan a estimaciones diferentes que estn sesgadas por los valores iniciales, llevando a un ajuste errneo, como en el siguiente problema. Problema 7. Estimar en cinco segundos los valores de los siguientes productos: 1x2x3x4x5x6x7x8 8x7x6x5x4x3x2x1 Los valores medios de las estimaciones fueron 512 y 2250 respectivamente, siendo 40320 la respuesta correcta. Estas estimaciones se hacen demasiado rpido como para realizar un clculo completo. Se basan normalmente en la extrapolacin a partir de un cmputo parcial realizado en la primera parte de las series de nmeros. Un ajuste insuficiente explica las estimaciones inferiores en los dos casos. La diferencias entre ambas se explica por el hecho de que en la segunda el punto de anclaje (si se empieza a calcular de izquierda a derecha) es mayor.

4. Otros errores en razonamiento

4.1 Juicios sobre frecuencias
Estudios como el de Lichtenstein, Slovic, Fischhoff, Layman y Combs (1978) sobre estimacin de frecuencias de distintos peligros y enfermedades en las causas de muerte en Estados Unidos concluyen que las personas tendemos a subestimar las frecuencias altas y a sobreestimar las frecuencias bajas en los sucesos aleatorios. Esto quiere decir 6

que sobreestimamos la ocurrencia de sucesos muy poco probables como accidentes en plantas nucleares y sin embargo subestimamos la ocurrencia de sucesos muy probables, como, por ejemplo, las coincidencias.

4.2 Calibracin de los juicios

Decimos que un juicio de probabilidad est bien calibrado si las estimaciones realizadas coinciden con los datos reales. Se ha comprobado que las estimaciones de probabilidades fallan de manera sistemtica cuando la gente juzga su propia actuacin, teniendo un exceso de confianza sobre los juicios propios, que aumenta con la dificultad de las tareas. Tanto creen las personas que sus juicios son correctos que estn dispuestos a asumir un pago cada vez que se equivocan, como en el trabajo de Fischhoff, Slovic y Lichtenstein (1977), resultando finalmente que en la mayor parte de los sujetos perdan dinero en el experimento. Segn Koriat, Lichtenstein y Fischhoff (1980) este exceso de confianza se debe a la tendencia a buscar evidencias tan slo a favor de nuestras creencias iniciales y no en contra. An as, esta calibracin incorrecta puede ser mejorada con un entrenamiento intenso si la retroalimentacin sobre la exactitud del juicio es clara e inmediata.

4.3 El sesgo de equiprobabilidad

Lecoutre (1992) describe la creencia de los sujetos en la equiprobabilidad de todos los sucesos asociados a cualquier experimento aleatorio. Lecoutre y sus colaboradores defienden que ello no es debido a la falta de razonamiento combinatorio, sino a que los modelos combinatorios no se asocian fcilmente con las situaciones en que interviene "el azar". Problema 8. Cundo lanzamos tres dados simultneamente, Cul de los siguientes resultados es ms verosmil que ocurra? a)Un 5, un 3 y un 6, b)Un 5 tres veces, c) Un 5 dos veces y un 3, d)Los tres resultados son equiprobables, e)Es imposible saberlo.

Los alumnos a los que se les pas la prueba consideran que el resultado del experimento "depende del azar" y en consecuencia todos los posibles resultados son equiprobables. A pesar de variar el contexto y el formato de la pregunta, los resultados siempre coinciden y demuestran la estabilidad de la creencia en que los resultados son equiprobables.

4.4 Outcome approach

La investigacin de Konold (1989) apunta a que con frecuencia tenemos dificultad de interpretar un experimento como parte de una serie de experimentos repetidos. La dificultad para comprender la probabilidad frecuencial (se ha denominado su conducta "enfoque en el resultado aislado"), consiste en considerar cada una de las repeticiones de un experimento como si estuviese aislada; sin guardar relacin con las anteriores o posteriores. Las preguntas sobre la probabilidad se interpretan de forma no probabilstica, donde el fin de las situaciones de incertidumbre no es llegar a la probabilidad de 7

ocurrencia, sino predecir con xito el resultado de un ensayo simple. En el siguiente problema los sujetos consideran muy poco probable que los tres hmsters prefieran los cacahuetes. Problema 9. Al comienzo de un camino se coloca un hmster y se le deja que circule libremente hacia su alimento situado al final de un camino que se bifurca hacia dos puntos A y B. En el punto A ponemos cacahuetes y en el B pipas. Un amigo criador de hmsters nos informa que el 70 % de los hmsters prefiere las pipas a los cacahuetes. Pensaras que tu amigo est bien informado si el hmster prefiere los cacahuetes? Y si de 3 hmsters, los 3 prefieren los cacahuetes?

La interpretacin frecuencial de la probabilidad se restringe a fenmenos en los que es posible repetir indefinidamente ensayos "idnticos". En estos casos, la probabilidad se estima a partir de la frecuencia relativa del suceso en una serie larga de experimentos. No podemos aplicar esta perspectiva a un experimento del que slo hay un ensayo aislado y nico, a menos que imaginariamente pueda repetirse el experimento. Aunque esta interpretacin de la probabilidad se considera dentro de las corrientes objetivas, no significa que est libre de consideraciones de tipo subjetivo. Por el contrario, esta interpretacin requiere que un sujeto considere que los resultados de una larga serie de experimentos puedan ser considerados idnticos, para calcular la frecuencia de aparicin de cada suceso particular.

5. Efecto de la enseanza sobre los razonamientos probabilsticos

Otros trabajos se basan en algunos experimentos de enseanza donde se analiza el efecto de la instruccin sobre las heursticas y sesgos en el razonamiento probabilstico. En estos estudios se concluye que la simple instruccin en probabilidad no es suficiente para superar los errores que se cometen, sino que es necesaria una confrontacin de los razonamientos intuitivos de los alumnos con la realidad mediante simulacin y experimentos. Shaughnessy (1977) evalu los conocimientos de los estudiantes, as como el uso que hacan de las heursticas, mediante cuestionarios y entrevistas tanto antes como despus de la instruccin. La instruccin que llev a cabo consisti en un curso intensivo donde se realizaban experimentos y simulaciones en grupos reducidos de alumnos. Observ en el grupo experimental una reduccin del uso de heursticas y diferencias importantes respecto al grupo control. El xito del curso se atribuy a la posibilidad de comparar los resultados experimentales con las concepciones errneas que tenan en un principio. Del Mas y Bart (1998) realizaron otro experimento de enseanza en el que los estudiantes comparaban las predicciones sobre las secuencias aleatorias obtenidas al lanzar una moneda varias veces con los resultados obtenidos. Los estudiantes del grupo experimental, usaron ms explicaciones normativas tras la instruccin. Por el contrario, los estudiantes del grupo control que no tuvieron la oportunidad de confrontar sus ideas errneas, acabaron confiando ms en sus heursticas.

En estos experimentos, a pesar de que muchos alumnos mejoraban sus concepciones errneas tras la instruccin, otros estudiantes continuaban manteniendo las interpretaciones no normativas de las tareas. Konold (1989) interpreta estos resultados afirmando que muchas de las intuiciones previas de los alumnos, que son formadas en las numerosas situaciones de incertidumbre a las que se someten las personas en su vida diaria, no pueden ser suficientemente confrontadas en el aula. En la Universidad de Granada se han hecho una primera evaluacin del razonamiento probabilstico de los estudiantes de Magisterio. Aunque la muestra es restringida (130 alumno) se encontr un 60% de estudiantes con heursticas de representatividad, 66% con sesgo de equiprobabilidad, y 73% con outcome approach (Caizares, Godino y Daz, en preparacin). Estos datos hacen reflexionar, ya que algunos de estos estudiantes sern los responsables de ensear probabilidad en la escuela y pueden transmitir a sus alumnos estos razonamientos incorrectos. En un experimento de enseanza, se plante a los futuros profesores problemas similares al 1 (representatividad) y 8 (equiprobabilidad), en los cuales la mayora dio la respuesta errnea. A continuacin se les proporcion material manipulativo (monedas) y tablas de nmeros aleatorios para que volvieran a resolver los problemas mediante simulacin. En otros experimentos se us la simulacin con ordenador (por medio de Statgraphics y recursos en Internet). En ambos casos los futuros profesores pudieron contrastar los resultados experimentales con sus respuestas errneas. Una puesta en comn sirvi para reflexionar sobre la intuicin incorrecta en el campo de la probabilidad y para interesarlos por completar sus conocimientos sobre el tema.

6. Implicaciones para la enseanza

Los errores descritos podran manifestarse en los siguientes temas en un curso de estadstica, dificultando la labor del profesor en el aula: Probabilidad condicional: Algunos puntos conflictivos sobre la independencia y probabilidad condicional son los siguientes: Apreciar la independencia en ensayos sucesivos de un mismo experimento. Comprender que la probabilidad de un suceso pueda condicionarse por otro que ocurra despus que l. Confundir las probabilidades P(B/A) y P(A/B) Confundir sucesos independientes con sucesos mutuamente excluyentes. No identificar correctamente cual es el suceso que hay que poner como condicin en una probabilidad condicional. Creer que la probabilidad de la interseccin de dos sucesos es mayor que cada uno de ellos por separado

Teorema de Bayes e inferencia Bayesiana: Adems de las dificultades anteriores que pueden manifestarse al calcular las probabilidades condicionales que intervienen en la frmula de Bayes, la falacia de tasas base nos indica que los alumnos no tienen un 9

razonamiento intuitivo en situaciones de aplicacin de la inferencia bayesiana. Inferencia clsica: La probabilidad condicional interviene tambin en la definicin de las distribuciones de los estadsticos en el muestreo, definicin de las probabilidades de error en un test de hiptesis y las regiones crticas y de aceptacin, as como del concepto de potencia. Tanto en este caso, como en la inferencia bayesiana, las dificultades de razonamiento sobre muestreo pueden bloquear la comprensin de los conceptos. Regresin y modelos lineales: La estadstica bivariante y multivariante en general se apoya en la idea de dependencia/ independencia y condicionamiento, en las que se basan asimismo los diferentes modelos lineales y otros modelos de anlisis de datos experimentales. En consecuencia, prcticamente toda la estadstica est imbuda de las ideas de condicionamiento, independencia y muestreo, sobre las que nuestros razonamientos intuitivos nos llevan a sesgos sistemticos. La enseanza formal no es suficiente para superar estos errores, sino que los sujetos necesitan experiencia sobre los fenmenos aleatorios. Es importante plantear a los alumnos este tipo de problemas y discutir con ellos sobre sus concepciones errneas. Puesto que los ordenadores hacen posible una variedad de clculos y representaciones grficas, Moore (1997) recomienda dar a los estudiantes la oportunidad de experimentar con estos conceptos. Especficamente, las investigaciones que hemos descrito sugieren tambin que la simulacin con ordenador puede contribuir a mejorar la comprensin del estudiante de las ideas de variabilidad muestral, estadstico y su distribucin.

Referencias
Ayuso, C. (2001): Psicologa del pensamiento. Granada: El autor. Caizares, M. J., Godino, J. D. y Daz, C. (En preparacin): Teaching probability to future primary teachers through simulation. Trabajo a presentar en la 54 Sesin del Instituto Iternacional de Estadstica, 2003, Berln. Del Mas, R. y Bart, M. (1998): The role of an evaluation exercise in the resolution of misconceptions of probability. Focus on learning problems in Mathematics, 11 (3), 39 54. Edwards, W., Lindman, H. y Savage, L. J. (1963): Bayesian statistical inference for psychological research. Psychological Review, 70, 193-242. Fischhoff, Slovic y Lichtenstein (1977): Knowing with certainty: The appropriateness of extreme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3, 552-554. Kahneman, D., Slovic, P. y Tversky, A. (1982): Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press. Konold, C. (1989): Informal conceptions of probability: Cognition and Instrucction, 6, 59 98. Koriat, A., Lichtenstein, S. y Fischhoff, B. (1980): Reasons for confidence. Journal of Experimental Psychology: Human Learning and Memory, 6, 107-118. 10

Lecoutre, M. P. (1992): Cognitive models and problem spaces in purely random situations. Educational Studies in Mathematics. 23, 557-568. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. y Combs, B. (1978): Judged frequency of lethal events. Journal of Experimental Psychology: Human Learning and Memory, 4, 551-578. Moore, D. S. (1997): New pedagogy and new content: The case of statistics. International Statistical Review, 65(2), 123155. Nisbett, R., y Ross, L. (1980): Human inference: Strategies and shortcomings of social judgments. Englewood Cliffs, NJ: Prentice Hall. Ross, M. y Sicoly, F. (1979): Egocentric biases in availability and attribution. Journal of Personality and Social Psychology, 37, 322-336. Shaughnessy, J. M. (1977): Misconceptions of probability: An experiment with a small group, activity based, model building approach to introductory probability at the college level. Educational Studies in Mathematics, 8, 295 316. Tversky, A. y Kahneman, D. (1974): Judgement under uncertainity: Heurstics and biases. Science. 185, 1124-1131.

11