Anda di halaman 1dari 118

PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE

ESCUELA DE INGENIERIA

MODELO DE EVALUACIÓN Y DISEÑO

DE TEST DE PENSAMIENTO CRÍTICO

EN EL DOMINIO DE LENGUAJE Y

COMUNICACIÓN PARA EDUCACIÓN

PRIMARIA

RODRIGO DEL RÍO JOGLAR

Tesis para optar al grado de

Magister en Ciencias de la Ingeniería

Profesor Supervisor:

MIGUEL NUSSBAUM

Santiago de Chile, (Agosto, 2015)

© 2015, Rodrigo del Río


PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE

ESCUELA DE INGENIERIA

MODELO DE EVALUACIÓN Y DISEÑO DE TEST DE


PENSAMIENTO CRÍTICO EN EL DOMINIO DE
LENGUAJE Y COMUNICACIÓN PARA EDUCACIÓN
PRIMARIA

RODRIGO DEL RÍO JOGLAR

Tesis presentada a la Comisión integrada por los profesores:

MIGUEL NUSSBAUM (SUPERVISOR)  

YADRÁN ETEROVIC (INTEGRANTE)  

PABLO CHIUMINATTO (INVITADO)  

DAVID PREISS (INVITADO)

YADRÁN ETEROVIC (REPRESENTANTE POSGRADO)  

Para completar las exigencias del grado de  


Magíster en Ciencias de la Ingeniería
Santiago de Chile, (Agosto, 2015)  
A mis padres, al futuro de estas

tierras, a Nicole.

ii
AGRADECIMIENTOS

Quisiera agradecer primero a la Pontificia Universidad Católica de Chile por abrir sus

puertas a investigaciones interdisciplinarias y dotar a los académicos de un ambiente

propicio para resolver los problemas más urgentes de nuestro país. Además, quisiera

recalcar la fundamental labor que realiza el Departamento de Ciencias de la Computación

de la Facultad de Ingeniería por expandir el horizonte de sus estudiantes y promover el

diálogo crítico, siempre en una atmósfera de respeto y compañerismo. Especialmente,

quisiera agradecer al profesor Pablo Chiuminatto, por su fe, su amistad y por invitarme a

imaginar nuevos terrenos para el desarrollo intelectual. También a Miguel Nussbaum, por

la confianza de recibirme en su grupo de investigación, invitarme a compartir su visión

sobre el problema educacional chileno y guiar la presente tesis a buen puerto.

No puedo dejar de agradecer a mis compañeros Damián Gelerstein y Martín Cáceres, con

quienes trabajé codo a codo por develar el significado de nuestra investigación.

Debo mencionar aquí también al profesor Cristián Opazo, quien me ha acompañado y

aconsejado con sabiduría en el curso de mis estudios en esta universidad.

Quisiera agradecer también a mis padres por su apoyo incondicional en mis derivas

profesionales e intelectuales, además de su afecto y alegría para acompañarme siempre en

nuevos desafíos.

Finalmente, a Nicole; por su amor, por su paciencia, por enaltecer lo mejor en mí. Bajo su

mirada atenta se gestó todo lo que hay de virtud en este trabajo. Los vicios, por supuesto,

son absoluta responsabilidad mía.

iii
INDICE GENERAL

AGRADECIMIENTOS ....................................................................................................... iii

INDICE DE TABLAS ......................................................................................................... vi

INDICE DE FIGURAS ....................................................................................................... vii

RESUMEN ......................................................................................................................... viii

ABSTRACT ......................................................................................................................... ix

PRÓLOGO ............................................................................................................................ 1

1. MOTIVACIÓN: HACIA UN MODELO DE EVALUACIÓN DE PENSAMIENTO


CRÍTICO ............................................................................................................................... 3
1.1 Habilidades del siglo XXI ..................................................................................................... 3
1.2 Nuevo paradigma de evaluación ............................................................................................... 6
1.3 Pensamiento crítico ................................................................................................................... 9
1.3.1 Importancia de pensamiento crítico en la educación contemporánea ............................... 9
1.3.2 Evaluación del pensamiento crítico ................................................................................. 13
1.4 Cultura .................................................................................................................................... 16
1.5 Modelo de evaluación de pensamiento crítico y cultura ......................................................... 20
1.5.1 Relación entre pensamiento crítico y cultura .................................................................. 20
1.5.2 Modelo de mediación ...................................................................................................... 23

2. TAREAS IMPLEMENTADAS. DISEÑO Y VALIDACIÓN DE TEST DE


PENSAMIENTO CRÍTICO................................................................................................ 27
2.1 Test de pensamiento crítico. ............................................................................................... 27
2.1.1 Introducción ..................................................................................................................... 27
2.1.2 Metodología ..................................................................................................................... 31
2.1.2.1 Definición del test......................................................................................................... 31
2.1.2.2 Criterios de validación del instrumento. ....................................................................... 36
2.1.2.3 Trabajo Experimental ................................................................................................... 38
2.1.3 Resultados ............................................................................................................................ 39
2.1.3.1 Validez del constructo .................................................................................................. 39
iv
2.1.3.2 Validez del contenido ................................................................................................... 40
2.1.3.3 Validez de criterio y Pearson product-moment correlation .......................................... 40
2.1.3.4 Confiabilidad ................................................................................................................ 40
2.1.3.5 Análisis de ítems........................................................................................................... 41
2.1.3.4 Diferencias entre colegios ............................................................................................ 42
2.1.4 Conclusiones ........................................................................................................................ 44

CONCLUSIONES FINALES ............................................................................................. 47

BIBLIOGRAFIA................................................................................................................. 50

ANEXOS............................................................................................................................. 68
Anexo A. Tablas ........................................................................................................................... 69
Anexo B. Paper en ingles .............................................................................................................. 74
Anexo C. Recepción del Paper en Revista Académica............................................................... 107

v
INDICE DE TABLAS

Tabla 1: Participantes en el estudio según nivel socioeconómico y género ....................... 39


Tabla 2: Resumen discriminación y Dificultad por pregunta ............................................. 42
Tabla 3: Promedios por curso y tipo de colegio .................................................................. 43
Tabla 4: : Resumen puntajes y dimensiones ....................................................................... 69
Tabla 5: Valores promedio de Dificultad y Discriminación para el pre y post Análisis de Ítems. .. 74

vi
INDICE DE FIGURAS

Figura 1: Modelo de mediación .......................................................................................... 24


Figura 2: Modelo de mediación aplicado a las variables de pensamiento crítico y cultura................ 25
Figura 3: Método de testeo de un modelo de mediación. ................................................... 25
Figura 4: Ejemplo de pregunta ............................................................................................ 36

vii
RESUMEN

La actual tendencia en la investigación en educación escolar reconoce la necesidad de la


integración de las llamadas “habilidades del siglo XXI” al currículum y a la instrucción
escolar. Una de las habilidades centrales, en este sentido, es el pensamiento crítico, que
es reconocido al interior del currículum nacional. La consecuencia de cambiar la
orientación curricular hacia este nuevo paradigma implica una transformación de la
evaluación de estas competencias. Sin embargo, hoy no se dispone de instrumentos
específicos que cumplan este propósito para los niveles de educación primaria. Esta
investigación plantea un modelo de evaluación y el diseño de un test de pensamiento
crítico para estudiantes de tercer y cuarto grado. El test se diseñó específicamente en el
dominio de lenguaje y comunicación mediante la utilización de una novela gráfica. El
test fue validado por medio del análisis de: validez del constructo, del contenido, del
criterio, además de un análisis de la confiabilidad y de ítems. El instrumento presenta un
diseño adecuado a modelos multidimensionales de la habilidad evaluada, que entrega
una imagen más detallada y completa del aprendizaje del estudiante. Una vez validado el
instrumento, los datos permitieron examinar la diferencia en el nivel de pensamiento
crítico de los estudiantes de acuerdo a su estrato socioeconómico. Se encontraron
diferencias significativas en el nivel de pensamiento crítico entre los grupos. Estas
diferencias deberían ser consideradas en futuras investigaciones dadas las posibles
influencias del factor socioeconómico sobre la evaluación de pensamiento crítico en
estudiantes de educación primaria.

Esta tesis contó con el apoyo de CONICYT-FONDECYT 1150045 y del Proyecto


Interdisciplinario de Investigación VRI Nº13/2014.

Palabras Claves: pensamiento crítico, modelos de evaluación, habilidades del siglo XXI,
cultura, narrativa gráfica y textual

viii
ABSTRACT

The current trend in educational research recognizes the necessity to integrate the so
called “21st century skills” into the school curriculum. One of the most important skills,
in this sense, is critical thinking, which is recognized in the national curriculum. The
consequence to change the curricular orientation to this new paradigm implies a
transformation of the assessment of these competences. However, there are not available
instruments that fit this purpose for primary education. This research is directed towards
the cosntruction of an assessment model and the design of a test of critical thinking for
students in 3rd and 4th grade. The test was specifically in the domain of language and
communication by means of a graphic novel. The validity of the test was determined by
analyzing the construct, content and criterion validity, as well as its reliability and
performing an item analysis. The instrument shows an adequate design according to a
multidimensional model of the assessed skill, which delivers a more detailed and
complete picture of the student’s learning. Once it was validated, the collected data
allowed us to examine differences in the level of critical thinking according to the
student’s socioeconomic status. Significant differences were found between the groups.
These differences should be considered in future research due to possible influences of
the socioeconomic fator over the assessment of skills in primary education contexts.

This thesis had the support of CONICYT-FONDECYT 1150045, and of the VRI Interdisciplina
Research Project N° 13/2014.

Keywords: Critical Thinking, Assessment models, 21st Century Skills, Culture, Graphic
and Textual Narrative

ix
1

PRÓLOGO

La actual tendencia en la investigación en educación escolar reconoce la necesidad de la

integración de las llamadas “habilidades del siglo XXI” al currículum y a la instrucción

escolar. Una de las habilidades centrales, en este sentido, es el pensamiento crítico, que es

reconocido al interior del currículum nacional. El Ministerio de Educación de nuestro país

expresa en un reciente reporte que el pensamiento crítico ha cobrado “mayor importancia

que nunca”, por la influencia de la gran cantidad de selección, lectura y evaluación de

información provocada por los nuevos medios de comunicación digital (Mineduc, OCDE

& SIMCE, 2011, p.21).

Una instrucción adecuada de esta habilidad requiere que los profesores y los

establecimientos tengan un panorama adecuado del nivel de pensamiento crítico de los

estudiantes (Ennis, 1993). Sin embargo, los actuales modelos de evaluación entregan una

imagen parcial o distorsionada del aprendizaje de los estudiantes, ya que utilizan métodos

reduccionistas para evaluar competencias de carácter multidimensional (Conley, 2015).

En este sentido, el objetivo de este trabajo es diseñar un test que evalúe pensamiento

crítico para lograr a través de datos una imagen más acabada del aprendizaje de los

estudiantes chilenos en educación primaria. Por lo tanto, es necesario revisar el modo en

que se puede diseñar de manera apropiada un instrumento de evaluación de pensamiento

crítico para luego implementarlo y probar su rendimiento en contextos educacionales

reales.
2

El primer capítulo presenta el marco general de la evaluación de “habilidades del siglo

XXI”, al que se ciñe este trabajo. Luego, se especifican los conceptos que guiarán la

construcción de un modelo de evaluación integrado, en particular, los conceptos de

pensamiento crítico y cultura. Finalmente, se describe un modelo estadístico de mediación

mediante el cual es posible implementar un test que integre factores culturales en la

evaluación del pensamiento crítico.

El segundo capítulo es un paper que describe el diseño, validación e implementación de un

test de pensamiento crítico basado en una novela gráfica para estudiantes de tercer y cuarto

grado. Además, se analiza la posible influencia del estrato socioeconómico sobre el nivel

de pensamiento crítico de los estudiantes.

El tercer capítulo revisa las conclusiones generales del trabajo realizado en la construcción

del modelo y diseño del test de pensamiento crítico.

Finalmente, en los anexos, se encuentra la versión en inglés del paper enviado junto a la

carta de recepción a la revista académica Thinking Skills and Creativity.


3

1. MOTIVACIÓN: HACIA UN MODELO DE EVALUACIÓN DE

PENSAMIENTO CRÍTICO

1.1 Habilidades del siglo XXI

Los últimos años han visto levantarse una enérgica demanda de la ciudadanía

por una mejor educación para nuestro país. En general, el problema se ha

centrado en el financiamiento de los establecimientos educacionales, cuya

máxima expresión es una reforma en curso por parte del gobierno de Michelle

Bachelet centrada en superar la segregación en los colegios. Sin embargo, este

énfasis ha oscurecido en buena medida el debate sobre calidad en la educación.

En este trabajo propongo revisar un aspecto de este espinoso problema y volver

a cuestionarnos qué necesidades plantean nuestros tiempos a nuestros

estudiantes.

Un reciente reporte conjunto de la UNESCO y la UNICEF llama a los

estudiantes del mundo a convertirse en ‘‘self-directed learners who can address

their own wants and concerns and can advocate for their goals and aspirations’’

(Sayed, 2013). Este llamado responde a un reclamo general por una enseñanza

más relevante y significativa para el nuevo contexto económico y social. En la

actual sociedad del conocimiento, la división del trabajo gracias a la tecnología

ha hecho que se le otorgue un menor énfasis al intercambio de la información y

se privilegian las competencias que apuntan a la comprensión de la información

(Levy & Murnane, 2012).


4

Para responder a este reclamo se han desarrollado diversos frameworks

alrededor del movimiento llamado “habilidades del siglo XXI”, cuyo impacto

en educación ha sido fundamental para volver a pensar las necesidades

educacionales de nuestra sociedad. En contraposición a los requerimientos del

currículum tradicional, basados fundamentalmente en alfabetización,

matemáticas y ciencias, se propone integrar una serie de habilidades que

traspasan las categorizaciones cerradas de las disciplinas. Por tanto, se

construye desde esta posición la idea de habilidades transversales (que

funcionen en más de un dominio del conocimiento), multidimensionales (que

incluyan tanto la dimensión cognitiva como actitudinal) y asociadas a

habilidades de orden superior (Voogt & Pareja, 2012).

Si bien no existe consenso absoluto sobre qué habilidades o competencias se

requieren para una educación significativa, se han identificado tendencias

generales en los catálogos de los investigadores y agencias educacionales.

Voogt & Pareja (2012) efectuaron un análisis comparativo de los distintos

marcos disponibles de habilidades del siglo XXI. Se encontró una gran

variedad entre los modos de categorización y agrupación de estas habilidades.

No obstante, detrás de esta aparente dispersión, se logró identificar que la

mayoría de los marcos consideraban centrales la habilidades en el área de

comunicación, colaboración, TICs, consciencia social y cultural, así como las

habilidades de creatividad, resolución de problemas y pensamiento crítico.

Se puede notar que si bien el discurso de las habilidades del siglo XXI nace de

la necesidad integrar la educación a los nuevos avances tecnológicos y

culturales, el tipo de competencias que promueve es bastante más antiguo.


5

Silva (2009) reconoce que muchas de las mismas necesidades educacionales

fueron exigidas por pensadores clásicos como Sócrates o, en su versión más

contemporánea, John Dewey. Sin embargo, lo verdaderamente inédito es el

énfasis que estas habilidades adquieren por las transformaciones en el trabajo y

la economía contemporáneas. En este sentido, resulta sintomático un estudio

del World Economic Forum y el Boston Consultancy Group (2015) en más de

91 países que señala que para la utilización exitosa de las herramientas

tecnológicas por parte de los estudiantes se necesitan conocimientos más allá

de los clásicos contenidos curriculares en lenguaje, matemáticas y ciencia, en

particular, considera relevante las habilidades de pensamiento crítico,

resolución de problemas, persistencia, colaboración y curiosidad. Sin embargo,

indica el reporte, “All too often (...) students in many countries are not attaining

these skills”(WEF & BCG, 2015, p.1).

Esta situación está marcada, además, por la desigualdad. El mismo informe

advierte que existen amplias diferencias en el desempeño promedio de tests

para este tipo especial de habilidades entre países de la OECD de alto ingreso

en contraposición con aquellos en vías de desarrollo (WEF & BCG, 2015). Esta

diferencia ni siquiera pudo ser establecida respecto a los países de bajo ingreso,

puesto que muy pocos participan en tests que permitan la comparación como la

PISA. La situación se vuelve más urgente si se piensa en que los mayores

esfuerzos por reducir la brecha educacional entre los países ricos y los pobres,

como el caso de Education for All de la UNESCO, han sido incapaces de


6

mejorar los niveles de competencias mínimas en países de bajos ingresos

(Filmer, et al., 2006).

Ante este escenario conviene preguntarse dónde vale la pena dedicar trabajo

para reducir la brecha e insertar de manera adecuada estas habilidades

fundamentales en la enseñanza de los estudiantes.

1.2 Nuevo paradigma de evaluación

Pensar nuevas habilidades junto a los contenidos tradicionales en el currículum

implica un cambio de paradigma que aún no ha sido completamente recibido

por las distintas comunidades. Explica Dede (2010) que una de las mayores

complicaciones en la inserción de las habilidades del siglo XXI es el intento de

que tanto los educadores y los estudiantes, así como los diseñadores de

políticas públicas, dejen atrás cierto tipo de prejuicios pertenecientes al

paradigma anterior, como la hora de clases de 45 minutos, o que las preguntas

en una prueba deben tener una única pregunta. Este tipo de resistencia no solo

ha llevado a distorsionar la actividad pedagógica diaria, sino que además se ha

promovido una interpretación errónea de los resultados de pruebas como la

PISA. En lugar de concluir en políticas de mejoras de habilidades del siglo

XXI, se ha llegado al diagnóstico de que se necesita devolver la atención a

habilidades de lectura y matemáticas básicas (Voogt & Pareja, 2012).

Lo que se necesita es entender que cambiar la orientación del currículum hacia

nuevos objetivos presupone cambiar la manera en que se implementa.


7

Probablemente, el caso más patente de la necesidad de esta reforma sea el de la

evaluación.

Según Dochy (2001) existen dos paradigmas sobre el que se construyen las

políticas de evaluación.

Primero, el paradigma tradicional, al que Dochy (2001) denomina la “cultura

de la prueba” (testing culture). Según Dochy, en la “cultura de la prueba” el

estudiante es imaginado como un recipiente pasivo que debe memorizar los

contenidos de la clase narrados por el profesor. Tanto la enseñanza como el

aprendizaje son pensados como procesos individuales. La evaluación sigue la

misma lógica. Se sustenta principalmente en evaluar un supuesto conocimiento

básico adquirido a través de tediosas prácticas y repeticiones de ejercicios. Por

tanto, el centro está en evaluar el producto y no el proceso. De esta manera, la

instrucción y la evaluación se comprenden como etapas separadas en la

enseñanza del estudiante. El típico mecanismo de evaluación será, por tanto, la

pregunta con respuesta única, con el fin de cuantificar fácilmente el nivel de

aprendizaje del contenido por parte del estudiante.

El segundo paradigma descrito por Dochy (2001) es aquel que denomina la

“cultura de la evaluación” (assessment culture). A diferencia del paradigma

anterior, sustentado en la memorización de los contenidos, la “cultura de la

evaluación” busca que el estudiante adquiera habilidades cognitivas,

metacognitivas y sociales específicas. Lo que retiene el estudiante no son los

contenidos aislados, sino una red de conceptos y principios desde los que

interpreta su realidad y opera con ella. El estudiante se torna un participante

activo en el proceso de aprendizaje, tomando parte tanto en las actividades de


8

instrucción como de evaluación. El objetivo de esta perspectiva es evaluar tanto

el producto como el proceso. Por lo tanto, el contexto se vuelve un elemento

fundamental al construir las evaluaciones. Las tareas intentan ser interesantes,

emanadas de situaciones concretas y significativas para el mundo del

estudiante. La evaluación no tomará una forma canónica, sino que se evaluará

de las maneras que las habilidades a enseñar lo exijan. Así, muchas veces se

desarrollarán evaluaciones que contengan preguntas sin una única respuesta

correcta, o más difíciles de estandarizar, lo que impacta en la complejidad de

cuantificar sus resultados.

La prevalencia actual del primer paradigma no solo se explica por la

persistencia de ciertos prejuicios sobre el sistema educativo. La facilidad de

cuantificar el desempeño de los estudiantes es una característica atractiva para

los diseñadores de políticas públicas. Es frecuente la utilización de tests que

aportan muy poca información, por ejemplo, tests de opción múltiple, ante la

presión por mostrar resultados ante el foro público (Conley, 2015). De esta

forma, la instrucción de los estudiantes se adapta a la evaluación de este tipo de

pruebas. Los efectos negativos de esta política de evaluación no se han hecho

esperar. Por ejemplo, en los Estados Unidos ha existido una baja sostenida

entre el 2010 y el 2012 en la prueba PISA, que basa su evaluación en

habilidades de nivel superior y transferencia (Darling-Hammond, 2014). Este

panorama no es desconocido para Chile, cuyo sistema educacional cuenta con

medidas estandarizadas para la medición de la calidad en la educación, en

particular, la prueba SIMCE, que se aplica a la totalidad de los alumnos de un

nivel desde 1987 (Basualdo, 2007). Si bien la prueba SIMCE ha sido


9

importante para el desarrollo de una institucionalidad e investigación en torno a

la calidad de la educación chilena, su implementación ha acarreado algunos

déficits (Ramírez, 2011). Similar al caso de los Estados Unidos, Chile ha sido

incapaz de remontar en la prueba PISA, con el resultado de que los escolares

chilenos están entre los puntajes más bajos entre los países de la OCDE

(Moreno, 2014).

Bajo este panorama, es razonable pensar en el diseño de nuevas evaluaciones

que sirvan para adaptar nuestro sistema educativo a las necesidades de la época

en que vivimos. Conley (2015) sugiere que en lugar de construir evaluaciones

aisladas que se preocupen solo de un aspecto del aprendizaje se haga el intento

de coordinar sistemas de evaluaciones que aporten con un panorama más

amplio del conocimiento y aprendizaje de los estudiantes. Tal como afirma

Silva (2009), un nuevo modelo de evaluación no solucionará todos los

problemas de la educación, pero permite volver a preguntarse qué resultados

importan realmente para nuestros estudiantes.

1.3 Pensamiento crítico

1.3.1 Importancia de pensamiento crítico en la educación

contemporánea

Muchas son las vías que la evaluación de las habilidades del siglo XXI ofrecen

a los investigadores en educación. El asunto de la presente investigación es

avanzar en la evaluación de la que, en opinión del autor, es la más urgente de

desarrollar en el contexto de la educación chilena. Me refiero, por supuesto, al


10

pensamiento crítico. Esta preocupación se refleja, incluso, en el curículum

nacional, tanto de Lenguaje y comunicación como de Matemática, que exige a

los profesores el desarrollo de esta habilidad desde el tercer grado (Mineduc,

2013ª; Mineduc, 2013b).

El interés por el pensamiento crítico tiene antiguos antecedentes en la Grecia

clásica, especialmente en el modelo educativo atribuido a Sócrates (Colaiaco,

2013), quien promulgaba el ideal de que todos los valores debían ser

examinados por cada ciudadano por su propio juicio racional. Con diferentes

matices, este ideal se proyectó históricamente en occidente, cuyo punto

cúlmine se encuentra en el ideal ilustrado que Immanuel Kant resumió

diciendo “ ¡Ten el valor de servirte de tu propia razón! : he aquí el lema de la

ilustración” (1994/1784).

¿Cuál es el valor específico de integrar el pensamiento crítico como habilidad

fundamental en la educación contemporánea? La defensa más robusta y

coherente ha sido establecida por Martha Nussbaum, quien en su libro Not for

Profit (2012) arguye que cultivar la habilidad de pensar críticamente es crucial

para mantener la vitalidad de las democracias multiculturales. Según la

filósofa, las sociedades actuales están compuestas por una gran diversidad de

personas con diferentes parámetros de evaluación. Explica Martha Nussbaum

que la habilidad de pensar críticamente

“about a wide range of cultures, groups, and nations in the context of a grasp of
the global economy and of the history of many national and group interactions
is crucial in order to enable democracies to deal responsibly with the problems
we currently face as members of an interdependent world” (2012, p.10).
11

Si estas personas viven en una comunidad democrática, se considera que la

opinión de cada una debe ser valorada por los mismos estándares de

racionalidad. Por esta razón, la presuposición de que tienen la habilidad de

pensar críticamente justifica que están capacitados para participar activa y

responsablemente como ciudadanos en las decisiones de su comunidad. De esta

manera, el pensamiento crítico permite un modelo de democracia que admite

modos de participación inclusiva a través de la deliberación pública

(Grossman, 2008).

Además de su valor democrático, el pensamiento crítico provee numerosas

ventajas en el contexto actual de aprendizaje. Por una parte, Paul (1992)

explica que la integración de habilidades de pensamiento crítico en la sala de

clases permite a los estudiantes comprender la lógica detrás de los contenidos

curriculares y, por tanto, hacer más probable la adaptación y transferencia de lo

aprendido a nuevos contextos. Por otra parte, Heyman (2008) declara que el

pensamiento crítico es fundamental para los estudiantes a la hora de aprender

de otros. Según la investigadora, el pensamiento crítico desde edades muy

tempranas permite distinguir en qué situaciones se enfrentan a información

poco precisa o poco confiable. También Weiler (2005) describe la importancia

del pensamiento crítico a la hora de obtener y recuperar información. Esto es

especialmente notorio al nivel universitario, donde, según Weiler (2005), los

estudiantes presentan gran disparidad en su uso de buscar información, siendo

un típico obstáculo para el pensamiento crítico el prejuicio que provoca el

conocimiento desde la experiencia personal. Estas ventajas han probado su

practicidad en el progreso futuro del estudiante, puesto que se ha mostrado que


12

el nivel de pensamiento crítico permite predecir el desempeño académico del

estudiante (Jenkins, 1998; Williams, et al., 2003; Facione, 2007).

Una vez explorado el valor del pensamiento crítico en la educación

contemporánea, se necesita pensar la manera más adecuada de integrarlo al

modelo educativo. En principio, el lugar más adecuado para esta intervención

es el currículum. Tal como explica Presseissen (1987), cuando se intenta

construir un modelo educacional basado en habilidades, es el currículum el

espacio en el que se vinculan los procesos de cognición con los objetivos

instruccionales del diseño institucional. En este sentido, es fundamental

cuidarse de que esta implementación no sea una mera extensión inorgánica,

sino que funcione como el núcleo sobre el que se construya el currículum

(Presseissen, 1987). Esta misma recomendación está contenida en Facione

(1990), en el que se sugiere una atención explícita en el desarrollo de

habilidades de pensamiento crítico como un objetivo instruccional en todos los

niveles del currículum de enseñanza escolar. Por sobre todo, la inclusión del

pensamiento en el currículum escolar apunta a transformar intelectualmente a

los estudiantes, en palabras de Maiorana (1992), rescatándolos de una

aceptación pasiva de los contenidos para convertirlos en analistas activos de su

realidad.

Tal como lo adelantamos en la primera sección, adoptar habilidades, en este

caso, el pensamiento crítico como objetivo instruccional del currículum,

implica preguntarse seriamente por su implementación. Una de las barreras

actuales más importantes es la posibilidad de evaluar adecuadamente el nivel


13

de pensamiento crítico de los estudiantes En la siguiente sección se darán

lineamientos apropiados para la evaluación del pensamiento crítico.

1.3.2 Evaluación del pensamiento crítico

La evaluación del pensamiento crítico en el currículum es un primer paso para

superar la separación entre el estudiante y el conocimiento obtenido, tan propio

de la que llamamos “cultura de la prueba”. Esta superación se obtiene al

concentrar la evaluación no en los contenidos que adquiere el estudiante, sino

en la calidad de su conocimiento, basada principalmente en actividades con

propósito (Higgins, 2014). Para lograr esta interacción significativa con el

conocimiento del estudiante se requiere que el modelo se mueva de sistemas

unidimensionales de evaluación hacia evaluaciones que den una imagen más

completa de lo que efectivamente sabe el estudiante (Conley, 2015). A

continuación, se delinearán las características que hacen posible construir un

test de pensamiento crítico bajo los principios de lo que hemos llamado

“nueva evaluación” en la sección 1.2.

Brown et al. (2014) explican que todo sistema de evaluación de pensamiento

crítico consta tanto de la formulación de un constructo a evaluar elaborado en

base a un modelo de cognición específico como de tareas que estén

específicamente destinadas a elicitar conductas observables en el desempeño

de los estudiantes.

La formulación del constructo es una de las tareas más fundamentales y, al

mismo tiempo, una de las más complejas en la evaluación de habilidades del


14

siglo 21. La tendencia histórica ha sido fijarse más en la confiabilidad del test

que en su validación (Conley, 2015), lo que ha impactado en la construcción de

una serie de tests que miden partes discretas de las habilidades en cuestión en

lugar del pensamiento crítico como una habilidad compleja compuesta de

diversas subdimensiones integradas (Ennis, 1993). Esta dispersión en la

evaluación se asocia, en buena medida, a la gran diversidad de definiciones de

pensamiento crítico disponibles en la literatura (Kennedy, Fisher &

Ennis,1991; Pithers & Soden, 2000; Lai, 2011; Dwyer, 2014). En este sentido,

es útil establecer una definición operativa desde un inicio.

Una aproximación común al pensamiento crítico es definirlo en relación a las

habilidades que lo componen. Van Gelder (2005) arguye que la idea que el

pensamiento crítico es una habilidad de nivel superior implica que está

compuesto de sub-habilidades más simples y fáciles de adquirir. El intento más

serio de establecer un consenso respecto de las habilidades esenciales que

componen el pensamiento crítico se encuentra en el Reporte Delphi (Facione,

1990) en el que se determina que las habilidades principales que debiese

contener todo concepto de pensamiento crítico son: interpretación, inferencia,

análisis, evaluación y explicación. Es importante señalar que gracias a las

investigaciones en estas habilidades en particular se ha podido demostrar

empíricamente que el pensamiento crítico puede ser evaluado y enseñado

operativamente en salas de clases (Butler, et al., 2012; Niu, et al., 2013; Reid &

Anderson, 2012).

Además, la práctica pedagógica y evaluativa muestran que una comprensión

adecuada del pensamiento crítico necesita destacar su aspecto metacognitivo


15

(Halpern, 1998; Ku & Ho, 2010). Se puede describir la metacognición como

“the monitoring and control of thought” (Martínez, 2006). Kuhn (1999) explica

que la evaluación del pensamiento de acuerdo a criterios presupone la

metacognición, ya que en la metacognición el pensamiento se vuelve objeto de

nuestro conocimiento. De esta manera, mediante la metacognición podemos

monitorear nuestro pensamiento y decidir críticamente qué estrategias

desplegar para cada problema concreto (Willingham, 2008). Por lo demás, se

ha mostrado a través de análisis de factores que la inclusión de la

metacognición en modelos de pensamiento crítico mejora el desempeño

experimental de esos modelos (Magno, 2010). Por esta razón, la mejor

definición disponible en la actualidad la aportan Dwyer, Hogan & Stewart

(2014), quienes componen su concepto de pensamiento crítico en referencia a

las habilidades que lo integran y su componente metacognitivo. De esta

manera, escriben que el pensamiento crítico es

“a metacognitive process, consisting of a number of sub-skills (e.g. analysis,


evaluation and inference) that, when used appropriately, increases the chances
of producing a logical conclusion to an argument or solution to a problem”
(Dwyer, Hogan & Stewart, 2014, p.43)

La decisión del tipo de tarea incurre en problemas similares. Uno de los

aspectos más difíciles es sobre si las tareas deben desarrollarse en el contexto

de un dominio específico o si las tareas deben ser construidas independiente

del dominio. Una posición es pensar que el pensamiento crítico es una

habilidad general y que, por tanto, su evaluación e instrucción puede

practicarse independiente del dominio específico en el que se desarrolla. Este

argumento es defendido principalmente por Ennis (1992), Paul (1992), Halpern


16

(1998) y Glaser (1984). La posición contraria se sustenta en que el

pensamiento crítico no es tanto una habilidad general, sino una habilidad que

se desarrolla en dominios específicos del conocimiento y es, por tanto,

altamente dependiente del contexto. Esta idea ha sido expuesta

fundamentalmente por McPeck (1981), Bailin (2002) y Willingham (2008). Ku

et al. (2014) aclaran que el debate ha tendido a solucionarse mediante un

consenso en el que tanto el conocimiento específico juega un rol en el

pensamiento crítico, así como también ciertas habilidades transversales. En el

caso de la evaluación, sin embargo, existe un menor desarrollo de evaluaciones

basadas en dominios específicos (Ennis, 1993). Además, bajo los principios de

la nueva evaluación antes mencionados, las evaluaciones deben centrarse en el

proceso (Dochy, 2001) y, por tanto, en su construcción se requiere tomar en

cuenta el contexto del dominio en el que se desenvuelven (Brown et al., 2014).

Por último, se requiere que los evaluadores tengan marcos adecuados a su

disposición que les permitan interpretar las respuestas de los estudiantes, es

decir, rúbricas. Brown et al. (2014) sugieren que estas rúbricas que no estén

construidas desde adjetivos que expresen sus apreciaciones subjetivas, sino que

estén basados en características debidamente operacionalizadas del concepto

en cuestión (Brown et al., 2014).

1.4 Cultura

Los factores culturales condicionan las capacidades de desarrollo de las

personas, tanto en su aspecto cognitivo como social (Nussbaum, 2011). La


17

cultura de una comunidad puede ser definida como los valores, reglas

y actitudes que definen la particularidad de cada organización (Bordieu, 1993).

Estudiar los factores culturales permite observar las maneras en las que las

sociedades resuelven problemas y dilemas (Trompenaars & Hampden-Turner,

1998; Schein, 1993). Sin embargo, aunque hay una gran variedad de estudios

sobre cultura (Munn, 1992), la particularidad de sus metodologías no los hace

siempre apropiados para estudiar la masiva complejidad de las instituciones

modernas (Hofstede 2001). Salili, et al. (2001) describen la gran cantidad de

estudios empíricos que justifican la influencia de la cultura en el desempeño

escolar de los estudiantes. Desde los estudios inaugurales de Pierre Bordieu

(2011) se sabe que el capital económico puede ser transformado en capital

cultural y ser transmitido por la familia a los estudiantes, lo que provoca

muchas veces diferencias en el logro escolar de los estudiantes (Sullivan,

2001). Además, se ha probado que la cultura influye en la cognición más allá

del estado neurofisiológico de la persona (Pérez-Arce, 1999). Rueda (2006)

sugiere que la cultura da forma a las maneras en que los estudiantes realizan su

aprendizaje cognitivo. Bajo esta premisa, Gruenert & Whitaker (2015) sugieren

que establecer políticas que tomen en cuenta la cultura en la sala de clases

puede mejorar los logros educacionales y enriquecer la vida de los estudiantes

en la sala de clases.

La investigación de factores culturales en la sala de clases ha sido en su mayor

parte de carácter cualitativo (Hofstede, 1986; Deal, et al., 1999; Lieberman,

1988; Lipka & Ilutsik, 2014). La medición de factores culturales en la escuela a

través de una metodología cuantitativa permitiría tener tanto información


18

agregada como particular de las dimensiones que constituyen el entramado

cultural de cada colegio. Por lo anterior, se requiere crear un instrumento de

medición adaptado al contexto escolar que permita su evaluación cuantitativa.

El investigador Geert Hofstede ha creado un marco metodológico cuantitativo

para poder medir los factores culturales a nivel nacional y organizacional.

Hofstede catalogó distintas culturas bajo un número de dimensiones valóricas

(Hofstede, 2001).

El marco de Hofstede se sustenta en el principio que la cultura es la

programación colectiva de la mente (Hofstede & Minkov, 2010). Esta

programación ocurre durante toda nuestra vida (Hofstede, 2001). Las personas

van adquiriendo poco a poco los valores que determinarán, así como, la manera

en que se relacionan con el resto de la comunidad (Hofstede, 2001). Según

Hofstede (2001), los valores de una cultura se pueden describir en cinco

dimensiones medibles: (1) alta o baja distancia hacia el poder, (2) alta o baja

evasión de la Incertidumbre, (3) individualismo o colectivismo, (4) orientación

femenina o masculina, (5) orientación a largo o corto plazo (Hofstede &

Minkov, 2010). A partir de estos indicadores, Hofstede confeccionó un test

para medir estas dimensiones.

Este marco teórico, así como el test derivado de dicho marco, sirve de

referencia para investigaciones cuya finalidad sea la medición de factores

culturales por diversas razones. En primer lugar, este modelo ha sido probado

en más de 50 países, por lo que está validado a través de una gran variedad de

culturas (Hofstede, 2001). En segundo lugar, tanto el modelo como los test

basados en ese marco se encuentran en constante revisión por lo que se


19

mantiene relativamente actualizado (Hofstede, 2001). En tercer lugar, la

investigación de Hofstede fue basada en un diseño riguroso y validado durante

los años con una colección de datos coherentes (Jones, 2007). En cuarto lugar,

Søndergaard (1994) declara que el test de Hofstede es bastante preciso al

momento de medir las distintas dimensiones que lo integran. En quinto lugar,

es el test de cultura más utilizado por investigadores actualmente a nivel

internacional (Jones, 2007).

La limitación, en este caso, del test de Hofstede es que, a pesar de la amplia

repercusión que ha tenido, solo ha sido aplicado en adultos. No obstante, la

edad escolar resulta especialmente interesante para el estudio de la cultura

desde este marco, puesto que según explica Hofstede hay una división que

ocurre aproximadamente a la edad de 10 años y que marcaría las diferencias de

aprendizaje de elementos culturales, tanto en la forma como en el contenido

(Hofstede, 2008; Hofstede & Minkov, 2010). Antes de los 10 años, se

desarrolla un periodo en el que el aprendizaje cultural ocurre para los niños de

forma “rápida y altamente inconsciente”, absorbiendo “la información

necesaria del ambiente” (Hofstede & Minkov, 2010, p. 8). En este período, el

colegio juega un rol crucial, ya que además de su familia cercana, es el otro

espacio de socialización en el que los niños están expuestos a valores

socialmente relevantes. Es decir, hasta los 10 años los niños estructuran el

conjunto de valores que luego permitirán explicar su acción en sociedad. Al

final de este período, el aprendizaje pasa a ser gradualmente consciente y su

contenido pasa a estar enfocado principalmente en nuevas prácticas. Los

valores, en cambio, serán una estructura relativamente estable (Hofstede,


20

2001; Hofstede, 2008). Es el propio Hofstede (1986) quien puntualizó que

estas dimensiones podían ser estudiadas en organizaciones educativas

(Hofstede, 1986). Dicho estudio se basó en la observación en colegios y

encuestas a profesores de variadas regiones del mundo (Hofstede, 1986).

Hofstede indagó en las diferencias que implica la cultura en la sala de clases y

cómo ésta puede causar, entre otros problemas, grandes desigualdades entre los

patrones esperados de interacción entre profesor/alumno y alumno/alumno;

además de disparidades en la relevancia del currículum educativo (Hofstede,

1986).

Por las razones previamente mencionadas, es razonable pensar que una

adaptación del test de Hofstede al contexto escolar podría medir factores

culturales en la sala de clases y permitir su integración a los modelos de

evaluación de habilidades cognitivas.

1.5 Modelo de evaluación de pensamiento crítico y cultura

1.5.1 Relación entre pensamiento crítico y cultura

Cuando se estudia pensamiento crítico y sus relaciones con otros factores, en

general la investigación se ha centrado en sus efectos en aspectos académicos,

de instrucción, plan de estudios, y diferentes campos disciplinarios (McMillan,

1987; Tsui, 1998; Tsui, 2000). Sin embargo, se le ha dado poco énfasis a temas

como la relación del desarrollo cognitivo, el pensamiento crítico y las

relaciones entre alumno/alumno y profesor alumno (Ennis, 1998; Tsui,

2000). Estas relaciones están directamente vinculadas con la cultura de la

institución a la cual los estudiantes pertenecen (Hofstede, 2001).


21

Cole (1971) explica que el desarrollo cognitivo está influenciado por las

demandas del ambiente en el que el alumno se desenvuelve. En buena medida,

las habilidades cognitivas de los individuos se basan en los patrones totales de

una sociedad, por lo tanto, de su cultura (Hofstede, 1986). Así, estudios han

encontrado diferencias significativas en el grado en que personas de diferentes

culturas procesan la información y complementan ésta con conjeturas

determinadas por el propio entorno (Sckade et al., 1978; Bennett, 1997). Por

tanto, muchas veces resulta problemático enseñar a un estudiante con un perfil

de habilidades cognitivas distintas de aquella a las que el profesor está

acostumbrado (Hofstede, 1986). Según Hofstede (1986), no hay otra solución

para disminuir esta brecha cultural sino aumentar la conciencia sobre estas

diferencias, en un esfuerzo sostenido por ambas partes, centrándose

especialmente en las nuevas capacidades demandadas por los cambios sociales

del momento. Así, vale la pena vincular el problema de la influencia de la

cultura sobre el desarrollo de habilidades, para facilitar su implementación en

el aula. En particular, con habilidades de pensamiento crítico que permitieran

educar acerca de las brechas culturales antes mencionadas.

Se reconoce que la educación — y en particular los tipos de habilidades y

valores que se nutren de dicho entorno — tiene una influencia en el uso del

pensamiento crítico de los estudiantes (Manalo et al., 2013). Pensar

críticamente está profundamente entrelazado con los antecedentes culturales de

un individuo y lo que tenemos que hacer frente a las diferencias culturales (Hill

& Shadija, 2010). Sin embargo, si se sostiene que la cultura del alumno afecta

directamente en su proceso de aprendizaje y su desarrollo cognitivo (Kuh,


22

1990; Tsui, 2000), entonces es necesario establecer el modo específico en que

esta influencia opera. Esto se vuelve urgente si se toma en cuenta que la

evaluación e instrucción de pensamiento crítico puede ser afectada por ciertos

prejuicios culturales (Bailin, 1995). Urdan & Giancarlo (2000) sugieren que

todavía no está claramente establecido el grado en que los factores culturales

afectan el pensamiento crítico, aunque luego recopilan una serie de estudios

incipientes en esta dirección. Un ejemplo más reciente se encuentra en Bates

(2001) y Bates & Poole (2003) quienes describen la manera en que provenir de

una cultura diferente a la del profesor y el resto de los compañeros puede

afectar el nivel en que un estudiante utiliza sus habilidades de pensamiento

crítico. Manalo et al. (2013) realizaron un experimento cuyos resultados

sugieren que existe una influencia de la cultura en el pensamiento crítico, pero

que, sin embargo, esta influencia no es directa ni está necesariamente vinculada

al origen geográfico del estudiante.

Kurtz (1990) en particular propone que la cultura funciona como un mediador

tanto los procesos cognitivos como metacognitivos en los niños. Esta

mediación, según Kurtz (1990), se despliega en factores motivacionales y

ambientales, en particular aquellos que se desarrollan en la familia y la escuela.

La idea de que la cultura media los procesos cognitivos de nivel superior está

en plena concordancia con el paradigma de la sicología cognitiva y educacional

de Vygotsky. Según esta tradición, el ser humano interactúa con su ambiente

utilizando los signos y herramientas creados por su sociedad. Sin embargo, tal

como la comunidad que los crea, estos mediadores cambian con el tiempo

(Vygotsky, 1980). Esta mediación, en el caso de las funciones mentales


23

superiores, pasa necesariamente por las relaciones sociales que la persona tiene

con el resto de la comunidad y está, por tanto, en constante relación con la

cultura de la sociedad específica en la que emerge (Wertsch, 2009). De esta

manera, la cultura se constituye en el principal mediador de las funciones

cognitivas superiores, entre las que podemos contar, por supuesto, al

pensamiento crítico.

1.5.2 Modelo de mediación

La consecuencia metodológica de seguir esta línea teórica es, entonces, la

construcción de un modelo que tome en cuenta el carácter mediador de la

cultura en el pensamiento crítico. Tal como Mackinnon et al. (2007) lo

consideran, gran parte de los modelos de investigación se centran en relaciones

entre dos variables. Los modelos de mediación, en cambio, permiten explicar

la influencia de una tercera variable sobre la relación entre las dos variables

previas. Para comprender el análisis de mediación podemos recurrir a un

ejemplo presente en Fairchild & McQuillin (2010). El ejemplo supone la

implementación de un programa de mejora de la lectura en un colegio (variable

independiente, X) para incrementar el rendimiento en un test de competencia

lectora (variable dependiente, Y). Siguiendo este modelo, se podría medir el

efecto de dicho programa (X) en la competencia lectora (Y) comparando la

diferencia en el rendimiento de la competencia lectora antes y después de la

aplicación del programa. Pero, quizás, este no es el panorama completo. En

este caso, se podría complejizar el modelo al introducir como variable


24

mediadora la fluidez oral en la lectura del estudiante (variable mediadora, M).

De esta manera, tendríamos acceso a la variable que, en realidad, está causando

la mejoría en la competencia lectora. Un modelo de mediación consta, por lo

tanto, de tres tipos de variables como se muestra en la figura 1. Una variable

independiente, una variable dependiente y una variable mediadora.

Figura 1: Modelo de mediación

Al aplicar el modelo de mediación a las variables de nuestro interés se deriva la

siguiente hipótesis de mediación: la cultura media la relación positiva entre

pensamiento crítico y comprensión lectora. De esta manera, el pensamiento

crítico actuará de variable independiente, el desempeño en un test de

comprensión escrita actuará de variable dependiente y la cultura actuará de

variable mediadora, tal como lo muestra la figura 2.


25

Figura 2: Modelo de mediación aplicado a las variables de pensamiento crítico y cultura

Para probar la mediación que efectúa la cultura entre el pensamiento crítico y

la comprensión resulta adecuado utilizar el método tradicional de testeo

desarrollado por Baron & Kenny (1986). Este método consta de cuatro pasos,

ilustrados en la figura 2 y explicados a continuación.

Figura 3: Método de testeo de un modelo de mediación.

Primero, se realiza una regresión (τ) para saber si la variable independiente (X)

predice la variable dependiente (Y).


26

Segundo, se realiza una regresión (α) para saber si la variable independiente

(X) predice la variable mediadora (M).

Tercero, se realiza una regresión (β) para saber si la variable mediadora (M)

predice la variable dependiente (Y).

Cuarto, se realiza una regresión (τ’) para saber si la variable independiente (X)

no predice la variable dependiente (Y), mientras se controla por la variable

mediadora (M).

Si todos los pasos tienen resultados significativos, entonces la mediación es

total. Si, en cambio, en el paso cuarto la regresión entre la variable

independiente (X) y la variable dependiente (Y) sigue siendo significativa,

mientras se controla por la variable mediadora (M), entonces la mediación es

parcial.
27

2. TAREAS IMPLEMENTADAS. DISEÑO Y VALIDACIÓN DE

TEST DE PENSAMIENTO CRÍTICO

Para implementar el modelo de mediación de pensamiento crítico y cultura es

necesario la construcción y validación de instrumentos que midan los factores

indicados. En lo que sigue se explicará cuál fue el proceso de construcción del test de

pensamiento crítico y su posterior validación, es decir, un vértice del triángulo que

constituye el modelo. El test de cultura aún está en proceso a la fecha de la escritura

de esta tesis.

2.1 Test de pensamiento crítico.


2.1.1 Introducción
La inclusión del pensamiento crítico en la educación escolar es uno de los

aspectos centrales en la discusión sobre las principales habilidades

identificadas como necesarias para el siglo XXI (Greenhill, 2009). Se ha dicho

que el pensamiento crítico es un prerrequisito esencial para la actividad

humana responsable (Marques, 2012), y fundamental para el desempeño

social, laboral y ético de los ciudadanos (Griffin, McGaw & Care, 2012;

Greenhill, 2009). El desarrollo de habilidades de pensamiento crítico provee a

los individuos con las herramientas necesarias para tomar decisiones por sí

mismos y no dejarse convencer por creencias que carezcan de evidencias

sólidas (Halpern, 2003; Mulnix, 2012).

Existe una amplia gama de definiciones de pensamiento crítico desde posturas

más filosóficas vinculadas al pensamiento clásico y al desarrollo humano

(Nussbaum, 2011) hasta perspectivas destinadas a su recepción y desarrollo en


28

las disciplinas educativas (Facione, 1990; Halpern, 2003; Bailin, 2002). No

obstante las distintas tendencias, se puede identificar que uno de los

componentes esenciales del pensamiento crítico está centrado en que se trata de

un proceso metacognitivo. El pensamiento crítico involucra competencias que

nos permiten no solo pensar sobre el mundo (habilidades de primer orden),

sino pensar sobre el pensamiento (habilidades de segundo orden) (Kuhn, 1999;

Halpern, 2003). El carácter metacognitivo tiene consecuencias instruccionales

y está en directa relación con la percepción y comprensión del contexto

(Halpern, 2003). Así, por ejemplo, se ha establecido que los procesos

metacognitivos vinculados al pensamiento crítico son un componente

fundamental en la transferencia del conocimiento obtenido (Nickerson, 1988).

En este trabajo se utilizará una definición que haga explícito este vínculo con la

metacognición definiendo el pensamiento crítico como

"a metacognitive process, consisting of a number of sub-skills (e.g. analysis,


evaluation and inference) that, when used appropriately, increases the chances
of producing a logical conclusion to an argument or solution to a problem"
(Dwyer, Hogan & Stewart, 2014, p.43).

La importancia del pensamiento crítico en el ámbito educacional está

justificada por décadas de desarrollo teórico y práctico (Lai, 2011). Su

inclusión en los currículum escolares es ampliamente reconocida, al menos, a

partir de la influencia de John Dewey en la primera mitad del siglo XX (Bean,

2011). Facione (1990) recomienda que el desarrollo del pensamiento crítico

sea un objetivo en todos los niveles del currículum K-12. En este sentido, la

instrucción del pensamiento crítico en la educación escolar debería incluir la

instrucción de estas habilidades integradas a las actividades en el aula (Bailin,


29

et al. 1999). Es importante que la inclusión del pensamiento crítico sea a una

edad temprana, puesto que se han revelado diferencias significativas entre los

alumnos con educación temprana y los que no (Osakwe, 2009).

Sin embargo, aunque la relevancia del pensamiento crítico se haya defendido

sostenidamente en materias educacionales a nivel mundial, no hay un

desarrollo suficiente de su medición por medio de actividades en la sala de

clases. Según la UNESCO (2000), se necesita la medición de los resultados del

aprendizaje de esta habilidad para mejorar la calidad de la educación. Yeh

(2001) ha declarado que si se acepta que los test guían el currículum y la

instrucción, una manera eficiente de mejorar la calidad de la educación en

pensamiento crítico es construir mejores test.

La literatura ha reconocido que para medir el pensamiento crítico de manera

relevante se requiere conocimiento específico del dominio en el que se

desenvuelve (Facione, 1990; Ennis 1989; McPeck 1981; Bailin, 2002;

Willingham, 2008). Esto es especialmente relevante porque para evaluar a los

niños en la sala de clase, tal como explica Whitcomb & Merrell (2013), la

evaluación debe ser situada y tomar en cuenta el dominio específico. Esto se

deriva del peso que los distintos dominios dan a diferentes evidencias o

explicaciones según los objetivos de la tarea que se requiera realizar (Bailin,

1999). De esta manera, aunque se pueda conceder un cierto nivel de

generalidad a las habilidades de pensamiento crítico, su utilidad depende de su

conexión con un dominio específico de conocimiento (McPeck, 1981).

Ennis (1989) recomienda que el mejor nivel para enseñar crítico es durante los

primeros años de la enseñanza básica. Esta recomendación es coherente con


30

estudios que concluyen que los niños en edad temprana se benefician de su

instrucción y evaluación (Kennedy et al, 1991). Sin embargo, los test

disponibles no están diseñados para niños en edades tempranas ni tampoco

para dominios específicos sino que solo miden el pensamiento crítico como

una habilidad general (Ennis & Millman, 1985; Watson & Glaser, 1980;

Facione, 1990; Ennis & Weir, 1985; Halpern, 2003). Por tanto, al enfrentar este

problema, emerge la primera pregunta de investigación ¿Cómo diseñar y

validar un test que distinga el nivel de pensamiento crítico en niños de

educación primaria en un dominio específico?

La relación entre el estrato socioeconómico y la adquisición de habilidades

tiene su mejor representante en Bourdieu, quien indica que la acumulación de

capital económico puede transferirse al interior de la sociedad en la forma de

capital cultural acumulado en la forma de habilidades y competencias

educacionales (Bourdieu, 2011). Se ha identificado que el estrato

socioeconómico del estudiante influye substancialmente en sus logros

educacionales (Breen & Goldthorpe, 1997); asi en tercer grado se ha visto que

la pobreza y las habilidades lectoras impactan en el éxito de los estudiantes en

niveles educacionales más avanzados (Hernández, 2011). Hay autores que

plantean que existe una influencia plausible del estrato socioeconómico de

proveniencia del estudiante respecto de su nivel de pensamiento crítico

(Cheung et al., 2001). Así es como surge la segunda pregunta de investigación,

¿Qué diferencias existen en el nivel de pensamiento crítico, en estudiantes de

tercer y cuarto grado, según su nivel socioeconómico?


31

2.1.2 Metodología
2.1.2.1 Definición del test.
En una primera etapa se realizó un estudio bibliográfico en el que se determinó

el modelo de pensamiento crítico. Este modelo tiene por objetivo generar un

scaffolding adecuado de las habilidades que componen el pensamiento crítico.

Se considera que un scaffolding apropiado es fundamental para promover el

pensamiento crítico (Kim et al., 2013), ya que permite la enseñanza explícita

de dichas habilidades en el contexto del aula (Halpern, 2003) y ayuda al

profesor a monitorear la manera en que esas habilidades son aprendidas. Se

considera que al enseñar habilidades de nivel superior, especialmente la

construcción de explicaciones, necesita la guía de un scaffolding apropiado

para su exitosa realización por niños en los últimos niveles de escuela primaria

(Songer & Gotwals, 2012).

Este modelo se basó en el Reporte Delphi (Facione, 1990), en el que un grupo

de expertos definió que las habilidades principales de un pensador crítico son

interpretación, análisis, inferencia, evaluación, explicación y auto-regulación.

Además, el modelo integra los conceptos de transferencia y metacognición

(Halpern, 2003).

El modelo propuesto se sustenta en un scaffolding secuencial en el que los

estudiantes se enfrentan a la elaboración de sus pensamientos (interpretación),

evalúan soluciones (evaluación), exploran y clarifican inconsistencias o faltas

de información (análisis e inferencia), y, finalmente, explican los resultados de

su proceso mental (explicación). La secuencia integra habilidades de nivel

superior (análisis, interpretación e inferencia) con procesos metacognitivos


32

(evaluación y explicación), producido por la formación explícita de

argumentos sobre la narrativa propuesta. Se le otorga un peso especial a la

explicación, puesto que las estrategias cognitivas que los estudiantes utilizan al

explicar están fuertemente guiadas por la metacognición (McNamara &

Magliano, 2009).

Para rastrear los procesos explicativos, se integraron preguntas que exigen

argumentación, pues según muestran Berland & Mcneill (2012) los procesos de

explicación ocurren en conjunto con los procesos de argumentación.

Operativizar el pensamiento crítico en términos de argumentación simplifica la

implementación de la medición de esta habilidad (Yeh, 2001). La

argumentación es relevante, especialmente, a la hora de medir pensamiento

crítico, puesto que es una de las herramientas más efectivas para discriminar

entre proposiciones sostenidas en evidencias y meras opiniones (Jiménez-

Aleixandre & Puig, 2012).

En una segunda etapa se definió el dominio en el que se construiría el test.

La posibilidad de integrar habilidades de pensamiento crítico tempranamente

se justifica en experimentos que demuestran que los niños pueden realizar

actividades que impliquen este tipo de habilidades con igual éxito que los

adultos (Gelman & Markman, 1987; Willinghman, 2008). Bajo esta

perspectiva, se estimó que la edad más temprana posible para ser efectivo el

test es el tercer grado, porque entre 3 y 5 grado la mayoría de los estudiantes

son capaces de decodificar y usar la mayoría de las palabras (Swaggerty,

2015).
33

El pensamiento crítico tiene un impacto importante en el aprendizaje de

habilidades asociadas al ámbito del lenguaje. Por ejemplo, Nippold, et al.

(2015) demostraron que las tareas basadas en pensamiento crítico elicitan

oraciones de mayor complejidad sintáctica que tareas basadas en

conversaciones. Chapman (2014) sugiere que el aprendizaje de habilidades de

pensamiento crítico mejora el desempeño de estudiantes en el TOEIC (Test of

English for International Communication). Además, O’Flahavan & Tierney

(2013) sugieren que la lectura y la escritura son herramientas muy productivas

para la promoción del pensamiento critico. Es por esto que el dominio

estudiado fue lenguaje y comunicación.

Así, se decidió elaborar una adaptación de la trama de una historia

culturalmente conocida. Como criterios para la selección de la historia se tuvo

en cuenta que entre los 8 y los 10 años el pensamiento de los estudiantes se

vuelve más lógico, mejora su memoria y sus habilidades intelectuales y aprecia

el humor (Das, 2013). En este sentido, se siguió la recomendación de Moore &

Zigo (2005) de utilizar el género de la ciencia ficción, ya que fomenta la

lectura crítica y creativa. Por esta razón, se utilizó la novela clásica de Julio

Verne La vuelta al mundo en 80 días, adaptada para niños de tercer grado. Esta

adaptación se utilizó de soporte para integrar las preguntas del test de

pensamiento crítico.

En una tercera etapa, se estimó necesario utilizar una narrativa gráfica y textual

para favorecer la aplicación del test. Esta decisión se basa en el lugar

privilegiado que tienen los formatos visuales en nuestra cultura (Emmison &

Smith, 2000; Sturken & Cartwright, 2001), cuya consecuencia es que los
34

estudiantes, especialmente en los primeros años de formación, aprenden

básicamente a través de recursos visuales (Downey, 2009). Frey & Fisher

(2004) reconocen que el uso de narrativas gráficas y textuales puede estimular

el interés de estudiantes desalentados por los formatos tradicionales de lectura.

Además, se considera que este tipo de narrativa fomenta aspectos tradicionales

del currículum de lenguaje y comunicación, como la alfabetización (Schwarz,

2006). Otro argumento por el que se consideró este formato se debe a que es el

soporte adecuado para la inclusión de elementos de alfabetización visual

asociado a los estándares de evaluación de pensamiento critico (Facione, 1990;

Lazo & Smith, 2014). Hassett & Schleble (2007) sugieren que al leer narrativas

gráficas y textuales los estudiantes no solo mejoran sus habilidades lectoras

básicas, sino que encuentran nuevas formas de pensar en la articulación de la

imagen y el texto.

Luego, se definieron una serie de criterios de desempeño para cada habilidad

establecida en el marco teórico (tabla 4 del anexo 1) (Facione, 1990). La

evaluación de estos criterios, a través de la construcción de actividades de

lecto-escritura, sirvieron para determinar el nivel de pensamiento crítico y, por

tanto, la narrativa tiene que estar estructurada en torno a dichos criterios. Para

cada uno de estos criterios de desempeño, se crearon preguntas de forma tal

que cubrieran todas las habilidades (interpretación, análisis, inferencia,

evaluación y explicación). Hubo una mayor concentración de preguntas en la

habilidad de explicación. Esta decisión se justifica en que, las estrategias

cognitivas que utilizan los estudiantes al explicar, están fuertemente guiadas

por la metacognición (McNamara & Magliano, 2009). Este vínculo es


35

especialmente importante en la construcción de preguntas de pensamiento

crítico, ya que al explicar el estudiante no solo elabora sobre los contenidos de

la pregunta, sino que la explicación también puede derivar en consideraciones

metacognitivas como analizar el tipo de tarea y distintas estrategias de solución

(Flavell, 1979). Este énfasis en la metacognición se debe a que este proceso

articula el pensamiento crítico (Dwyer, 2014). De esta manera, se estimó que

utilizar actividades cortas de escritura basadas en preguntas era lo más

provechoso, por ser una estrategia instruccional particularmente efectiva en la

evaluación del pensamiento, ya que proveen una aproximación a los procesos

mentales del estudiante a través de materializar su argumentación (Bean,

2011). Además, se decidió que las preguntas aparecerían en el transcurso de la

historia, ya que se ha comprobado que el uso de esta estrategia es más efectiva

que preguntar al final de la historia (Van Den Broek, et al., 2011). Por ejemplo,

en la figura 4 se muestra una de las escenas de la narrativa gráfica y textual

acompañada de una pregunta para el estudiante. En esta escena uno de los

personajes (el Detective) intenta engañar a otro personaje (Martín) mediante el

uso de un disfraz basado en un bigote falso. La interacción entre la acción de

disfrazarse y su despliegue visual en el bigote permite medir los siguientes

factores: primero, interpretación al determinar el papel de las imágenes

visuales en una narración, ya que el estudiante tiene que ser capaz de entender

cuál es la función del objeto como parte del disfraz y no una característica

innata del personaje; segundo, evaluación, al determinar los beneficios y

dificultades de una opción. En este caso, el estudiante evalúa si el bigote cuenta

como un buen o un mal disfraz para el propósito de engañar. Tercero,


36

explicación, al explicitar los estándares utilizados para evaluar en la escritura,

en el ejemplo, el estudiante no solo necesita decidir por una opción u otra sino

además fundamentar cuál es la razón de su evaluación (Facione, 1990). Los

correctores evaluarán si la respuesta cumplía o no con los criterios propuestos

y asignarán un puntaje de 1 si consideraba que se cumplían y 0 en caso

contrario. Las pautas de corrección se definieron con la asesoría de dos

expertos en educación y lenguaje, con el fin de comprobar que los ejercicios

concordaban con la habilidad que se pretendía medir.

Figura 3: Ejemplo de pregunta

2.1.2.2 Criterios de validación del instrumento.


Para validar el instrumento, se utilizaron los criterios de validez del constructo,

validez del contenido y validez de criterio (Brown, 2000; Wolming, 1998),

además de la medición de la confiabilidad mediante Alpha de Cronbach


37

(Cronbach, 1971). Estos análisis fueron acompañados con un análisis de ítems,

cuyo propósito es obtener datos que señalen la necesidad de revisar,

seleccionar y eliminar ítems muy difíciles, muy fáciles o que no discriminan

(Nitko 1996).

Como evidencia para la validez del constructo, se realizó un ANOVA bajo la

hipótesis de que existirían diferencias significativas de pensamiento crítico

entre el tercer y el cuarto grado (Brown, 2000). La presencia de esta diferencia

valida el constructo, puesto que es coherente con las investigaciones que

identifican que el nivel de pensamiento crítico vinculado a la metacognición

aumenta con la edad (Veenman, Wilhelm, & Beishuizen, 2004). Esto se

explicaría porque mientras que en tercer grado los estudiantes pueden realizar

explicaciones causales, predicciones simples (Hapgood, et al., 2004) y

analogías parcialmente correctas (May, et al., 2006), desde el cuarto grado en

adelante ya son capaces de diseñar estrategias para resolver problemas, definir

tareas y monitorear sus pensamientos (Hudgins, et al., 1989).

Para demostrar la validez del contenido se utilizó un panel de expertos (Rubio

et al., 2003), conformado por un experto en el área de educación y otro experto

en el área de filosofía y lenguaje, de los cuales se obtuvo el grado de

concordancia con el de los desarrolladores del instrumento (Dillashaw and

Okey, 1980; Nitko. 1996). Además, se agregaron para la validez del contenido

cuatro sesiones de think aloud con estudiantes de las edades en estudio

(Ericsson & Simon, 1993; Flaherty, 1974), tal como se recomienda en Facione

(1990).
38

Considerando que se han encontrado correlaciones entre tests de pensamiento

crítico y las notas escolares de estudiantes secundarios chilenos (Santelices et

al., 2011) se utilizó el Pearson product moment correlation entre los resultados

del test y las notas en lenguaje con el fin de examinar la criterion validity. Se

utilizó esta estrategia de muestreo por conveniencia debido a que, no estuvo la

posibilidad de acceder al registro de notas de todos los estudiantes (Ary et al,

2013).

Además, se condujo un análisis de la confiabilidad del test a través del Alpha

de Cronbach, índice que mide la consistencia interna del test (Cronbach, 1971).

Luego, se aplicó un análisis de ítems a los resultados con el fin de identificar a

través de datos objetivos, en este caso, los índices de dificultad y

discriminación de cada ítem, señales que indiquen la necesidad de revisar,

eliminar o modificar ítems (Nitko, 1996). Estos índices por ítems fueron

clasificados según la dimensión de pensamiento crítico que medían para luego

observar qué área fue más y menos difícil para los estudiantes.

2.1.2.3 Trabajo Experimental


Para estudiar la relación entre pensamiento crítico y nivel socioeconómico se

eligió un muestreo estratificado de acuerdo a los tres tipos de establecimientos

que se encuentran en el sistema educacional chileno (público, particular

subvencionado y particular). Cada establecimiento corresponde a un nivel

socioeconómico: bajo, medio y alto, respectivamente (Gallego, 2002). Por otro

lado, para estudiar la validez de constructo se trabajó con dos grados, 3º y 4º.

Los participantes de la muestra, Tabla 1, incluyeron 301 estudiantes de terceros

y cuartos básicos de los tres tipos de colegios. Se decidió utilizar un diseño de


39

ANOVA para comprobar la existencia de diferencias significativas entre los

distintos grupos.

Tabla 1: Participantes en el estudio según nivel socioeconómico y género

Tercer grado

Género / Nivel socioeconómico Alto Medio Bajo

Masculino 55 13 17

Femenino 47 17 14

Total 102 30 31

Fourth Grade

Género / Nivel socioeconómico Alto Medio Bajo

Masculino 40 14 18

Femenino 42 14 10

Total 82 28 28

2.1.3 Resultados
2.1.3.1 Validez del constructo
El test de Shapiro-Wilk indicó que no había normalidad en la distribución de

los alumnos de tercer y cuarto grado, (valor de 3.246e-06 pata tercero y

1.613e-07 para cuarto). Por su parte, el test de Barlett indicó que las varianzas

de los grupos en estudio eran homogéneas (valor de 0.3007). Aunque el

supuesto de normalidad de las distribuciones no se cumplió, según Sheng

(2008) el ANOVA es un test robusto, por tanto, es posible utilizarlo aunque

algunos supuestos fueron violados. Para esto se utilizó el test de Kruskal-


40

Wallis como una alternativa no paramétrica ante la violación del supuesto de

normalidad (Osborne, 2008).

El test para identificar la validez del constructo del instrumento indicó que hay

diferencias significativas entre los niveles de tercer y cuarto grado con un

p<0.001.

2.1.3.2 Validez del contenido


Un panel de expertos que examinó la correspondencia entre las preguntas y los

objetivos planteados según el marco de pensamiento crítico tuvo más de 70%

de acuerdo con el instrumento creado, lo que está dentro de los valores

aceptados. Los Think Alouds sirvieron, además, para identificar

incomprensiones y distorsiones en la redacción de las preguntas que fueron

corregidas en la versión final aplicada a la muestra grande.

2.1.3.3 Validez de criterio y Pearson product-moment correlation


La Pearson product-moment correlation entre los resultados del test y las notas

de los estudiantes fueron 0.805 para el tercer grado y 0.732 para el cuarto

grado, que Dancey & Reidy (2004) clasifican como una correlación fuerte

(<0.7), lo que constituye una evidencia robusta para la validez de criterio.

2.1.3.4 Confiabilidad
Se encontró un Alpha de Cronbach de 0.917 para el test antes del análisis de

ítems. Luego de realizado el análisis, el Alpha de Cronbach final resultó en un

valor de 0.909, lo que muestra que el test es confiable (George & Mallery,

2003). Este segundo valor corresponde al resultado después de analizar los


41

ítems de acuerdo a su nivel de dificultad y discriminación como se muestra en

la sección siguiente.

2.1.3.5 Análisis de ítems.


Los resultados del análisis de ítems se organizaron de acuerdo a la dimensión

de pensamiento crítico medida, con respecto a su dificultad y discriminación

tal como lo muestra la tabla 2. Para este estudio se seleccionó un rango entre

0.4 y 0.6, ya que, siguiendo a Womer (1968), este rango determina que una

pregunta es apropiada para ser incluida como parte de un instrumento de

medición. Además, Nitko (1996) explica que aquellos ítems con índice de

dificultad menor a 0.2 y mayor a 0.8 deben ser rechazados por ser muy fáciles

o muy difíciles, recomendación que seguimos en este instrumento. Por último,

se decidió que los ítems con índice de dificultad entre 0.2 y 0.4, y aquellos con

índice de dificultad entre 0.6 y 0.8 se integrarían siempre que aportaran con la

coherencia de la narrativa sobre la que estaba construido el test y aportaran

mayor información. Por otro lado, se consideró que un índice de

discriminación era aceptable para un ítem si es mayor a 0.3, por tanto, aquellos

ítems sobre 0.3 se consideraron buenos y aquellos con una discriminación bajo

0.3 se consideraron malos (Adkins, 1974; Hinkle, et al, 2003; Nitko, 1996). Un

resumen de la distribución de todas las preguntas de acuerdo a su dificultad y

su discriminación, indicando la dimensión y sub-dimensión a la que pertenecen

se encuentra en tabla 4 en el Anexo.

Al observar los resultados de la Tabla 5 (anexo) se aprecia que Análisis es la

dimensión con mayor dificultad y menor discriminación con un índice de


42

dificultad promedio de 0.36 y un índice de discriminación promedio de 0.38.

Por otro lado, la dimensión con menor dificultad fue Interpretación con un

índice de dificultad promedio de 0.62.

Se definió según los criterios de Womer (1968) de dificultad y discriminación

de los ítems, aquellos que, en primera instancia, formarían parte del test (ítems

2a, 3, 4, 6a, 10, 14b, 22, 23b, 27a). Por otro lado, siguiendo los criterios de

Nitko (1996), se determinó que se incluirían tambien los ítems (1a, 2b, 7, 8, 11,

12, 13, 14a, 16, 17a, 17,b, 18, 19a, 19b, 21, 26, 28a, 28b, 29a, 29b), con el fin

de obtener mayor información, mientras preservaran la coherencia total del

test. Por último, se eliminó un ítem(6b) que tenía correlación 1 con otro que

apuntaban al mismo indicador de logro.

De esta manera, como se muestra en la tabla 5 (anexo), se obtuvieron valores

de dificultad y discriminación dentro de los rangos sugeridos arriba por Womer

(1968) y Nitko (1996).

Tabla 2: Resumen discriminación y Dificultad por pregunta

Discriminación/ Difícil (<0.2) (0.2-0.4) Apropiado (0.6-0.8) Fácil


Dificultad (0.4-0.6) (>0.8)
Malos (<0.3) 2 ítems 2 ítems 0 ítems 0 ítems 2 ítems

Buenos (>0.3) 1 ítem 5 ítems 10 ítems 18 ítems 2 ítems

2.1.3.4 Diferencias entre colegios


Se realizó una comparación entre los grupos de los distintos establecimientos

educacionales. Esto fue posible, ya que aunque la distribución de uno de los

grupos no cumplía con el supuesto de normalidad para el test de Shapiro-Wilk


43

(alto: 3.208e-05, medio: 0.07288, bajo: 0.0207) y las varianzas no eran

homogéneas con un test de Bartlett de 1.063e-07, el ANOVA es un test robusto

y permite la violación de supuestos (Sheng, 2008). Por tanto, se utilizó el test

de Kruskal-Wallis, una alternativa no paramétrica al test de ANOVA (Osborne,

2008). Se identificaron diferencias significativas entre los grupos de estratos

socioeconómicos con un p<0.001. Luego, un test de Tukey post hoc mostró

que las diferencias eran significativas at p >0.05 entre todos los grupos entre sí.

Para analizar más detalladamente estas diferencias, en la Tabla 3 se muestran

los puntajes promedio del test por establecimiento, además de la desviación

estándar. Se ve claramente que en el colegio de estrato socioeconómico más

alto, los puntajes son considerablemente más altos (22.15 para cuartos y 19.3

para terceros) que los colegios de estrato medio (14.75 para 4 y 10.73 para

terceros) y bajo (10.61 para cuartos y 6.97 para terceros). Por otro lado, uno de

los resultados relevantes en este aspecto es que la desviación estándar del

colegio de estrato socioeconómico alto, baja considerablemente del tercero al

cuarto básico un 28% (de 4.55 a 3.27 puntos), en el colegio de nivel medio, la

desviación se mantiene prácticamente igual (6.95 comparado a 6.97 en

estudiantes de tercer grado). Por último, el colegio de nivel bajo muestra un

retroceso, demostrando un aumento en la desviación estándar de sus puntajes

de 6.2 a 6.06 puntos. Esto, podría sugerir que en el colegio de sector

socioeconómico alto se reduce la diferencia entre el rendimiento, mientras que

en los otros colegios, esto no sucede.

Tabla 3: Promedios por curso y tipo de colegio


44

Estrato socioeconómico Curso Promedio Desviación


estándar
Alto 4 22.15 3.27
Alto 3 19.3 4.55
Medio 4 14.75 6.95
Medio 3 10.73 6.97
Bajo 4 10.61 6.20
Bajo 3 6.97 6.06

2.1.4 Conclusiones
El objetivo de este artículo fue responder las siguientes dos preguntas de

investigación.

Primero, ¿ Cómo diseñar y validar un test que distinga el nivel de pensamiento

crítico en niños de educación primaria en un dominio específico? Para eso se

efectuó el diseño y validación de un test de pensamiento crítico para el dominio

de lenguaje y comunicación mediante el uso de una narrativa gráfica y textual.

Se cumplió este desafío, validando el test para tercero y cuarto grado.

Es interesante notar que no existen otros tests que hayan utilizado el formato de

la narrativa gráfica con apoyo textual para medir el nivel de pensamiento

crítico en estudiantes en los niveles de tercer y cuarto grado. El desarrollo de

test que integren narrativas gráficas y textuales tiene ventajas instruccionales

en términos de la motivación e interés de los estudiantes (Chase, et al., 2014),

el desarrollo de habilidades de nivel superior (Pantaleo, 2014), su efectividad

para la enseñanza de la alfabetización (Jennings, et al., 2014) y el soporte para

lectores con dificultad de visualizar historias (Lyga, 2006). Queda como

trabajo futuro validar instrumentos en otros dominios específicos, como en

ciencias y matemáticas,

La principal limitación del instrumento es el contexto cultural donde se

desarrolló. Considerando que los factores culturales son especialmente


45

importantes en el desarrollo del pensamiento crítico en clases de lenguaje

(Guo, 2013), por ejemplo, el registro de efectos significativos de la cultura en

el pensamiento crítico de estudiantes de educación superior en actividades de

escritura de blogs (Shahsavar, 2014) o la influencia de la cultura institucional

sobre el pensamiento crítico de los estudiantes (Tsui, 2000). Es importante

recalcar también que, como el marco conceptual se realizó dentro de un

contexto cultural específico, un grupo de estudiantes podría estar en una

desventaja respecto a otro grupo por la estructura del test y no por una

diferencia en su nivel de pensamiento crítico (Howe, 1995; Childs, 1990). Es

necesario como trabajo futuro estudiar cómo afecta la cultura local este marco

conceptual de pensamiento crítico. Adicionalmente, es necesario estudiar cómo

afecta la cultura local tanto la comprensión de imágenes como la estructura

narrativa en el desempeño del instrumento. La cuantificación de factores

culturales ha sido estudiada por Hofstede (2001) en adultos, pero es incipiente

su medición en niños (Hofstede, 1986). El desarrollo de una herramienta en

este sentido colaboraría con la robustez del desarrollo de un instrumento de

pensamiento crítico para niños en distintas realidades culturales.

Segundo, una vez validado el test, se resolvió indagar la pregunta sobre ¿Qué

diferencias existen en el nivel de pensamiento crítico dependiendo del tipo de

colegio al que asiste el alumno? En este sentido, se encontraron diferencias

significativas entre los grupos socioeconómicos por establecimiento

educacional. Esto sugiere que podría haber una relación entre el estrato

socioeconómico y el desarrollo de la habilidad de pensamiento crítico. Esto es

especialmente notorio al observar que mientras que en el colegio de estrato


46

socioeconómico alto la desviación estándar se reduce, aumentando la

homogeneidad de los estudiantes, en los otros establecimientos la desviación

estándar se mantiene. Aunque se necesitan más resultados en esta dirección,

cabría preguntarse si es posible recuperar esta diferencia mediante la

instrucción en las habilidades de pensamiento crítico que se miden en este

instrumento.

Este trabajo es un primer paso para que las instituciones educacionales en

primaria cuenten con un instrumento que les permita conocer el estado del

desarrollo del pensamiento crítico en sus estudiantes. Este test es una mejora en

las evaluaciones disponibles al desplazarce de modelos unidimensionales de

medición a modelos que entreguen una imagen más detallada y múltiple del

aprendizaje del estudiante (Conley, 2015). Las limitaciones de este trabajo es

tanto el rango escolar, el contexto cultural y el dominio estudiado. En un

trabajo futuro es necesario trabajar las limitantes indicadas.


47

CONCLUSIONES FINALES

El objetivo principal de este trabajo fue la construcción de un modelo de

evaluación y el diseño de un test de pensamiento crítico para niños en

educación primaria. El desarrollo del test siguió las indicaciones recomendadas

por los nuevos paradigmas de evaluación educacional de habilidades del siglo

XXI. De esta manera, se consiguió elaborar un instrumento de evaluación que

presenta una imagen más completa del nivel de pensamiento crítico de los

estudiantes.

El uso de este instrumento puede beneficiar dos áreas del sector educacional a

los que afecta directamente. Por una parte, el instrumento puede integrarse a

nivel local en colegios chilenos para evaluar el nivel de pensamiento crítico en

niños de tercer y cuarto grado. El formato de la narrativa gráfica utilizado hace

más amigable su implementación en las salas de clases. De esta manera, los

profesores adquieren una guía sobre el impacto que sus clases tienen en el

desarrollo de pensamiento crítico en sus estudiantes. Por otra parte, este

instrumento permite recolectar importante información sobre el estado del

pensamiento crítico para los investigadores educacionales en Chile, tanto en el

área de pensamiento crítico mismo como en su posible relación con la

comprensión lectora y el desarrollo de la escritura. Además, el proceso de

diseño de este test, así como el instrumento mismo, puede utilizarse para la

creación de nuevos instrumentos de pensamiento crítico, tanto en el dominio de

lenguaje y comunicación como en otras áreas relevantes para el currículum.


48

Un paso necesario en la continuación de esta línea de trabajo es el desarrollo de

nuevas herramientas instruccionales coherentes con el tipo de habilidad

evaluada por el instrumento diseñado en esta investigación. Tal como sugiere

Dochy (2001), es conveniente que los instrumentos de evaluación y la

instrucción sean diseñados coordinadamente para que el proceso de aprendizaje

sea efectivo y relevante.

Adicionalmente, la investigación da un primer paso al explorar la relación

entre el pensamiento crítico y el estrato socioeconómico en estudiantes

chilenos. Explorar este vínculo con mayor profundidad podría explicar cómo el

aprendizaje de habilidades de nivel superior, exigidas cada vez más en el

contexto laboral contemporáneo, sustenta lógicas de diferenciación social que,

según Van Zanten (2005), impactan en la reproducción de privilegios de clase

al interior de las comunidades.

Queda pendiente aún la implementación del test de cultura con el que el

modelo propuesto podría aplicarse íntegramente. Una vez validado este test, se

podrá obtener información relevante sobre el impacto que tienen los factores

culturales sobre la relación entre el pensamiento crítico y otras competencias

educacionales. En particular, como se sugiere en esta investigación, sobre la

competencia lectora.

Una limitación adicional del test es el formato de libro de texto utilizado en su

primera implementación. En el futuro, sería deseable considerar la integración

de un argumentador digital, lo que permitiría utilizar los medios tecnológicos

para mejorar la manipulación práctica del instrumento en cuestión y medir

otros factores no disponibles en un formato análogo.


49

Si bien algunos aspectos de la investigación pueden ser perfeccionados, es

presumible que, al menos, se han establecido bases sólidas para el desarrollo de

los estudios de pensamiento crítico en la educación chilena.


50

BIBLIOGRAFIA

Adkins, D. C. (1974). Test construction: Development and interpretation of

achievement tests. Columbus, Ohio: Merrill Publishing Company.

Alexander, P. A., & Judy, J. E. (1988). The interaction of domain-specific and

strategic knowledge in academic performance. Review of Educational

research,58(4), 375-404.

Ary, D., Jacobs, L., Sorensen, C., & Walker, D. (2013). Introduction to research in

education. Cengage Learning.

Bailin, S. (1995). Is critical thinking biased? Clarifications and

implications.Educational Theory, 45(2), 191-197.

Bailin, S. (2002). Critical thinking and science education. Science & Education,

11(4), 361–375.

Bailin, S., Case, R., Coombs, J. R., & Daniels, L. B. (1999). Conceptualizing critical

thinking. Journal of Curriculum Studies, 31(3), 285–302.

Baron, R. M., & Kenny, D. A. (1986). The moderator–mediator variable distinction

in social psychological research: Conceptual, strategic, and statistical considerations.

Journal of personality and social psychology, 51(6), 1173.

Basualdo, C. (2007). La Evaluación del Sistema Educativo en Chile: Una

aproximación contextual. Proyecto de Investigación, Universidad Nacional de Salta.

Bates, T. (2001). International distance education: Cultural and ethical

issues.Distance Education, 22(1), 122-136.

Bates, A. W., & Poole, G. (2003). Effective Teaching with Technology in Higher

Education: Foundations for Success. Jossey-Bass, An Imprint of Wiley. 10475

Crosspoint Blvd, Indianapolis, IN 46256.


51

Bean, J. C. (2011). Engaging ideas: The professor's guide to integrating writing,

critical thinking, and active learning in the classroom. San Francisco: John Wiley &

Sons.

Bennett, M. J. (1997). How not to be a fluent fool: Understanding the cultural

dimension of language. New ways in teaching culture, 16-21.

Berland, L. K., & McNeill, K. L. (2012). For whom is argument and explanation a

necessary distinction? A response to Osborne and Patterson. Science

Education, 96(5), 808-813.

Bourdieu, P. (1993). The field of cultural production: Essays on art and literature.

New York: Columbia University Press.

Bourdieu, P. (2011). The forms of capital. (1986). Cultural theory: An anthology, 81-

93.

Breen, R., & Goldthorpe, J. H. (1997). Explaining educational differentials towards a

formal rational action theory. Rationality and society, 9(3), 275-305.

Brown, J. D. (2000). What is construct validity? JALT Testing and Evaluation SIG

Newsletter, 4(2), 7-10.

Brown, N. J., Afflerbach, P. P., & Croninger, R. G. (2014). Assessment of critical-

analytic thinking. Educational Psychology Review, 26(4), 543-560.

Butler, H. A., Dwyer, C. P., Hogan, M. J., Franco, A., Rivas, S. F., Saiz, C., &

Almeida, L. S. (2012). The Halpern Critical Thinking Assessment and real-world

outcomes: cross-national applications. Thinking Skills and Creativity, 7(2), 112-121.

Chapman, J. (2014). Critical Thinking and TOEIC: Advanced Skills for Teachers

and Test-Takers. The 2013 PanSIG Proceedings, 102.


52

Chase, M., Son, E. H., & Steiner, S. (2014). Sequencing and Graphic Novels With

Primary‐Grade Students. The Reading Teacher, 67(6), 435-443.

Cheung, C. K., Rudowicz, E., Lang, G., Yue, X. D., & Kwan, A. S. (2001). Critical

thinking among university students: does the family background matter? College

Student Journal, 35(4), 577.

Childs, R. (1990). Gender bias and fairness. Practical Assessment, Research &

Evaluation, 2(3).

Colaiaco, J. A. (2013). Socrates against Athens: philosophy on trial. New York:

Routledge.

Cole, M. (1971). The Cultural Context of Learning and Thinking: An Exploration in

Experimental Anthropology. London: Methuen.

Conley, D. (2015). A New Era for Educational Assessment. education policy

analysis archives, 23, 8.

Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.). Educational

Measurement (2nd Ed.). Washington, D. C.: American Council on Education.

Dancey C., Reidy J. (2004). Statistics Without Maths for Psychology: Using SPSS for

Windows. London: Prentice Hall

Darling-Hammond, L., Wilhoit, G., & Pittenger, L. (2014). Accountability for

college and career readiness: Developing a new paradigm. education policy analysis

archives, 22(86), 1.

Das, A. (2013). The Impact of Children’s Literature in the Teaching of English to

Young Learners. International Journal of English: Literature, Language & Skills.

Deal, T. E., & Peterson, K. D. (1999). Shaping school culture: The heart of

leadership. San Francisco: Jossey-Bass Inc.


53

Dede, C. (2010). Comparing frameworks for 21st century skills. 21st century skills:

Rethinking how students learn, 20, 51-76.

Dillashaw, F.G. & Okey, J. R. (1980). Test of Integrated Science Process Skills for

Secondary Students. Science Education, 64, 601-608.

Dochy, F. (2001). A new assessment era: different needs, new challenges.Learning

and Instruction, 10, 11-20.

Downey, E. M. (2009). Graphic novels in curriculum and instruction

collections.Reference & User Services Quarterly, 49(2), 181-188.

Dwyer, C. P., Hogan, M. J., & Stewart, I. (2014). An integrated critical thinking

framework for the 21st century. Thinking Skills and Creativity, 12, 43-52.

Emmison, M., & Smith, P. (2000). Researching the Visual: Images, Objects,

Contexts and Interactions in Social and Cultural Inquiry: Introducing Qualitative

Methods. London: Sage.

Ennis, R. H. (1989). Critical thinking and subject specificity: Clarification and

needed research. Educational researcher, 18(3), 4-10.

Ennis, R. (1992) Conflicting Views on Teaching Critical Reasoning, in: R. Talaska

(ed.), Critical Reasoning in Contemporary Culture (Albany, SUNY Press).

Ennis, R. H. (1993). Critical thinking assessment. Theory into practice, 32(3), 179-

186.

Ennis, R. H. (1998). Is critical thinking culturally biased?. Teaching

Philosophy,21(1), 15-33.

Ennis, R.H. & Millman, J. (1985). Cornell Critical Thinking Test-Level X. Pacific

Grove, CA: Midwest Publications.


54

Ennis, R.H. & Weir, E. (1985). The Ennis-Weir essay test: An instrument for testing

and teaching. Midwest Publications: Pacific Grove, CA.

Ericsson, K. A., & Simon, H. A. (1993). Protocol Analysis: Verbal reports on data.

Cambridge, MA: MIT Press.

Facione, P. A. (1990). Critical Thinking: A Statement of Expert Consensus for

Purposes of Educational Assessment and Instruction. Research Findings and

Recommendations. http://assessment.aas.duke.edu/documents/Delphi_Report.pdf,

downloaded Feb 3, 2014.

Facione, P. A. (2007). Critical thinking: What it is and why it counts. Insight

Assessment, 2007, 1-23.

Fairchild, A. J., & McQuillin, S. D. (2010). Evaluating mediation and moderation

effects in school psychology: A presentation of methods and review of current

practice. Journal of school psychology, 48(1), 53-84.

Filmer, D., Hasan, A., & Pritchett, L. (2006). A millennium learning goal: Measuring

real progress in education. Center for Global Development Working Paper, (97).

Flaherty, E. G. (1974). The thinking aloud technique and problem-solving ability.

Journal of Educational Research, 68, 223-225.

Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of

cognitive–developmental inquiry. American psychologist, 34(10), 906.

Frey, N., & Fisher, D. (2004). Using graphic novels, anime, and the Internet in an

urban high school. English Journal, 19-25.

Gallego, F. A. (2002). Competencia y resultados educativos: teoría y evidencia para

Chile. cuadernos de economía, 39(118), 309-352.


55

Gelman, S. A., & Markman, E. M. (1987). Young children's inductions from natural

kinds: The role of categories and appearances. Child development, 1532-1541.

George, D and Mallery, P. (2003). SPSS for Windows step by step: a simple guide

and reference. Boston, MA: Allyn and Bacon.

Glaser, R. (1984). Education and thinking: The role of knowledge. American

psychologist, 39(2), 93.

Greenhill, V. (2009). P21 framework definitions document, Retrieved December 15,

2010, from,

http://www.21stcenturyskills.org/documents/p21_framework_definitions_052909.pd

f.

Griffin, P., McGaw, B., & Care, E. (2012). Assessment and Teaching of 21st Century

Skills. New York: Springer

Grossman, D. L. (2008). Democracy, citizenship education and inclusion: a multi-

dimensional approach. Prospects, 38(1), 35-46.

Gruenert, S., & Whitaker, T. (2015). School Culture Rewired: How to Define,

Assess, and Transform It. ASCD.

Guo, M. (2013). Developing Critical Thinking in English Class: Culture-based

Knowledge and Skills. Theory and Practice in Language Studies, 3(3), 503-507.

Halpern, D. F. (1998). Teaching critical thinking for transfer across domains:

Disposition, skills, structure training, and metacognitive monitoring. American

Psychologist, 53(4), 449.

Halpern, D. (2003). Thought and knowledge: An introduction to critical thinking (4th

ed.). Mahwah, NJ: Lawrence Erlbaum Associates.


56

Hapgood, S., Magnusson, S. J., & Sullivan-Palincsar, A. (2004). Teacher, text, and

experience: A case of young children's scientific inquiry. Journal of the Learning

Sciences, 13(A), 455-505.

Hassett, D. D., & Schleble, M. B. (2007). Finding Space and Time for the Visual in

K-12 Literacy Instruction. English Journal, 97(1).

Hernandez, D. J. (2011). Double Jeopardy: How Third-Grade Reading Skills and

Poverty Influence High School Graduation. Annie E. Casey Foundation.

Heyman, G. D. (2008). Children's critical thinking when learning from others.

Current Directions in Psychological Science, 17(5), 344-347.

Higgins, S. (2014). Critical thinking for 21st-century education: A cyber-tooth

curriculum?. Prospects, 44(4), 559-574.

Hill, R., & Shadija, D. (2010). Culture, Critical Thinking and Computing.

Proceedings of the International Workshop CS-LTA 2010, 26 July 2010, Kuching,

Malaysia, 21-26.

Hinkle, D. E., Wiersma, W., & Jurs, S. G. (2003). Applied statistics for the

behavioral sciences. Boston: Houghton Mifflin.

Hofstede, G. (1986). Cultural differences in teaching and learning. International

Journal of intercultural relations, 10(3), 301-320.

Hofstede, G. (2001). Culture's consequences: Comparing values, behaviors,

institutions and organizations across nations. Thousand Oaks, California: Sage.

Hofstede, G. (2008, August). Cultural Differences in Teaching and Learning.

Retrieved 12 11, 2013, from, fuhu.dk:

http://fuhu.dk/filer/FBE/Arrangementer/Denmark%20Unlimited%20080508/FBE_ge

ert_hofstede_teaching_learning.pdf
57

Hofstede, G., & Minkov, M. (2010). Cultures and Organizations: Software of the

Mind. United States of America: McGraw-Hill.

Hong-Nam, K., Leavell, A. G., & Maher, S. (2014). The Relationships among

Reported Strategy Use, Metacognitive Awareness, and Reading Achievement of

High School Students. Reading Psychology, 35(8), 762-790.

Howe, K. (1995). Validity, Bias and Justice in Educational Testing: The Limits of

Consequensialist Conception. In A. Neiman, Ed., Philosophy of education. Normal,

ILL: Philosophy of Education Society, pp. 295-302.

Hudgins, B. B., et al. (1989). Children's critical thinking: A model for its analysis

and

two examples. Journal of Educational Research, 82(6), 327-338.

Jenkins, E. K. (1998). The significant role of critical thinking in predicting auditing

students' performance. Journal of Education for Business, 73(5), 274-279.

Jennings, K. A., Rule, A. C., & Zanden, S. M. V. (2014). Fifth Graders’ Enjoyment,

Interest, and Comprehension of Graphic Novels Compared to Heavily-Illustrated and

Traditional Novels. International Electronic Journal of Elementary Education, 6(2),

257.

Jiménez-Aleixandre, M. P., & Puig, B. (2012). Argumentation, evidence evaluation

and critical thinking. In Second international handbook of science education (pp.

1001-1015). Netherlands: Springer.

Jones, M. L. (2007, June). Hofstede—cultural questionable? Paper presented at

Oxford: Business and Economic Conference, Oxford, UK. Retrieved from

http://ro.uow.edu.au/commpapers/370

Kant, I. (1994). ¿Qué es la ilustración? Revista colombiana de psicología, 3, 7-10.


58

Kennedy, M., Fisher, M. B., & Ennis, R. H. (1991). Critical thinking: Literature

review and needed research. Educational values and cognitive instruction:

Implications for reform, 2, 11-40.

Kim, K., Sharma, P., Land, S. M., & Furlong, K. P. (2013). Effects of active learning

on enhancing student critical thinking in an undergraduate general science

course. Innovative Higher Education, 38(3), 223-235.

Ku, K. Y., & Ho, I. T. (2010). Metacognitive strategies that enhance critical thinking.

Metacognition and learning, 5(3), 251-267.

Ku, K. Y., Ho, I. T., Hau, K. T., & Lai, E. C. (2014). Integrating direct and inquiry-

based instruction in the teaching of critical thinking: an intervention study.

Instructional Science, 42(2), 251-269.

Kuh, G. D. (1990). Assessing student culture. New Directions for Institutional

Research, 1990(68), 47-60.

Kuhn, D. (1999). A developmental model of critical thinking. Educational

researcher, 28(2), 16-46.

Kurtz, B. E. (1990). Cultural influences on children’s cognitive and metacognitive

development. In Interactions among aptitudes, strategies, and knowledge in

cognitive performance (pp. 177-199). Springer New York.

Lai, E. R. (2011). Critical thinking: A literature review. Pearson's Research

Reports, 6, 40-41.

Lazo, V. G., & Smith, J. (2014). Developing thinking skills through the visual: An

a/r/tographical journey. International Journal of Education through Art, 10(1), 99-

116.
59

Levy, F., & Murnane, R. J. (2012). The new division of labor: How computers are

creating the next job market. Princeton University Press.

Lieberman, A. (1988). Building a professional culture in schools. New York:

Teachers College Press, Teachers College.

Lipka, J., & Ilutsik, E. (2014). Transforming the Culture of Schools: Yupi’k Eskimo.

New York: Routledge.

Lyga, A. A. (2006). Graphic Novels for (Really) Young Readers: Owly, Buzzboy,

Pinky and Stinky. Who Are These Guys? And Why Aren't They Ever on The

Shelf?. School Library Journal, 52(3), 56.

MacKinnon, D. P., Fairchild, A. J., & Fritz, M. S. (2007). Mediation analysis.Annual

review of psychology, 58, 593.

Magno, C. (2010). The role of metacognitive skills in developing critical

thinking.Metacognition and learning, 5(2), 137-156.

Maiorana, V. P. (1992). Critical Thinking across the Curriculum: Building the

Analytical Classroom. ERIC Clearinghouse on Reading and Communication Skills,

2805 E. 10th St., Suite 150, Bloomington, IN 47408-2698.

Manalo, E., Kusumi, T., Koyasu, M., Michita, Y., & Tanaka, Y. (2013). To what

extent do culture-related factors influence university students’ critical thinking use?.

Thinking Skills and Creativity, 10, 121-132.

Marques, J.F., (2012), Moving from trance to think: why we need to polish our

critical thinking skills, International Journal of Leadership Studies, Vol. 7 Iss. 1,

2012, 87-95

Martinez, M. E. (2006). What is metacognition? Phi Delta Kappan, 87(9), 696–699.


60

May, D. B., Hammer, D., & Roy, P. (2006). Children's analogical reasoning in a

third grade science discussion. Science Education, 90(2), 316-330.

McNamara, D. S., & Magliano, J. P. (2009). 5 Self-Explanation and

Metacognition. Handbook of metacognition in education, 60.

McMillan, J. (1987). Enhancing college students’ critical thinking: A review of

studies. Research in Higher Education, 26 (1), 3-29.

McPeck, J. (1981). Critical Thinking and Education. Oxford: Martin Robertson.

Mineduc. (2013a). Matemática programa de estudio 3° Básico. Retrieved from

http://www.curriculumenlineamineduc.cl/605/articles-18978_programa.pdf

Mineduc. (2013b). Lenguaje y comunicación. Programa de estudio 3° Básico.

Retrieved from http://www.curriculumenlineamineduc.cl/605/articles-

18962_programa.pdf

Mineduc, OCDE & SIMCE. PISA Evaluación de las competencias lectoras para el

siglo XXI. Marco de evaluación y preguntas de la prueba.

http://www.agenciaeducacion.cl/wp-

content/files_mf/pisa_evaluacion_de_las_competencias_lectoras_para_el_siglo_xxi_

final.pdf

Moore, M.& Zigo, D. (2005). Chicken Soup for the Science Fiction Soul: Breaking

the Genre Lock in the High School Literacy Experience. Journal of Curriculum.

21(3), 29-45.

Moreno, G. (2014, Abril 1). Prueba PISA: escolares chilenos están entre los más

bajos de la OCDE en solución de problemas. La Tercera [en línea]. Consultado 22 de

Abril, 2015.
61

Mulnix, J. W. (2012). Thinking critically about critical thinking. Educational

Philosophy and Theory, 44(5), 464-479.

Munn, N. D. (1992). The cultural anthropology of time: a critical essay. Annual

Review of Anthropology, 93-123.

Nickerson, R. (1988). On improving thinking through instruction. Review of

Research in Education, 15(3), 3-57.

Nippold, M. A., Frantz-Kaspar, M. W., Cramond, P. M., Kirk, C., Hayward-

Mayhew, C., & MacKinnon, M. (2015). Critical Thinking about Fables: Examining

Language Production and Comprehension in Adolescents. Journal of Speech,

Language, and Hearing Research.

Nitko, A. J. (1996). Educational Assessment of Students. 2nd ed. New Jersey:

Prentice-Hall.

Niu, L., Behar-Horenstein, L. S., & Garvan, C. W. (2013). Do instructional

interventions influence college students’ critical thinking skills? A meta-

analysis.Educational Research Review, 9, 114-128.

Nussbaum, M. C. (2011). Creating capabilities. Boston: Harvard University Press.

Nussbaum, M. C. (2012). Not for profit: Why democracy needs the humanities. NJ:

Princeton University Press.

O’Flahavan, J. & Tierney, R. (2013). Reading, Writing, and Critical

Thinking. Educational Values and Cognitive Instruction: Implications for Reform,

41.

Osakwe, R. N. (2009). The effect of early childhood education experience on the

academic performances of primary school children. Stud Home Comm Sci,3(2), 143-

147.
62

Osborne, J. W. (Ed.). (2008). Best practices in quantitative methods. Thousands

Oaks: Sage.

Palincsar, A. S. (2005). Social constructivist perspectives on teaching and learning.

An introduction to Vygotsky, 285.

Pantaleo, S. (2014). Reading images in graphic novels: Taking students to a greater

thinking level. English in Australia, 49(1), 38.

Paul, R. (1992). Critical thinking: What, why, and how. New Directions for

Community Colleges, 1992(77), 3-24.

Pérez-Arce, P. (1999). The influence of culture on cognition. Archives of Clinical

Neuropsychology, 14(7), 581-592.

Pithers, R. T., & Soden, R. (2000). Critical thinking in education: A

review.Educational Research, 42(3), 237-249.

Presseisen, B. Z. (1987). Thinking and curriculum: Critical crossroads for

educational change. In M. Heiman & J. Slomianko (Eds.). Thinking skills

instruction: Concepts and techniques (pr. 31-39). Washington, DC: National

Educational Association.

Ramírez, M. J. (2011). El SIMCE en el contexto de la ley de aseguramiento de la

calidad de la educación. Opciones para mejorar nuestro sistema de evaluación.

Estudios públicos (Santiago), (123), 213-235.

Reid, J., & Anderson, P. (2012). Critical thinking: The foundation of education in a

technological world. Education in a technological world: Communicating current

and emerging research and technological efforts, 1, 120-126.


63

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003).

Objectifying content validity: Conducting a content validity study in social work

research. Social Work Research, 27(2), 94-104.

Rueda, R. (2006). Motivational And Cognitive Aspects Of Culturally

Accommodated Instruction. Effective schools, 6, 135.

Salili, F., Chiu, C. Y., & Lai, S. (2001). The influence of culture and context on

students’ motivational orientation and performance (pp. 221-247). Springer US.

Santelices, M. V., Ugarte, J. J., Flotts, P., Radovic, D., & Kyllonen, P. (2011).

Measurement of New Attributes for Chile's Admissions System to Higher

Education. ETS Research Report Series, 2011(1), i-44.

Sayed, Y. (2013). Making education a priority in the post-2015 development agenda:

report of the Global Thematic Consultation on Education in the Post-2015

Development Agenda.

Schein, E. H. (1993). How can organizations learn faster? The challenge of entering

the green room. Sloan Management Review, 34(2), 85-92.

Schkade, L. L., Roman S. & Uzawa, M. (1978). Human Information Processing and

Environmental Complexity--An Experiment in Four Cultures: India, Japan, Mexico

and the USA. Journal of Management (ACS, India), 8 (1), 56-63.

Schwarz, G. (2006). Expanding literacies through graphic novels. English Journal,

58-64.

Shahsavar, Z. (2014). The Impact Of Culture On Using Critical Thinking Skills

Through The Blog. Media & Mass Communication, 3, 99-105.

Sheng, Y. (2008). Testing the assumptions of analysis of variance, In Osborne, J.W.

(Ed.)
64

Siegel, H. (1992). The generalizability of critical thinking skills, dispositions and

epistemology. In S. Norris (Ed.), The generalizability of critical thinking (pp. 97-

108). New York: Teachers College Press.

Silva, E. (2009). Measuring skills for 21st-century learning. Phi Delta Kappan, 630-

634.

Søndergaard, M. (1994). Hofstede's consequences: A study of reviews, citations and

replications. Organization Studies 15(3): 447.

Songer, N. B., & Gotwals, A. W. (2012). Guiding explanation construction by

children at the entry points of learning progressions. Journal of Research in Science

Teaching, 49(2), 141-165.

Sturken, M., Cartwright, L., & Sturken, M. (2001). Practices of looking: An

introduction to visual culture. Oxford: Oxford University Press

Sullivan, A. (2001). Cultural Capital and Educational Attainment. Sociology. 35(4)

893-912.

Swaggerty, E. A. (2015). Selecting Engaging Texts for Upper Elementary Students

Who Avoid Reading or Find Reading Difficult. Children's Literature in the Reading

Program: Engaging Young Readers in the 21st Century, 150.

Trompenaars, F., & Hampden-Turner, C. (1998). Riding the waves of culture. New

York: McGraw-Hill.

Tsui, L. (1998). A review of research on critical thinking. Paper presented at the

annual meeting of the Association for the Study of Higher Education, Miami, FL

Tsui, L. (2000). Effects of campus culture on students' critical thinking. The Review

of Higher Education, 23(4), 421-441.


65

UNESCO. (2000). Dakar Framework for Action. Education for All: Meeting Our

Collective Commitments. Adopted by the World Education Forum, Dakar, Senegal,

April 26–28, 1999. Paris: UNESCO.

http://unesdoc.unesco.org/images/0012/001211/121147e.pdf

Urdan, T., & Giancarlo, C. (2000). A Comparison of Motivational and Critical

Thinking Orientations Across Ethnic Groups. Research on Sociocultural Influences

on Motivation and Learning, 1, 37.

Van Den Broek, P., Kendeou, P., Lousberg, S., & Visser, G. (2011). Preparing for

reading comprehension: Fostering text comprehension skills in preschool and early

elementary school children. International Electronic Journal of Elementary

Education, 4(1), 259-268.

Van Gelder, T. (2005). Teaching critical thinking: Some lessons from cognitive

science. College teaching, 53(1), 41-48.

Van Zanten, A. (2005). New modes of reproducing social inequality in education:

the changing role of parents, teachers, schools and educational policies. European

Educational Research Journal, 4(3), 155-169.

Veenman, M. V. J., Wilhelm, P., & Beishuizen, J. J. (2004). The relation between

intellectual and metacognitive skills from a developmental perspective. Learning

and Instruction, 14(1), 89-109.

Voogt J. & Pareja N. (2012). A comparative analysis of international frameworks for

21st century competences: Implications for national curriculum policies, Journal of

Curriculum Studies, 44:3, 299-321

Vygotsky, L. S. (1980). Mind in society: The development of higher psychological

processes. Harvard university press.


66

Watson, G. B., & Glaser, E. M. (1980). WGCTA Watson-Glaser critical thinking

appraisal manual: Forms A and B. San Antonio: The Psychological Corporation.

WEF & BCG (2015). New Vision for Education Unlocking the Potential of

Technology. Cologny / Geneva: World Economic Forum.

Weiler, A. (2005). Information-seeking behavior in Generation Y students:

Motivation, critical thinking, and learning theory. The Journal of Academic

Librarianship, 31(1), 46-53.

Wertsch, J. V. (2009). Voices of the Mind: Sociocultural Approach to Mediated

Action. Harvard University Press.

Whitcomb, S., & Merrell, K. W. (2013). Behavioral, social, and emotional

assessment of children and adolescents. New York: Routledge.

Williams, R. L., Oliver, R., Allin, J. L., Winn, B., & Booher, C. S. (2003).

Psychological critical thinking as a course predictor and outcome variable. Teaching

of Psychology, 30(3), 220-223.

Willingham, D. T. (2008). Critical thinking: Why is it so hard to teach?. Arts

Education Policy Review, 109(4), 21-32.

Wolming , S. (1998). Validitet. Ett traditionellt begrepp i modern tillämpning

[Validity: A modern approach to a traditional concept]. Pedagogisk Forskning i

Sverige, 3(2): 81–103.

Womer, F. B. (1968). Basic concepts in testing. Boston: Houghton Mifflin.

Yeh, S. S. (2001). Tests worth teaching to: Constructing state-mandated tests that

emphasize critical thinking. Educational Researcher, 30(9), 12-17.


67
68

ANEXOS
69

Anexo A. Tablas
Tabla 4: : Resumen puntajes y dimensiones

Indicadores  de  
Habilidad   Definición   Sub  dimensiones  
logro   Dificultad   Discriminación  
Comprender  y  expresar  el  
significado  o  importancia  de  
una  gran  variedad  de  
Clasificar  elementos  
experiencias,  situaciones,  
Interpretación   Categorización   según  ciertas  reglas,  
datos  eventos,  juicios,  
criterios  o  procedimientos  
convenciones,  creencias,  
reglas,  procedimientos  o  
criterios.   0,7   0,48  

       

Identificar  qué  elementos  


son  relevantes  para  
resolver  un  problema  
0,65   0,34  
Decodificar  la  relevancia  
    Determinar  el  papel  de  las  
imágenes  visuales  en  una  
narración  (*)  
0,8   0,35  

Representar  un  resultado  


o  una  operación  de  
Aclarar  significado   diferentes  formas  
0,48   0,49  
Aclarar  el  uso  de  una   0,64   0,38  
70
convención    

Aclarar  una  idea  a  través  


de  un  ejemplo.   0,39   0,37  

Comparar  conceptos  o  
afirmaciones  
Examinar  ideas  
determinando  similitudes  
y  diferencias.  
Identificar  las  relaciones   0,72   0,51  
inferenciales  convencionales  
y  reales  entre  declaraciones,   Identificar  si  un  
preguntas,  conceptos,   argumento  está  a  favor  o  
Detectar  argumentos  
Análisis   descripciones  u  otras  formas   en  contra  de  una  
de  representación  para   afirmación  dada.  
0,21   0,33  
expresar  creencias,  juicios,  
experiencias,  razones,   Identificar  el  punto  
información  u  opiniones   principal  de  un  
argumento.  (*)   0,35   0,42  
Analizar  argumentos  
Identificar  las  razones  que  
apoyan  un  argumento.  (*)  
0,35   0,42  

Evaluar  la  credibilidad  de   Reconocer  los  factores  


las  declaraciones  u  otras   relevantes  para  
representaciones  que  son   Evaluar  afirmaciones   determinar  el  grado  de  
cuentas  o  descripciones  de   credibilidad  de  una  fuente  
la  percepción,  experiencia,   de  información  u  opinión.  
situación,  juicio,  creencia  u  
Evaluación   opinión  de  una  persona;  y  
0,46   0,42  
para  evaluar  la  lógica  de  las   Juzgar  si  una  conclusión  
relaciones  deductivas  entre   es  correcta  a  partir  de  las  
las  declaraciones,   premisas  utilizadas.   0,28   0,28  
descripciones,  preguntas  u   Evaluar  argumentos  
otras  formas  de   Evaluar  la  fuerza  lógica  de  
representación.   una  objeción  dado    un  
argumento.   0,63   0,37  
71

Juzgar  si  un  argumento  es  


pertinente,  aplicable  o  
tiene  implicancias  para  
una  situación.   0,65   0,52  

Evaluar  los  beneficios  y  


Evaluar  alternativas   dificultades  de  diferentes  
alternativas.  (*)  
0,67   0,62  
Discriminar  si  una  
información  es  útil  para  
construir  un  argumento   0,81   0,23  
Identificar  si  un  inferencia  
viene  desde  la  evidencia.  
Identificar  y  ratificar   0,43   0,31  
elementos  requeridos  para  
deducir  conclusiones   Cuestionar  evidencia   Identificar  qué  
razonables;  elaborar   información  adicional  es  
conjeturas  e  hipótesis;   necesaria  para  decidir  
considerar  información   entre  dos  opiniones  
pertinente  y  deducir   contradictorias  
Inferencia  
consecuencias  a  partir  de   0,36   0,33  
datos,  afirmaciones,  
Aceptar  o  rechazar  una  
principios,  evidencias,  
hipótesis  a  partir  de  la  
juicios,  creencias,  opiniones,  
evidencia  empírica   0,46   0,3  
conceptos,  descripciones,  
cuestionamientos  u  otras   Dado  un  conjunto  de  
formas  de  representación   prioridades  con  el  cual  se  
puede  o  no  estar  de  
acuerdo,  visualizar  los  
Proponer  alternativas  
beneficios  y  las  
dificultades  que  
resultarán  de  su  
aplicación  al  tomar   0,6   0,61  
72
decisiones.  (*)  

Usa  distintas  estrategias  


para  resolver  problemas.  
(*)   0,81   0,55  

Llegar  a  una  conclusión  


Sacar  conclusiones   válida  a  partir  de  las  
evidencias.  

0,69   0,52  

Comunicar  las  
conclusiones  de  un  
procedimiento.  (*)  

Ordenar  y  comunicar  a  otros   0,67   0,68  


los  resultados  de  nuestro  
razonamiento;  justificar  el   Comunicar  en  forma  
razonamiento  y  sus   Indicar  resultados   gráfica  las  relaciones  
conclusiones  en  términos  de   entre  conceptos  e  ideas  
evidencias,  conceptos,   0,46   0,45  
Argumentación  /  Explicación  
metodologías,  criterios  y  
consideraciones  del   Elaborar  una  narración  en  
contexto  y  presentar  el   la  que  se  examine,  en  
razonamiento  en  una  forma   relación  a  un  tema,  el  
clara,  convincente  y   cambio  a  través  del  
persuasiva.   tiempo  
0,82   0,35  
Explicitar  los  estándares  
utilizados  para  evaluar  
Justificar  procedimientos   una  obra  literaria   0,75   0,64  
Describir  la  estrategia  
utilizada  para  tomar  una   0,18   0,41  
73
decisión  en  una  forma  
razonable  

Argumenta  a  favor  o  en  


contra  de  un  punto  de  
vista     0,63   0,65  
Explicar  la  comprensión  de  
un  concepto.  (*)   0,35   0,14  
Presentar  argumentos   Identificar  y  expresar  
evidencias  y  posibles  
contra  evidencias  como  
una  contribución  
dialéctica  a  la  forma  en  
que  piensan  otras  
personas  y  para  su  propio  
pensamiento.   0,72   0,66  

(*) Ítems basados en el Delphi Report.


(**) Indicadores que se midieron en más de una ocasión.
Tabla 5: Valores promedio de Dificultad y Discriminación para el pre y post Análisis de
Ítems.

Habilidad Pre Análisis de Ítems Post Análisis de Ítems


Dificultad Discriminación Dificultad Discriminación
Interpretación 0,62 0,43 0,6 0,45
Análisis 0,36 0,38 0,47 0,45
Inferencia 0,58 0,41 0,57 0,44
Evaluación 0,47 0,4 0,6 0,48
Explicación 0,41 0,47 0,59 0,57

Anexo B. Paper en ingles


Designing and implementing a test for measuring critical thinking in primary

school

Abstract

The importance of critical thinking in education is underpinned by decades of

theoretical and practical work. Differences have been demonstrated between students

who receive education in this area from an early age and those who do not. However,

not enough work has been done to measure these skills in a classroom setting. Given

that the best time to teach critical thinking is during the first years of primary education,

we designed a test to determine the level of critical thinking among 3rd and 4th grade

students in Language Arts using a graphic novel. We showed the legitimacy of the

instrument through Construct Validity, Content Validity, Pearson product-moment

correlation, Reliability and Item Analysis. Using the instrument we studied how critical
thinking skills differ among 3rd grade students, according to their socioeconomic status

(SES), studying schools with low, middle and high SES. We found significant

differences between the schools, which suggest that there may be a relationship

between socioeconomic status and the development of critical thinking skills. The test

presented in this study is an improvement on existing assessment tools as it replaces

unidimensional models with models that provide a more detailed and multidimensional

picture of student learning.

Keywords: Critical Thinking, Assessment models, 21st Century Skills, Culture,

Graphic and Textual Narrative

1. - Introduction

Teaching critical thinking in schools is one of the main topics in the discussion

regarding so-called 21st Century skills (Greenhill, 2009). Critical thinking has been

regarded as an essential requirement for responsible human activity (Marques, 2012). It

is also considered fundamental if citizens are to perform their social, professional and

ethical duties (Griffin, McGaw & Care, 2012; Greenhill, 2009). Critical thinking skills

allow individuals to make autonomous decisions and to question beliefs when these are

not based on solid evidence (Halpern, 2003; Mulnix, 2012).

There is a wide range of definitions of critical thinking. Some of these definitions are

more philosophical, relating to classical thought and human development (Nussbaum,

2011); others are more focused on how critical thinking is received and developed in

education (Facione, 1990; Halpern, 2003; Bailin, 2002). Despite these divergent
approaches, one essential element of critical thinking is that it is a metacognitive

process. Critical thinking allows us to think not just about the world around us (first-

order skills), but also about the thought process itself (second-order skills) (Kuhn,

1999; Halpern, 2003). This element of metacognition has consequences in teaching,

relating directly to how the context is perceived and understood (Halpern, 2003). For

example, it has been established that metacognitive processes linked to critical thinking

are fundamental to the transfer of acquired knowledge (Nickerson, 1988). This study

will use a definition of critical thinking that explicitly states its link to metacognition. It

is therefore defined as "a metacognitive process, consisting of a number of sub-skills

(e.g. analysis, evaluation and inference) that, when used appropriately, increases the

chances of producing a logical conclusion to an argument or solution to a problem"

(Dwyer, Hogan & Stewart, 2014, p.43).

The importance of critical thinking in education is underpinned by decades of

theoretical and practical work (Lai, 2011). The inclusion of critical thinking in school

curriculums has been widely reported since at least the first half of the 20th Century,

influenced by John Dewey (Bean, 2011). Facione (1990) suggests that developing

critical thinking skills should be an objective for every grade level in the K-12

curriculum. In this sense, teaching critical thinking in schools should be integrated into

regular classroom activities (Bailin et al., 1999). It is also important to teach critical

thinking from early childhood. This is because significant differences have been

demonstrated between students who receive education in this area from an early age

and those who do not (Osakwe, 2009).


However, although the importance of critical thinking to global education has been

defended repeatedly, not enough work has been done to measure these skills in a

classroom setting. According to UNESCO (2000), measuring improvements in critical

thinking skills is essential for improving the quality of education. If tests are understood

to shape both the curriculum and teaching, then an efficient way to improve the quality

of education in critical thinking is to develop better tests (Yeh, 2001).

The literature reports that specific knowledge of the subject in which critical thinking

skills are being taught is needed if these skills are to be measured properly (Facione,

1990; Ennis 1989; McPeck 1981; Bailin, 2002; Willingham, 2008). In order to assess

children’s critical thinking skills in the classroom, the assessment must therefore be

situated and take into account the specific subject in which these skills are being taught

(Merrel, 2003). This is because of the influence that different subjects can have on the

findings or conclusions of a study, depending on the objectives of the task (Bailin,

1999). Therefore, although a certain level of generality can be assigned to critical

thinking skills, their use depends on their connection to a specific subject (McPeck,

1981).

Ennis (1989) suggests that the best time to teach critical thinking is during the first

years of primary education. This suggestion is coherent with other studies, which

conclude that young children benefit from being taught and assessed on critical

thinking (Kennedy et al., 1991). However, the critical thinking tests that are available

are not designed for young children and do not focus on a specific subject. Instead, they

only measure critical thinking as a general skill (Ennis & Millman, 1985; Watson &
Glaser, 1980; Facione, 1990; Ennis & Weir, 1985; Halpern, 2003). Faced with this

problem, our first research question asks: “How can we design and validate a test that

determines the level of critical thinking among primary school children in a specific

subject?”

The relationship between socioeconomic status and the acquirement of skills is best

expressed by Bourdieu (1986). In his study, the author shows that the accumulation of

economic capital can be transferred to society as cultural capital, in the form of

educational skills and abilities (Bourdieu, 1986). It has been revealed that a student’s

socioeconomic status substantially influences their achievements in education (Breen &

Goldthorpe, 1997). It has also been shown that levels of poverty and reading skills

among third grade students have an impact on their performance in higher levels of

education (Hernández, 2011). Some authors suggest that a student’s socioeconomic

status could also plausibly influence their level of critical thinking (Cheung et al.,

2001). Our second research question therefore asks: “How do critical thinking skills

differ among 3rd grade students, according to their socioeconomic status?”

2.- Methodology

2.1. Designing the test

A literature review was conducted during the first stage of this study in order to define

a model of critical thinking. The aim of this model is to provide suitable scaffolding of

the skills required by critical thinking. Suitable scaffolding is considered to be essential


for promoting critical thinking (Kim et al., 2013), especially in order to successfully

teach upper-elementary school students higher-order skills (Songer & Gotwals, 2012).

This is because it allows the aforementioned skills to be taught explicitly in a classroom

setting (Halpern, 2003) and helps the teacher monitor how the skills are learned . This

is particularly true when teaching explanation construction.

The proposed model was based on the Delphi Report (Facione, 1990), in which a group

of experts defined the principal skills of a critical thinker. These skills include

interpretation, analysis, evaluation, inference, explanation, and self-regulation.

Furthermore, the proposed model also incorporates the concepts of transferability and

metacognition (Halpern, 2003).

The model proposed in this study is based on sequential scaffolding. During this

sequence, the students address how their thoughts are formulated (interpretation),

evaluate solutions (evaluation), explore and clarify inconsistencies or missing

information (analysis and inference), and, finally, explain the results of their mental

process (explanation). The sequence successively infuses higher-order thinking skills

(analysis, interpretation and inference) with the metacognitive process (evaluation,

explanation and self-regulation). This is done by explicitly forming arguments in

response to a given narrative. Special weighting is given to the explanation as the

cognitive strategies used by students when constructing an explanation are heavily

influenced by metacognition (McNamara & Magliano, 2009).

Questions requiring reasoning were included in the model so as to track the explanatory

process. According to Berland & Mcneill (2012), the explanatory and reasoning

processes occur simultaneously. Using reasoning to put critical thinking into operation

makes measuring this skill much simpler (Yeh, 2001). Reasoning is particularly
important when it comes to measuring critical thinking as it is one of the most effective

tools for discriminating between ideas based on evidence and those that are merely

opinions (Jiménez-Aleixandre & Puig, 2012).

In a second phase of the design process, the subject matter for the test was defined.

The potential for integrating critical thinking skills from an early age is demonstrated

by studies which show that children can carry out activities involving such skills as

successfully as adults (Gelman & Markman, 1986; Willinghman, 2008). In this sense, it

was estimated that the earliest possible age for the test to be effective is 3rd grade. This

is because between 3rd and 5th grade the majority of students are capable of decoding

and using most words (Swaggerty, 2015).

Critical thinking has a significant impact on the learning skills that are associated with

language. For example, Nippold et al. (2015) show that tasks based on critical thinking

require sentences with more complex syntax than tasks based on conversations.

Chapman (2014) suggests that learning critical thinking skills improves student

performance on the TOEIC (Test of English for International Communication).

Furthermore, the literature reports that the use of critical thinking strategies is one of

the most important factors in the development of reading skills (Hong-Nam et al., 2014.

Additionally, O’Flahavan & Tierney (2013) suggest that reading and writing are both

highly productive tools for promoting critical thinking. Given the above, Language Arts

was chosen as the subject matter to be used in this study.

In order to do so, an adaptation of the plot of a well-known story was developed. The

selection criteria for choosing the story took into account that, between the ages of 8
and 10, students’ thinking becomes more logical, their memory and intellectual skills

improve, and they appreciate humour (Das, 2013). In this sense, the recommendation

by Moore & Zigo (2005) to use science fiction was followed. This is because, as a

genre, science fiction encourages the use of critical and creative reading. For this

reason, the classic novel by Jules Verne, Around the World in 80 Days, was selected

and adapted for children from 3rd grade. This adapted novel was used as a means to

introduce the questions from the critical thinking test.

In a third phase of the design process, it was felt that a graphic novel, i.e., a narrative

based on both text and images, was needed in order to help deliver the test. This

decision was based on the privileged position enjoyed by visual media in our culture

(Emmison & Smith, 2000; Sturken & Cartwright, 2009). The consequence of this is

that students basically learn from visual resources, especially during their first years of

school (Downey, 2009). Frey & Fisher (2004) acknowledge that the use of graphic

novels can stimulate interest in reading among students who are unmotivated by more

traditional formats. Furthermore, this type of narrative is considered to boost traditional

elements of the Language Arts curriculum, such as literacy (Schwarz, 2006). Another

argument in favour of choosing this format is that it allows for the inclusion of

elements of visual literacy that are associated with critical thinking assessment

standards (Facione, 1990; Lazo & Smith, 2014). Hassett & Schleble (2007) suggest that

when reading graphic novels students do not only improve their basic reading skills;

they also discover new ways to think about the interaction between the image and text.
Following this, a series of performance criteria were defined for each of the skills

included in the theoretical framework (Table 4 in Annex 1) (Facione, 1990). The

assessment of these criteria, using reading-writing activities, allowed the level of

critical thinking to be determined. The narrative therefore had to be structured around

these criteria. Questions were developed for each of the performance criterion so as to

cover all of the skills (interpretation, analysis, inference, evaluation and explanation).

There was a higher percentage of questions related to the skill of constructing

explanations. This decision is justified by the fact that the cognitive strategies used by

students when constructing explanations are heavily influenced by metacognition

(McNamara & Magliano, 2009). This link is particularly important when developing

critical thinking questions. When constructing an explanation, the student’s answer is

not only based on the contents of the question; their explanation may also come from

metacognitive considerations, such as analysing the type of task at hand and different

strategies for completing the task (Flavell, 1979). Such emphasis is placed on

metacognition because it is this process that articulates critical thinking (Dwyer, 2014).

Given the above, it was decided that using short written activities based on questions

would be most beneficial. This is a particularly effective teaching strategy for assessing

thinking as it provides an idea of the student’s mental process when developing an

argument (Bean, 2011). It was also decided to have the questions appear throughout the

story, as this has been proven to be a more effective strategy than asking the questions

at the end of the story (Van Den Broek et al., 2011). An example of this can be seen in

Figure 1, which shows one of the scenes from the graphic novel, together with a

question for the student. In this scene one of the characters (the Detective) tries to fool

another character (Martin) by using a disguise consisting of a fake moustache. The


interaction between the act of wearing a disguise and the visual display of the

moustache allows a series of factors to be measured. The first of these is interpretation,

by determining the role of visual images in a narrative. Here, the student has to be

capable of understanding the role of the object as part of the disguise and not as an

innate characteristic of the character. The second factor that is measured is evaluation,

by weighing up the pros and cons of a given alternative. In this case, the student

assesses whether the moustache is a good or bad disguise with which to fool the other

character. The third factor is explanation, as the students not only have to decide

whether or not it is a good disguise, they also have to give their reasons (Facione,

1990). The criteria used to evaluate their written responses are also made explicit. The

markers must therefore decide whether or not the student’s response meets these

criteria. If it does they are awarded 1 point; if it does not they are awarded 0 points. The

marking guidelines were developed with the guidance of two experts in education and

Language Arts, with the aim of ensuring that the exercises were in line with the skill

that was supposedly being measured.


Figure 1. Example question.

2.2- Criteria used to validate the test

Construct validity, content validity and criterion validity were all analysed in order to

validate the test (Brown, 2000; Wolming, 1998). Cronbach’s alpha was also used for

this purpose (Cronbach, 1971). These analyses were supplemented by an item analysis.

The aim of this analysis was to gather data in order to highlight the need to review,

select and remove any questions that were very difficult, very easy, or that failed to

discriminate (Nitko 1996).

An ANOVA was conducted to provide evidence of the construct validity. The

hypothesis of the ANOVA is that there would be significant differences in critical

thinking skills between students in 3rd and 4th grade (Brown, 2000). The presence of

this difference validates the construct as it is coherent with the literature, which shows

that the level of critical thinking linked to metacognition increases with age (Veenman,

Wilhelm, & Beishuizen, 2004). This is explained by the fact that in 3rd grade students

can give causal explanations, make simple predictions (Hapgood et al., 2004) and

partially correct analogies (May et al., 2006). From 4th grade on, they are capable of

developing problem solving strategies, defining tasks and monitoring their thoughts

(Hudgins et al., 1989).

A panel of experts was used to demonstrate content validity (Rubio et al., 2003). The

panel included an expert in education, as well as an expert in philosophy and language

arts. The panel’s opinions were then compared with the test developers’ opinions in

order to judge the level of consistency between the two (Dillashaw & Okey, 1980;

Nitko, 1996). Four think aloud sessions were also included in the study to analyse

content validity (Ericsson & Simon, 1993; Flaherty, 1974). These sessions were
conducted using students of a similar age to those used in the study, as suggested by

Facione (1990).

Correlations have been detected between critical thinking test scores and school grades

among Chilean high school students (Santelices et al., 2011). Pearson’s product

moment correlation was therefore used to detect correlations between the test scores

and Language Arts grades so as to analyse criterion validity. This sample strategy was

used as it was not possible to access the full report cards for all of the students (Ary et

al., 2013).

Furthermore, Cronbach’s alpha was also used to analyse the test’s reliability. This

index is used to measure the internal consistency of the test (Cronbach, 1971). An item

analysis was then conducted using the test results. The aim of this was to use objective

data, i.e. difficulty and discrimination indices for each question, to identify the need to

review, remove or modify any of the questions (Nitko, 1996). These indices were

classified according to the area of critical thinking measured by each question so as

then to observe which areas the students found the most and least difficult.

2.3.- Experimental work

To study the relationship between critical thinking and socioeconomic status, a

stratified sample was selected based on the three types of schools that are found in the

Chilean education system (state, state-subsidized and private). Each type of

establishment corresponds to a different socioeconomic status: low, middle and high,

respectively (Gallego, 2002). Furthermore, to analyse construct validity, the study was

conducted with students from two grade levels: 3rd and 4th.
The participants in the sample, Table 1, included 301 students from 3rd and 4th grade

from the three types of schools. It was decided to use an ANOVA in order to prove the

existence of significant differences between the different groups.

3rd  Grade  
Gender  / Socioeconomic status   High   Middle   Low  
Male   55   13   17  
Female   47   17   14  
Total   102   30   31  
th
4  Grade  
Gender/  Socioeconomic status   High   Middle   Low  
Male   40   14   18  
Female   42   14   10  
Total   82   28   28  
Table 1. Participants in the study by socioeconomic status and gender.

3.- Results

3.1- Construct Validity

The results of the Shapiro-Wilk test suggest that the students from 3rd and 4th grade

were not normally distributed (3.246e-06 for 3rd grade and 1.613e-07 for 4th grade).

Furthermore, the Bartlett test shows that variances within the study groups were

homogeneous (a value of 0.3007). Although the normality assumption was not met,

Sheng (2008) suggests that ANOVA is a robust test. It is therefore possible to use this

analysis, even though some of the assumptions were violated. In order to do so, the

Kruskal-Wallis test was used as a non-parametric alternative to address the violation of

the normality assumption (Osborne, 2008).

The test used to analyse the construct validity of the test suggests that there are

significant differences between 3rd and 4th grade, at p<0.001.

3.2- Content Validity


A panel of experts examined the relationship between the questions on the test and the

objectives that were established for measuring critical thinking. This panel was more

than 70% in agreement with the test that had been developed, which is an acceptable

level. The think aloud sessions also allowed questions that were misunderstood or

unclear to be corrected in the final version of the test.

3.3- Pearson product-moment correlation

The Pearson product-moment correlation between the test scores and the students’

grades was 0.805 for 3rd grade and 0.723 for 4th grade. Dancey & Reidy (2004) classify

strong correlation as being greater than 0.7. The results of this analysis therefore

provide strong evidence of the criterion validity.

3.4- Reliability

Before the item analysis, Cronbach’s alpha for the test was 0.917. Following the item

analysis, Cronbach’s alpha was 0.909, which shows that the test is reliable (George &

Mallery, 2003). The latter value is the result that was obtained having analysed the

items according to their level of difficulty and discrimination, as detailed in the

following section.

3.5- Item analysis

The results from the item analysis were organized according to the area of critical

thinking that was measured, and measured the level of difficulty and discrimination of

each item (Table 2). A range of between 0.4 and 0.6 was chosen for this study as

Womer (1968) suggests that this range can determine whether or not a question should

be included on a test. Nitko (1996) also suggests that items with a difficulty index of

less than 0.2 or 0.8 should also be rejected as they are too easy or too difficult. This
recommendation was taken into account for the test used in this study. Finally, it was

decided that questions with a difficulty index between 0.2 and 0.4 or between 0.6 and

0.8 would also be included, so long as they added to the coherence of the narrative and

provided further information. Furthermore, a discrimination index greater than 0.3 was

considered acceptable for any item on the test. Therefore, items with an index greater

than 0.3 were considered good and items with an index less than 0.3 were considered

bad (Adkins, 1974; Hinkle et al., 2003; Nitko, 1996). A summary of the distribution for

all of the questions according to their level of difficulty and discrimination can be

found in Table 4 in the Annex. This table also shows the skill and sub-skill to which

each question belongs.

The results in Table 5 reveal that Analysis was the area with the highest level of

difficulty (0.36) and lowest level of discrimination (0.38). The area with the lowest

level of difficulty was Interpretation, with an average of 0.62.

By following Womer’s (1968) criteria regarding difficulty and discrimination, a

selection was made of the items that would initially be included on the test (items 2a, 3,

4, 6a, 10, 14b, 22, 23b and 27a). Nitko’s (1996) criteria were then used to select

additional items for the test (1a, 2b, 7, 8, 11, 12, 13, 14a, 16, 17a, 17,b, 18, 19a, 19b,

21, 26, 28a, 28b, 29a and 29b). The aim of this was to obtain more information, while

preserving the overall coherence of the test. Finally, one item (6b) was removed from

the test as it had a correlation of 1 with another item and both items targeted the same

performance indicator.
By doing so, the difficulty and discrimination levels for all of the items fell within the

aforementioned ranges suggested by Womer (1968) and Nitko (1996) (Table 4,

Annex).

Discrimination/ Difficult (0.2-0.4) Suitable (0.6-0.8) Easy


Difficulty (<0.2) (0.4-0.6) (>0.8)
Good (<0.3) 2 items 2 items 0 items 0 items 2 items

Bad (>0.3) 1 item 5 items 10 items 18 items 2 items


Table 2. Summary of difficulty and discrimination levels per question.

3.6- Differences between schools

A comparison was made between the groups from the different types of schools (state,

state-subsidized and private). The distribution for one of the groups did not meet the

normality assumption for the Shapiro-Wilk test (high: 3.208e-05, middle: 0.07288, low:

0.0207). The Bartlett test also revealed that the variances within the groups were not

homogeneous (1.063e-07). However, this comparison was still possible as ANOVA is a

robust test and allows assumptions to be violated (Sheng, 2008). The Kruskal-Wallis

test was therefore used as a non-parametric alternative to the ANOVA test (Osborne,

2008). Significant differences were identified between socioeconomic statuses (SES),

at p<0.001. Tukey’s test then revealed that the differences between the groups were

significant at p >0.05.

To analyse these differences in more detail, Table 3 shows the average test score for

each school, as well as the standard deviation. The results clearly show that test scores

in high SES schools (22.15 for 4th grade and 19.3 for 3rd grade) are considerably higher

than in middle SES schools (14.75 for 4th grade and 10.73 for 3rd grade) and low SES
schools (10.61 for 4th grade and 6.97 for 3rd grade). It is also important to highlight that

the standard deviation between test scores in the high SES school decreases

considerably (28%) from 3rd grade to 4th grade (from 4.55 to 3.27 points). In the middle

SES school, the standard deviation remains practically the same (6.95 in 4th grade and

6.97 in 3rd grade), while in the low SES school there is an increase in the standard

deviation (from 6.06 to 6.2). This suggests that differences in student performance are

reduced over time in the high SES school, which is not the case in the other schools.
School SES Grade Average Standard

Score Deviation

High 4 22.15 3.27

High 3 19.3 4.55

Middle 4 14.75 6.95

Middle 3 10.73 6.97

Low 4 10.61 6.20

Low 3 6.97 6.06

Table 3. Average scores by school and grade.

4.- Conclusions

The aim of this study was to answer the two research questions stated above.

The first question asked “How can we design and validate a test that determines the level of

critical thinking among primary school children in a specific subject?” To answer this

question, a critical thinking test was designed and validated within the context of Language

Arts, using a graphic novel. The challenge highlighted in the research question was overcome

as the test was validated for both 3rd and 4th grade students.

It is interesting to note that no other test has used a graphic novel to measure the level of

critical thinking among 3rd and 4th grade students. There are several benefits to designing a

test using a graphic novel. These include the impact it has on student motivation and interest

(Chase et al., 2014), the opportunity it provides for developing higher-order skills (Pantaleo,

2014), their effectiveness for teaching literacy (Jennings et al., 2014) and the support they

provide to readers who have difficulty visualizing stories (Lyga, 2006). It remains as future

work to validate tests in other areas of the curriculum, such as science and mathematics.
The main limitation of the test that was used is the cultural context in which it was designed.

Cultural factors are particularly important when developing critical thinking skills in

Language Arts classes (Guo, 2013). Examples of this include the significant effect of culture

on critical thinking among university students when writing blogs (Shahsavar, 2014) and the

influence of institutional culture on critical thinking among students (Tsui, 2000). It is also

important to highlight that, as the theoretical framework was developed within a specific

cultural context, students may be at a disadvantage because of the structure of the test and not

because of their level of critical thinking (Howe, 1995; Childs, 1990). Further study is

required to analyse how local culture affects the theoretical framework for critical thinking

described in this study. It is also necessary to study how local culture affects the performance

of the test, in terms of both how the images are understood, as well as the structure of the

narrative. Quantification of cultural factors has been studied among adults (Hofstede, 2001),

but is only incipient among children (Hofstede, 1986). Developing a tool in this sense would

help with the robustness of a critical thinking test for children from different cultural

backgrounds.

Once the test had been validated, it was decided to answer the second research question,

which asked “How do critical thinking skills differ among 3rd grade students, according to

their socioeconomic status?” In this sense, significant differences were found between the

schools with different socioeconomic statuses. This suggests that there may be a relationship

between socioeconomic status and the development of critical thinking skills. This is

particularly evident when observing that the standard deviation among students in the high

SES school decreases over time, increasing homogeneity among students, while the standard

deviation remains the same in the other schools. Although further findings are needed in this
area, it would be worth asking whether this difference can be reduced by teaching the critical

thinking skills that are measured by this test.

This study is a first step towards giving primary schools access to a test that allows them to

measure the development of their students’ critical thinking skills. This test is an

improvement on existing assessment tools as it replaces unidimensional models with models

that provide a more detailed and multidimensional picture of student learning (Conley, 2015).

The limitations of this study include the range of grade levels that were covered, the cultural

context in which it took place, and the area of the curriculum for which the test was

developed. Future work is required in order to overcome these limitations.

Acknowledgements

This research was funded by CONICYT-FONDECYT grant 1150045, and by the VRI

Interdisciplina Research Project N° 13/2014.

5.- References

Adkins, D. C. (1974). Test construction: Development and interpretation of achievement

tests. Columbus, Ohio: Merrill Publishing Company.

Ary, D., Jacobs, L., Sorensen, C., & Walker, D. (2013). Introduction to research in

education. Cengage Learning.

Bailin, S. (2002). Critical thinking and science education. Science & Education, 11(4), 361–

375.

Bailin, S., Case, R., Coombs, J. R., & Daniels, L. B. (1999). Conceptualizing critical

thinking. Journal of Curriculum Studies, 31(3), 285–302.

Bean, J. C. (2011). Engaging ideas: The professor's guide to integrating writing, critical

thinking, and active learning in the classroom. San Francisco: John Wiley & Sons.
Berland, L. K., & McNeill, K. L. (2012). For whom is argument and explanation a necessary

distinction? A response to Osborne and Patterson. Science Education, 96(5), 808-813.

Breen, R., & Goldthorpe, J. H. (1997). Explaining educational differentials towards a formal

rational action theory. Rationality and society, 9(3), 275-305.

Bourdieu, P. (2011). The forms of capital.(1986). Cultural theory: An anthology, 81-93.

Brown, J. D. (2000). What is construct validity. JALT Testing and Evaluation SIG

Newsletter, 4(2), 7-10.

Chase, M., Son, E. H., & Steiner, S. (2014). Sequencing and Graphic Novels With Primary‐

Grade Students. The Reading Teacher, 67(6), 435-443.

Chapman, J. (2014). Critical Thinking and TOEIC: Advanced Skills for Teachers and Test-

Takers. The 2013 PanSIG Proceedings, 102.

Cheung, C. K., Rudowicz, E., Lang, G., Yue, X. D., & Kwan, A. S. (2001). Critical thinking

among university students: does the family background matter?. College Student

Journal, 35(4), 577.

Childs, R. (1990). Gender bias and fairness. Practical Assessment, Research & Evaluation,

2(3).

Conley, D. (2015). A New Era for Educational Assessment. Education Policy Analysis

Archives, 23, 8.

Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.). Educational Measurement

(2nd Ed.). Washington, D. C.: American Council on Education.

Dancey C., Reidy J. (2004). Statistics Without Maths for Psychology: Using SPSS for

Windows. London: Prentice Hall

Das, A. (2013). The Impact of Children’s Literature in the Teaching of English to Young

Learners. International Journal of English: Literature, Language & Skills.


Dillashaw, F.G. & Okey, J. R. (1980). Test of Integrated Science Process Skills for

Secondary Students. Science Education, 64, 601-608.

Downey, E. M. (2009). Graphic novels in curriculum and instruction collections.Reference &

User Services Quarterly, 49(2), 181-188.

Dwyer, C. P., Hogan, M. J., & Stewart, I. (2014). An integrated critical thinking framework

for the 21st century. Thinking Skills and Creativity, 12, 43-52.

Emmison, M., & Smith, P. (2000). Researching the Visual: Images, Objects, Contexts and

Interactions in Social and Cultural Inquiry: Introducing Qualitative Methods.

Ennis, R. H. (1989). Critical thinking and subject specificity: Clarification and needed

research. Educational researcher, 18(3), 4-10.

Ennis, R.H. & Millman, J. (1985). Cornell Critical Thinking Test-Level X. Pacific Grove,

CA: Midwest Publications.

Ennis, R.H. & Weir, E. (1985). The Ennis-Weir essay test: An instrument for testing and

teaching. Midwest Publications: Pacific Grove, CA.

Ericsson, K. A., & Simon, H. A. (1993). Protocol Analysis: Verbal reports on data.

Cambridge, MA: MIT Press.

Facione, P. A. (1990). Critical Thinking: A Statement of Expert Consensus for Purposes of

Educational Assessment and Instruction. Research Findings and Recommendations.

http://assessment.aas.duke.edu/documents/Delphi_Report.pdf, downloaded Feb 3, 2014.

Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–

developmental inquiry. American psychologist, 34(10), 906.

Flaherty, E. G. (1974). The thinking aloud technique and problem-solving ability. Journal of

Educational Research, 68, 223-225.


Frey, N., & Fisher, D. (2004). Using graphic novels, anime, and the Internet in an urban high

school. English Journal, 19-25.

Gallego, F. A. (2002). Competencia y resultados educativos: teoría y evidencia para

Chile. cuadernos de economía, 39(118), 309-352.

Gelman, S. A., & Markman, E. M. (1987). Young children's inductions from natural kinds:

The role of categories and appearances. Child development, 1532-1541.

George, D and Mallery, P. 2003. SPSS for Windows step by step: a simple guide and

reference, Boston, MA: Allyn and Bacon.

Greenhill, V. (2009). P21 framework definitions document, Retrieved December 15, 2010,

from,

http://www.21stcenturyskills.org/documents/p21_framework_definitions_052909.pdf.

Griffin, P., McGaw, B., & Care, E. (2012). Assessment and Teaching of 21st Century

Skills. New York: Springer

Guo, M. (2013). Developing Critical Thinking in English Class: Culture-based Knowledge

and Skills. Theory and Practice in Language Studies, 3(3), 503-507.

Halpern, D. (2003). Thought and knowledge: An introduction to critical thinking (4th ed.).

Mahwah, NJ: Lawrence Erlbaum Associates.

Hapgood, S., Magnusson, S. J., & Sullivan-Palincsar, A. (2004). Teacher, text, and

experience: A case of young children's scientific inquiry. Journal of the Learning Sciences,

13(A), 455-505.

Hassett, D. D., & Schleble, M. B. (2007). Finding Space and Time for the Visual in K-12

Literacy Instruction. English Journal, 97(1).

Hernandez, D. J. (2011). Double Jeopardy: How Third-Grade Reading Skills and Poverty

Influence High School Graduation. Annie E. Casey Foundation.


Hinkle, D. E., Wiersma, W., & Jurs, S. G. (2003). Applied statistics for the behavioral

sciences. Boston: Houghton Mifflin.

Hofstede, G. (1986). Cultural differences in teaching and learning. International Journal of

intercultural relations, 10(3), 301-320.

Hofstede, G. (2001). Culture's consequences: Comparing values, behaviors, institutions and

organizations across nations. Geert Hofstede (Ed.). Thousand Oaks, California: Sage.

Hong-Nam, K., Leavell, A. G., & Maher, S. (2014). The Relationships among Reported

Strategy Use, Metacognitive Awareness, and Reading Achievement of High School

Students. Reading Psychology, 35(8), 762-790.

Howe, K. (1995). Validity, Bias and Justice in Educational Testing: The Limits of

Consequensialist Conception. In A. Neiman, Ed., Philosophy of education 1995. Normal,

ILL: Philosophy of Education Society, pp. 295-302.

Hudgins, B. B., et al. (1989). Children's critical thinking: A model for its analysis and

two examples. Journal of Educational Research, 82(6), 327-338.

Jennings, K. A., Rule, A. C., & Zanden, S. M. V. (2014). Fifth Graders’ Enjoyment, Interest,

and Comprehension of Graphic Novels Compared to Heavily-Illustrated and Traditional

Novels. International Electronic Journal of Elementary Education, 6(2), 257.

Jiménez-Aleixandre, M. P., & Puig, B. (2012). Argumentation, evidence evaluation and

critical thinking. In Second international handbook of science education (pp. 1001-1015).

Springer Netherlands.

Kennedy, M., Fisher, M. B., & Ennis, R. H. (1991). Critical thinking: Literature review and

needed research. Educational values and cognitive instruction: Implications for reform, 2,

11-40.
Kim, K., Sharma, P., Land, S. M., & Furlong, K. P. (2013). Effects of active learning on

enhancing student critical thinking in an undergraduate general science course. Innovative

Higher Education, 38(3), 223-235.

Kuhn, D. (1999). A developmental model of critical thinking. Educational Researcher, 28(2),

16–26.

Lai, E. R. (2011). Critical thinking: A literature review. Pearson's Research Reports, 6, 40-

41.

Lyga, A. A. (2006). Graphic Novels for (Really) Young Readers: Owly, Buzzboy, Pinky and

Stinky. Who Are These Guys? And Why Aren't They Ever on The Shelf?. School Library

Journal, 52(3), 56.

Marques, J.F., (2012), Moving from trance to think: why we need to polish our critical

thinking skills, International Journal of Leadership Studies, Vol. 7 Iss. 1, 2012, 87-95

May, D. B., Hammer, D., & Roy, P. (2006). Children's analogical reasoning in a third grade

science discussion. Science Education, 90(2), 316-330.

McNamara, D. S., & Magliano, J. P. (2009). 5 Self-Explanation and

Metacognition. Handbook of metacognition in education, 60.

McPeck, J. (1981). Critical Thinking and Education. Oxford: Martin Robertson.

Moore, M.& Zigo, D. (2005). Chicken Soup for the Science Fiction Soul: Breaking the Genre

Lock in the High School Literacy Experience. Journal of Curriculum. 21(3), 29-45.

Mulnix, J. W. (2012). Thinking critically about critical thinking. Educational Philosophy and

Theory, 44(5), 464-479.

Nickerson, R. (1988). On improving thinking through instruction. Review of Research in

Education, 15(3), 3-57.


Nippold, M. A., Frantz-Kaspar, M. W., Cramond, P. M., Kirk, C., Hayward-Mayhew, C., &

MacKinnon, M. (2015). Critical Thinking about Fables: Examining Language Production and

Comprehension in Adolescents. Journal of Speech, Language, and Hearing Research.

Nitko, A. J. (1996). Educational Assessment of Students. 2nd ed. New Jersey: Prentice-Hall.

Nussbaum, M. C. (2011). Creating capabilities. Harvard University Press.

O’Flahavan, J. & Tierney, R. (2013). Reading, Writing, and Critical Thinking. Educational

Values and Cognitive Instruction: Implications for Reform, 41.

Osakwe, R. N. (2009). The effect of early childhood education experience on the academic

performances of primary school children. Stud Home Comm Sci,3(2), 143-147.

Osborne, J. W. (Ed.). (2008). Best practices in quantitative methods. Thousands Oaks: Sage.

Pantaleo, S. (2014). Reading images in graphic novels: Taking students to a'greater thinking

level'. English in Australia, 49(1), 38.

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying

content validity: Conducting a content validity study in social work research. Social Work

Research, 27(2), 94-104

Santelices, M. V., Ugarte, J. J., Flotts, P., Radovic, D., & Kyllonen, P. (2011). Measurement

of New Attributes for Chile's Admissions System to Higher Education. ETS Research Report

Series, 2011(1), 1-44.

Schwarz, G. (2006). Expanding literacies through graphic novels. English Journal, 58-64.

Shahsavar, Z. (2014). The Impact Of Culture On Using Critical Thinking Skills Through The

Blog. Media & Mass Communication, 3, 99-105.

Sheng, Y. (2008). Testing the assumptions of analysis of variance, In Osborne, J.W. (Ed.)

Best Practices in Quantitative Methods. California: Sage.


Songer, N. B., & Gotwals, A. W. (2012). Guiding explanation construction by children at the

entry points of learning progressions. Journal of Research in Science Teaching, 49(2), 141-

165.

Sturken, M., Cartwright, L., & Sturken, M. (2001). Practices of looking: An introduction to

visual culture (p. 385). Oxford: Oxford University Press

Swaggerty, E. A. (2015). Selecting Engaging Texts for Upper Elementary Students Who

Avoid Reading or Find Reading Difficult. Children's Literature in the Reading Program:

Engaging Young Readers in the 21st Century, 150.

Tsui, L. (2000). Effects of campus culture on students' critical thinking. The Review of

Higher Education, 23(4), 421-441.

UNESCO. (2000). Dakar Framework for Action. Education for All: Meeting Our Collective

Commitments. Adopted by the World Education Forum, Dakar, Senegal, April 26–28, 1999.

Paris: UNESCO. http://unesdoc.unesco.org/images/0012/001211/121147e.pdf

Van Den Broek, P., Kendeou, P., Lousberg, S., & Visser, G. (2011). Preparing for reading

comprehension: Fostering text comprehension skills in preschool and early elementary school

children. International Electronic Journal of Elementary Education, 4(1), 259-268.

Veenman, M. V. J., Wilhelm, P., & Beishuizen, J. J. (2004). The relation between

intellectual and metacognitive skills from a developmental perspective. Learning

and Instruction, 14(1), 89-109.

Watson, G. B., & Glaser, E. M. (1980). WGCTA Watson-Glaser critical thinking appraisal

manual: Forms A and B. San Antonio: The Psychological Corporation.

Willingham, D. T. (2008). Critical thinking: Why is it so hard to teach?. Arts Education

Policy Review, 109(4), 21-32.


Wolming , S. (1998). Validitet. Ett traditionellt begrepp i modern tillämpning [Validity: A

modern approach to a traditional concept]. Pedagogisk Forskning i Sverige, 3(2): 81–103.

Womer, F. B. (1968). Basic concepts in testing. Boston: Houghton Mifflin.

Yeh, S. S. (2001). Tests worth teaching to: Constructing state-mandated tests that emphasize

critical thinking. Educational Researcher, 30(9), 12-17.


ANNEX

Performance  
Skill   Definition1   Sub-­‐Skill  
Indicators   Difficulty   Discrimination  

Classifying  elements  
Categorize   according  to  certain  rules,  
criteria  or  procedures.  
0.7   0.48  
Identifying  which  
elements  are  important  
for  solving  a  problem.  
Understanding  and   0.65   0.34  
expressing  the  meaning  or   Decode  significance  
importance  of  a  wide  variety  
Interpretation   of  experiences,  situations,   Determining  the  role  of  
data,  events,  judgements,   images  in  a  narrative.  (**)  
conventions,  beliefs,  rules,   0.8   0.35  
procedures  or  criteria.  
Representing  a  result  or  
operation  in  different  
ways.  
Clarify  meaning   0.48   0.49  
Clarifying  the  use  of  a  
convention.     0.64   0.38  
Clarifying  an  idea  by   0.39   0.37  

1
The definitions of the skills are taken from the Delphi Report (Facione, 1990)
giving  an  example.  

Comparing  concepts  or  


statements  by  
Examine  ideas   determining  similarities  
and  differences.  
Identifying  the  intended  and    
actual  inferential   0.72   0.51  
relationships  among   Identifying  whether  an  
statements,  questions,   argument  is  in  favour  of  
concepts,  descriptions,  or   Identify  arguments  
Analysis   or  against  a  given  
other  forms  of   statement.  
representation  intended  to   0.21   0.33  
express  belief,  judgment,  
experiences,  reasons,   Identifying  the  main  point  
information,  or  opinions.   of  an  argument.  (**)  
0.35   0.42  
Analyse  arguments  
Identifying  the  reasons  
that  support  an  argument.  
(**)   0.35   0.42  
Assessing  the  credibility  of  
statements  or  other   Recognizing  the  
representations  that  are   important  factors  for  
Assess  claims   determining  the  degree  of  
accounts  or  descriptions  of  a  
person's  perception,   credibility  of  a  source  of  
experience,  situation,   information  or  opinion.  
judgment,  belief,  or  opinion;   0.46   0.42  
Evaluation  
also  assessing  the  logical   Judging  whether  a  
strength  of  the  actual  or   conclusion  is  correct  
intended  inferential   based  on  the  premises  
relationships  among   Assess  arguments   adopted.     0.28   0.28  
statements,  descriptions,  
Assessing  the  strength  of  
questions,  or  other  forms  of  
the  logic  of  an  objection  to  
representation.  
an  argument.     0.63   0.37  
Judging  whether  an  
argument  is  relevant,  
applicable  or  has  any  
implication  on  a  situation.   0.65   0.52  

Assessing  the  advantages  


Assess  alternatives   and  disadvantages  of  
different  alternatives.  (**)  
0.67   0.62  
Determining  whether  
information  is  useful  for  
building  an  argument.   0.81   0.23  
Identifying  whether  an  
Identifying  and  securing   inference  comes  from  
elements  needed  to  draw   evidence.   0.43   0.31  
reasonable  conclusions;  
forming  conjectures  and   Identifying  what  
Query  evidence  
hypotheses,  considering   additional  information  is  
relevant  information  and   needed  to  decide  between  
reducing  the  consequences   two  contradicting  
Inference  
flowing  from  data,   opinions.  
statements,  principles,  
0.36   0.33  
evidence,  judgments,  beliefs,  
opinions,  concepts,   Accepting  or  rejecting  a  
descriptions,  questions,  or   hypothesis  based  on  
other  forms  of   empirical  evidence.   0.46   0.3  
representation.  
Given  a  set  of  priorities  
with  which  one  may  or  
Propose  alternatives   may  not  agree,  seeing  the  
advantages  and  
disadvantages  that  will   0.6   0.61  
come  from  implementing  
a  decision  once  it  has  
been  made.  (**)  

Using  different  strategies  


to  solve  problems.  (**)  
0.81   0.55  

Arriving  at  a  valid  


Draw  conclusions   conclusion  based  on  
evidence.  

0.69   0.52  

Communicating  the  
conclusions  reached  by  
following  a  procedure.  
(**)  
Stating  and  justifying  
reasoning  in  terms  of  the  
0.67   0.68  
evidential,  conceptual,  
methodological,   Graphically  
criteriological,  and   communicating  the  
Reasoning  /  Explanation   State  results  
contextual  considerations   relationship  between  
upon  which  one's  results   concepts  and  ideas.  
were  based;  also  presenting  
0.46   0.45  
one's  reasoning  in  the  form  
of  cogent  arguments.  
Developing  a  narrative  
which  examines  the  
changes  in  a  topic  over  
time.  

0.82   0.35  
Stating  the  standards  
used  to  assess  a  literary  
work.   0.75   0.64  
Justify  procedures  
Describing  the  strategy  
used  to  make  a  reasonable  
decision.  
0.18   0.41  
Arguing  in  favour  of  or  
against  a  point  of  view.    
0.63   0.65  
Explaining  the  
comprehension  of  a  
Present  arguments   concept.  (**)   0.35   0.14  
Identifying  and  
expressing  evidence  as  
part  of  reasoning  for  and  
against  other  people’s  and  
one’s  own  way  of  
thinking.   0.72   0.66  

Table 4. Summary of scores and skills.


(*) Items based on the Delphi Report.
(**) Indicators that were measured on more than one occasion.
Skill   Pre-­‐Item  Analysis   Post-­‐Item  Analysis  
    Difficulty   Discrimination   Difficulty   Discrimination  
Interpretation   0.62   0.43   0.6   0.45  
Analysis   0.36   0.38   0.47   0.45  
Inference   0.58   0.41   0.57   0.44  
Evaluation   0.47   0.4   0.6   0.48  
Explanation   0.41   0.47   0.59   0.57  

Table 5. Average scores for Difficulty and Discrimination, before and after the Item
Analysis.

Anexo C. Recepción del Paper en Revista Académica

Dear Dr. Rodrigo Del Rio,

You have been listed as a Co-Author of the following submission:

Journal: Thinking Skills and Creativity


Corresponding Author: Damian Gelerstein
Co-Authors: Rodrigo Del Rio; Miguel Nussbaum, Ph.D; Pablo Chiuminatto, Ph.D
Title: Designing and implementing a test for measuring critical thinking in primary school

If you did not co-author this submission, please contact the Corresponding Author of this
submission atdamian.gelerstein@gmail.com;dgelerst@uc.cl; do not follow the link below.

An Open Researcher and Contributor ID (ORCID) is a unique digital identifier to which you
can link your published articles and other professional activities, providing a single record of
all your research.

We would like to invite you to link your ORCID ID to this submission. If the submission is
accepted, your ORCID ID will be linked to the final published article and transferred to
CrossRef. Your ORCID account will also be updated.

To do this, visit our dedicated page in EES. There you can link to an existing ORCID ID or
register for one and link the submission to it:
http://ees.elsevier.com/tsc/l.asp?i=7055&l=UUAIE5G1

More information on ORCID can be found on the ORCID website, http://www.ORCID.org,


or on our help page: http://help.elsevier.com/app/answers/detail/a_id/2210/p/7923

Like other Publishers, Elsevier supports ORCID - an open, non-profit, community based
effort - and has adapted its submission system to enable authors and co-authors to connect
their submissions to their unique ORCID IDs.

Thank you,

Thinking Skills and Creativity