Habilidades TIC Siglo XXI:

Cmo conseguir algn conocimiento explicativo a partir de hallazgos empricos?

E. San Martin
1,2
, M. Claro
2
, P. Farina
3
, I. Jara, D. Preiss
2,4

1
Facultad de Educacin, Pontificia Universidad Catlica de Chile
2
Centro de Polticas y Prcticas Educacionales CEPPE
3
Facultad de Ingeniera, Universidad Diego Portales
4
Escuela de Psicologa, Pontificia Universidad Catlica de Chile


1. Introduccin

Muchas investigaciones empricas se basan en la medicin de algn comportamiento o habilidad,
el cual a su vez ha sido conceptualizado de tal forma que ha sido posible generar un instrumento
de medicin que en principio permite medir dicho comportamiento. En trminos latos, el primer
resultado de una medicin es la recoleccin de observaciones. Tpicamente, dichas observaciones
se analizan psicomtricamente a fin de obtener un indicador que permita concluir que la
variabilidad de las observaciones represente la variabilidad del comportamiento o habilidad que se
quiere medir (esto es lo que conocemos por confiabilidad). Luego, comienza la labor de interpretar
las observaciones recolectadas y, atendiendo al paso inicial, dicha interpretacin debe remitirse al
comportamiento o habilidad que se ha medido.

Para concretar estas ideas, consideremos el estudio de las habilidades TIC siglo XXI. Siguiendo a
Claro et al. (2012), definimos una habilidad TIC como la capacidad de resolver problemas de
informacin, comunicacin y conocimiento en contextos digitales. Esta definicin est
caracterizada por los siguientes componentes:

1. EL dominio de aplicaciones TIC (i.e., habilidades TIC funcionales) es una condicin para
resolver tareas cognitivas en un ambiente digital. Sin la habilidad tcnica para usar
aplicaciones TIC, los estudiantes no pueden resolver tareas cognitivas en ambientes
digitales.
2. Las habilidades no se basan en la tecnologa pues ellas no se refieren al uso de softwares
especficos, sino solo a resolver problemas de informacin, comunicacin y conocimiento
en contextos TIC.
3. Las aplicaciones TIC generales contienen procesos de pensamiento de orden superior.
4. Las habilidades estn relacionadas con procesos cognitivos que favorecen el continuo
proceso de aprendizaje de los estudiantes y, por lo tanto, se trata de aquellas habilidades
relevantes a los contextos de aprendizaje en una sociedad del conocimiento.

Como se reporta en Claro et al. (2012), se construy un instrumento de medicin tendiente a
medir las habilidades TIC como han sido definidas en el prrafo anterior. Luego, entre Octubre y
Noviembre de 2009, el instrumento se aplic a una poblacin de 1.185 estudiantes chilenos de 15
aos. Es importante mencionar que este instrumento constituy el piloto para el SIMCE TIC que el
gobierno de Chile aplic en el 2011 y cuyos resultados fueron hechos pblicos durante Abril de
2012. Por lo tanto, la contribucin de este trabajo tiene el mrito de poder utilizarse para
profundizar la comprensin que se puede lograr de las habilidades TIC a partir de la aplicacin del
SIMCE TIC.

Para indicar de qu contribucin estamos hablando, resumamos el protocolo de anlisis que
tpicamente se realiza con instrumentos de medicin como el que subyace al SICME TIC, as como
al instrumento reportado en Claro et al. (2012):

1. Despus de realizar un estudio de confiabilidad y del comportamiento de los tems que
componen el instrumento, se procede a generar un puntaje. El supuesto terico que
subyace a esta decisin es el siguiente: es posible caracterizar el nivel de competencia de
un estudiante en relacin a lo que se est midiendo por medio de un indicador
unidimensional. Este carcter unidimensional no slo permite comparar distintos
estudiantes, sino que adems es una condicin necesaria para definir niveles de
competencia.
2. Una vez que se han asignado puntajes y eventualmente se han definido niveles de
competencia, se procede a clasificar a los estudiantes en funcin de dichos niveles y as se
extraen conclusiones en relacin a los niveles de competencia de la poblacin en relacin
a la habilidad medida. Esta informacin es (o debera ser) el input privilegiado para
embarcarse en decisiones de poltica pblica.


Claro et al. (2012) explica cmo se materializan los pasos anteriores. Esencialmente, consiste en
aplicar un modelo Rasch. La caracterstica de estos modelos es que la probabilidad de responder
correctamente un tem o pregunta no solo depende de caractersticas de los estudiantes, sino
tambin de caractersticas del tem. La caracterstica del estudiante corresponde al nivel de
competencia en una escala que no es directamente observable. El estimador de esta caracterstica
es el mejor candidato a convertirse en el puntaje de un estudiante. Por otro lado, los tems estn
caracterizados por lo que a menudo se llama dificultad del tem. El modelo Rasch permite que
estas dificultades estn en la misma escala que las habilidades de los estudiantes. Es precisamente
esta caracterstica la que permite desarrollar un procedimiento de definicin de estndares y as
es posible asignarles significados sustantivos a los puntajes individuales. Referimos a la seccin 4.2
de Claro et al. (2012) para detalles de este procedimiento.

Ahora bien, el procedimiento anteriormente descrito es meramente descriptivo. Los estudiantes
estn ordenados con respecto a sus niveles de competencia (que, insistimos, estn formalmente
representados por la habilidad). Las dificultades de los tems tambin estn representadas en la
misma escala de competencia. Por lo tanto, el nico componente que permite extraer algn
significado sustantivo de la escala de competencia est en el ordenamiento de los tems. En el caso
del instrumento de medicin reportado en Claro et al. (2012) y que en lo que sigue llamaremos
instrumento HTPA- , se trata de poco ms de 40 tems ordenados en dicha escala y el problema
relevante consiste en inducir un significado sustantivo a partir de un ordenamiento obtenido
empricamente. Una posibilidad ciertamente consiste en fijarse en el contenido de los tems cuyas
dificultades son similares y compararlos con grupos de tems similares en dificultades, pero
diferentes del primer grupo. Y as, en una suerte de proceso recursivo, proponer una
interpretacin. Pero formalmente lo que este procedimiento permite hacer es una descripcin
exhaustiva de la informacin, pero no una explicacin del fenmeno subyacente. Este trabajo
quiere proponer cmo, a partir de una descripcin basada empricamente, es posible encontrar
ciertas explicaciones del fenmeno bajo estudio. Para ello utilizaremos los datos reportados en
Claro et al. (2012). En la siguiente seccin explicaremos por qu un modelo Rasch corresponde
meramente a un modelo descriptivo. En la seccin 3 introduciremos brevemente un modelo
explicativo basado en el modelo Rasch. En la seccin se reporta una aplicacin de esta propuesta.

2. Modelo Rasch, un modelo descriptivo

Los modelos de Teora de Respuesta al Item surgen a fin de describir diferencias individuales con
referencia a caractersticas estructurales. Es por ello que el supuesto clave de esta familia de
modelos es que la probabilidad de responder correctamente un tem no solo depende de una
caracterstica del individuo, sino tambin de caractersticas del tem: estas ltimas son
estructurales pues el tem en s es el mismo para cada uno de los estudiantes.

Formalmente, un modelo Rasch se especifica de la siguiente manera:

= 1 =
exp (

)
1 + exp (

)


donde

corresponde a la caracterstica de la persona p, y

corresponde a la caracterstica del

tem i. Es posible demostrar que la caracterstica de la persona p corresponde a la razn entre la
probabilidad que la persona p responda correctamente un tem estndar (que se escoge
arbitrariamente), y la probabilidad que lo responda correctamente. Por lo tanto, lo que en los
modelos Rasch habitualmente se denomina habilidad debe entenderse en los trminos descritos;
as, decimos que una persona p es hbil cuando tiene una probabilidad mayor de responder un
tem correctamente, que de responderlo incorrectamente. En relacin a la caracterstica del tem,
esta corresponde a la razn entre dos proporciones: la primera es el cociente de la probabilidad
que cualquier persona responda correctamente el tem estndar, sobre la probabilidad que tiene
de responderlo incorrectamente; la segunda es la misma proporcin anterior, pero referida al tem
i en cuestin. As, decimos que un tem i es ms difcil que un tem j cuando la proporcin de
personas que responde el tem i correctamente, sobre la proporcin de las que lo responde
incorrectamente, es mayor que la proporcin de personas que responde correctamente el tem j
sobre la proporcin que tiene de responderlo incorrectamente; para detalles, ver San Martin et al.
(2009).

La intencin de recordar estas interpretaciones es doble: por un lado, queremos enfatizar que los
trminos de habilidad de una persona y dificultad de un tem tienen significados precisos que no
requieren ninguna consideracin sustantiva, excepto el supuesto que un instrumento de medicin
es confiable pues mide las caractersticas individuales. Por otro lado, queremos enfatizar que
dichas interpretaciones solo se reducen a comparaciones de proporciones de probabilidades y que
empricamente corresponden a comparaciones de proporciones de frecuencias relativas.

Por lo tanto, cuando la definicin de estndares de basa en el ordenamiento simultneo de
habilidades y dificultades inducidas por un modelo Rasch (procedimiento que se utiliza
ampliamente en las mediciones estandarizadas, y Chile no es la excepcin), simplemente se
atribuye una significacin a la forma en que se han ordenado los items sin tener la posibilidad de
cuantificar cun exacta es esa atribucin. Dado que en base a esta atribucin de significado (los
estndares). Por lo tanto, esta atribucin de significado debe calificarse de arbitraria, lo que
significa que an nos queda camino por recorrer en la consecucin de comprensin del fenmeno
medido y ms camino an como para sustentar decisiones de poltica pblica. La pregunta
entonces es cmo podemos confirmar una explicacin del fenmeno bajo estudio a partir de los
resultados empricos.

3. Modelo LLTM, un modelo explicativo

Lo que hace del modelo Rasch un modelo descriptivo es la ausencia de informacin que permita
explicar por qu un tem es ms difcil que otro. Ms an, las habilidades de las personas (su nivel
de competencia) se pueden interpretar en trminos sustantivos precisamente porque se pueden
comparar con las dificultades de los items. Por tanto, si no es posible explicar el por qu de las
dificultades, no ser posible tener una mejor idea de la significacin de los niveles de competencia.

Siguiendo a Fischer (1983) y De Boeck & Wilson (2004), en el modelo LLTM (Linear Logistic Test
Model), las propiedades de un tem se utilizan para explicar las diferencias entre los diferentes
itemes en trminos del efecto que dichas propiedades tienen sobre la probabilidad de responder
correctamente los itemes. Ms precisamente, se asume que las dificultades

de dos itemes
difieren precisamente debido a las caractersticas estructurales de los respectivos itemes, esto es,
a la estructura cognitiva de las tareas subyacentes a la solucin del tem. Esto significa que un
conjunto de tareas subyace a los itemes y resolver correctamente un tem significa dominar ciertas
tareas, a saber, las que subyacen al tem en cuestin.

Por ejemplo, si se solicita expresar la fraccin mixta 1
2
3
en trminos de una fraccin equivalente,
entonces es necesario conocer el concepto de equivalencia de fracciones, adems de saber operar
con nmeros mixtos. Es decir, subyacen dos tareas al tem en cuestin.

Concretamente, las dificultades de los itemes se asocian a combinaciones de dificultades de un
conjunto de tareas. Este conjunto debe estar tericamente justificado a fin de evitar una
regresin al infinito en el sentido de buscar las tareas de las tareas, y as sucesivamente.
Formalmente, esto significa que, una vez que se ha especificado un conjunto de K tareas, es
necesario construir una matriz de I filas y K columnas, que denotamos por Q: en la posicin (, )
se debe poner un 1 si la solucin del item i requiere de la tarea j; en caso contrario, se pone un 0.
El conjunto de tareas precisamente constituyen la explicacin sustantiva del funcionamiento
emprico de los itemes. En efecto, las tareas son la explicacin que un experto aporta en relacin al
funcionamiento cognitivo de los itemes. Operacionalmente esto se reduce a la especificacin de la
matriz Q. Por otro lado, puesto que se trata de explicar las dificultades de los itemes por medio de
las dificultades de las tareas, se tiene la siguiente igualdad:

= (1)

donde es un vector de dimensin J (es decir, que contiene las dificultades de cada tem),
mientras que es un vector de dimensin K que contiene la dificultad de cada tarea. Se debe
tener que ; de esta manera, nos aseguramos que una condicin necesaria de toda
explicacin se satisfaga, a saber, el fenmeno explicado (en este caso, la diferencia de dificultades)
se explica por un nmero menor de elementos (en este caso, las tareas). De hecho, si > ,
existe un problema de identificacin, lo que implica que la estructura de la explicacin sustantiva
no puede tener sustento terico. Finalmente, las columnas de esta matriz deben ser linealmente
independientes, esto es, ninguna columna puede generarse como una combinacin lineal de las
otras. Si as no fuese, tendramos que una tarea es un producto de las restantes; para detalles, ver
San Martin and Rolin (2011).

Las consideraciones anteriores claramente indican cmo una determinada explicacin basada en
tareas puede confirmarse empricamente (es decir, explica el hallazgo emprico). En efecto, lo
emprico es el ordenamiento de las dificultades de los itemes; lo sustantivo es la definicin de las
tareas y su asociacin a cada tem. Es posible luego estimar estadsticamente las dificultades de las
tareas y usando la igualdad (1), inducir nuevas dificultades de los itemes. Si denotamos las
dificultades estimadas con el modelo Rasch,

, y las dificultades inducidas por el LLTM,

, entonces una medida cuantitativa de la pertinencia de la explicacin basada en las tareas

se obtiene correlacionando

.

4. Una explicacin sustantiva del test HTPA

4.1. Explicaciones del test HTPA

A fin de poder proponer y, consecuentemente, corroborar una explicacin sustantiva, se revisaron
los itemes del test HTPA y se propusieron dos explicaciones plausibles.

Explicacin 1: Se definieron las siguientes 11 tareas:

1. Buscar y encontrar: capacidad de definir una estrategia de bsqueda, identificar fuentes
de informacin digitales, y recoger y/o recuperar informacin digital.
2. Seleccionar: capacidad de determinar el grado en el cual la informacin digital encontrada
satisface las necesidades de la pregunta, problema o tarea a resolver en ambiente
digital.
3. Evaluar: capacidad de juzgar la calidad de la informacin analizando la integridad de la
fuente y el contenido de la informacin.
4. Organizar y administrar: capacidad de ordenar y guardar la informacin digital para
recuperarla y reutilizarla.
5. Comprender e interpretar: capacidad de explicar y sacar conclusiones en base a
informacin digital.
6. Integrar y refinar: capacidad de sintetizar informacin de diversos medios y fuentes
digitales.
7. Analizar y reestructurar: capacidad de examinar, descomponer y reordenar informacin.
8. Representar: capacidad de transformar informacin para graficarla en ambiente digital.
9. Generar nueva informacin y desarrollar ideas: capacidad de desarrollar una idea y crear
informacin.
10. Transmitir informacin: capacidad de destacar y transmitir informacin relevante
considerando medio y destinatario.
11. Trabajo en equipo: capacidad de usar las TIC para intercambiar informacin, negociar un
acuerdo y tomar una decisin entre pares en el marco del respeto por las ideas de los
dems.
Explicacin 2: Una explicacin alternativa es la que est basada en las siguientes 14 tareas:

1. Razonamiento escrito: capacidad de comprender, usar e interpretar textos escritos.
2. Razonamiento numrico: capacidad de comprender, usar e interpretar informacin
numrica.
3. Buscar y encontrar: capacidad de definir una estrategia de bsqueda, identificar fuentes
de informacin digitales, y recoger y/o recuperar informacin digital.
4. Seleccionar: capacidad de determinar el grado en el cual la informacin digital encontrada
satisface las necesidades de la pregunta, problema o tarea a resolver en ambiente
digital.
5. Evaluar: capacidad de juzgar la calidad de la informacin analizando la integridad de la
fuente y el contenido de la informacin.
6. Organizar y administrar: capacidad de ordenar y guardar la informacin digital para
recuperarla y reutilizarla.
7. Comprender e interpretar: capacidad de explicar y sacar conclusiones en base a
informacin digital.
8. Integrar y refinar: capacidad de sintetizar informacin de diversos medios y fuentes
digitales.
9. Analizar y reestructurar: capacidad de examinar, descomponer y reordenar informacin.
10. Representar: capacidad de transformar la informacin para graficarla en ambiente digital.
11. Generar nueva informacin y desarrollar ideas: capacidad de desarrollar una idea y crear
informacin.
12. Transmitir informacin: capacidad de destacar y transmitir informacin relevante
considerando medio y destinatario.
13. Trabajo en equipo: capacidad de usar las TIC para intercambiar informacin, negociar un
acuerdo y tomar una decisin entre pares en el marco del respeto por las ideas de los
dems.
14. Manejo funcional TIC: capacidad de realizar acciones vinculadas al uso de aplicaciones
TIC.

4.2. Resultados

Se ajust la primera explicacin; los resultados de las tareas aparecen en la Tabla 1. Se puede
apreciar que las tareas ms complejas son analizar y restructurar, evaluar y trabajo en equipo.
Mientras que las tareas ms simples son integrar y refinar, representar, buscar y encontrar,
transmitir informacin, organizar y administrar, y seleccionar. La tarea comprender e interpretar
aparece como la de dificultad media, as como evaluar.


Es decir, tareas que involucran cierta sofisticacin cognitiva no son ms complejas que el trabajo
en equipo, la evaluacin y el anlisis y restructuracin. Es decir, tareas que demandar ir ms all
del tem, son ms complejas que las que demandan una elaboracin, simple o compleja en
trminos cognitivos, pero en el tem mismo.

Tabla 1














La pregunta relevante ahora es cun pertinente es esta explicacin en relacin a los datos
observados. Pues bien, como se explic en la seccin 3, es suficiente con reportar la correlacin
entre las dificultades estimadas con el modelo descriptivo Rasch y las que se obtienen con el
modelo explicativo LLTM. La correlacin de Pearson es igual a 0.6. La Figura 1 (panel de la
izquierda) complementa esta informacin. Explicamos, por tanto, el 36% de la variabilidad de las
dificultades.

Se ajust tambin la segunda explicacin. En la Tabla 2 aparecen las tareas correspondientes
ordenadas segn la dificultad de las mismas. Puede apreciarse que las tareas ms complejas son
esta vez integrar y refinar, evaluar, comprender e interpretar y organizar y administrar. Las ms
simples son transmitir informacin, buscar y encontrar, razonamiento por escrito, manejo
funcional TIC, etc. En relacin a la pertinencia emprica de esta explicacin, la correlacin de
Pearson entre las dificultades estimadas con el modelo descriptivo Rasch y las que se obtienen con
el modelo explicativo LLTM es igual a 0.67. La Figura 1 (panel de la derecha) complementa esta
informacin.

Tabla 2

Tarea Dificultad
Transmitir informacin -1,2
Buscar y encontrar -1,04
Razonamiento escrito -0,95
Manejo funcional TIC -0,84
Generar nueva informacin -0,58
Seleccionar -0,46
Representar -0,34
Trabajo en equipo -0,33
Analizar y restructurar -0,05
Razonamiento numrico -0,03
Integrar y refinar 0,16
Evaluar 0,21
Comprender e interpretar 0,77
Organizar y administrar 1,31
Tarea Dificultad
Integrar y refinar -1,06
Representar -0,76
Buscar y encontrar -0,41
Transmitir informacion -0,37
Organizar y administrar -0,29
Seleccionar -0,2
Comprender e interpretar -0,05
Generar nueva informacion 0,12
Trabajo en equipo 0,35
Evaluar 0,39
Analizar y reestructurar 0,39


La segunda explicacin est mejor sustentada pro los datos que la primera. En todo caso, es
importante mencionar que en la segunda explicacin, el razonamiento escrito es mucho ms fcil
que el numrico; que este ultimo razonamiento es prcticamente similar al manejo funcional TIC,
lo que indica entonces el aspecto particular del razonamiento escrito en un test como el HTPA, es
decir, un razonamiento bastante dependiente del formato digital. Sin embargo, las tareas de
organizar y comprender/interpretar aparecen como las ms complejas, lo cual al menos nos
permite sustentar empricamente nuestra descripcin inicial de habilidades TIC, a saber que
habilidades complejas se despliegan en medio digital.
5. Consideraciones finales
Este trabajo quiere poner el acento sobre un aspecto subyacente a la investigacin cuantitativa
educacional, a saber, que es necesario finalizar con explicaciones y no solo con descripciones. Las
explicaciones ayudan a continuar la investigacin de forma fecunda, y son la mejor gua de la
poltica pblica. En relacin a la limitacin de la explicacin encontrada (la segunda), tiene el
defecto que sobre-estima las dificultades de los itemes, aunque lo hace de forma sistemtica.
Figura 1




Referencias

Claro, M, Preiss, D., San Martin, E. Jara, I., Hinostroza, J.E., Valenzuela, S., Cortes, F. and Nussbaum,
M. (2012). Assessment of 21st Century ICT Skills in Chile: Test Design and Results from High School
Level Students. Aceptado para publicacion en Computers and Education.

De Boeck, P. and M. Wilson (2004). Explanatory Item Response Models. A Generalized Linear and
Nonlinear Approach. New York: Springer

Fischer, G. (1983). Logistic Latent Trait Models with Linear Constraints. Psychometrika, 48, 326.

San Martn, E., Gonzlez, J. & Tuerlinckx, F. (2009). Identified Parameters, Parameters of Interest
and Their Relationships. Measurement: Interdisciplinary Research and Perspective, 7, 95-
103.