Selectividad
RESUMEN
En este trabajo vamos a utilizar la herramienta de 2. DESARROLLO Y RESULTADOS
minería de datos WEKA para analizar el contenido de
un fichero .arff, que contiene las muestras 2.1 Preprocesado de los Datos
correspondientes a 18802 alumnos presentados a las 2.1.1 Filtros de Atributos
pruebas de selectividad y los resultados obtenidos en WEKA permite realizar manipulaciones sobre los datos
las pruebas. aplicando filtros. Se pueden aplicar en dos niveles:
atributos e instancias. Además las operaciones de
filtrado pueden aplicarse en cascada, de forma que la
Categorías y Descripción de la entrada de cada filtro es la salida de haber aplicado el
Asignatura anterior filtro.
H.2.8 Database Applications [Database Management]:
Data mining. Vamos a aplicar sólo filtros no supervisados sobre
atributos, donde las operaciones son independientes del
Términos Generales. algoritmo análisis. El resultado de estos filtros nos
Algoritmos, diseño, experimentación, teoría. servirá de ayuda para el resto de aplicaciones de la
herramienta.
Palabras Claves De entre todos los filtros que hay implementados en
Aprendizaje, algoritmo, modelo, predicción.
esta sección, hemos decidido aplicar sobre nuestros
datos los filtros “Remove” y “Discretize”, que eliminan
atributos y discretizan atributos numéricos,
1. INTRODUCCIÓN respectivamente.
WEKA (Waikato Environment for Knowledge
Analysis) es una herramienta que permite la ! “Remove”: vamos a proceder a eliminar los
experimentación de análisis de datos mediante la atributos correspondientes a las calificaciones parciales
aplicación, análisis y evaluación de las técnicas más y la calificación final, quedando únicamente como
relevantes de análisis de datos, principalmente las calificaciones las notas de bachillerato y la de
provenientes del aprendizaje automático, sobre selectividad.
cualquier conjunto de datos del usuario.
! “Discretize”: Este filtro transforma los atributos
El fichero de datos seleccionado contiene datos numéricos seleccionados en atributos simbólicos, con
provenientes del campo de la enseñanza, una serie de etiquetas que resultan de dividir la
correspondientes a alumnos que realizaron las pruebas amplitud total del atributo en intervalos. Por ejemplo,
de selectividad en los años 1993-2003 procedentes de una vez aplicado el filtro anterior, si dividimos las
diferentes centros de enseñanza secundaria de la calificaciones en 4 intervalos de igual frecuencia,
comunidad de Madrid. Los datos de cada alumno obtenemos los rangos delimitados por (4, 4.8, 5.76).
contienen la siguiente información: año, convocatoria, Podemos observar como el 75% de los alumnos
localidad del centro, opción cursada (entre 5 posibles), alcanza la nota de compensación, el 50% está entre 4 y
calificaciones parciales obtenidas en lengua, historia, 5.755, y el 25% obtiene una nota a partir del 5.755.
idioma y las tres asignaturas opcionales, así como la
designación de las asignaturas de idioma y las 3 2.2 Visualización
opcionales cursadas, calificación en el bachillerato, La herramienta de visualización de WEKA permite
calificación final y si el alumno se presentó o no a la representar gráficas 2D que relacionan pares de
prueba. atributos. Podemos visualizar en la figura 1 el rango de
calificaciones finales de los alumnos entre 1993 y
Algunos de los análisis que podemos llevar a cabo con
2003, especificando como color para la gráfica la
esta herramienta puede ser el relacionar los resultados convocatoria de la prueba.
obtenidos en las pruebas con las características o
perfiles de los estudiantes, cuáles son las características
comunes de aquellos alumnos que superan las pruebas,
hay diferencias en los resultados obtenidos según las
opción elegida, las localidades de las que proceden,…
1
2.3 Asociación
Mediante algoritmos de asociación podemos realizar la
búsqueda automática de reglas que relacionan
conjuntos de atributos entre sí. Son algoritmos no
supervisados, ya que no existen relaciones conocidas a
priori con las que contrastar la validez de los
resultados, sino que se evalúa si esas reglas son
estadísticamente significativas. El principal algoritmo
implementado en WEKA es el algoritmo “Apriori”, el
Figura1. Rango de calificaciones finales 1993-2003
cual sólo busca reglas entre atributos simbólicos, por lo
cual todos los atributos numéricos deberían ser
Vemos que prácticamente no existen alumnos con nota
discretizados previamente. A modo de ejemplo vamos
inferior al 4.86, y que la mayoría de los alumnos que se
a discretizar todos los atributos numéricos en 4
presentan lo hacen en la convocatoria de Junio.
intervalos de igual frecuencia. Si aplicamos el
Además también podemos observar que a medida que
algoritmo de asociación con los parámetros por
se van realizando más pruebas, el número de notas
defecto, nos aparecen una serie de reglas que
próximas al 9.72 va siendo cada vez mayor.
relacionan las asignaturas y las opciones, suspensos en
la prueba y en la calificación final, etc. Podemos
También podemos visualizar en la figura 2 dos
visualizar de forma gráfica en la figura 4 como la gran
variables muy relacionadas entre sí: la calificación de
mayoría de alumnos que se presentan a la prueba de
la prueba y la nota de bachillerato, eligiendo como
idioma, han elegido inglés como opción.
color una vez más la convocatoria.
2
2.4 Agrupamiento
Los algoritmos de agrupamiento buscan grupos de
instancias con características similares, según un
criterio de comparación entre valores de atributos de
las instancias definidos en los algoritmos.
3
2.4.2 Agrupamiento Simbólico
El algoritmo simbólico tiene la ventaja sobre los
anteriores de realizar un análisis cualitativo que
construye categorías jerárquicas para organizar los
datos. Estas categorías se forman con un criterio
probabilístico de “utilidad”, llegando a las que
permiten homogeneidad de los valores de los atributos
dentro de cada una y al mismo tiempo una separación
entre categorías dadas por los atributos, propagándose
estas características en un árbol de conceptos.
Vemos que existen buenos alumnos en Leganés para la
opción 1 y en Getafe para la opción 4.
# Algoritmo COBWEB: Se trata de un algoritmo de
clustering jerárquico. Se caracteriza porque utiliza
# Algoritmo EM: El algoritmo EM asigna a cada aprendizaje incremental, esto es, realiza las
instancia una distribución de probabilidad de agrupaciones instancia a instancia. Durante la
pertenencia a cada cluster. El algoritmo puede decidir ejecución del algoritmo se forma un árbol (árbol de
cuántos clusters crear basado en validación cruzada o clasificación) donde las hojas representan los
se le puede especificar a priori cuantos debe generar. segmentos y el nodo raíz engloba por completo el
Utiliza el modelo Gaussiano finito de mezclas, conjunto de datos de entrada. Al principio, el árbol
asumiendo que todos los atributos son variables consiste en un único nodo raíz. Las instancias se van
aleatorias independientes. añadiendo una a una y el árbol se va actualizando en
cada paso. La actualización consiste en encontrar el
mejor sitio donde incluir la nueva instancia, operación
Este algoritmo es bastante más elaborado que el K-
que puede necesitar de la reestructuración de todo el
Medias, ya que requiere muchas más operaciones.
árbol (incluyendo la generación de un nuevo nodo
Debido a esta mayor complejidad, lo que vamos a
anfitrión para la instancia y/o la fusión/partición de
hacer en primer lugar es reducir el número de
nodos existentes) o simplemente la inclusión de la
instancias a 500 (con filtro de instancias Resample:
instancia en un nodo que ya existía. La clave para saber
3%). Este algoritmo permite buscar el número de grupo
cómo y dónde se debe actualizar el árbol la
más apropiado. Una vez aplicado, se nos muestra que
proporciona una medida denominada utilidad de
el número de clusters significativos en la muestra de
categoría, que mide la calidad general de una partición
los 500 alumnos es de 5. Vamos a ver cuál ha sido el
de instancias en un segmento. La reestructuración que
resultado del agrupamiento sobre diferentes
mayor utilidad de categoría proporcione es la que se
combinaciones de atributos: “opción 1ª” con
adopta en ese paso. El algoritmo es muy sensible a
“localidad” y “cal_final”.
otros dos parámetros:
Figura 10. Relación calificación final y opción Si aplicamos este algoritmo con los parámetros por
1ª defecto sobre la muestra reducida de instancias, el
árbol generado contiene 800 nodos. Para poder obtener
Para este segundo algoritmo de agrupamiento por un árbol más manejable, podemos modificar el
criterios estadísticos y no mediante distancias entre parámetro cut-off (0.45). El resultado generado por la
vectores de atributos, predomina el agrupamiento de herramienta WEKA es el siguiente:
los alumnos por tramos de calificaciones,
independientemente de la opción elegida. En el
algoritmo anterior veíamos que predominaba más el
perfil de las asignaturas que las calificaciones.
4
2.5.1 Modos de Evaluación del Clasificador
El resultado de aplicar el algoritmo de clasificación se
efectúa comparando la clase predicha con la clase real
de las instancias.
5
Podemos observar que los valores de la diagonal son El parámetro más importante que deberemos tener en
los aciertos, y el resto los errores. De los 18647 cuenta es el factor de confianza para la poda
alumnos presentados, todos son correctamente “confidence level”, que influye en el tamaño y
clasificados. De los 155 alumnos no presentados, hay capacidad de predicción del árbol construido. Para cada
153 correctamente clasificados y hay 2 con error. operación de poda, define la probabilidad de error que
se permite a la hipótesis de que el empeoramiento
2.5.2. Selección y configuración de debido a esta operación es significativo. A probabilidad
menor, se exigirá que la diferencia en los errores de
clasificadores predicción antes y después de podar sea más
Vamos a aplicar algoritmos de clasificación a significativa para no podar. El valor por defecto es del
diferentes problemas de predicción de atributos 25%. Según baje este valor, se permiten más
definidos sobre los datos de entrada. operaciones de poda.
Analizaremos la predicción de la calificación en la Para nuestro estudio construiremos un árbol de
prueba a partir de los atributos siguientes: año, decisión con un valor del factor de confianza para la
convocatoria, localidad, opción, presentado y nota de poda del 10%:
bachillerato.
6
0.1897 * calif_asig1 +
0.1896 * calif_asig2 +
0.1193 * calif_asig3 +
0.0084
cal_prueba =
0.1674 * nota_Lengua +
0.1673 * nota_Historia +
0.1668 * nota_Idioma +
7
Vemos que la relación obtenida en la seguida en la -Se obtiene la relación trivial de que los presentados
actualidad: 40% nota de la prueba y 60% nota de son los que obtienen una calificación superior a 0.
bachillerato. -Obtención de la relación de las pruebas parciales con
sus pesos relativos sobre la calificación total de la
Correlación entre nota de bachillerato y calificación prueba.
en prueba. - El peso que tiene la nota de bachillerato y la nota de
Si se construye un modelo entre dos variables, se puede la prueba sobre la nota final son del 60% y del 40%
estudiar el grado de correlación entre ellas. respectivamente.
8
evaluación en cada caso de búsqueda, por eso son muy Debemos comentar también la gran diversidad de
costosos. algoritmos incluidos en WEKA que se pueden utilizar
según queramos obtener unos u otros objetivos.
El otro tipo no utiliza este clasificador específico.
Dentro de este tipo está el método “CfsSubsetEval”, Todo ello hace que WEKA sea una herramienta
que calcula la correlación de la clase con cada atributo, principal en las cada vez más importantes tecnologías
y elimina atributos que tienen una correlación muy alta basadas en el procesamiento de información en los
como atributos redundantes. distintos ámbitos de la sociedad.
En nuestro caso, elegiríamos los algoritmos más [7] Weka Documentation. The University of Waikato.
eficientes de evaluación y búsqueda, CsfSubsetEval y http://www.cs.waikato.ac.nz/ml/weka/
ForwardSelection.
5. CONCLUSIONES
En este trabajo se ha podido demostrar la gran utilidad
que tiene la minería de datos al aplicarla a un caso real.