RBOLES DE DECISIN

(RBOLES DE CLASIFICACIN Y
DE REGRESIN, INDUCCIN DE
REGLAS)
INSTITUTO TECNOLGICO DE MRIDA
ANLISIS Y EXTRACCIN DE INFORMACIN
VOLADORES DE PAPANTLA
OCTUBRE DE 2013
QU ES UN RBOL DE DECISIN?
Es un conjunto de condiciones organizadas en una estructura
jerrquica, de tal manera que la decisin final a tomar se puede
determinar siguiendo las condiciones que se cumplen desde la raz
del rbol hasta alguna de sus hojas.

EJEMPLO:
RBOLES DE CLASIFICACIN
Clasificar es determinar de entre varias clases a qu clase pertenece
un objeto; la estructura de condicin y ramificacin de un rbol de
decisin es idnea para la clasificacin.
Al clasificar se asume que las clases son disjuntas, es decir, una
instancia es de la clase a o de la clase b, pero no se puede ser al
mismo tiempo de las clases a y b.

CARACTERSTICAS
Una vez elegida la particin, esta no se poda cambiar, aunque ms
tarde se pensara que haba sido una mala eleccin.
Criterio de particin: una mala eleccin de la particin, generar un
peor rbol.
Un rbol de decisin conducir un ejemplo hasta una y solo una hoja,
asignando una nica clase al ejemplo.

Las particiones existentes en un rbol deben ser disjuntas (cumple o
no una condicin). Adems, una de n condiciones se debe cumplir
(propiedad exhaustiva).

En los primeros algoritmos de aprendizaje de rboles de decisin, el
espacio de instancias se iba partiendo de arriba abajo utilizando un
conjunto de condiciones excluyentes y exhaustivas. Estos reciben el
nombre de algoritmos de particin o algoritmos de divide y vencers.
Uno de los aspectos ms importantes es el criterio de particin ya que
una mala eleccin de la particin, generar un peor rbol.
EJEMPLO UTILIZANDO TCNICA DE
PARTICIN
Hay dos puntos importantes para que el algoritmo funcione
correctamente:


Particiones a considerar.
Criterio de seleccin de particiones.
PARTICIONES POSIBLES
Las particiones son un conjunto de condiciones exhaustivas y
excluyentes.
Mayor nmero de condiciones = Mayor posibilidad de encontrar
patrones.
Mayor nmero de particiones = Mayor expresividad.
Mayor nmero de particiones = Mayor complejidad.

El problema principal de un algoritmo de aprendizaje de rboles es
encontrar un balance entre expresividad y eficiencia.
CRITERIO DE SELECCIN DE PARTICIONES

RBOLES DE DECISIN PARA REGRESIN.

Un rbol de regresin se construye de manera similar a un rbol de
decisin para clasificacin, pero con las siguientes diferencias:
La funcin aprendida tiene dominio real y no discreto, como en los
clasificadores.
Los nodos hoja del rbol se etiquetan con valores reales, de tal
manera que una cierta medida de calidad se maximice, por ejemplo la
varianza de los ejemplos que caen en ese nodo respecto al valor
asignado.

El algoritmo CART es la implementacin ms sencilla ya que hace
particiones binarias sobre los atributos de igual manera que los
rboles de decisin diseados para clasificacin, pero que va
asignando una media y una varianza a cada nodo, intentando
seleccionar las particiones que reduzcan las varianzas de los nodos
hijos.

Una variacin muy popular de los rboles de regresin es considerar
una funcin lineal en los nodos en vez de una media y una desviacin
tpica. Para evaluar las particiones se puede utilizar el error
cuadrtico medio de la regresin lineal de los ejemplos que hayan
cado en cada nodo. Luego, para los nodos hoja, la prediccin se
realiza utilizando el modelo lineal.