rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (I)

Ejemplos de entrenamiento y concepto a aprender:

Administrar tratamiento T0
Paciente 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Presin Aterial Alta Alta Normal Baja Baja Baja Normal Alta Alta Baja Alta Normal Normal Baja Urea en sangre Alta Alta Alta Normal Baja Baja Baja Normal Baja Normal Normal Normal Alta Normal Gota S S S S No No No S No No No S No S

Hipotiroidismo Administrar Tratamiento No No S No No S No S No S S No S S No No No S No S S S S S No S S No

rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (II)

Eleccin del atributo de ganancia mxima
Presin Arterial (PA) Alta
[2+,3-] E=0.971

Gota (G) S
[3+,2-] E=0.971 [3+,4-] E=0.985

Normal
[4+,0-] E=0

Baja

No
[6+,1-] E=0.592

G ( S , " PA" ) = 0.940 (5 / 14) 0.971 (4 / 14) 0 (5 / 14) 0.971 = 0.246

G ( S , "G" ) = 0.940 (7 / 14) 0.985 (7 / 14) 0.592 = 0.151

Urea en Sangre (US) Alta

[2+,2-] E=1

Hipotiroidismo (H) S
[3+,1-] E=0.811 [3+,3-] E=1

Normal
[4+,2-] E=0.918

Baja

No
[6+,2-] E=0.811

G ( S , "US " ) = 0 .940 ( 4 / 14 ) 1 ( 6 / 14 ) 0 .918 ( 4 / 14 Enrique J. Carmona Surez ) 0 .811 = 0 .029

G ( S , " H " ) = 0 . 940 ( 6 / 14 ) 1 Dpto./Inteligencia Artificial, .UNED (8 14 ) 0 .811 = 0 048

rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (III)

Presin Arterial? Alta
Pcte Urea Gota Hipot. "T0" [2+,3-] 1 Alta S No No 2 Alta S S No 8 Normal S No No 9 Baja No No S 11 Normal No S S
[4+,0-]

Normal

Baja

Pcte Urea Gota Hipot. "T0" [3+,2-] 4 Normal S No S 5 Baja No No S 6 Baja No S No 10 Normal No No S 14 Normal S S No

rboles de Decisin: Algoritmo ID3

Ejemplo ID3: Aplicar Tratamiento T0? (II)

2 2 1 G ( S , "U " ) = E[(2+,3]) E[(0+,2]) E[(1+,1]) E[(1+,0]) = 0.571 5 5 5 3 2 G ( S , "G" ) = E[(2+,3]) E[(0+,3]) E[(2+,0]) = 0.971 5 5 2 3 G ( S , " H " ) = E[(2+,3]) E[(1+,1]) E[(1+,2]) = 0.020 5 5

Presin Arterial? Alta Gota? ...? No

[2+,0-]

Normal

Baja

(...)
[0+,3-]

(...)

No

rboles de Decisin: Algoritmo ID3

Ejemplo ID3: Aplicar Tratamiento T0? (III)

3 2 G ( S , "U " ) = E[(3+,2]) E[(2+,1]) E[(1+,1]) = 0.020 5 5 2 3 G ( S , "G" ) = E[(3+,2]) E[(1+,1]) E[(2+,1]) = 0.020 5 5 2 3 G ( S , " H " ) = E[(3+,2]) E[(0+,2]) E[(3+,0]) = 0.971 5 5
Presin Arterial? Alta Normal Baja Hipotiroidismo? ...? No
[3+,0-]

(...)

(...)

No
[0+,2-]
rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (IV)

Presin Arterial? Alta Normal Baja

Gota? No SI S NO

SI

Hipotiroidismo? No SI S NO

rboles de Decisin: Algoritmo ID3

Caractersticas del Algoritmo ID3

Recursividad
La divisin de los ejemplos originales en nuevos subconjuntos que implica la bifurcacin al pasar por un atributo, constituye, para cada subconjunto, un nuevo problema de aprendizaje de AD (con menos ejemplos y un atributo menos).

Se pueden presentar 4 casos:

1 Si el nuevo subconjunto tiene ejemplos positivos y negativos, escoger nuevamente el mejor atributo y bifurcar. 2 Si el nuevo subconjunto est formado por un solo tipo de ejemplos, se ha llegado a un nodo hoja. 3 Si en el caso 1 no existiesen ya ms atributos (datos incorrectos, ruido...), utilizar el voto de mayora de los ejemplos del nodo padre. 4 Si el nuevo subconjunto es vaco (datos no representativos), utilizar el voto de mayora de los ejemplos del nodo padre.

Ejemplos={}?
No

Devuelve rbol raz formado por nodo clase=ValorPREDEFINIDO

rboles de Decisin: Algoritmo ID3

Algoritmo ID3
function APRENDIZAJE-AD (Ejemplos, Atributos, ValorPREDEFINIDO) return rbol Decisin

EjemplosCi?
No

Devuelve rbol raz formado por nodo clase=Ci

Atributos={}?
S

No

AtributoMEJOR ESCOGER-ATRIBUTO(Atributos, Ejemplos) rbol Nuevo rbol raz formado por nodo AtributoMEJOR FOR i=1 TO (n valores de AtributoMEJOR )

Devuelve rbol raz formado por nodo clase= VALOR-MAYORA(Ejemplos)

Ejemplosi {e Ejemplos t.q. Valor(e)=vi} ValorPREDEFINIDO VALOR-MAYORIA(Ejemplos) Subrbol APRENDIZAJE-AD (Ejemplosi , Atributos {AtributoMEJOR }, ValorPREDEFINIDO) Aadir una rama a rbol con etiquetavi y subrbol Subrbol

functions ESCOGER-ATRIBUTO (Atributos, Ejemplos) return Atributo ms discriminativo VALOR-MAYORA (Ejemplos) return Clase de ejemplos ms numerosos 20 Enrique J. Carmona Surez

Next i

Devuelve rbol