Année 2012-2013
! Apprentissage
! Induction
! Règles d'inférence inductive
! Apprentissage de concepts
Apprentissage ! Espace de versions
! Arbres de décision
! ID3
!
F.-Y. Villemin! ! Analogie
Apprentissage Apprentissage
Trois grandes approches d’apprentissage (Luger) Deux grandes catégories d’apprentissage :
! Symbolique : Logique, Réseaux Bayésiens*, Chaînes cachées de ! Par induction
Markov*, Processus de décision de Markov* ! Par analogie
! Connexionniste* : réseaux de neurones Apprentissage symbolique supervisé :
! Génétique* : algorithmes génétiques, programmation génétique ! Induction de concept simple
Il peut y avoir d’autres classification (Russel & Norvig) ! Espace de versions
! ID3 (arbres de décision)
Trois grands modes d apprentissage (Luger) ! Apprentissage par explication*
! Supervisé : ! Apprentissage par démonstration*…
Par un humain Apprentissage par renforcement (R. Sutton & A. Barto
Par trace d explication* "Reinforcement Learning: An introduction" MIT Press, 1998) :
! Non supervisé* ! Apprendre une stratégie pour maximiser une valeur
! Par renforcement* : numérique (récompense)
! Formalisé par les processus de décision de Markov
Signal venant de l environnement
* Non traité dans le cours
Contre-exemples = {2 de pique, valet de cœur}. Le concept appris est une carte de couleur rouge avec
(ø, ø) (ø, ø) un nombre ou {#, r}
(#, ø) (ø, n) (f, ø) (ø, r)
(#, n) (f, r)
(2, ø) (ø, p) (v, ø) (ø, c)
(2, p) (v, c)
e % Exemple /* e 1er exemple positif*/! On considère une collection d'objets de même classe, on cherche à obtenir la
définition de cette classe en fonction des propriétés des objets (des valeurs des
S:= {généraliser(e)}; /* S Espace de versions */! attributs de cette classe)
Pour chaque e % Exemple!
Dans un arbre de décision :
Si e = "exemple" alors ! ! Chaque nœud intermédiaire correspond à une question sur une propriété de
! !S':= {généraliser(e)};! l'objet (valeur d'un attribut)
! !S := S , S' is! ! Chaque lien correspond à une valeur de l'attribut
! Chaque nœud terminal (feuille) correspond à une classe (une collection d'objets
Sinon /* e est un contre-exemple */ !
de même nature)
! !S':= {généraliser(e)};!
Plusieurs feuilles différentes peuvent correspondre à la même classe
!S := S - S' is!
Un chemin de la racine à un nœud correspond à une série de questions et réponses
Fait
Les questions correspondent aux attributs et les réponses à leurs valeurs
! utilise comme heuristique le principe du "rasoir d'Occam*" Cette classe divise les exemples en n catégories en fonction des valeurs des
attributs
pour d'éviter de faire des suppositions inutiles
! minimise le nombre de "questions" à poser (l'arbre de La racine de l'arbre de décision contient tous les exemples
décision le plus simple) Les nœuds sont étiquetés par les attributs
! se compose de deux phases principales : Les arcs sont étiquetés par les différentes valeurs de l'attribut
# l'apprentissage Si tous les exemples correspondant à une branche sont de la même catégorie,
# la phase de tests on crée la feuille représentant cette catégorie classe, sinon les attributs
sont à nouveau testés et un nouveau nœud est ajouté
* "ne rien supposer qui soit pas nécessaire"
"It is vain to do with more what can be done with less... Entities should not Les exemples composés des mêmes attributs forment une même branche qui
be multiplied beyond necessity" William of Occam, en 1324 correspond à la catégorie et forme une règle de décision
vi
où N est le nombre de classes différentes, p(ci|aj) la probabilité conditionnelle qu'un objet P1 + N 1
soit de la classe ci étant donné que l'attribut A vaut aj E(A) = ∑ P+N
I(P 1 , N 1 )
i=1
!
© F.-Y. Villemin 2012! 33! © F.-Y. Villemin 2012! 34!
Analogie Analogie
Règle d'inférence analogique : La condition Th & {P[S] ( Q[S] ( P[T]}|= Q[T] n'est pas en général
satisfaite
Th, P [S] ( Q [S], P[T]! $!l'analogie comme l'induction n'est pas nécessairement adéquate
|<———————————————————————— !analogie standard! Problèmes :
! ! !Q[T]! ! un problème de reconnaissance :
$!quel analogue source S considérer, sur base de similarités P à
Propriétés de l'analogie : détecter?
! un problème de mise en correspondance :
Th |≠ P[S] ( Q[S] source non redondante $!quelle propriétés Q mettre en correspondance et transposer de
Th & {P[T]} |≠ Q[T] cible inconnue l'analogue source vers l'analogue cible?
! un problème de validation :
Th & {P[S] ( Q[S] ( P[T]} |≠ ¬ Q[T] consistance
$!comment évaluer et le cas échéant réviser la conclusion analogique
Th & {Q[T]} |= Sol ! conclusion utile Q[T] de manière à garantir que celle-ci soit correcte?
prédicat Sol # propriétés de solution au problème à résoudre Pour rendre règle d'inférence analogique adéquate [Davies & Russel 87] :
$!notion de dépendance fonctionnelle en théorie des bases de données
$!permet d orienter l'analogie $ ajout d'axiomes à théorie Th (axiome de détermination) :
('x P(x) ! Q(x)) ) ('x P(x) ! ¬ Q(x)) (P détermine si oui ou non Q)
haut
*
7 1
milieu 6 2
1 2 3
bas
5 3
4
© F.-Y. Villemin 2012! 45! © F.-Y. Villemin 2012! 46!
! Prédiction de caractéristiques…
S1 Sp Sn
Références :
Aamodt, A. et E. Plaza, "Case-Based Reasoning : Foundational Issues. Cas-solutions
Methodological variations ans system", AI Communications 7 (1), pp36–59, généralisés
C1 Cp Cn
1994.
Coyle, L., P. Cunningham, et C. Hayes, "Representing Cases for CBR in Abstraction du
XML", Proceedings of 7th United Kingdom Case-Based Reasoning, Workshop, cas