Universit des Sciences et de la Technologie Houari Boumediene

Facult dElectronique & Informatique

MASTER ELECTROTECHNIQUE INDUSTRIELLE

Techniques didentification et de contrle

MET305

COMMANDE PAR
RESEAUX DE NEURONES ARTIFICIELS (RNA)

A NAIT SEGHIR
2015-2016

ET305-M2EI

Techniques dIdentification et de Commande

RESEAUX DE NEURONES ARTIFICIELS (RNA)

INTRODUCTION
Les rseaux de neurones artificiels (RNA) sont des systmes de traitement de linformation dont la
structure sinspire de celle du systme nerveux. Ils sont destins effectuer des tches auxquelles les
approximateurs traditionnels semblent moins bien adapts. Ainsi, les applications des RNA la
reconnaissance de formes, la modlisation, la commande et la classification ont pris une place
importante au sein des ralisations industrielles. Dans le domaine du traitement du signal et de
lautomatique, les annes 90 ont t marques par des avances significatives tant du point de vue
fondamental que du point de vue des applications industrielles [PER03].
L'utilisation de RNA pour la ralisation de systmes de commande a connu un essor important au
cours des dernires annes [CIR02].

Le neurone biologique
Llment de base du systme nerveux est le neurone. Le cerveau humain contient environ 1011
neurones, avec 103 104 dendrites par neurone. Le neurone est une cellule compose du soma (corps
cellulaire) qui contient le noyau, les dendrites
autour du soma et laxone qui est un prolongement
Soma
de grande taille au bout duquel se trouve une
arborisation qui entre en contact avec les dendrites
des autres neurones via les synapses (Figure V.1).
Les dendrites sont si nombreuses que lon parle de
chevelure ou darborisation dendritique. Cest par
Axone
les dendrites que linformation est achemine de
lextrieur vers le soma (corps du neurone). Elle est
Dendrites
traite alors par le corps cellulaire. Si le potentiel
Figure V.1: Neurone biologique
daction dpasse un certain seuil, le corps cellulaire rpond par un stimulus. Le signal transmis par le
neurone chemine ensuite le long de laxone (unique) pour tre transmis aux autres neurones [REN95].
La communication entre laxone du neurone affrent et les dendrites du neurone effrent nest pas
directe et seffectue par des synapses. Une synapse reliant deux neurones peut tre de nature
excitatrice ou inhibitrice. Dans le premier cas, le neurone metteur aura tendance activer le neurone
rcepteur, et dans lautre cas le neurone metteur aura tendance inhiber lactivit du neurone
rcepteur. Chaque synapse est en outre caractrise par lefficacit avec laquelle elle assure la
connexion [PER03].

Le Neurone Formel
C'est partir de l'hypothse que le comportement intelligent merge de la structure et du
comportement des lments de base du cerveau, que les rseaux de neurones artificiels se sont
dvelopps. La structure d'un neurone artificiel est montre dans la figure V.2. Chaque neurone
artificiel est une unit fonctionnelle. Il reoit un nombre variable d'entres en provenance de
neurones amont. A chacune de ces entres est associ un poids , reprsentatif de la force de la
connexion. Chaque unit fonctionnelle est dote d'une sortie unique, qui se ramifie ensuite pour
alimenter un nombre variable de neurones aval [DAV90].
A.NAIT SEGHIR | Commande par rseaux de neurones

page 1

ET305-M2EI

Techniques dIdentification et de Commande

Le neurone formel est une fonction algbrique non linaire et borne, dont la valeur dpend des
paramtres poids . Les variables de cette fonction sont les entres du neurone, et la valeur de la
fonction est la sortie. Un neurone est donc un oprateur mathmatique, dont la valeur numrique est
calcule par des oprations mathmatiques.

Modle mathmatique non-linaire

Par analogie avec le neurone biologique, le comportement du neurone artificiel est modlis par deux
phases :
Un oprateur de sommation, qui labore le potentiel a. Cet oprateur effectue la somme
pondre des entres. On soustrait parfois cette somme la valeur du seuil dactivation i.
un oprateur non linaire qui calcule la valeur de lactivation. Cet oprateur sappelle la
fonction de transfert.
La nouvelle version du modle non-linaire de McCulloch & Pitts est reprsente par la figure V.2.
Valeurs
dentre

1
2

Poids

i1
Somme
pondre

i2

Fonction de
combinaison

in

ai

Fonction
dActivation

Sortie yi

Seuil

Figure V.2: Modle Non-Linaire du Neurone formel

j : entre du neurone i (sortie du neurone amont j).

ij : la valeur du poids synaptique de la connexion dirige du neurone j vers le neurone i,

un poids positif indique un effet excitateur du neurone metteur (j) vers le neurone rcepteur (i).

un poids ngatif reprsente un effet inhibiteur.

i : est le seuil du neurone i qui reprsente la limite partir de laquelle le neurone sactivera.
La fonction combinaison renvoie le produit scalaire entre le vecteur des entres et le vecteur des
poids synaptiques. Autrement dit, elle calcule la somme pondre des entres selon
lexpression suivante:

ai j 1, n ij . j

(V.1)

A partir de cette valeur, une fonction de transfert (ou fonction dactivation, ou encore fonction de
seuillage) calcule la valeur de l'tat du neurone. Cette valeur sera transmise aux neurones aval.

yi (ai i )
A.NAIT SEGHIR | Commande par rseaux de neurones

(V.2)

page 2

ET305-M2EI

Techniques dIdentification et de Commande

Les neurones les plus frquemment utiliss sont ceux pour lesquels la fonction est une fonction non
linaire (gnralement une tangente hyperbolique) d'une combinaison linaire des entres.
Modle mathmatique tendu
Le modle peut tre modifi en introduisant une valeur de biais i la place de la valeur de seuil:

0= +1 et i0 = i.
Lquation mathmatique qui dcrit ce modle est donne par:

avec:

yi (ai )

(V.3)

ai j 0, n ij . j

(V.4)

Ce qui donne alors le modle non-linaire tendu de la figure V.3.

Entre fixe
0= +1

i0

i1

i2

i0 = i (Seuil)
Somme
pondre

entres

in

ai

Fonction
dActivation

Sortie yi

Fonction de
combinaison

Poids

Figure V.3 : Modle Etendu du Neurone formel

Les fonctions de transfert

La fonction de transfert ou d'activation dfinit la valeur de sortie d'un neurone en termes des niveaux
d'activit de ses entres. Ces fonctions prsentent gnralement trois intervalles :
1. en dessous du seuil, le neurone est non-actif (sa sortie vaut 0 ou -1) ;
2. aux alentours du seuil, une phase de transition ;
3. au-dessus du seuil, le neurone est actif (sa sortie vaut 1).
La fonction de transfert peut prendre diffrentes formes possibles tel que: fonction linaire seuil,
fonction seuil, fonction gaussienne, etc (figure V.4).
Fonction seuil : Comme son nom l'indique, cette fonction applique un seuil sur son entre.
La sortie effective du neurone est calcule en comparant la valeur du potentiel un seuil
[HAR98]. Cette fonction dlivre des valeurs binaires [+1 0] ou [+1 -1] (figure V.4).

1 : ai i
yi (ai )
0 : ai i
A.NAIT SEGHIR | Commande par rseaux de neurones

(V.5)

page 3

ET305-M2EI

Techniques dIdentification et de Commande

Fonction linaire par partie : La fonction linaire est une fonction simple. La sortie effective
du neurone est directement lie son entre selon la relation y = (a). Cette fonction peut
aussi tre borne.

1 : si ai i

yi (ai ) 1 : si ai i
(a ) : sinon
i

(V.6)

Fonction sigmode : Cette fonction n'est pas polynomiale et est indfiniment continment
drivable. Cest une proprit simple qui permet d'acclrer le calcul de la drive, ce qui
rduit le temps calcul ncessaire l'apprentissage d'un rseau de neurones. Elle est dfinie
par la relation mathmatique suivante :

1
1 e a

(V.7)

Fonction gaussienne : Cette fonction dactivation nest pas monotone croissante, elle est dun
caractre local qui la rend trs puissante en approximation de fonction et en classification.
y = (a)

y = (a)

y = (a)
+1

+1
a

a
-1
(a): Fonction identit

(b): Fonction linaire borne

y = (a)

(c): Fonction seuil

y = (a)

+1

y = (a)
+1

+1

a
a
(d): Fonction gaussienne

a
(e): Fonction sigmode

-1
(f): Fonction tangente
hyperbolique

Figure V.4: Les formes usuelles de la fonction dactivation

Le perceptron
Le perceptron est gnralement constitu dune seule couche, de plusieurs neurones dont les
fonctions dactivations sont toutes des fonctions de seuil. Ce type de rseau est utilis seulement dans
les problmes linairement sparables. On distingue aussi dautres types de rseaux de neurones qui
lui sont similaires, mais dont lutilit est diffrente [DRE98]:
- Ladaline (Adaptative Linear Neuron Networks).
- Le madaline (Many Adaptative Linear Neuron Networks).
A.NAIT SEGHIR | Commande par rseaux de neurones

page 4

ET305-M2EI

Techniques dIdentification et de Commande

Neurone base radiale

Ces dernires annes, plusieurs types de neurones et fonctions d'activation ont t introduits pour
rsoudre diffrentes sortes de problmes pratiques. En particulier, les neurones base radiale qui ont
montr leur utilit dans les applications de l'identification et de la commande des systmes [CIR02].
Un neurone fonction de base radiale (Radial Basis Functions) est construit partir d'une fonction du
mme nom. Un rseau de neurones fonction de base radiale est un rseau une seule couche cache
avec des fonctions d'activation base radiale, le plus souvent des gaussiennes. Les entres sont
directement connectes aux neurones de la couche cache. La couche de sortie est un neurone avec
une fonction d'activation identit.

Les rseaux de neurones formels ou Rseau multicouche

Un rseau de neurone (RN) est form dun ensemble de neurones interconnects. Les connexions
entre les neurones qui composent le rseau dcrivent la topologie du modle. Celle-ci peut tre
quelconque, mais le plus souvent il est possible de distinguer une certaine rgularit. Gnralement, la
structure des RN est constitue dune couche dentre, des couches caches et une couche de sortie.
Un rseau de neurone est donc compos d'une succession de couches dont chacune prend ses entres
sur les sorties de la prcdente. Chaque couche (i) est compose de ni neurones, prenant leurs entres
sur les ni-1 neurones de la couche prcdente. chaque synapse est associ un poids synaptique, de
sorte que les ni-1 sorties prcdentes sont multiplis par ces poids, puis additionns par les neurones
de niveau i. la fonction de sortie introduit une non linarit. Il est trs important de faire un choix
judicieux d'une bonne fonction de sortie: un rseau de neurones dont les sorties seraient linaires
n'aurait aucun intrt.
Deux grands types d'architectures de rseaux de neurones sont distingus: les rseaux de neurones
non boucls et les rseaux de neurones boucls.

Les rseaux de neurones non boucls

Un rseau de neurones non boucl ralise une (ou plusieurs) fonctions algbriques de ses entres, par
composition des fonctions ralises par chacun de ses neurones lmentaires. Ce rseau est
reprsent par un ensemble de neurones connects entre eux, de telle sorte que linformation se
propage des entres vers les sorties sans retour en arrire. Ce rseau est de type feedforward .
La Figure V.5 reprsente un rseau de neurones non boucl qui a une structure trs frquemment
utilise. Il comprend des entres, une couche de neurones cachs et des neurones de sortie. Les
neurones de la couche cache ne sont pas connects entre eux.

Couche
dentre

Couche
de sortie

Couche cache
Figure V.5: Structure dun rseau multicouche (feedforward)

A.NAIT SEGHIR | Commande par rseaux de neurones

page 5

ET305-M2EI

Techniques dIdentification et de Commande

Cette structure est appele Perceptron multicouche (PMC). Ces rseaux sont des systmes statiques. Si
les entres sont indpendantes du temps, les sorties le sont aussi. Ils sont utiliss principalement pour
les approximations de fonction non linaire, la classification ou la modlisation de processus statiques
non linaires.
Le Rseau multicouche connexions locales est un cas de la structure multicouche, mais qui conserve
une certaine topologie. Chaque neurone entretien des relations avec un nombre rduit et localis de
neurones de la couche avale (figure V.6). Les connexions sont donc moins nombreuses que dans le cas
d'un rseau multicouche classique [REN95].

Les rseaux de neurones boucls

Contrairement aux rseaux de neurones non boucls dont le graphe de connexions est acyclique, les
rseaux de neurones boucls peuvent avoir une topologie de connexions quelconque, comprenant
notamment des boucles qui ramnent aux entres la valeur d'une ou plusieurs sorties. Ces rseaux
sont de type feedback . Pour qu'un tel systme soit causal, il faut associer toute boucle un retard.
Un rseau de neurones boucl est donc un systme dynamique.
Les rseaux de neurones boucls sont utiliss pour effectuer des tches de modlisation de systmes
dynamiques, de commande de processus. Parmi les rseaux boucls, nous citons quelques
configurations :

Figue V.6 : Rseau multicouche connexions Figure V.7 : Rseau connexions rcurrentes
locales
(ou feedback)
Rseau connexions rcurrentes : Les connexions rcurrentes ramnent l'information en
arrire par rapport au sens de propagation dfini dans un
rseau multicouche. Ces connexions sont le plus souvent
locales (figure V.7) [PER03].
Rseau connexions complexe : Cest la structure
d'interconnexion la plus gnrale ou chaque neurone est
connect tous les neurones du rseau (figure V.8).
Figure V.8 : Rseau connexion complexe

Le choix du nombre dunits caches

Le nombre dunits caches joue un rle crucial dans le contrle de la capacit du rseau de neurones.
Si ce nombre est trop petit, alors le rseau possde trop peu de paramtres et ne peut capter toutes les
dpendances qui servent modliser et prdire les valeurs du processus observ. Il faut comprendre
que les rseaux de neurones peuvent modliser nimporte quelle fonction si le nombre dunits
caches est suffisant [MIL92].
A.NAIT SEGHIR | Commande par rseaux de neurones

page 6

ET305-M2EI

Techniques dIdentification et de Commande

La structure des rseaux gnralement utiliss pour la commande est celle qui est mise sous la forme
canonique. Elle donne par la figure V.9.
Sorties
linstant k

Etats
linstant k+1

Rseau de neurones statique

Entres
linstant k

Etats
linstant k

Figure V.9: Forme canonique d'un rseau de neurones boucl

Apprentissage des Rseaux de neurones

Lune des proprits des plus importantes des rseaux de neurones artificiels est leur facult
d'apprentissage. Cest une phase du dveloppement du rseau de neurones durant laquelle son
comportement est modifi jusqu' l'obtention du comportement dsir. Celui-ci peut s'effectuer par
prsentation rpte d'une srie de patrons ou modles et peut tre supervis ou non. Dans le
cas des rseaux multicouches les approches les plus utilises sont celles inspires de la mthode de
rtro-propagation du gradient mais dautres mthodes peuvent galement tre mises en uvre.
Lalgorithme d'apprentissage est souvent associ la description du modle des rseaux de neurones
artificiels. Dans la majorit des algorithmes, les variables modifies pendant l'apprentissage sont les
poids des connexions. Il est souvent impossible de dcider priori des valeurs des poids des
connexions d'un rseau pour une application donne. A l'issu de la phase d'apprentissage, les poids
sont fixs : Cest alors la phase de validation.
Le nombre de cycles dapprentissage peut tre dfini par lutilisateur. Plus les cycles seront nombreux,
plus lerreur sur lensemble dentranement deviendra petite. Lerreur diminuera aussi sur lensemble
de tests jusqu un certain nombre de cycles. Pass ce nombre, lerreur sur lensemble de tests
commencera augmenter nouveau. Ceci est d au fait que plus lapprentissage est long, plus le
rseau apprend les spcificits propres lensemble dentranement, et ainsi perd son pouvoir de
gnralisation.
Les algorithmes d'apprentissage sont diviss en deux grandes classes, selon que l'apprentissage est dit
supervis ou non supervis. Cette distinction repose sur la forme des exemples d'apprentissage.
Lapprentissage non supervis
Le calcul des coefficients dans ce cas se fait sur la base de la suite des vecteurs dentres seulement. Le
rseau a donc la charge dextraire des rgularits de la suite des vecteurs dentre. Lapprentissage
non supervis a pour modle de rfrence les cartes dites autoorganisatrices (Self Organizing
Maps) de Kohonen (1982).
A.NAIT SEGHIR | Commande par rseaux de neurones

page 7

ET305-M2EI

Techniques dIdentification et de Commande

Lapprentissage supervis
Ces algorithmes utilisent une base de donnes compose dun ensemble de paires entre-sortie.
Lapprentissage dans ce cas, consiste calculer les coefficients de telle manire que les sorties du
rseau de neurones soient, pour les exemples utiliss lors de l'apprentissage, aussi proches que
possibles des sorties "dsires", qui peuvent tre la valeur de la fonction approche ou de la sortie du
processus modliser, ou encore la sortie souhaite du processus commander.
L'apprentissage des rseaux de neurones boucls (pour raliser des modles dynamiques) est
semblable celui des rseaux non boucls.

Rgles et mthodes dapprentissage

Le principe de lapprentissage consiste soumettre le rseau un vecteur entr dont la rponse
souhaite est connue, autant de fois quil lui est ncessaire la modification des poids des connexions
en minimisant une fonction cot (erreur quadratique), jusqu obtention de la bonne rponse. Il existe
plusieurs rgles de modification des poids dont les principales sont :
La rgle de Hebb
La rgle de Widrow-Hoff
Lalgorithme de rtropropagation du gradient de lerreur
La rgle de Hebb
La rgle de Hebb est inspire de la biologie. Le principe est de renforcer les connections entre deux
neurones lorsque ceux-ci sont actifs simultanment. Elle peut tre classe comme apprentissage non
supervis, ou supervis car on sait calculer directement les poids correspondant l'apprentissage
d'un certains nombres d'exemples.
Cette rgle dapprentissage a t le point de dpart des travaux de Rosenblatt qui a dvelopp la
premire version dun modle neuronal trs connu de nos jours, savoir le perceptron. La
modification des poids est inspire de la rgle de Hebb. Son principe est de rajouter, dans le cas o la
sortie obtenue yi du rseau est diffrente de la sortie dsire yi*, une quantit wij aux poids de chaque
connexion. Dans le cas contraire, les connexions demeurent inchanges [DAU00]. Ce principe peut
tre exprim par:

wij t 1 wij t wij j

wij est la quantit ajoute au poids wij, do :

wij yi yi j

(V.8)

(V.9)

Le paramtre est appel taux dapprentissage, il dtermine la dynamique suivant laquelle les
modifications vont avoir lieu et j reprsente lentre.
La rgle de Widrow-Hoff
En 1960 Widrow et Hoff ont propos, contrairement au modle de Rosenblatt o les neurones ont des
fonctions dactivation seuils, un modle de perceptron avec neurones linaires (fonction dactivation
linaire). L'avantage dutiliser des units linaires est que ces dernires permettent de calculer une
fonction qui value lerreur que commet le rseau. Cette erreur peut tre calcule en fonction des

A.NAIT SEGHIR | Commande par rseaux de neurones

page 8

ET305-M2EI

Techniques dIdentification et de Commande

rponses dsires et des rponses obtenues par le rseau. Elle est donc fonction des poids du rseau
[PER03]:

1
yi yi

2 i

1 *
yi wij j

2 i
j

(V.10)

Lobjectif de lapprentissage est de modifier les valeurs des poids du rseau de faon minimiser cette
erreur et effectuer une descente du gradient. Lalgorithme de descente du gradient consiste
changer chaque poids wij dune quantit wij proportionnelle au gradient de lerreur:

wij

E
yi yi j
wij
i

(V.11)

Lexpression (V.11) est la mme que celle trouve lors de l'apprentissage par la rgle de Hebb base
de la fonction seuil (V.9).
Mthode de la rtropropagation du gradient (backpropagation)
Un des dsavantages du perceptron est quil minimise une erreur en tout ou rien cause de sa
fonction dactivation seuil. De ce fait, lalgorithme est trs peu robuste. La rgle dapprentissage de
Widrow-Hoff ne fonctionne plus en tout ou rien mais minimise une fonction derreur quadratique,
donc plus robuste. Malheureusement, cette rgle ne peut sappliquer que sur des rseaux une seule
couche de poids adaptatifs. Cest donc en tendant la rgle de Widrow-Hoff que lalgorithme
dapprentissage de rtropropagation du gradient de lerreur a t dvelopp [DAV90].
Lalgorithme dapprentissage de la rtropropagation du gradient derreur est gnralis ensuite par
lquipe de Rummelhart en 1986. Cet algorithme fournit une faon de modifier les poids des
connexions de toutes les couches dun Perceptron Multi Couches.
La figure V.10, reprsente un rseau deux couches, dans lequel:
1

v1

y1

y2

yi
j

wkj

vk

wik

Figure V.10 : Perceptron Multi Couches

j : sont les units dentres
yi : sont les units de sorties
vk : sont les units caches
wkj : sont les poids des connexions entre les units dentres et les units caches
wik : sont les poids des connexions entre les units caches et les units de sorties
Les tapes du dveloppement de cet algorithme sont:
Calcul de la valeur de sortie de lunit cache k
A.NAIT SEGHIR | Commande par rseaux de neurones

page 9

ET305-M2EI

Techniques dIdentification et de Commande

vk f (ak ) f wkj j
j

(V.12)

calcul de la valeur de sortie de lunit de sortie i

yi f ai f wik vk
k

(V.13)

calcul des erreurs partielles et globales

Ep

2
1

yi yi

2 i

(V.14)

E Ep

Et

(V.15)

Minimisation de la fonction derreur globale par la descente du gradient. La valeur de chaque

connexion est modifie selon la rgle :

E p
E

w
p w

(V.16)

Selon la position des poids de connexions, deux cas se prsentent :

1.

Cas des connexions de la couche de sortie (wik): Pour le cas des neurones de sortie, la relation
(V.16) est fonction du paramtre wik qui influe uniquement sur la sortie du neurone dindice i.
La drive peut tre dcompose de cette relation par :

E p
wik

E p yi ai
yi yi* f ai vk
yi ai wik

La relation (V.16) devient :

(V.20)

(V.21)

wik f ai yi* yi vk
p

2.

Cas des connexions de la couche cache (wkj) : Si le neurone appartient la couche cache, la
relation (V.16) est en fonction du paramtre wkj qui influe non seulement sur la sortie du
neurone k de la couche cache, mais aussi sur tous les neurones i de la couche de sortie (en
aval) qui lui sont connects. Nous obtenons alors lquation suivante :

E p
wkj

E p vk ak E p

f ak j
vk ak wkj vk

(V.17)

Le premier terme de cette expression devient alors :

E p
vk

E p yi
E y a
P i i yi yi* f ai wik
yi vk
k yi ai vk
k

(V.18)

La modification des poids devient :

A.NAIT SEGHIR | Commande par rseaux de neurones

page 10

ET305-M2EI

Techniques dIdentification et de Commande

wkj f ak j yi* yi f ai wik

p
i

(V.19)

Minimum
Local

Minimum global
Figure V.11: Mthode de la rtropropagation du gradient
Lalgorithme de rtropropagation du gradient de lerreur a permis de dpasser les limites du
perceptron simple. Il est capable de rsoudre un grand nombre de problmes de classification et de
reconnaissance des formes. Cet algorithme souffre nanmoins de nombreux dfauts, parmi lesquels
[DAV90] :
une limitation du temps de calcul (lapprentissage est trs long),
une grande sensibilit aux conditions initiales, c'est--dire la manire dont sont initialiss
les poids des connexions,
de nombreux problmes dus la gomtrie de la fonction derreur (minimums locaux).
le problme de dimensionnement du rseau dont la structure est fix a priori. La structure
est dfinie par le nombre de couches caches, le nombre de neurones par couches et la
topologie des connexions. Un mauvais choix de structure peut dgrader considrablement les
performances du rseau.
Mthode de backpropagation avec momentum
Depuis lapparition de lalgorithme de backpropagation, quelques variantes, visant amliorer les
performances de cet algorithme, ont t mises en uvre. Parmi ces variantes, celle qui introduit un
terme momentum dans la rgle dapprentissage pour amliorer la vitesse de convergence. Il sagit en
fait dutiliser le gradient prcdent pour donner une inertie lalgorithme. Cette technique est utilise
aussi pour viter que la descente de gradient ne se bloque dans un minimum local (Figure V.11)
[FRE92].
La rgle dapprentissage devient:

wt

E
t w(t 1)
w

avec: 0.5 < 1 et 0 < 0.5.

Le second terme de lquation est appel momentum.

A.NAIT SEGHIR | Commande par rseaux de neurones

page 11

ET305-M2EI

Techniques dIdentification et de Commande

Mthode du gradient conjugu

Cette mthode permet de changer rapidement la direction de recherche, pour obtenir loptimum
dsir. A chaque itration le coefficient dapprentissage et le momentum sont modifis. Cette mthode
a une vitesse de convergence suprieure celle des algorithmes de backpropagation classiques,
nanmoins elle ncessite plus de calculs.
Lquation de rajustement des poids est :

wt 1 wt d t
Avec :

d t

E t
t 1 d t 1
wt

d : est la direction de la descente.

Algorithmes doptimisation
Les algorithmes doptimisation sont choisis de manire permettre destimer le vecteur paramtres w
pour lequel la fonction cot (J) choisie est minimale (plus la valeur de J est petite, plus le modle
produit fidlement les observations utilises pour lapprentissage). Cette fonction cot est une
fonction scalaire qui dpend du vecteur de paramtre w du modle. Elle mesure lcart entre les
sorties du rseau de neurones et les sorties mesures prsentes dans lensemble dapprentissage.
Mthode de Newton
Lide de la mthode de Newton est dutiliser la courbure (drive seconde) de la fonction cot pour
atteindre le minimum plus rapidement.

w t w t 1 H 1 t J t
La direction de la descente est :

d t H 1 t J t
H : matrice drive seconde de J par rapport w (Hessien)

J : drive premire de J par rapport w (gradient de J(w))

Cette mthode est trs efficace au voisinage dun minimum. Cependant pour que la mthode converge
vers un minimum, le Hessien doit tre dfini positif. Dans le cas gnral dun modle non linaire,
cette hypothse de convergence nest pas toujours respecte et la mthode peut ne pas converger. En
pratique elle est peu employe car elle ncessite, de plus, le calcul de la matrice H chaque itration.
Mthode de Levenberg-Marquardt
Cette mthode est particulirement intressante car elle sadapte elle-mme la forme de la fonction
de cot. Elle choisit automatiquement un compromis entre la direction du gradient et la direction
donne par la mthode de Newton. En effet, si (t) est grand, on retrouve la mthode du gradient et sil
est petit, la modification des paramtres correspond celle de la mthode de Newton.
Lquation de la modification des poids est :

A.NAIT SEGHIR | Commande par rseaux de neurones

page 12

ET305-M2EI

Techniques dIdentification et de Commande

w t w t 1 H t t I J t
1

avec : I : matrice identit

: coefficient positif
LES ETAPES DE LA CONCEPTION DUN RESEAU
Pour construire un rseau de neurones, la premire chose faire n'est pas de choisir le type de rseau
mais de bien choisir ses donnes d'apprentissage et ceux du test de validation. Ce n'est qu'ensuite que
le choix du type de rseau interviendra. La construction dun rseau de neurones passe par quatre
tapes importantes [HAR98] :
Choix des chantillons
Le choix des chantillons reprsente la premire phase dlaboration d'un rseau de neurones. Cette
tape est dterminante pour dterminer le type de rseau appropri au problme rsoudre. La
prsentation de l'chantillon conditionne le type de rseau, le nombre de cellules d'entre, le nombre
de cellules de sortie et la manire dont il faudra mener l'apprentissage et la validation.
Normalisation des donnes
Afin damliorer la performance des rseaux neuronaux multicouches, il est important de normaliser
les donnes dentre et de sortie de telle sorte quelles se trouvent dans lintervalle [-1 1].
Elaboration de la structure du rseau
La structure du rseau dpend de prs du type des chantillons utiliss. Il faut d'abord choisir le type
de rseau. Dans le cas du rseau multicouche, il faudra choisir le nombre de neurones dans la couche
cache. Une des mthodes utilise est de prendre une moyenne du nombre de neurones d'entre et de
sortie, mais il est plus judicieux de tester les diffrentes possibilits et choisir celle qui offre les
meilleurs rsultats.
Apprentissage
Cette phase consiste calculer les pondrations optimales des diffrentes liaisons rseau de neurones,
en utilisant un chantillon. Un algorithme dentranement est utilis. Il consiste prsenter des
valeurs lentre et en fonction de l'erreur obtenue la sortie, les poids accords aux pondrations
sont corrigs. C'est un cycle qui est rpt jusqu' ce que l'erreur du rseau soit minime. Il faut
prendre garde de ne pas surentraner le rseau de neurones pour ne pas le spcialiser et le rendre
moins performant.
Validation
Une fois le rseau calcul, il faut procder des tests pour vrifier que le rseau ragit bien comme
souhait, c'est la phase de validation. La mthode la plus simple tant de garder une partie de
l'chantillon rserv l'apprentissage, pour la validation.

Application des RN la commande des processus

Les rseaux de neurones artificiels constituent des outils particulirement efficaces pour la
modlisation et la commande des systmes complexes ou mal dfinis. Leur utilisation pour la
commande de processus non linaires dcoule naturellement de leurs aptitudes la modlisation
[PER03].
A.NAIT SEGHIR | Commande par rseaux de neurones

page 13

ET305-M2EI

Techniques dIdentification et de Commande

Commander un processus, cest dterminer laction lui appliquer, pour lui assurer un comportement
donn, en dpit de perturbations. Cette action est dlivre par un organe ou une loi de commande, qui
peut tre ralis par un rseau de neurones.
Il existe plusieurs architectures diffrentes pour la commande de processus par rseau de neuronal
[REN95].
Systme de commande par simple bouclage
La majeure partie des systmes de commande neuronaux pour lasservissement de poursuite
appartient la catgorie des systmes dits par simple bouclage, dont le schma est reprsent sur la
figure V.12. Dans ces systmes, le signal de rtroaction est la sortie du processus. Les coefficients du
correcteur sont mis jour priodiquement si la commande est adaptative; dans le cas contraire, ses
coefficients sont fixes une fois l'apprentissage termin [PER03].
Perturbations
ns

Organe de Commande
ns

u
Correcteur

Processus

Figure V.12 : Systme de commande par simple bouclage

Perturbations

Organe de Commande

+-

Correcteur

yp

Processus
Modele
interne

- +

Figure V.13 : Systme de commande avec modle interne

Systme de commande avec modle interne
Dans les systmes de commande avec modle interne, le signal de rtroaction principal est lerreur
entre la sortie du modle interne et celle du processus. Cette erreur est reprsentative des dfauts de
modlisation et de leffet de perturbations. Grce cela, la conception dun systme de commande
neuronal robuste vis--vis de ces perturbations est plus facile. De plus, lutilisation de rseaux de
neurones comme modle interne peuvent aider lamlioration de ces systmes de commande dans le
cas de processus non linaires.
La structure de commande avec modle interne est reprsente sur la Figure V.13.
Elle comprend :
un modle neuronal, qui est le modle direct du processus.
un correcteur neuronal qui est le modle inverse du processus.
A.NAIT SEGHIR | Commande par rseaux de neurones

page 14