Anda di halaman 1dari 11

Rapport Technique

du projet

La Mthode dEstimation des Moindres Carrs

La mthode des moindres carrs, indpendamment labore par Legendre en 1805 et Gauss en 1809, permet de comparer des donnes exprimentales, gnralement entaches d erreurs de mesure, un modle mathmatique cens dcrire ces donnes. Ce modle peut prendre diverses formes. Il peut s agir de lois de conservation que les quantits mesures doivent respecter. La mthode des moindres carrs permet alors de minimiser l impact des erreurs exprimentales en ajoutant de l information dans le processus de mesure.

Illustration de la mthode des moindres carrs. Les donnes suivent la courbe figure en pointills et sont affectes par un bruit gaussien centr, de variance 1. Le meilleur ajustement dtermin par la mthode des moindres carrs est reprsent en rouge.

Prsentation de la mthode Dans le cas le plus courant, le modle thorique est une famille de fonctions f(x; ) d une ou plusieurs variables muettes x, indexes par un ou plusieurs paramtres inconnus. La mthode des moindres carrs permet de slectionner parmi ces fonctions, celle qui reproduit le mieux les donnes exprimentales. On parle dans ce cas d ajustement par la mthode des moindres carrs. Si les paramtres ont un sens physique, la procdure d ajustement donne galement une estimation indirecte de la valeur de ces paramtres.

La mthode consiste en une prescription (initialement empirique), qui est que la fonction f(x; ) qui dcrit le mieux les donnes est celle qui minimise la somme quadratique des dviations des mesures aux prdictions de f(x; ). Si, par exemple, nous disposons de N mesures , les paramtres optimaux au sens de la mthode des moindres carrs sont ceux qui minimisent la quantit :

o les ri( ) sont les rsidus du modle, i.e. ri( ) est l'cart entre la mesure yi et la prdiction f(xi; ) donne par le modle. S( ) peut tre considr comme une mesure de la distance entre les donnes exprimentales et le modle thorique qui prdit ces donnes. La prescription des moindres carrs commande que cette distance soit minimale. Si, comme c'est gnralement le cas, on dispose d'une estimation de l'cart-type i du bruit qui affecte chaque mesure yi, on l'utilise pour peser la contribution de la mesure au . Une mesure aura d'autant plus de poids que son incertitude sera faible :

La quantit wi, inverse de la variance du bruit affectant la mesure yi, est appele poids de la mesure yi. La quantit ci-dessus est appele khi carr ou khi-deux. Son nom vient de la loi statistique qu'elle dcrit, si les erreurs de mesure qui entachent les yi sont distribues suivant une loi normale (ce qui est trs courant). Dans ce dernier cas, la mthode des moindres carrs permet de plus d estimer quantitativement l adquation du modle aux mesures, pour peu que l'on dispose d'une estimation fiable des erreurs i. Si le modle d erreur est non gaussien, il faut gnralement recourir la mthode du maximum de vraisemblance, dont la mthode des moindres carrs est un cas particulier. Son extrme simplicit fait que cette mthode est trs couramment utilise de nos jours en sciences exprimentales. Une application courante est le lissage des donnes exprimentales par une fonction empirique (fonction linaire, polynmes ou splines). Cependant son usage le plus important est probablement la mesure de quantits physiques partir de donnes exprimentales. Dans de nombreux cas, la quantit que l on cherche mesurer n est pas observable et n apparat qu indirectement comme paramtre d un modle thorique f(x; ). Dans ce dernier cas de figure, il est possible de montrer que la mthode des moindres carrs permet de construire un estimateur de , qui vrifie certaines conditions d optimalit. En particulier, lorsque le modle f(x; ) est linaire en fonction de , le thorme de Gauss-Markov garantit que la mthode des moindres carrs permet d'obtenir l'estimateur non biais le moins dispers. Lorsque le modle est une fonction non linaire des paramtres l'estimateur est gnralement biais. Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrmement sensibles aux points aberrants : on traduit ce fait en disant qu ils sont non robustes. Plusieurs techniques permettent cependant de rendre plus robuste la mthode. Histoire Le jour du Nouvel An de 1801, l'astronome italien Giuseppe Piazzi a dcouvert l'astrode Crs. Il a alors pu suivre sa trajectoire jusqu'au 14 fvrier 1801. Durant cette anne, plusieurs scientifiques ont tent de prdire sa trajectoire sur la base des observations de Piazzi ( cette poque, la rsolution des quations non linaires de Kepler de la cinmatique est un problme trs difficile). La plupart des prdictions furent errones ; et le seul calcul suffisamment prcis pour permettre Zach, un astronome allemand, de localiser nouveau Crs la fin de l'anne, fut celui de Carl Friedrich Gauss, alors g de 24 ans (il avait dj ralis l'laboration des concepts fondamentaux en 1795, lorsqu'il tait alors g de 18 ans). Mais sa mthode des moindres carrs ne fut publie qu'en 1809, lorsqu'elle parut dans le tome 2 de ses travaux sur la Mcanique cleste, Theoria Motus Corporum

Coelestium in sectionibus conicis solem ambientium. Le mathmaticien franais Adrien-Marie Legendre a dvelopp indpendamment la mme mthode en 1805. Le mathmaticien amricain Robert Adrain a publi en 1808 une formulation de la mthode. En 1829, Gauss a pu donner les raisons de l'efficacit de cette mthode ; en effet, la mthode des moindres carrs est justement optimale l'gard de bien des critres. Cet argument est maintenant connu sous le nom du thorme de Gauss-Markov. Formalisme Deux exemples simples Moyenne d'une srie de mesures indpendantes L'exemple le plus simple d'ajustement par la mthode des moindres carrs est probablement le calcul de la moyenne m d'un ensemble de mesures indpendantes (yi)i = 1..N entaches d'erreurs gaussiennes. Autrement dit, on veut estimer m dans la relation yi = m + i pour i = 1,..,N et o i est un bruit blanc. La prescription des moindres carrs revient minimiser la quantit :

o est le poids de la mesure yi. Statistiquement, s'interprte comme la variance de la variable alatoire i. On parle alors de moindres carrs pondrs. Lorsqu'on ne tient pas compte de la pondration, on pose simplement wi = 1 et on parle de moindres carrs ordinaires (MCO). La quantit 2(m), ou somme des carrs des rsidus, est une forme quadratique dfinie positive. Son minimum se calcule par diffrenciation : grad 2(m) = 0. Cela donne la formule classique :

Autrement dit, l'estimateur par moindres carrs de la moyenne m d'une srie de mesures entaches d'erreurs gaussiennes (connues) est leur moyenne pese (ou pondre), c'est--dire leur moyenne empirique dans laquelle chaque mesure est pondre par l'inverse du carr de son incertitude. Le thorme de Gauss-Markov garantit qu'il s'agit du meilleur estimateur linaire non biais de m.

La moyenne estime m fluctue en fonction des sries de mesures yi effectues. Comme chaque mesure est affecte d'une erreur alatoire, on conoit que la moyenne d'une premire srie de N mesures diffrera de la moyenne d'une seconde srie de N mesures, mme si celles-ci sont ralises

dans des conditions identiques. Il importe de pouvoir quantifier l'amplitude de telles fluctuations, car cela dtermine la prcision de la dtermination de la moyenne m. Chaque mesure yi peut tre considre comme une ralisation d'une variable alatoire Yi, de moyenne et d'cart-type i. L'estimateur de la moyenne obtenu par la mthode des moindres carrs, combinaison linaire de variables alatoires, est lui-mme une variable alatoire :

L'cart-type des fluctuations de M est donn par (combinaison linaire de variables alatoires indpendantes) :

Sans grande surprise, la prcision de la moyenne d'une srie de N mesures est donc dtermine par le nombre de mesures, et la prcision de chacune de ces mesures. Dans le cas o chaque mesure est affecte de la mme incertitude i = la formule prcdente se simplifie en :

La prcision de la moyenne s'accroit donc comme la racine carre du nombre de mesures. Par exemple, pour doubler la prcision, il faut quatre fois plus de donnes ; pour la multiplier par 10, il faut 100 fois plus de donnes. Rgression linaire

Ajustement d'un modle de type par la mthode des moindres carrs. Les donnes suivent la loi figure en pointills et sont affectes d'erreurs gaussiennes, de variance 1. L'ajustement dtermin (courbe

rouge) est le meilleur estimateur de la pente et de l'ordonne l'origine compte tenu de la quantit d'information contenue dans les points de mesure.

Un autre exemple est l'ajustement d'une loi linaire du type y = x + + sur des mesures indpendantes, fonction d'un paramtre connu x. Le terme permet de prendre en compte des erreurs de mesure. Lorsque le modle compte k variables explicatives , on gagnera adopter la notation matricielle :

o les matrices y , alfa,epsilon , sont de dimension n 1, n k , k 1, n 1 resp. L'utilisation de la rgression linaire se rencontre par exemple lorsque l'on veut calibrer un appareil de mesure simple (ampremtre, thermomtre) dont le fonctionnement est linaire. y est alors la mesure instrumentale (dviation d'une aiguille, nombre de pas d'un convertisseur analogiquenumrique, ...) et x la grandeur physique qu'est cens mesurer l'appareil, gnralement mieux connue, si l'on utilise une source de calibration fiable. La mthode des moindres carrs permet alors de mesurer la loi de calibration de l'appareil, d'estimer l'adquation de cette loi aux mesures de calibration (i.e. dans le cas prsent, la linarit de l'appareil) et de propager les erreurs de calibration aux futures mesures effectues avec l'appareil calibr. En gnral, les erreurs (et les corrlations) portant sur les mesures yi et les mesures xi doivent tre prises en compte. Ce cas sera trait dans la section suivante.

La prescription des moindres carrs s'crit pour ce type de modle :

Le minimum de cette somme des carrs pondrs est atteint pour grad 2 = 0, ce qui donne :

ou, plus explicitement :

L encore, il s'agit d'une estimation par moindres carrs gnralise ou pondrs. La dtermination des paramtres optimaux (au sens des moindres carrs) min et min se ramne donc la rsolution d'un systme d'quations linaires. Il s'agit l d'une proprit trs intressante, lie au fait que le modle lui-mme est linaire. On parle d'ajustement ou de rgression linaire. Dans le cas gnral, la dtermination du minimum du 2 est un problme plus compliqu, et gnralement coteux en temps de calcul (cf. sections suivantes). La valeur des paramtres min et min dpend des mesures yi ralises. Comme ces mesures sont entaches d'erreur, on conoit bien que si l'on rpte M fois les N mesures de calibration, et que l'on ralise l'issue de chaque srie l'ajustement dcrit plus haut, on obtiendra M valeurs numriquement diffrentes de min et min . Les paramtres de l'ajustement peuvent donc tre considrs comme des variables alatoires, dont la loi est fonction du modle ajust et de la loi des yi. En particulier, l'esprance du vecteur ( min ; min ) est le vecteur des vraies valeurs des paramtres : l'estimation est donc sans-biais. Qui plus est, on montre que la dispersion qui affecte les valeurs de min et min dpend du nombre de points de mesure, N, et de la dispersion qui affecte les mesures (moins les mesures sont prcises, plus min et min fluctueront). Par ailleurs, min et min ne sont gnralement pas des variables indpendantes. Elles sont gnralement corrles, et leur corrlation dpend du modle ajust (nous avons suppos les yi indpendants). Ajustement d'un modle linaire quelconque Un modle y = f(x; ) est linaire si sa dpendance en est linaire. Un tel modle s'crit :

o les (psi) k sont n fonctions quelconques de la variable x. Un tel cas est trs courant en pratique : les deux modles tudis plus haut sont linaires. Plus gnralement tout modle polynomial est linaire, avec k(x) = x^k. Enfin, de trs nombreux modles utiliss en sciences exprimentales sont des dveloppements sur des bases fonctionnelles classiques (splines, base de Fourier, bases d'ondelettes etc.)

Si nous disposons de N mesures, (xi,yi, i), le 2 peut tre crit sous la forme :

Nous pouvons exploiter la linarit du modle pour exprimer le 2 sous une forme matricielle plus simple. En effet, en dfinissant :

et

on montre facilement que le 2 s'crit sous la forme :

La matrice J est appele matrice jacobienne du problme. C'est une matrice rectangulaire, de dimension N x n, avec gnralement N >> n. Elle contient les valeurs des fonctions de base k pour chaque point de mesure. La matrice diagonale W est appele matrice des poids. C'est l'inverse de la matrice de covariance des yi. On montre que si les yi sont corrls, la relation ci-dessus est toujours valable. W n'est simplement plus diagonale, car les covariances entre les yi ne sont plus nulles.

En diffrenciant la relation ci-dessus par rapport chaque k, on obtient :

et le minimum du 2 est donc atteint pour min gal :

On retrouve la proprit remarquable des problmes linaires, qui est que le modle optimal peut tre obtenu en une seule opration, savoir la rsolution d'un systme . quations normales

Dans le cas d'quations linaires surdtermines coefficients constants, il existe une solution simple. Si nous disposons d'quations exprimentales surdtermines sous la forme

nous allons reprsenter l'erreur commise par le vecteur rsidu

La norme du rsidu quations normales :

est minimum si et seulement si

satisfait les

o AT(transpusa) est la transpose de A. Ajustement de modles non linaires Dans de nombreux cas, la dpendance du modle en est non linaire. Par exemple, si f(x; ) = f(x;(A, , )) = Acos( x + ), ou f(x; ) = f(x; ) = exp( x / ). Dans ce cas, le formalisme dcrit la section prcdente ne peut pas tre appliqu directement. L'approche gnralement employe consiste alors partir d'une estimation de la solution, linariser le 2 en ce point, rsoudre le problme linaris, puis itrer. Cette approche est quivalente l'algorithme de minimisation de Gauss-Newton. D'autres techniques de minimisation existent. Certaines, comme l'algorithme de Levenberg-Marquardt, sont des raffinements de l'algorithme de Gauss-Newton. D'autres sont applicables lorsque les drives du 2 sont difficiles ou coteuses calculer. Une des difficults des problmes de moindres carrs non linaires est l'existence frquente de plusieurs minima locaux. Une exploration systmatique de l'espace des paramtres peut alors se rvler ncessaire. Ajustement sous contraintes Contraintes linaires d'galit

Dans le cas o les contraintes sont linaires et d'galit, sous contraintes corrig : l'estimateur peut s'crire comme un estimateur des moindres carrs

Il s'agit d'une application du thorme de Frisch-Waugh-Lovell (en). Ajustement de modles implicites Interprtation statistique

Estimation statistique Modle standard : moindres carrs ordinaires Pour le modle matriciel on conserve les hypothses conventionnelles que et que , o In est la matrice d'identit. Dans ce cas, l'estimateur par moindres carrs ordinaire (MCO) est

Une formalisation supplmentaire (on suppose par exemple en plus que les alas sont normaux) permet d'obtenir les proprits asymptotiques de l'estimateur : Les indices 0 indiquent qu'il s'agit de la vraie valeur des paramtres. Moindres carrs gnraliss Lorsqu'on relche (un peu) l'hypothse sur la structure de la matrice de variance-covariance des erreurs, on peut toujours obtenir un estimateur par moindres carrs. On suppose donc que , o cette dernire matrice est connue. L'estimateur par moindres carrs (dit par moindres carrs gnralis, MCG) s'crit toujours :

Les proprits asymptotiques changent par rapport au cas standard :

Moindres carrs pondrs Si l'on connat parfaitement la matrice de variance-covariance , on peut considrer la mthode des moindres carrs pondrs. Pour cela, on considre la dcomposition de Cholesky de cette matrice : et on prmultiplie chaque membre de la rgression par , pour obtenir avec , et . Ainsi transform, ce modle vrifie toutes les hypothses requises par les MCO et l'estimateur en rsultant prsentera toutes les bonnes proprits (notamment du point de vue de la matrice de variance-covariance) : Cette section est vide, insuffisamment dtaille ou incomplte. Votre aide est la bienvenue ! On suppose gnralement que et que , o In est la matrice d'identit. La dernire hypothse porte sur la structure de variance-covariance des alas : on suppose que pour tout i, (homoscdasticit) et que pour (indpendance). Sous les hypothses prcdentes, cet estimateur est connu pour tre le meilleur estimateur linaire sans biais (voir le thorme de Gauss-Markov) : cela signifie que parmi les estimateurs du type non biais, l'estimateur MCO prsente une variance minimale.

Enfin, si on suppose de plus que les alas sont gaussiens, le modle peut s'estimer par la mthode du maximum de vraisemblance. Cet estimateur se trouve tre celui par moindres carrs MCO et atteignant la borne de Cramer-Rao. Enfin, sous les hypothses du paragraphe sur les moindres carrs gnraliss, l'estimateur reste le meilleur estimateur linaire non biais. References: http://fr.wikipedia.org/wiki/Mthode_des_moindres_carrs

Anda mungkin juga menyukai