Thorie de linformation

Chapitre 1 : Introduction la thorie de linformation

Introduction La thorie de l'information, dsige la thorie de l'information de Shannon, qui est une thorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique prcise. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le pre fondateur Parmi les branches importantes de la thorie de l'information de Shannon, on peut citer :

le codage de l'information, la mesure quantitative de redondance d'un texte, la compression de donnes, la cryptographie.

Dans un sens plus gnral, une thorie de l'information est une thorie visant quantifier et qualifier la notion de contenu en information prsent dans un ensemble de donnes. ce titre, il existe une autre thorie de l'information : la thorie algorithmique de l'information, cre par Kolmogorov, Solomonov et Chaitin au dbut des annes 1960.

1. Le concept de linformation
L'information est un concept physique nouveau qui a surgi dans un champ technologique. Le concept thorique d'information a t introduit partir de recherches thoriques sur les systmes de tlcommunication. L'origine de ces recherches remonte aux tudes entreprises ds la fin du XIXe sicle, en physique et en mathmatique par Boltzmann et Markov sur la notion de probabilit d'un vnement et les possibilits de mesure de cette probabilit. Plus rcemment, avant la Seconde Guerre mondiale, les contributions les plus importantes sont dues la collaboration des mathmaticiens et des ingnieurs des tlcommunications, qui ont t amens envisager les proprits thoriques de tout systme de signaux utilis par les tres, vivants ou techniques, des fins de communication. Cette thorie est ne de proccupations techniques pratiques. La socit Bell cherche transmettre les messages de la faon la fois la plus conomique et la plus fiable. Aussi le cadre originel de la thorie est celui d'un systme de communications o un metteur transmet un message un rcepteur travers un canal matriel/nergtique donn. metteur et rcepteur ont par hypothse un rpertoire commun, un code qui contient les catgories de signaux utilisables. Ainsi le message cod est transmis, de l'metteur au rcepteur travers le canal, sous forme de signes ou signaux ports par de la matire/nergie.

2. Caractre de linformation
Pour Shannon, l'information prsente un caractre essentiellement alatoire. Un vnement alatoire est par dfinition incertain. Cette incertitude est prise comme mesure de l'information. L'information est la mesure de l'incertitude calcule partir de la probabilit de l'vnement. Shannon a donc confondu la notion d'information et de mesure d'incertitude. Il faut remarquer que dans cette dfinition l'information est bien synonyme de mesure d'incertitude. Dans cet ordre d'ide, plus une information est incertaine, plus elle est
1

Thorie de linformation

intressante, et un vnement certain ne contient aucune information. En thorie de l'information de Shannon, il s'agit donc de raisonner en probabilit et non en logique pure. L'information se mesure en units d'information dites bits. Le bit peut tre dfini comme un vnement qui dnoue l'incertitude d'un rcepteur plac devant une alternative dont les deux issues sont pour lui quiprobables. Plus les ventualits que peut envisager ce rcepteur sont nombreuses, plus le message comporte d'vnements informatifs, plus s'accrot la quantit de bits transmis. Il est clair que nul rcepteur ne mesure en bits l'information obtenue dans un message. C'est seulement le constructeur d'un canal de tlcommunication qui a besoin de la thorie, et mesure l'information en bit pour rendre la transmission de message la plus conomique et la plus fiable. La notion d'information d'aprs Shannon est ncessairement associe la notion de redondance et celle de bruit . Par exemple, en linguistique l'information n'est ni dans le mot, ni dans la syllabe, ni dans la lettre. Il y a des lettres voire des syllabes qui sont inutiles la transmission de l'information que contient le mot : il y a dans une phrase, des mots inutiles la transmission de l'information. La thorie de Shannon appelle redondance tout ce qui dans le message apparat comme en surplus. Aussi est-il conomique de ne pas transmettre la redondance. L'information chemine travers un canal matriel/nergtique : fil tlphonique, onde radio, etc. Or, dans son cheminement, l'information rencontre du bruit. Le bruit est constitu par les perturbations alatoires de toutes sortes qui surgissent dans le canal de transmission et tendent brouiller le message. Le problme de la dgradation de l'information par le bruit est donc un problme inhrent sa communication. Ici, l'ide de redondance prsente une face nouvelle ; alors qu'elle apparat comme un surplus inutile sous l'angle conomique, elle devient, sous l'angle de la fiabilit de la transmission un fortifiant contre le bruit, un prventif contre les risques d'ambigut et d'erreur la rception.

3. Reprsentation de la thorie mathmatique de l'information

Claude Shannon et Warren Weaver en 1948, ont modlis linformation pour tudier les lois correspondantes : bruit (Le bruit est un son complexe produit par des vibrations diverses, souvent amorties et qui ne sont pas des harmoniques), entropie (L'entropie de Shannon, due Claude Shannon, est une fonction mathmatique qui, intuitivement, correspond la quantit d'information contenue ou dlivre par une source d'information. Cette source peut tre un texte crit dans une langue donne, un signal lectrique ou encore un fichier informatique quelconque (collection d'octets)) et chaos (La thorie du chaos traite des systmes dynamiques rigoureusement dterministes, mais
qui prsentent un phnomne fondamental d'instabilit appel sensibilit aux conditions initiales qui, modulant une proprit supplmentaire de rcurrence, les rend non prdictibles en pratique sur le long term)

Pour une source X comportant n symboles, un symbole i ayant une probabilit pi d'apparatre, l'entropie H de la source X est dfinie comme :
2

Thorie de linformation

L'informatique constituera une dclinaison technique automatisant les traitements (dont la transmission et le transport) d'information. L'appellation Technologies de l'Information et de la Communication recouvre les diffrents aspects (systmes de traitements, rseaux, etc.) de l'informatique au sens large. Les sciences de l'information dgagent du sens depuis des donnes en s'appuyant sur des questions de corrlation, d'entropie et d'apprentissage (voir Data mining). Les technologies de l'information, quant elles, s'occupent de la faon de concevoir, implmenter et dployer des solutions pour rpondre des besoins identifis.

4. Exemples d'information
Une information dsigne, parmi un ensemble d'vnements, un ou plusieurs vnements possibles. En thorie de la dcision, on considre mme qu'il ne faut appeler information que ce qui est susceptible d'avoir un effet sur nos dcisions (peu de choses dans un journal sont ce compte des informations) En pratique, l'excs d'information, tel qu'il se prsente dans les systmes de messagerie lectronique, peut aboutir une saturation, et empcher la prise de dcision. 1- Une bibliothque possde un grand nombre d'ouvrages, des revues, des livres et des dictionnaires. Nous cherchons un cours complet sur la thorie de l'information. Tout d'abord, il est logique que nous ne trouverons pas ce dossier dans des ouvrages d'arts ou de littrature ; nous venons donc d'obtenir une information qui diminuera notre temps de recherche. Nous avions prcis que nous voulions aussi un cours complet, nous ne le trouverons donc ni dans une revue, ni dans un dictionnaire. nous avons obtenu une information supplmentaire (nous cherchons un livre), qui rduira encore le temps de notre recherche. 2- Il faut moins de bits pour crire chien que mammifre . Pourtant l'indication Mdor est un chien contient bien plus d'information que l'indication Mdor est un mammifre : le contenu d'information smantique d'un message dpend du contexte. En fait, c'est le couple message + contexte qui constitue le vritable porteur d'information, et jamais le message seul (voir paradoxe du compresseur). Rsum La thorie de l'information est une thorie mathmatique qui dcrit les aspects fondamentaux des systmes de communication. Elle a t initie par C. Shannon dans les annes 1940. Un systme de communication est la transmission d'une information depuis une source travers un canal jusqu' un rcepteur. Une source peut tre
3

Thorie de linformation

une voix une suite de symboles binaires (bits) un signal lectromagntique

Le canal peut tre une ligne tlphonique une liaison radio un support optique un support magntique

Pour amliorer la transmission, on code la source pour rduire le dbit de la source : cela peut se faire avec ou sans perte d'informations (on se limitera sans perte) et consiste transmettre en moyenne moins de symboles qu'il n'en provient de la source. Le canal de transmission est sujet diverses perturbations dues l'environnement que l'on nommera bruit. Pour contrer ces perturbations qui peuvent engendrer soit perte soit dformation de l'information, on utilisera un codage de canal qui, contrairement au prcdent, ajoutera des informations au message transmettre ce qui augmentera le dbit ncessaire.

Bien sr, la rception il faut dcoder ce qui arrive du canal pour ainsi restituer le premier codage de l'information transmise qui son tour sera dcod pour arriver au rcepteur