Université Paris Diderot
Résumé
Le cours s'articule autour de trois théorèmes de Claude Shannon.
Ce sont trois théorèmes mathématiques avec des problématiques différentes
autour de la numérisation optimale et la transmission de l'information.
Le premier théorème s'intéresse à la compression des données : si
on veut numériser un document, il est intuitivement clair qu'on
va gagner en espace de stockage
en codant de façon plus courte les caractères les plus fréquents
et de façon plus longue les moins fréquents. Cette fréquence des caractères nous
fera introduire le language des probabilités et d'entropie de
Shannon.
Le deuxième théorème s'intéresse à la transmission
(ou stockage) sans pertes des
données. On démontre qu'en introduisant un peu de redondance dans
un document numérisé, on peut le retrouver malgré la perte aléatoire
d'une partie de l'information.
C'est encore ici le language des probabilités qui est utilisé.
En plus de
l'entropie, apparaît ici la notion de capacité d'un canal de
transmission.
Le troisième est le théorème d'échantillonnage. Une information
peut être une fonction d'une variable réelle. Le théorème
d'échantillonnage nous explique comment, en prenant la valeur de
cette fonction en un nombre fini de points, on peut reconstruire
l'information. On tient compte pour cela des fréquences de notre
fonction. L'analyse faite ici est basée sur la théorie des séries
de Fourier.
Contenu
- Notions de probabilités discrètes et continues.
- Entropie, information mutuelle
- Premiers théorèmes de Shannon
- Séries de Fourier
- Théorème d'échantillonnage
Horaire des cours
Le cours aura lieu du 14 septembre au 18 décembre 2020 :
- Cours (Antoine Chambert-Loir) : bâtiment Sophie Germain, salle 1008
- Travaux dirigés (Guillaume Garrigos) : bâtiment Sophie Germain, salle 2012
Organisation de l'enseignement (pandémie)
Les instructions sanitaires liées à la pandémie de Covid-19
imposent le port du masque (tissu ou FFP2) en toutes circonstances,
en particulier, pendant les cours.
Nous prévoyons d'assurer cours et travaux dirigés en demi-groupe.
Pour profiter des séances, qui seront nécessairement plus condensées,
il sera important que vous prépariez à l'avance le matériel transmis.
Bibliographie
- T. Cover, J. Thomas, Elements of Information Theory, Wiley & Sons, 2e édition, 2006
- H. Dym, H. P. McKean, Fourier series and integrals, Academic Press, 1972
- J.-P. Kahane, P.-G. Lemarié-Rieusset, Séries de Fourier et Ondelettes, coll. Nouvelle bibliothèque mathématique, Cassini, 2017
- C. Shannon, La théorie mathématique de la communication, coll. Le sel et le fer, Cassini, 2018. Traduction de « A mathematical theory of communication », The Bell System Technical Journal, vol. 27, p. 379–423, 623–656, 1948.
- C. Shannon, « Communication in the presence of noise », Proc. of the IRE, vol. 37, p. 10–21, 1949. Réimprimé dans Proc. of the IEEE, vol. 86, p. 447--458, 1998.
- Exposés du séminaire Bourbaphy
sur la théorie de l'information :
Kirone Mallick, Thermodynamique et information ;
Olivier Rioul, La théorie de l'information sans peine.
Documents disponibles
Résumé des séances
Un peu de patience !
Antoine Chambert-Loir—
Dernière mise à jour :