Master MIC, 1re année

Université Paris Diderot

Résumé

Le cours s'articule autour de trois théorèmes de Claude Shannon. Ce sont trois théorèmes mathématiques avec des problématiques différentes autour de la numérisation optimale et la transmission de l'information.

Le premier théorème s'intéresse à la compression des données : si on veut numériser un document, il est intuitivement clair qu'on va gagner en espace de stockage en codant de façon plus courte les caractères les plus fréquents et de façon plus longue les moins fréquents. Cette fréquence des caractères nous fera introduire le language des probabilités et d'entropie de Shannon.

Le deuxième théorème s'intéresse à la transmission (ou stockage) sans pertes des données. On démontre qu'en introduisant un peu de redondance dans un document numérisé, on peut le retrouver malgré la perte aléatoire d'une partie de l'information. C'est encore ici le language des probabilités qui est utilisé. En plus de l'entropie, apparaît ici la notion de capacité d'un canal de transmission.

Le troisième est le théorème d'échantillonnage. Une information peut être une fonction d'une variable réelle. Le théorème d'échantillonnage nous explique comment, en prenant la valeur de cette fonction en un nombre fini de points, on peut reconstruire l'information. On tient compte pour cela des fréquences de notre fonction. L'analyse faite ici est basée sur la théorie des séries de Fourier.

Contenu

  1. Notions de probabilités discrètes et continues.
  2. Entropie, information mutuelle
  3. Premiers théorèmes de Shannon
  4. Séries de Fourier
  5. Théorème d'échantillonnage

Horaire des cours

Le cours aura lieu du 14 septembre au 18 décembre 2020 :

Organisation de l'enseignement (pandémie)

Les instructions sanitaires liées à la pandémie de Covid-19 imposent le port du masque (tissu ou FFP2) en toutes circonstances, en particulier, pendant les cours. Nous prévoyons d'assurer cours et travaux dirigés en demi-groupe. Pour profiter des séances, qui seront nécessairement plus condensées, il sera important que vous prépariez à l'avance le matériel transmis.

Bibliographie

Documents disponibles

Résumé des séances

Un peu de patience !
Powered by MathJax Valid CSS! Valid XHTML 1.1! Antoine Chambert-LoirDernière mise à jour :