Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables.



Catégories :

Probabilités - Théorie de l'information

Page(s) en rapport avec ce sujet :

  • Le calcul de l'information mutuelle est basé sur l'estimation des fonctions de densité de probabilités et probabilités jointes (pdf) des variables.... (source : dice.ucl.ac)
  • Le calcul de l'information mutuelle est basé sur l'estimation des fonctions de densité de ... Sélection de variables spectrales par information mutuelle.... (source : pdfqueen)

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure fréquemment en bit.

L'information mutuelle d'un couple (X, Y) de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, quoiqu'en pratique l'un implique fréquemment l'autre.

Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. La corrélation est un cas spécifique de dépendance dans lequel la relation entre les deux variables est strictement monotone.

L'information mutuelle est nulle ssi les variables sont indépendantes, et croit quand la dépendance augmente.

Définition

Soit (X, Y) un couple de variables aléatoires de densité de probabilité jointe données par P (x, y) (on fait, dans cet article, l'abus de notation P (x) pour représenter la probabilité de l'événement X = x). Notons les distributions marginales P (x) et P (y) . Alors l'information mutuelle est dans le cas discret :

 I(X,Y) = \sum_{x,y} P(x,y) \log \frac{P(x,y)}{P(x)\,P(y)}, \!

et, dans le cas continu :

 I(X,Y) = \int_\R \int_\R p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)} \; dx dy. \!

p (x, y) , p (x) et p (y) sont respectivement les densités des lois de (X, Y) , X et Y.

Propriétés

Plusieurs généralisations de cette quantité à un nombre plus grand de variables ont été proposées, mais aucun consensus n'a toujours émergé.

Liens avec la théorie de l'information

Entropie

L'information mutuelle mesure la quantité d'information apportée en moyenne par une réalisation de X sur les probabilités de réalisation de Y. En considérant qu'une distribution de probabilité représente notre connaissance sur un phénomène aléatoire, on mesure l'absence d'information par l'entropie de cette distribution. En ces termes, l'information mutuelle s'exprime par :

I (X, Y) = H (X) − H (X | Y) = H (Y) − H (Y | X) = H (X) + H (Y) − H (X, Y).

H (X) et H (Y) sont des entropies, H (X|Y) et H (Y|X) sont des entropies conditionnelles, et H (Y, X) est l'entropie conjointe entre X et Y.

Ainsi on voit que I (X, Y) = 0 ssi le nombre de bits nécessaires pour coder une réalisation du couple est égal à la somme du nombre de bits pour coder une réalisation de X et du nombre de bits pour coder et une réalisation de Y.

Divergence de Kullback-Leibler

L'information mutuelle peut aussi être exprimée par la divergence de Kullback-Leibler. On a

I(X,Y)= \mathit{KL}( P(X,Y) ,P(X)P(Y))= \sum P(X,Y) \log \frac{P(X,Y)}{P(X)P(Y)}.

Ainsi I (X, Y) mesure une sorte de "distance" entre les distributions P (X, Y) et P (X) * P (Y) . Comme, par définition, deux variables sont indépendantes ssi ces deux distributions sont identiques, et comme KL (p, q) = 0 ssi p = q, on retrouve l'équivalence entre I (X, Y) = 0 et indépendance.

Intuitivement P (X, Y) porte plus d'information quand les variables sont dépendantes que quand elles ne le sont pas. Si les deux variables sont discrètes à N cas, il faut, au pire, N2 − 1 cœfficients pour spécifier P (X, Y) , contre uniquement 2N − 1 si P (X, Y) = P (X) P (Y) .

La divergence KL donne le nombre de bits d'information apportés par la connaissance de P (X, Y) quand on connait déjà P (X) et P (Y) .

Notes et références

  1. (en) S. Kullback, Information theory and statistics, John Wiley and Sons, NY, 1959 

Recherche sur Amazon (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Information_mutuelle.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 10/03/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu