Divergence de Kullback-Leibler

En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler est une mesure de dissimilarité entre deux distributions de probabilités P et Q.

Catégories :

Probabilités - Théorie de l'information

Page(s) en rapport avec ce sujet :

et la divergence de Kullback-Leibler est l'esp´erance du rapport de log- vraisemblance..... 6.6.1 Distribution of Test Statistic Tn under H1 - 123... (source : pastel.paristech)
distribution, nous avons aussi utilisé la distance du Chi2, ... quand la divergence de Kullback-Leibler est utilisée, il est envisageable que la non-symétrie... (source : hal.archives-ouvertes)
La divergence de Kullback-Leibler est donnéee dans la formule (2.58). Dans le cas préesent, Č1 repréesente la distribution originale, c'est ča dire celle... (source : hal.inria)

En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler^[1] ^[2] (ou divergence K-L ou encore Entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités P et Q. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains ^[3]^[4]. Selon la NSA, c'est durant les années 50, tandis qu'ils travaillaient pour cette agence, que Kullback et Leibler ont découverte cette mesure. Elle aurait d'ailleurs servie la NSA dans son effort de cryptanalyse pour le projet VENONA.

Cette mesure s'interprète comme la différence moyenne du nombre de bits nécessaires au codage d'échantillons de P selon que le codage est choisi optimal pour la distribution P ou Q. Typiquement, P représente les données, les observations, ou une distribution de probabilités calculée avec précision. La distribution Q représente typiquement une théorie, un modèle, une description ou une approximation de P.

La divergence de Kullback-Leiber entre dans la catégorie plus large des f-divergences, introduite indépendamment par Csiszár^[5] en 1967 et par Ali et Silvey ^[6] en 1966. Quoique fréquemment reconnue comme une distance, elle n'en remplit pas l'ensemble des axiomes : elle n'est pas symétrique et ne respecte pas l'inégalité triangulaire.

Définition

Pour deux distributions de probabilités discrètes P et Q la divergence de Kullback–Leiber de Q comparé à P est définie par

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)} \!$

Pour des distributions P et Q continues on utilise une intégrale

$D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}ˆ{\infty} p(x) \log \frac{p(x)}{q(x)} \; dx \!$

où p et q sont les densités respectives de P et Q.

On peut généraliser les deux cas spécifiques ci-dessus en considérant P et Q deux mesures définies sur un ensemble X, totalement continues comparé à une mesure $μ$ : le Théorème de Radon-Nikodym-Lebesgue assure l'existence des densités p et q avec $d P = p d μ$ et $d Q = q d μ$ , on pose alors

$D_{\mathrm{KL}}(P\|Q) = \int_X p \log \frac{p}{q} \;d\mu \!$

sous réserve que la quantité de droite existe. Si P est totalement continue comparé à Q, (ce qui est indispensable si $D_{\mathrm{KL}}(P\|Q)$ est finie) alors $\frac{p}{q} = \frac{dP}{dQ}$ est la dérivée de Radon-Nikodym de P comparé à Q et on obtient

$D_{\mathrm{KL}}(P\|Q) = \int_X \log \frac{dP}{dQ} \; dP = \int_X \frac{dP}{dQ} \log\frac{dP}{dQ}\; dQ$ ,

où on reconnait l'entropie de P comparé à Q.

De même, si Q est totalement continue comparé à P, on a

$D_{\mathrm{KL}}(P\|Q) = -\int_X \log \frac{d Q}{d P} \; dP \!$

Dans les deux cas, on constate que la divergence de Kullback-Leibler ne dépend pas de la mesure $μ$

Quand les logarithmes de ces formules sont pris en base 2 l'information est mesurée en bits; quand la base est e, l'unité est le nats.

Références

↑ S. Kullback and R. Leiber, «On information and sufficiency», dans Annals of Mathematical Statistics, vol. 22, 1951, p. 79-86
↑ (en) S. Kullback, Information theory and statistics, John Wiley and Sons, NY, 1959
↑ Dr. Solomon Kullback sur www. nsa. gov
↑ Dr. Richard Leibler sur www. nsa. gov
↑ I. Csiszár, «Information-type measures of difference of probability distributions and indirect observation», dans Studia Sci. Math. Hungar. , vol. 2, 1967, p. pp. 229-318
↑ M. S. Ali and D. Silvey, «A general class of cœfficients of divergence of one distribution from another», dans Journal of the Royal Statistical Society, Ser. B, vol. 28, 1967, p. 131-140

Recherche sur Amazon (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Divergence_de_Kullback-Leibler.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 10/03/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.