Entropie métrique

L'entropie métrique, ou entropie de Kolmogorov est un outil développé par Kolmogorov vers le milieu des années 1950 issu du concept probabiliste d'entropie de la théorie de l'information de Shannon.

Catégories :

Probabilités

L'entropie métrique, ou entropie de Kolmogorov (se dit aussi en anglais measure-theoretic entropy) est un outil développé par Kolmogorov vers le milieu des années 1950 issu du concept probabiliste d'entropie de la théorie de l'information de Shannon. Kolmogorov montra comment l'entropie métrique est parfois utilisée pour montrer si deux dispositifs dynamiques ne sont pas conjugués. C'est un invariant essentiel des dispositifs dynamiques mesurés. En outre, l'entropie métrique permet une définition qualitative du chaos : une transformation chaotique peut être vue comme une transformation d'entropie non nulle.

Présentons dans un premier temps le cadre mathématique dans lequel on se place. $(X, \mathfrak{M}, \mu)$ est un espace de probabilité, et $f : X \to X$ est une application mesurable, qui représente la loi d'évolution d'un dispositif dynamique à temps discrets sur l'espace des phases X. On impose à f de préserver la mesure, c'est-à-dire que $\forall M \in \mathfrak{M}, \mu(fˆ{-1}(M)) = \mu(M)$ . Partant d'un état d'origine x, on peut définir la suite de ses itérés par f : $x, f(x), \dots, fˆn(x), \dots$ La totalité $\{fˆn(x) : n \geq 0\}$ des états par lesquels passe le dispositif se nomme l'orbite de x.

Construction de l'entropie métrique

Si on se donne une partition finie α de X constituée d'ensembles mesurables $\alpha = \{A_1, \dots, A_p\}$ et un état d'origine x, les états $f n (x)$ ( $n \geq 0$ ) par lesquels le dispositif passe tombent chacun dans une des parties de la partition α. La suite de ces parties apporte de l'information sur l'état d'origine x. L'entropie correspond à la quantité moyenne d'information apportée par une itération. La construction de l'entropie métrique est un processus qui a lieu en trois étapes, que nous allons expliciter ci-dessous. Tout d'abord, on définit l'entropie $\mathcal{H}(\alpha)$ d'une partition α (information moyenne issue de la connaissance de la partie de α dans laquelle se situe un point de x). Puis, on définit l'entropie $h (f, α)$ de la transformation f assez à la partition α (information moyenne apportée par une itération). Enfin, l'entropie métrique h (f) est la limite supérieure des entropies de f assez aux partitions de X.

Entropie d'une partition

Soit α une partition finie de X en ensembles mesurables. Un point $x \in X$ est d'autant mieux situé qu'il se situe dans une partie $A \in \alpha$ de faible mesure $μ (A)$ . Ceci justifie l'introduction de la fonction information $I(\alpha) : X \to [0 ; + \infty ]$ définie par :

$\forall x \in X, I(\alpha)(x) = -\sum_{A \in \alpha} \log \mu(A) \chi_A(x)$

c'est-à-dire $I (α) (x) = - logμ (A)$ si $x \in A$ .

L'entropie de la partition α est la moyenne de $I (α)$ :

$\mathcal{H}(\alpha) = \frac{1}{\mu(X)} \int_X I(\alpha)(x) d\mu(x) = - \sum_{A \in \alpha} \mu(A) \log \mu(A)$

On prend $0log0$ égal à 0. Si α et β sont deux partitions mesurables de X, on définit le joint de α et β, $\alpha \vee \beta$ la plus petite partition plus fine que α et β : $\alpha \vee \beta = \{ A \cap B : A \in \alpha, B \in \beta, A \cap B \neq \emptyset\}$ . On dit que β est plus fine que α, et on note $\beta \geq \alpha$ si tout élément de A de α s'écrit comme union d'éléments de β.

L'entropie d'une partition vérifie les propriétés intuitives suivantes :

Si α et β sont deux partitions mesurables, alors $\mathcal{H}(\alpha \vee \beta) \leq \mathcal{H}(\alpha) + \mathcal{H}(\beta)$ .
Notons $fˆ{-1}(\alpha) = \{fˆ{-1}(A) : A \in \alpha\}$ . On a : $\mathcal{H}(\alpha) = \mathcal{H}(fˆ{-1}(\alpha))$ .

La première propriété veut dire que l'information apportée par la connaissance simultanée des positions des états du dispositif assez à deux partitions est inférieure à la somme des informations apportées assez à chacune des partitions. La seconde propriété provient du fait que f préserve la mesure.

Entropie d'une transformation assez à une partition

α est une partition mesurable. On définit l'entropie $h (f, α)$ de la transformation f assez à α par :

$h(f, \alpha) = \lim_{n \to + \infty} \frac{1}{n} \mathcal{H} \Bigg(\bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha) \Bigg)$

On peut voir la transformation f comme le passage d'un jour au suivant lors d'une expérience. Au temps zéro, on ne parvient pas à distinguer l'ensemble des états, on regroupe les états non distinguables par paquets, on forme de cette manière une partition α. $\bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha)$ représente ainsi l'ensemble des résultats envisageables au bout de n jours. $h (f, α)$ est par conséquent l'information moyenne quotidienne qu'on obtient en réalisant l'expérience.

La limite définie existe bien. Si on note $a_n = \mathcal{H} \Bigg( \bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha) \Bigg)$ , alors la suite $(a_n)_{n \in \Nˆ*}$ est sous-additive car :

$a_{n+p} = \mathcal{H} \Bigg(\bigvee_{i=0}ˆ{n+p-1} fˆ{-i}(\alpha) \Bigg) \leq \mathcal{H} \Bigg(\bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha) \Bigg) + \mathcal{H} \Bigg(\bigvee_{i=n}ˆ{n+p-1} fˆ{-i}(\alpha) \Bigg) \leq a_n + a_p$

On a utilisé respectivement les deux propriétés de la section précédente. $(a_n/n)_{n \in \Nˆ*}$ admet par conséquent une limite.

Dernière étape : entropie métrique d'une transformation

L'entropie métrique de f, notée h (f) est la limite supérieure des entropies de f assez aux partitions finies mesurables de X

$h(f) = \sup_{\alpha} h(f, \alpha)$

h (f) est peut-être illimitée.

Exemples de dispositifs dynamiques et calcul d'entropie

Le calcul de l'entropie métrique est facilité quand la limite supérieure est atteinte, i. e quand il existe une partition α telle que l'entropie métrique et l'entropie assez à α soient confondues. À titre d'exemple, traitons le cas de l'application identité de X. Alors,

$h(id, \alpha) = \frac{1}{n}\mathcal{H}\Bigg(\bigvee_{i=0}ˆ{n-1} idˆ{-i}(\alpha) \Bigg) =\frac{1}{n} \mathcal{H}(\alpha) \longrightarrow_{n \to + \infty} 0$

L'identité a une entropie nulle, ce qui est prévisible à cause de son caractère peu chaotique.

Article détaillé : Théorème de Kolmogorov-Sinai.

Dans énormément de cas moins triviaux, le théorème suivant, de Kolmogorov-Sinai, fait partie des outils les plus pratiques pour calculer une entropie, car il évite de prendre la limite supérieure sur l'ensemble des partitions mesurables de X.

Si α est une partition mesurable de X telle que la suite $\Big(\bigvee_{i=0}ˆ{n} fˆ{-i}(\alpha)\Big)_{n \in \N}$ génère la tribu $\mathfrak{M}$ , ou bien si f est inversible (f^-1 est mesurable et préserve la mesure) et la suite $\Big(\bigvee_{i=-n}ˆ{n} fˆ{-i}(\alpha)\Big)_{n \in \N}$ génère la tribu $\mathfrak{M}$ alors on dit que α est génératrice.

Le théorème de Kolmogorov-Sinai affirme que si α est génératrice, alors $h (f) = h (f, α)$ .

Rotations du cercle

$\mathbb{U} = \R / \Z$ est le cercle unité, pourvu de la mesure d'angle dθ. Analysons l'effet d'une rotation

$f : x \mapsto a + z \mod 1$

quand $a = p / q$ est rationnel. Soit α une partition :

$h(f, \alpha) = \lim_{n \to + \infty} \frac{1}{qn} \mathcal{H}\Bigg(\bigvee_{i=0}ˆ{qn-1} fˆ{-i}(\alpha)\Bigg) = \lim_{n \to + \infty} \frac{1}{qn} \Bigg(\bigvee_{i=0}ˆ{q-1} fˆ{-i}(\alpha)\Bigg) = 0$

Dans le cas où a est irrationnel, on montre aussi que l'entropie métrique de f est nulle.

Doublement des angles

Toujours sur le cercle unité, on prend cette fois l'application

$f : x \mapsto 2x \mod 1$

qui double les angles. On considère la même partition

$\alpha = \Big\{\Big[0, \displaystyle\frac{1}{2}\Big[, \Big[\displaystyle\frac{1}{2}, 1\Big[\Big\}$

On observe que :

$\alpha \vee fˆ{-1}(\alpha) = \Big\{\Big[0, \frac{1}{4}\Big[, \Big[\frac{1}{4}, \frac{1}{2}\Big[, \Big[\frac{1}{2}, \frac{3}{4}\Big[, \Big[\frac{3}{4},1\Big[\Big\}$

Puis par récurrence, on déduit d'une façon plus générale que :

$\bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha) = \Big\{\Big[\frac{i}{2ˆn},\frac{i+1}{2ˆn}\Big[ : 0 \leq i \leq 2ˆn -1 \Big\}$

Comme les ensembles du type $\Big[\displaystyle\frac{i}{2ˆn},\displaystyle\frac{i+1}{2ˆn}\Big[$ génèrent la tribu $\mathfrak{M}$ , le théorème de Kolmogorov-Sinai montre que $h (f) = h (f, α)$ et :

$\mathcal{H}\Bigg(\bigvee_{i=0}ˆ{n-1} fˆ{-i}(\alpha)\Bigg) = - \sum_{i=0}ˆ{2ˆn - 1} \mu\Bigg(\Big[\frac{i}{2ˆn},\frac{i+1}{2ˆn}\Big[\Bigg) \log \mu \Bigg(\Big[\frac{i}{2ˆn},\frac{i+1}{2ˆn}\Big[\Bigg) = n \log 2$

L'entropie métrique de f est par conséquent log 2.

Décalage de Bernoulli

On dispose d'un alphabet fini $\Lambda = \{1, \dots, k\}$ . Soit $(p_i)_{1 \leq i \leq k}$ des nombres strictement positifs de somme 1. On assigne à chaque lettre i la probabilité $m ({i}) = p i$ d'apparition. $(Λ, 2 Λ, m)$ est un espace de probabilité. On introduit l'espace des mots illimités $(\Lambdaˆ\Z, \mathfrak{M}, \mu) = \displaystyle\prod_{-\infty}ˆ{+\infty} (\Lambda, 2ˆ\Lambda, m)$ . On définit l'application décalage σ par $σ (x) n = x n + 1$ pour $n \in \Z$ . $(\Lambdaˆ\Z, \mathfrak{M}, \mu, \sigma)$ est un dispositif dynamique inversible. On partitionne $\Lambdaˆ\Z$ en $\alpha = \{P_i\}_{1 \leq i \leq k}$ où $P i$ est la totalité des mots $(x_n)_{n \in \Z}$ tels que $x 0 = i$ . $\bigvee_{i=-n}ˆn fˆ{-i}(\alpha)$ est la partition par les cylindres $\mathcal{C}_{\lambda_{-n}, \dots, \lambda_n} = \{ (x_n) \in \Lambdaˆ\Z : x_i = \lambda_i, -n \leq i \leq n\}$ . La totalité de ces cylindres génèrent la tribu de $\Lambdaˆ\Z$ et le théorème de Kolmogorov-Sinai s'applique. On calcule alors facilement :

$\mathcal{H}\Bigg( \bigvee_{i=0}ˆ{n-1} \sigmaˆ{-i}(\alpha) \Bigg) = - \sum_{(\lambda_0, \dots, \lambda_{n-1}) \in \Lambdaˆn} p_{\lambda_0}p_{\lambda_1}\cdots p_{\lambda_{n-1}} \log (p_{\lambda_0}p_{\lambda_1}\cdots p_{\lambda_{n-1}}) = - n \sum_{\lambda \in \Lambda} p_\lambda \log p_\lambda$

Donc $h(\sigma) = h(\sigma, \alpha) = - \displaystyle\sum_{\lambda \in \Lambda} p_\lambda \log p_\lambda$ .

Voir aussi

Recherche sur Google Images :

"que l'entropie métrique de"
L'image ci-contre est extraite du site wapedia.mobi

Il est possible que cette image soit réduite par rapport à l'originale. Elle est peut-être protégée par des droits d'auteur.

Voir l'image en taille réelle (567 x 62 - 5 ko)

Refaire la recherche sur Google Images

Recherche sur Amazone (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Entropie_m%C3%A9trique.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 10/03/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.