Convergence de variables aléatoires

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé surtout en statistique...

Catégories :

Probabilités

Page(s) en rapport avec ce sujet :

converge vers \mathbb{E} [g (X) ]. Quand les variables aléatoires sont totalement continues, la convergence en loi est équivalente à la convergence... (source : public.telecom-bretagne)
TD 3 Convergence de variables aléatoires. Exercice 1 : Montrer les propriété suivantes :... Alors, (f (Xn) ) converge vers en probabilité vers f (a).... (source : www-gremaq.univ-tlse1)

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé surtout en statistique et dans l'étude des processus stochastiques. A titre d'exemple, la moyenne de n variables aléatoires indépendantes et semblablement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires. Ce résultat est connu sous le nom de loi forte des grands nombres.

Dans cet article, on suppose que (X_n) est une suite de variables aléatoires réelles, que X est une variable aléatoire réelle, et que toutes ces variables sont définies sur un même espace probabilisé $(\Omega, \mathcal{F}, \mathbb{P})$ .

Convergence en loi

Soient F₁, F₂, ... la suite des fonctions de répartition associées aux variables aléatoires réelles X₁, X₂, ..., et F la fonction de répartition de la variable aléatoire réelle X. C'est à dire, F_n est définie par F_n (x) =P (X_n ≤ x), et F par F (x) =P (X ≤ x).

La suite X_n converge vers X en loi, ou en distribution, si

$\lim_{n\rightarrow\infty} F_n(a) = F(a),$ pour tout réel a où F est continue.

Puisque F (a) = P (X ≤ a), cela veut dire que la probabilité que X appartienne à un certain intervalle est particulièrement comparable à la probabilité que X_n soit dans cet intervalle pour n suffisamment grand. La convergence en loi est fréquemment notée en ajoutant la lettre $\mathcal L$ (ou $\mathcal D$ pour distribution) au-dessus de la flèche de convergence :

$X_n \xrightarrow{\mathcal{L}} X.$

La convergence en loi est la forme la plus faible au sens où, généralement, elle n'implique pas les autres formes de convergence définies ci-dessous, tandis que ces autres formes de convergence impliquent la convergence en loi. C'est ce type de convergence qui est utilisé dans le théorème de la limite centrale.

De manière équivalente, la suite (X_n) converge en loi vers X si et uniquement si pour toute fonction continue bornée

$\lim_{n\rightarrow\infty} E[f(X_n)]=E [f(X)].$

Théorème de continuité de Paul Lévy — Soit la fonction caractéristique de et celle de. Alors

$\left\{\forall t\in\mathbb{R} : \varphi_n(t)\to\varphi(t)\right\}\quad\Leftrightarrow\quad\left\{ X_n \xrightarrow{\mathcal D} X\right\}$

C'est à dire, (X_n) converge en loi vers X ssi la fonction caractéristique de la variable aléatoire réelle X_n converge simplement vers la fonction caractéristique de la variable aléatoire réelle X.

exemple : Théorème de la limite centrale :

La moyenne d'une suite de variables aléatoires centrées, indépendantes et de même loi, une fois renormalisée par converge en loi vers la loi normale

$\sqrt{n}\bar X_n\xrightarrow{\mathcal{L}}\mathcal{N}(0, \sigmaˆ2).$

exemple : convergence de la loi de Student :

La loi de Student de paramètre converge, quand tend vers vers la loi de Gauss :

$\mathrm{t}(k)\xrightarrow{\mathcal{L}}\mathcal{N}(0,1).$

Dans ce cas, on peut aussi utiliser le lemme de Scheffé, qui est un critère de convergence d'une suite de variables aléatoires à densité vers une variable aléatoire à densité.

Exemple :

La suite^[1] $\mathcal{N}\left(0, \frac{1}{n}\right)$ converge en loi vers une variable aléatoire X₀ dite dégénérée, qui prend une seule valeur (0) avec probabilité 1 (on parle quelquefois de masse de Dirac en 0, notée) :

$\mathbb{P}(X_0\le x)=\delta_0\left(]-\infty,x]\right)=\begin{cases}0 & \text{ si } x< 0,\\1 &\text{ si } x \geq 0nd{cases}$

Convergence en probabilité

Définition — On dit que $X n$ converge vers $X$ en probabilité si,

$<img class=$ , ou encore $\operatorname{plim} X_n = X$

La convergence en probabilité est utilisée dans la loi faible des grands nombres.

La convergence en probabilité implique la convergence en loi. On peut par conséquent énoncer le théorème suivant :

Théorème — $X n$ converge vers $X$ en probabilité $\Rightarrow$ $X n$ converge vers $X$ en loi.

Démonstration

Pour effectuer la démonstration, le lemme suivant est utile

Soient X, Y des variables aléatoires réelles, c un réel et ε > 0. Alors

Lemme — $<img class=$

Démonstration du lemme

$<img class=$

Pour tout ε > 0, à cause de ce lemme, on a :

$<img class=$ a un point de continuité de

F X

. On fixe un réel $<img class=$ F_X en

a

, il existe un réel $<img class=$ et $|P(X\leqslant a-\varepsilon)-P(X\leqslant a)|<\varepsilon'$ .

De la convergence de $(X n) n$ en probabilité vers $X$ , on peut en déduire l'existence d'un entier $N$ tel que : $<img class=$ .

D'où : $\forall n \in \N, n\geqslant N \Rightarrow |P(X_n\leqslant a)-P(X\leqslant a)|<2\varepsilon'$ .

Il existe des conditions suffisantes de convergence en probabilité vers une constante^[2], portant sur l'espérance et la variance des termes de la suite :

Théorème — $\lim_{n \to \infty} \operatorname{E}[X_n]=c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c$ .

Démonstration

On veut montrer que $\lim_{n \to \infty}\operatorname{E}[X_n]= c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c$

On se sert de l'inégalité de Markov pour les variables aléatoires réelles admettant un moment d'ordre 2 :

Théorème — $<img class=$

Il en découle que :

si $\operatorname{E}[X_n]\to c \quad \mathbf{ et }\quad \operatorname{Var}[X_n]\to 0\text{ alors }\mathbb{P}\left( |X_n -c|\geq\varepsilon\right)\to 0,\text{ donc } X_n \xrightarrow{p} c$

Exemple :

Ce théorème est particulièrement utile pour démontrer la loi faible des grands nombres de manière simple : il suffit de voir que si $\left(X_i\right)$ est une suite de variables aléatoires indépendantes et semblablement distribuées d'espérance $μ$ et de variance $σ 2$ et que $\bar{X}_n =\frac{1}{n}\sum_{i=1}ˆ{n} X_i$ , alors :

$\operatorname{E}[\bar{X}_n]=\mu$

$\lim_{n\to\infty}\operatorname{Var}[\bar{X}_n]=\lim_{n\to\infty}\frac{\sigmaˆ2}{n}=0\qquad$ (voir preuve sur la page variance)

Donc $\bar{X}_n\xrightarrow{p}\mu$

La réciproque n'est pas vraie :

En statistiques, un estimateur peut être biaisé mais cependant convergent !

Dans l'exemple suivant, la suite, d'espérance constante, converge vers une constante différente de cette espérance ; la suite des variances tend vers l'infini.

Exemple :

Soit une suite $\left(X_n\right)_{n \geq 1}$ de variables aléatoires telle que chaque $X n$ prenne pour valeurs 0 et n et que :

$\mathbb{P}(X_n=n)=\frac{1}{n}$ , par conséquent $\mathbb{P}(X_n=0)=1-\frac{1}{n}$ .

On voit qu'elle converge en probabilité : $<img class=$ et $\operatorname{Var}[X_n]=n-1\to +\infty$ .

Ainsi les conditions énoncées plus haut de convergence en probabilité vers une constante ne sont pas nécessaires^[3].

Convergence presque sûre

On dit que X_n converge presque sûrement ou presque partout ou avec probabilité 1 ou fortement vers X si

Définition — $\mathbb{P}\left(\lim_{n\rightarrow\infty}X_n=X\right)=1.$

Cela veut dire que les valeurs de X_n approchent la valeur de X, au sens où (cf. presque partout) l'événement sur lequel X_n ne converge pas vers X a une probabilité nulle.

On note fréquemment cela $X_n \xrightarrow{ps} X$ ou $X_n \xrightarrow{as} X$ (almost surely en anglais).

On peut expliciter la définition de la convergence presque sûre en utilisant l'espace probabilisé $(\Omega, \mathcal{F}, \mathbb{P})$ et le concept de variable aléatoire comme fonction de Ω dans $\R$ :

$\mathbb{P}\left(\big\{\omega \in \Omega \, | \, \lim_{n \to \infty}X_n(\omega) = X(\omega) \big\}\right) = 1.$

Théorème — $X n$ converge vers $X$ presque sûrement $\Rightarrow X_n$ converge vers $X$ en probabilité

La convergence presque sûre est utilisée dans la loi forte des grands nombres.

Convergence en moyenne d'ordre r

Soit r > 0. On dit que X_n converge vers X en moyenne d'ordre r ou en norme L^r si E|X_n|^r < 8 pour tout n et

$\lim_{n\rightarrow\infty}\mathrm{E}\left(\left|X_n-X\right|ˆr\right)=0$ .

La convergence en moyenne d'ordre r nous dit que l'espérance de la puissance r-ième de la différence entre X_n et X converge vers zéro.

Pour r =2, on parle de convergence en moyenne quadratique

Théorème — $X n$ converge vers $X$ en norme L^r $\Rightarrow X_n$ converge vers $X$ en probabilité.

Démonstration

On se sert de l'inégalité de Markov pour les variables aléatoires réelles admettant un moment d'ordre r :

Théorème — $<img class=$ , d'où découle le résultat annoncé.

Théorème — Pour r > s ≥ 1, la convergence en norme L^r implique la convergence en norme L^s.

On a aussi le résultat suivant :

Théorème — $X n$ converge vers une constante $c$ en moyenne quadratique $\Leftrightarrow \left\{\lim_{n \to \infty}\operatorname{E}[X_n]=c\quad\mathbf{et}\quad \lim_{n \to \infty}\operatorname{Var}[X_n]=0\right\}$ .

Démonstration

On a vu plus haut que :

$\operatorname{E}\left[(X_n-c)ˆ2\right] = \operatorname{Var}(X_n)+\left(\operatorname{E}[X_n]-c\right)ˆ2$

Convergence d'une fonction d'une variable aléatoire

Un théorème particulièrement pratique, désigné en anglais le plus souvent sous le nom de Mapping theorem (en) , établit qu'une fonction g continue appliquée à une variable qui converge vers X convergera vers g (X) pour l'ensemble des modes de convergence :

Théorème — Mapping theorem^[4] Soit $g: \Rˆk \to\Rˆm$ une fonction continue en tout point d'un ensemble C tel que $\mathbb{P}(X\in C)=1$ :

Si $X_n\xrightarrow{\mathcal{L}}X\text{ alors }g(X_n)\xrightarrow{\mathcal{L}}g(X)$

Si $X_n\xrightarrow{p}X\text{ alors }g(X_n)\xrightarrow{p}g(X)$

Si $X_n\xrightarrow{p.s}X\text{ alors }g(X_n)\xrightarrow{p.s.}g(X)$

Exemple :

En statistiques, un estimateur convergent de la variance $σ 2$ est donné par :

$sˆ2_{n-1} \equiv \frac{1}{n-1} \sum_{i=1}ˆn\left(y_i - \overline{y} \right)ˆ2$

On sait alors par le continuous mapping theorem que l'estimateur $\sqrt{sˆ2_{n-1}}$ de l'écart type $\sigma =\sqrt{\sigma ˆ2}$ est convergent, car la fonction racine est une fonction continue.

Implications réciproques

À quelques exceptions près, les implications mentionnées dans les sections précédentes n'ont pas de réciproque, à proprement parler. Voici cependant quelques propriétés utiles qu'on pourrait qualifier de "semblants de réciproques" :

Si X_n converge en loi vers une constante réelle c, alors X_n converge en probabilité vers c.

Si X_n converge presque sûrement vers X, alors X_n converge en loi vers X, et la réciproque est fausse, mais il existe un théorème (appelé "théorème de représentation de Skorohod") qui est une forme de réciproque, voir, dans Fonction de répartition, la section Convergence en loi et fonction de répartition, et spécifiquement (1. implique 3. ).

Si X_n converge en probabilité vers X, et si P (|X_n| ≤ b) = 1 pour tout n et un certain b, alors X_n converge en moyenne d'ordre r vers X pour tout r ≥ 1. D'une façon plus générale, si X_n converge en probabilité vers X, et si la famille (X_n) est uniformément intégrable, alors X_n converge en moyenne vers X.
Si pour tout ε > 0,

$<img class=$

alors X_n converge presque sûrement vers X. En d'autres termes, si X_n converge en probabilité vers X suffisamment rapidement (i. e. la série ci-dessus converge pour tout ε > 0), alors X_n converge aussi presque sûrement vers X. Cela résulte d'une application directe du théorème de Borel-Cantelli.

Soit $(X_n)_{n \geq 1}$ une suite de variables aléatoires réelles indépendantes. Pour tout n, on pose :

$S_n = X_1+\cdots+X_n$ .

Alors la convergence presque sûre de la suite $(S_n)_{n \geq 1}$ équivaut à sa convergence en probabilité ; c'est à dire, la convergence presque sûre de la série de terme général $X n$ équivaut à sa convergence en probabilité.

Notes

↑ Pour plus de détail sur cet exemple : voir Davidson et McKinnon (1993, chap. 4)
↑ Ce sont en fait des conditions nécessaires et suffisantes de convergence en moyenne quadratique vers cette même constante, cf. infra.
↑ En réalité, cet exemple montre qu'une suite de variables aléatoires réelles peut converger en probabilité vers une constante sans converger en moyenne quadratique.
↑ Tiré de Vaart (1998, p. 7)

Références

(en) Russell Davidson, Estimation and Inference in Econometrics, Oxford University Press, New York (ISBN 0195060113) , p. 874
G. R. Grimmett and D. R. Stirzaker (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford, p. 271-285 (ISBN 0-19-853665-8)

(en) Adrianus Willem van der Vaart, Asymptotic Statistics, Cambridge University Press, Cambridge (ISBN 0521496039) , p. 443

Recherche sur Amazon (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Convergence_de_variables_al%C3%A9atoires.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 10/03/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.

Accueil

Recherche

Début page

Contact

Imprimer

Accessibilité