Loi forte des grands nombres
La loi forte des grands nombres est un énoncé mathématique énonçant que la moyenne d'une suite de variables aléatoires converge presque sûrement vers la même constante que l'espérance de la moyenne, sous certaines conditions.
Page(s) en rapport avec ce sujet :
- La loi forte des grands nombres est un cas spécifique du ... et des fois c'est pas indispensable et on ne s'en souvient jamais (right ?... (source : les-mathematiques)
La loi forte des grands nombres est un énoncé mathématique énonçant que la moyenne d'une suite de variables aléatoires converge presque sûrement vers la même constante que l'espérance de la moyenne, sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments).
Énoncé général
Le principe de la loi forte des grands nombres est que sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments) la moyenne d'une suite de variables aléatoires {Xn} converge presque sûrement vers la même limite (constante) que l'espérance de la moyenne. Surtout, l'adjectif "fort" fait référence à la nature de la convergence établie par ce théorème : il est réservée à un résultat de convergence presque sûre. Par opposition, la loi faible des grands nombres, établie par Bernoulli, est un résultat de convergence en probabilité, uniquement. Soit :
Principe général —
Il existe différents théorèmes selon le type d'hypothèses faites sur la suite {Xn}[1] :
- observations indépendantes et semblablement distribuées,
- observations indépendantes et non-semblablement distribuées,
- observations dépendantes et semblablement distribuées.
Observations indépendantes et semblablement distribuées
Loi forte des grands nombres (Kolmogorov, 1929) — Si 0}" src="http ://upload. wikimedia. org/math/3/e/0/3e09e9e4ef8d6a9e5467fc211c577ff7. png" /> est une suite de v. a. i. i. d., on a équivalence entre :
-
- (i)
- (i)
-
- (ii) la suite converge presque sûrement.
- De plus, si l'une de ces deux conditions équivalentes est remplie, alors la suite converge presque sûrement vers la constante
C'est la première loi forte à avoir été démontrée avec des hypothèses optimales[2]. Pour la démontrer, il fallait définir rigoureusement le concept de convergence presque sûre, ce qui a amené Kolmogorov à considérer les probabilités comme une branche de la théorie de la mesure : saut conceptuel dont Kolmogorov prouvait ainsi l'efficacité. La théorie moderne des probabilités s'est construite à partir du travail fondateur de Kolmogorov sur la loi forte des grands nombres. La loi forte des grands nombres est aussi un ingrédient important dans la démonstration d'autres lois fortes des grands nombres, comme la LFGN pour les processus de renouvellement, ou la LFGN pour les chaînes de Markov. C'est de ce théorème qu'on parle quand on dit "la loi forte des grands nombres", les autres théorèmes n'étant que des lois fortes des grands nombres. Ce théorème est aussi intéressant parce qu'il aboutit à une conclusion plus forte : il établit l'équivalence entre l'intégrabilité de la suite et sa convergence, tandis que les autres théorèmes fournissent uniquement des implications, sans leurs réciproques. Dans le cas où les termes de la somme sont des variables de Bernoulli, la loi forte des grands nombres a été établie par Émile Borel en 1909. D'autres versions de la loi forte des grands nombres ont succédé à la version due à Borel, jusqu'à la version définitive de Kolmogorov.
Observations indépendantes et non-semblablement distribuées
Théorème de Markov — Soit {Xn} une suite de variables aléatoires indépendantes d'espérance finie . S'il existe δ > 0 tel que
alors
Pour pouvoir relacher l'hypothèse d'équidistribution, on est amené à faire une hypothèse plus forte sur l'intégrabilité.
Observations dépendantes et semblablement distribuées
Théorème ergodique — Soit {Xt} une suite de variables aléatoires stationnaire ergodique avec et d'espérance semblable finie
Alors
Loi forte des grands nombres de Kolmogorov
La moyenne empirique d'une suite de variables aléatoires indépendantes, semblablement distribuées, et intégrables, converge presque sûrement vers leur moyenne mathématique (ou espérance).
Autres formulations
On note fréquemment :

Ainsi l'énoncé devient
Théorème — Pour une suite 0}" src="http ://upload. wikimedia. org/math/3/e/0/3e09e9e4ef8d6a9e5467fc211c577ff7. png" /> de v. a. i. i. d., on a :
De plus, si l'une de ces deux conditions équivalentes est remplie, on a :
Énoncé courant de la loi forte
L'énoncé ci-dessous est la forme habituelle de la loi forte des grands nombres, et est une conséquence directe (une forme affaiblie) du Théorème donné plus haut :
Théorème — Soit une suite de variables aléatoires indépendantes et de même loi, intégrables. Alors
Remarques
- En statistiques, ou bien est nommée moyenne empirique des, et est fréquemment notée.
- On peut formuler l'hypothèse, sous différentes formes, e. g.
-
- ,
- ,
- ou bien toujours, puisque les ont toutes même loi,
- ,
- ,
- .
Démonstration de la loi forte de Kolmogorov
1ère étape de la démonstration : troncature
On suppose dans un premier temps que les variables sont centrées. On n'abandonnera cette hypothèse qu'à la toute dernière étape de la démonstration. On pose

et

Dans cette section on démontre que
Proposition 1. — Soit une suite de variables aléatoires indépendantes et de même loi, intégrables. Alors (la loi forte des grands nombres)
- est équivalente à
Posons

Alors

Ainsi

En vertu du lemme de Borel-Cantelli, il suit que

On note

et on remarque que si, la série

est une série convergente, puisque, en dehors d'un nombre fini d'entre eux, tous ses termes sont nuls. Ainsi la suite des sommes partielles,

est une suite convergente, par conséquent bornée, ce qui entraîne que

C'est à dire, en vertu de la première partie de cette démonstration,

Les quelques lignes qui précèdent montrent que

il suit par conséquent que

D'autre part, il est clair que

On a par conséquent bien

Dans les sections suivantes on va par conséquent démontrer que

L'idée est que plus les variables concernées sont intégrables, i. e. plus la queue de distribution décroît rapidement, plus il est facile de démontrer la loi forte des grands nombres à l'aide du lemme de Borel-Cantelli. Ainsi il est facile de démontrer une forme affaiblie de la loi forte des grands nombres, par exemple sous l'hypothèse que les variables sont i. i. d. bornées, auquel cas est nulle pour assez grand, ou bien sous l'hypothèse, moins brutale, que les variables sont i. i. d. et possèdent un moment d'ordre 4, auquel cas. Ici, en tronquant les, Kolmogorov s'est ramené à des variables bornées et indépendantes, mais qui n'ont pas même loi.
2ème étape de la démonstration : recentrage
Les ont beau être centrées, cela n'entraîne pas que les soient centrées, sauf si on suppose, par exemple, que les sont symétriques, i. e. sauf si a même loi que. A titre d'exemple, si, alors, dès que n'est pas centrée. Il est commode, pour la suite, de centrer les : on pose
![Z_{k}= Xˆ{\prime}_{k}-\mathbb{E}\left[Xˆ{\prime}_{k}\right],](illustrations/6da0eb2fcc2e47186c6eb9c2d73995b5.png)
et

Alors
Proposition 2. — Soit une suite de variables aléatoires indépendantes et de même loi, intégrables. Alors
- est équivalent à
Un calcul simple donne que
![\begin{align}
\frac{Sˆ{\prime}_{n}(\omega)}n-\frac{C_{n}(\omega)}n
&=
\frac{\mathbb{E}\left[Xˆ{\prime}_{1}\right]+\mathbb{E}\left[Xˆ{\prime}_{2}\right]+\dots+\mathbb{E}\left[Xˆ{\prime}_{n}\right]}n,
\end{align}](illustrations/502816f86c3674f26453985120ca1a65.png)
la différence ne dépendant pas de (n'étant pas aléatoire). D'autre part
![\lim_{n}\mathbb{E}\left[Xˆ{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{n}1_{\left|X_{n}\right|\le n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=0.](illustrations/4e5ec7391380b46a48a08fd078cc35a0.png)
En effet et ont même loi, et , d'autre part, pour tout,

On peut par conséquent appliquer le Théorème de convergence dominée de Lebesgue, et obtenir
![\lim_{n}\mathbb{E}\left[Xˆ{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[\lim_{n}\,X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[X_{1}\right]=0.](illustrations/dc1ccbc7042076ad9db649663943ccd1.png)
Finalement, on sait, en vertu du lemme de Cesàro, que la convergence d'une suite () entraîne sa convergence en moyenne de Cesàro (), par conséquent, pour tout,

La Proposition 2 est par conséquent démontrée.
3ème étape : Inégalité de Kolmogorov
C'est l'étape où Kolmogorov utilise l'hypothèse d'indépendance (et, sans le dire, la notion de temps d'arrêt). Par contre, l'Inégalité de Kolmogorov ne requiert pas des variables de même loi.
Inégalité de Kolmogorov. — Soit une suite de v. a. r. indépendantes et centrées. Posons

Alors, pour tout 0\ " src="http ://upload. wikimedia. org/math/e/6/a/e6aa854e2845a61422025db9d67db7fb. png" />,
Si, l'inégalité est vérifiée. Dans la suite, on suppose que

On pose

En effet, tandis que

appartiennent aux tribus et, respectivement. Ils sont par conséquent indépendants en vertu du lemme de regroupement, ce qui implique bien. On a
![\begin{align}
\sum_{k=1}ˆn\,\text{Var}\left(Y_{k}\right)
&=
\text{Var}\left(W_{n}\right)\ =\ \mathbb{E}\left[W_{n}ˆ2\right]
\\
&\ge
\mathbb{E}\left[W_{n}ˆ21_{\sigma<+\infty}\right]
\\
&=
\sum_{k\ge1}\ \mathbb{E}\left[W_{n}ˆ2\ 1_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}ˆn\ \mathbb{E}\left[W_{n}ˆ21_{\sigma=k}\right]
\\
&=
\sum_{k=1}ˆn\ \mathbb{E}\left[\left(W_{n}-W_{k}+W_{k}\right)ˆ21_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}ˆn\ \mathbb{E}\left[W_{k}ˆ21_{\sigma=k}\right]+2\mathbb{E}\left[W_{n}-W_{k}\right]\mathbb{E}\left[W_{k}1_{\sigma=k}\right]
\\
&=
\sum_{k=1}ˆn\ \mathbb{E}\left[W_{k}ˆ21_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}ˆn\ \mathbb{E}\left[xˆ21_{\sigma=k}\right]
\\
&=
xˆ2\mathbb{P}\left(\sigma\le n\right),
\end{align}](illustrations/69997ff92ae4f3d4eea979688e1b482c.png)
où la troisième inégalité s'obtient en développant le carré en deux termes carrés (dont l'un est supprimé pour minorer l'expression précédente) et un double produit (de deux variables indépendantes, en vertu de). L'égalité suivante tient à ce que est centrée (comme somme de v. a. centrées), et la dernière inégalité découle de la définition du temps d'arrêt : par définition, au temps, on a x\ " src="http ://upload. wikimedia. org/math/4/7/1/4710e9f90d24b2cf1f5d2915974486d9. png" />. En faisant tendre vers l'infini on obtient
Voir aussi l'article en anglais sur le même sujet.
4ème étape : Convergence de séries de variables aléatoires
L'inégalité de Kolmogorov est , avec le lemme de Borel-Cantelli, l'ingrédient essentiel de la preuve de la proposition suivante :
Proposition 3. — Soit une suite de v. a. r. indépendantes et centrées. Si

alors la suite est convergente, ou bien, équivalemment, la série est convergente.
On pose

En vertu de la convergence de la série de terme général, la suite converge vers 0. On applique l'inégalité de Kolmogorov à la suite
Avec les notations de l'inégalité de Kolmogorov, on a

Donc l'inégalité de Kolmogorov nous donne, pour tout 0\ " src="http ://upload. wikimedia. org/math/e/6/a/e6aa854e2845a61422025db9d67db7fb. png" /> et,

On en déduit que, pour tout,

et le lemme de Borel-Cantelli entraîne que, presque sûrement, à partir d'un certain rang, est majorée par et par conséquent que converge presque sûrement vers 0. D'autre part, on a vu plus haut que pour tout, est une suite décroissante en Une suite décroissante possédant une sous-suite convergente est elle-même convergente, par conséquent converge presque sûrement vers 0. Or
C. Q. F. D.
5ème étape : Lemme de Kronecker
Lemme de Kronecker. — Soit une suite de nombres strictement positifs, décroissante vers 0. Si est une série convergente, alors

La démonstration ci-dessous vaut uniquement pour, 0\ " src="http ://upload. wikimedia. org/math/c/5/1/c51b37aa929aa2fc29375e44539b6be2. png" />, mais la démonstration de la loi forte utilise le lemme de Kronecker pour,. On peut trouver une démonstration générale du Lemme de Kronecker ici. Posons

Alors

Comme la suite est convergente, il existe un réel tel que

Donc la suite de fonctions définies sur par

est une suite de fonctions uniformément bornées par (en valeur absolue). Qui plus est , pour tout,

démontrée plus haut, on en déduit que

C. Q. F. D.
Cette démonstration est empruntée à Sydney Resnik, A probability path.
Pour conclure sa démonstration, Kolmogorov utilise le lemme de Kronecker avec, voir section suivante.
6ème étape : Conclusion dans le cas de variables centrées
Lemme 1. — Avec les notations de l'étape "recentrage", on a

Les calculs s'arrangent mieux si on remplace par au dénominateur. Pour on a
![\text{Var}\left(\frac{Z_{k}}{k+1}\right)\
=
\ \frac{\mathbb{E}\left[Xˆ{\prime 2}_{k}\right]}{(k+1)ˆ2}\
-
\ \frac{\mathbb{E}\left[Xˆ{\prime}_{k}\right]ˆ2}{(k+1)ˆ2}.](illustrations/82e0076fc76bf5079ac035172a90f2e1.png)
Comme,
![\frac{\mathbb{E}\left[Xˆ{\prime}_{k}\right]ˆ2}{(k+1)ˆ2}=o\left(\frac{1}{kˆ2}\right),](illustrations/4100b798acdbc4cd2b9a4c5f2a060e77.png)
et la convergence de la série

est équivalente à la convergence de la série
![\sum_{k}\ \frac{\mathbb{E}\left[Xˆ{\prime 2}_{k}\right]}{(k+1)ˆ2}.](illustrations/59a3d7d6bcf2debe709a405a713f8b17.png)
Or
![\begin{align}
\sum_{k\ge 1}\ \frac{\mathbb{E}\left[Xˆ{\prime 2}_{k}\right]}{(k+1)ˆ2}
&=
\sum_{k\ge 1}\ (k+1)ˆ{-2}\ \mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|\le k}\right]
\\
&\le
\sum_{k\ge 1}\ \int_{k}ˆ{k+1}xˆ{-2}\ \mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx
\\
&=
\int_{1}ˆ{+\infty}xˆ{-2}\ \mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx
\\
&=
\mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{1}ˆ{+\infty}xˆ{-2}\ 1_{\left|X_{1}\right|\le x}\ dx\right]
\\
&\le
\mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{\left|X_{1}\right|}ˆ{+\infty}\ xˆ{-2}\ dx\right]
\\
&=
\mathbb{E}\left[Xˆ{2}_{1}\,1_{0<\left|X_{1}\right|}\left|X_{1}\right|ˆ{-1}\right]
\\
&=
\mathbb{E}\left[\left|X_{1}\right|\right]\ <\ +\infty,
\end{align}](illustrations/51a4ba1b40c461db1563175e906fd06d.png)
par hypothèse.
Du Lemme 1 et de la Proposition 3, on déduit que, presque sûrement,

puis, grâce au lemme de Kronecker, on déduit que, presque sûrement,

ce qui est équivalent à la loi forte des grands nombres (pour des variables centrées) , comme on l'a vu aux étapes "troncature" et "recentrage".
7ème étape : décentrage
Si on ne suppose plus les centrées, mais uniquement i. i. d. et intégrables, on pose
![\hat{X}_{k}= X_{k}-\mathbb{E}\left[X_{k}\right],\ \ \hat{S}_{n}= \hat{X}_{1}+\hat{X}_{2}+\cdots+\hat{X}_{n},](illustrations/0a70ae910d3dde1d6c6a09bfd2d82817.png)
et, les étant centrées, i. i. d. et intégrables, la conclusion des étapes précédentes est que

Mais
![\begin{align}
\frac{\hat{S}_{n}(\omega)}n
&=
\frac{S_{n}(\omega)-n\mathbb{E}\left[X_{1}\right]}n
\\
&=
\frac{S_{n}(\omega)}n\ -\ \mathbb{E}\left[X_{1}\right].
\end{align}](illustrations/fe60cbc818cb8ade19cbae7c09762e1d.png)
Donc
![\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{\hat{S}_{n}(\omega)}n=0\right.\right)
=
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right)
.](illustrations/790887b5427aee7f65a72c5365beaba3.png)
C. Q. F. D.
Notes et références
- ↑ Classification et notation reprise de White (1984).
- ↑ On doit à Émile Borel une version de la LFGN pour les variables de Bernoulli, dès 1909, dans l'article Les probabilités dénombrables et leurs applications arithmétiques. Rend. Circ. Math. Palermo 27, pp. 247-271.
Voir aussi
Références
- (en) Halbert White, Asymptotic Theory for Econometricians, Academic Press, Orlando (ISBN 0127466509) , p. 228
- Sidney I. Resnick, A Probability Path [détail des éditions]
Liens externes
Recherche sur Amazon (livres) : |
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 10/03/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.