Date
2005
Dewey
Probabilités et mathématiques appliquées
Sujet
Bayesian inference; MCMC approximations; importance sampling; adaptive algorithms; PMC scheme; hidden Markov chains; switching AR models; Statistique bayésienne; méthodes MCMC; fonction d’importance; adaptativité; schéma PMC; chaînes de Markov cachées; modèles auto-régressifs à sauts
JEL code
C11
Journal issue
Revue de Statistique appliquée
Volume
53
Number
1
Publication date
2005
Article pages
79-95
Publisher
Société de statistique de France
Author
Guillin, Arnaud
Marin, Jean-Michel
Robert, Christian P.
Type
Article accepté pour publication ou publié
Abstract (FR)
En estimation bayésienne, lorsque le calcul explicite de la loi a posteriori du vecteur des
paramètres à estimer est impossible, les méthodes de Monte-Carlo par chaînes de Markov
(MCMC) [Robert and Casella, 1999] permettent théoriquement de fournir un échantillon
approximativement distribué suivant cette loi. Il est alors possible d’utiliser ce dernier afin
d’estimer l’espérance mathématique a posteriori de n’importe quelle fonction du vecteur
paramétrique. Depuis le début des années 90, ces méthodes sont très utilisées et leurs
bonnes performances sont mises en exergue. Cet engouement a peu à peu marginalisé
l’utilisation des méthodes d'échantillonnage préférentiel [Rubinstein, 1981, Ripley, 1987] qui
leur sont antérieures. Dans cet article, nous montrons qu’il est possible d’améliorer le schéma
d’échantillonnage préférentiel classique en lui introduisant une dimension temporelle assurant
son adaptativité. Il s’agit de l’algorithme Population Monte Carlo (PMC) proposé par Cappé
et al. [2004]. Nous illustrons les bonnes propriétés d’un tel schéma sur un modèle ARMA à changement de régime markovien latent [Hamilton, 1988, 1989] pour lequel les méthodes
MCMC génériques ne fournissent pas toujours des approximations satisfaisantes.
Abstract (EN)
For numerous models, it is impossible to conduct an exact Bayesian inference. There are
many cases where the derivation of the posterior distribution leads to intractable calculations
(due to the fact that this generally involves intractable integrations). The Bayesian computational literature has been dominated by the development of simulation approximations based on
Markov chains, the famous Markov Chains Monte Carlo (MCMC) methods [Robert and Ca-
sella, 1999].However, the more complicated the model, (especially if there are many parameters
and/or hyperparameters), the more expensive theMCMC approaches become, in terms of time
and storage. Moreover, it is difficult to monitor the convergence of Monte Carlo schemes. As
an alternative to the use of the MCMC approximations, Cappé et al. [2004] have shown that
the notion of importance sampling [Rubinstein, 1981, Ripley, 1987] can actually be greatly generalized to encompassmuchmore adaptive and local schemes than thought previously. This
leads to the Population Monte Carlo (PMC) algorithm. We illustrate here the good properties
of this scheme on a switching ARMA model [Hamilton, 1988, 1989] for which the MCMC
approximations are less satisfactory.