Interacting Markov Chain Monte Carlo Methods For Solving Nonlinear Measure-Valued Equations

Abstract

We present a new interacting Markov chain Monte Carlo methodology for solving numerically discrete-time measure-valued equations. The associated stochastic processes belong to the class of self-interacting Markov chains. In contrast to traditional Markov chains, their time evolution may depend on the occupation measure of the past values. This general methodology allows us to provide a natural way to sample from a sequence of target probability measures of increasing complexity. We develop an original theoretical analysis to analyze the behaviour of these algorithms as the time parameter tends to infinity. This analysis relies on measure-valued processes and semigroup techniques. We present a variety of convergence results including exponential estimates and a uniform convergence theorem with respect to the number of target distributions, yielding what seems to be the first results of this kind for this class of self-interacting models. We also illustrate these models in the context of Feynman-Kac distribution flows. Key-words: Markov chain Monte Carlo methods, sequential Monte Carlo, self-interacting processes, time-inhomogeneous Markov chains, Metropolis-Hastings algorithm, Feynman-Kac formulae ∗ Centre INRIA Bordeaux et Sud-Ouest & Institut de Mathématiques de Bordeaux , Université de Bordeaux I, 351 cours de la Libération 33405 Talence cedex, France, Pierre.DelMoral@inria.fr † Department of Statistics, University of British Columbia, 333-6356 Agricultural Road, Vancouver, BC, V6T 1Z2, Canada, arnaud@stat.ubc.ca in ria -0 02 27 50 8, v er si on 4 5 Fe b 20 08 in ria -0 02 27 50 8, v er si on 4 5 Fe b 20 08 Méthodes de Monte Carlo par Châınes de Markov en Interaction pour la Résolution de Processus à Valeurs Measures Non Linéaires Résumé : Nous présentons de nouvelles méthodes de Monte Carlo par châınes de Markov en interaction pour la résolution numérique de processus à valeurs mesures non linéaires et à temps discret. Ces algorithmes stochastiques appartiennent à la classe des modèles non linéaires de châınes de Markov en autointeraction. A la différence des châınes de Markov traditionnelles, ces algorithmes explorent aléatoirement les espaces d’états en interaction avec leurs mesures d’occupation temporelle. Cette nouvelle méthodologie permet de simuler de façon naturelle un flot de mesures de probabilités cibles avec un degré de complexité croissant. Nous développons une analyse théorique originale du comportement en temps long de ces modèles. Cette analyse est fondée sur l’étude de processus à valeurs mesures et sur des techniques de semigroupes. Nous présentons une variété de résultats de convergence avec notamment des estimées exponentielles et un théorème de convergence uniforme par rapport au paramètre temporel. Ces résultats semblent être les premiers de ce type pour cette classe de processus en auto-interaction. Enfin, nous illustrons ces modèles dans le cadre des flots de mesures de Feynman-Kac. Mots-clés : Méthodes de Monte Carlo par châınes de Markov, méthodes de Monte Carlo séquentielles, processus en auto-interaction, châınes de Markov non homogènes, Algorithmes de Metropolis-Hastings, formules de Feynman-Kac in ria -0 02 27 50 8, v er si on 4 5 Fe b 20 08 in ria -0 02 27 50 8, v er si on 4 5 Fe b 20 08 Interacting Markov Chain Monte Carlo Methods 3

Cite this paper

@inproceedings{Moral2010InteractingMC, title={Interacting Markov Chain Monte Carlo Methods For Solving Nonlinear Measure-Valued Equations}, author={Pierre Del Moral and Arnaud Doucet}, year={2010} }