Gibbs-Sampling

Gibbs-Sampling, auch Gibbs-Stichprobenentnahme, ist ein Markov-Chain-Monte-Carlo-Algorithmus, um eine Folge von Stichproben der gemeinsamen Wahrscheinlichkeitsverteilung zweier oder mehrerer Zufallsvariablen zu erzeugen. Das Ziel ist es dabei, die unbekannte gemeinsame Verteilung zu approximieren. Der Algorithmus ist aufgrund der Ähnlichkeit des Sampling-Verfahrens mit Methoden der statistischen Physik nach dem Physiker Josiah Willard Gibbs benannt. Entwickelt wurde er von Stuart Geman und Donald Geman (siehe Literaturhinweis). Gibbs-Sampling ist ein Spezialfall des Metropolis-Hastings-Algorithmus.

Definition

Gibbs-Sampling eignet sich besonders dann, wenn die gemeinsame Verteilung eines Zufallsvektors unbekannt, jedoch die bedingte Verteilung einer jeden Zufallsvariable bekannt ist. Das Grundprinzip besteht darin, wiederholend eine Variable auszuwählen und gemäß ihrer bedingten Verteilung einen Wert in Abhängigkeit von den Werten der anderen Variablen zu erzeugen. Die Werte der anderen Variablen bleiben in diesem Iterationsschritt unverändert. Aus der entstehenden Folge von Stichprobenvektoren lässt sich eine Markow-Kette herleiten. Es kann gezeigt werden, dass die stationäre Verteilung dieser Markow-Kette gerade die gesuchte gemeinsame Verteilung des Zufallsvektors ist.

Anwendung

Ein besonders günstiger Anwendungsfall ergibt sich im Zusammenhang mit Bayes’schen Netzen, insbesondere beim Schätzen der A-posteriori-Verteilung, da die übliche Repräsentation eines Bayes’schen Netzes ein System von bedingten Verteilungen ist.

Literatur

• Stuart Geman und Donald Geman: Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 6:721-741, 1984.
• C.P. Robert and G. Casella: Monte Carlo Statistical Methods. Springer, New York 2004.
• Michael S. Johannes und Nick Polson: MCMC Methods for Continuous-Time Financial Econometrics. (December 22, 2003). Available at SSRN: http://ssrn.com/abstract=480461

Weblinks

• Vorlesungsskript der Universität Ulm zum Gibbs-Sampler