Jeffreys’ a-priori-Verteilung

Als Jeffreys’ a-priori-Verteilung bezeichnet man in der In bayesschen Statistik eine A-priori-Verteilung (eine Wahrscheinlichkeitsverteilung, welche unabhängig von Messdaten als gegeben angenommen wird). Sie ist nach Sir Harold Jeffreys benannt und zeichnet sich gegenüber anderen a-priori-Verteilungen dadurch aus, dass sie gegenüber einer Reparametrisierung der Modellparameter invariant ist. Aufgrund dieser Invarianz wird die Jeffreys’ a-priori-Verteilung auch als nichtinformativ bezeichnet.

Die Wahrscheinlichkeitsdichtefunktion $\wp \left({\vec {\theta }}\right)$ der Jeffreys’ a-priori-Verteilung ist proportional zur Quadratwurzel der Determinante der Fisher-Information:

$\wp \left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right)}}.\,$

Motivation

Das Problem ergibt sich aus dem Bayesschen Satz, in dem die a-posteriori-Verteilung $\Pr(M\mid D)$ als proportional zum Produkt von Likelihood $\Pr(D\mid M)$ und a-priori-Verteilung $\Pr(M)$ gegeben ist, wobei $D$ die Daten darstellt, und $M$ Modellparameter (etwa Mittelwert und Standardabweichung einer Normalverteilung). Typischerweise ist die Likelihood, also die Wahrscheinlichkeitsverteilung der Daten, sofern ein Modellparameterwert gegeben ist, bestimmbar. Um jedoch eine Wahrscheinlichkeitsverteilung der Modellparameter gegeben den Messdaten D zu erhalten, ist auch eine datenunabhängige a-priori-Wahrscheinlichkeitsverteilung $M$ notwendig.

Lange Zeit lehnten die Orthodoxie der Statistik die Bayessche Statistik ab, da die Wahl einer geeigneten a-priori-Verteilung zu beliebig erschien Insbesondere störte, dass die Verfahren zur Wahl einer a-priori-Verteilung zu anderen Verteilungen führte, je nachdem, wie die Modelle parametrisiert waren. Jeffreys nahm diesen Kritikpunkt auf und erhob ihn zur Randbedingung bei der Suche nach einem Verfahren zur Wahl von a-priori-Verteilungsfunktionen.

Ansatz

Gegeben sei eine monotone Transformation $\phi =h(\theta )$, welche jedem Modellparameter $\theta$ einen alternativen Modellparameter $\phi$ zuordnet, wird als Invarianzbedingung gefordert, dass die Wahrscheinlichkeitsfunktionen der a-priori-Verteilungen für $\theta$-$\phi$-Paare gleich sind.

$\Pr \left(\Theta <\theta \right)=\Pr \left(\Phi <h(\theta )\right)$

Da es sich bei $h(\cdot )$ um eine monotone Transformation handelt, kann daraus ein Zusammenhang zwischen den Wahrscheinlichkeitsdichtefunktionen beider Parameterräume hergestellt werden. Das gesuchte Verfahren zur Findung einer a-priori-Wahrscheinlichkeitsfunktion muss also dem folgenden Zusammenhang genügen:

$\wp (\theta )=\wp (\phi )\vert h'(\theta )\vert$

Es lässt sich zeigen, dass die Fisher-Informationen für die Parametrisierung mit $\theta$ und mit $\phi$, einen direkten Zusammenhang haben

$I_{\theta }(\theta )=(h'(\theta ))^{2}\cdot I_{\phi }(\phi =h(\theta )),$

somit kann durch die Wahl einer a-priori-Verteilung $\wp \left(\eta \right)\propto {\sqrt {I_{\eta }(\eta )}}$ tatsächlich gefolgert werden, dass sich aus der Fisher-Information unter Reparametrierung invariante a priori-Verteilungen finden lassen

$\wp \left(\theta \right)\propto \vert h'(\theta )\vert \wp \left(\phi \right),$

und sofern die a-priori-Verteilungen normierbar sind, sind sie auch echt gleich.