Benutzer:Sigma^2/Baustelle

Geplante Ergänzungen

1. zum Artikel Stichprobenverteilung
2. zum Artikel Hahn-Jordan-Zerlegung

Bayesianische Inferenzstatistik

Bei der bayesianischen Inferenz wird die A-priori-Verteilung, die auf dem Parameterraum eines zu schätzenden Parameters definiert ist, unter Berücksichtigung der Wahrscheinlichkeitsverteilung des Stichprobenvektors $\mathbf {X} =(X_{1},\dots ,X_{n})$ und unter Verwendung eines realisierten und beobachteten Wertes $\mathbf {x} =(x_{1},\dots ,x_{n})$ des Stichprobenvektors in die A-posteriori-Verteilung transformiert. Dabei ist die A-posteriori-Verteilung proportional zum Produkt aus A-priori-Verteilung und der Likelihoodfunktion. Die Likelihoodfunktion gibt im diskreten Fall die Wahrscheinlichkeit und im stetigen Fall die Wahrscheinlichkeitsdichte des beobachten Wertes $\mathbf {x}$ für alternative Parameter an und wird als Funktion auf dem Parameterraum interpretiert.

Falls eine suffiziente Stichprobenfunktion (suffiziente Statistik) existiert, kann die Stichprobenverteilung dieser Stichprobenfunktion an die Stelle der Verteilung des Stichprobenvektors treten, ohne dass sich die resultierende A-posteriori-Verteilung ändert.

Beispiel

Die Stichprobenvariablen $X_{1},\dots ,X_{n}$ seien stochastisch unabhängig und identisch Bernoulli-verteilt mit unbekanntem Bernoulli-Parameter $0<p<1$. Die Wahrscheinlichkeitsverteilung des Stichprobenvektors $\mathbf {X} =(X_{1},\dots ,X_{n})$ ist dann

$P_{p}(\mathbf {X} =\mathbf {x} )={\begin{cases}p^{k}(1-p)^{n-k},&{\text{falls }}\mathbf {x} =(x_{1},\dots ,x_{n})\in \{0,1\}^{n}\\0&{\text{sonst}}\end{cases}}\;,$

wobei $k:=\sum _{i=1}^{n}x_{i}$. Wenn $f_{0}$ die gegebene Dichtefunktion einer A-Priori-Verteilung auf dem Intervall $(0,1)$ ist und $\mathbf {x}$ ein relasierter und beobachteter Wert des Suchprobenvektors $\mathbf {X} =(X_{1},\dots ,X_{n})$ ist, dann ist die Dichtefunktion $f_{1}$ der A-Posteriori-Verteilung proportional zum Produkt aus $f_{0}$ und der Likelihoodfunktion

$L_{\mathbf {x} }(p):=P_{p}(\mathbf {X} =\mathbf {x} ),\quad 0<p<1\;.$

Es gilt also

$f_{1}(p;\mathbf {x} )=c\cdot L_{\mathbf {x} }(p)\cdot f_{0}(p),\quad 0<p<1$.

Die Summe $K=\sum _{i=1}^{n}X_{i}$ der Stichprobenvariablen ist eine suffiziente Stichprobenfunktion für den Parameter $p$ mit der Stichprobenverteilung

$P_{p}(K=k)={\begin{cases}{\binom {n}{k}}p^{k}(1-p)^{n-k},&{\text{falls }}k\in \{0,1,\dots ,n\}\\0&{\text{sonst}}\end{cases}}$

und der Likelihoodfunktion

$L_{k}(p):=P_{p}(K=k),\quad 0<p<1\;.$

Da sich die Likelihoodfunktionen $L_{\mathbf {x} }$ und $L_{k}$ nur durch einen konstanten Faktor unterscheiden, gilt auch

$f_{1}(p;\mathbf {x} )=c'\cdot L_{k}(p)\cdot f_{0}(p),\quad 0<p<1$.

Die bayessche Inferenz beruhend auf der Verteilung des Stichprobenvektors und auf der Stichprobenverteilung der suffizienten Stichprobenfunktion führt zur selben A-Posteriori-Verteilung. Zu diesem Beispiel siehe auch Bayessche Statistik#Bayessche Inferenz am Beispiel des Münzwurfes und Suffiziente Statistik#Beispiel Binomialverteilung.

Beispiel zur Hahn-Jordan-Zerlegung

Gegeben sei der signierte Maßraum $(\Omega ,2^{\Omega },\mu )$ mit $\Omega =\{1,2\}$ und mit $\mu (\{1\})=3$ und $\mu (\{2\})=-4$. Es ist $P=\{1\}$ und $N=\{2\}$.

$A$	$\mu (A)$	$|\mu (A)|$	$\mu ^{+}(A)$	$\mu ^{-}(A)$	$|\mu |(A)$
$\emptyset$	$0$	$0$	$0$	$0$	$0$
$\{1\}$	$3$	$3$	$3$	$0$	$3$
$\{2\}$	$-4$	$4$	$0$	$4$	$4$
$\{1,2\}=\Omega$	$-1$	$1$	$3$	$4$	$7$

$\mu$ ist ein signiertes Maß; $\mu ^{+},\mu ^{-}$ und $|\mu |$ sind Maße. Die Mengenfunktion $|\mu (\cdot )|$ ist nicht additiv und darf nicht mit der Totalvariation $|\mu |(\cdot )$ verwechselt werden. Die Totalvariationsnorm des signierten Maßes $\mu$ ist $|\mu |(\Omega )=7$.

Beispiele zum Variationsabstand von Wahrscheinlichkeitsmaßen

Gegeben seien der Meßraum $(\Omega ,{\mathcal {F}})$ mit $\Omega =\{1,2\}$, ${\mathcal {F}}=2^{\Omega }$ und die beiden Wahrscheinlichkeitsmaße $P(\{1\})=1$ und $Q(\{2\})=1$.

$A\in {\mathcal {F}}$	$P(A)$	$Q(A)$	$P(A)-Q(A)$	$(P-Q)^{+}(A)$	$(P-Q)^{-}(A)$	$|P-Q|(A)$	$|P(A)-Q(A)|$
$\emptyset$	$0$	$0$	$0$	$0$	$0$	$0$	$0$
$\{1\}$	$1$	$0$	$1$	$1$	$0$	$1$	$1$
$\{2\}$	$0$	$1$	$-1$	$0$	$1$	$1$	$1$
$\{1,2\}=\Omega$	$1$	$1$	$0$	$1$	$1$	$2$	$0$

Der Variationsabstand zweier Wahrscheinlichkeitsmaße $P$ und $Q$, die auf demselben Messraum definiert sind, ist die Totalvariationsnorm des signierten Maßes $P-Q$

$d_{\mathrm {TV} }(P,Q):=\|P-Q\|_{\mathrm {TV} }=|P-Q|(\Omega )\;.$

Im Beispiel gilt $|P-Q|(\Omega )=2$. Eine ähnliche Distanz ist

$d_{\mathcal {F}}(P,Q):=\sup _{A\in {\mathcal {F}}}|P(A)-Q(A)|$.

Allgemein gilt für zwei Wahrscheinlichkeitsmaße auf demselben Messraum

$d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q).$

(Quelle?, Beweis?) Im Beispiel ist $d_{\mathcal {F}}(P,Q)=1$. Von einigen Autoren wird die Distanz $d_{\mathcal {F}}(P,Q)$ als Variationsabstand oder Totalvariationsdistanz bezeichnet, obwohl sich die beiden Distanzen um den Faktor 2 unterscheiden. Daraus ergeben sich Verwechselungen und Inkonsistenzen in der Literatur. (Z. B. Abweichung zwischen englischer und französischer Wikipedia).

Für einen diskreten Messraum $(\Omega ,2^{\Omega })$ mit abzählbarem $\Omega$ und zwei Wahrscheinlichkeitsmaße $P$ und $Q$, die auf $(\Omega ,2^{\Omega })$ definiert sind, gilt

$\sum _{x\in \Omega }|P(\{x\})-Q(\{x\}|=d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)\;.$

Variationsabstand und signierte Maße

Gegeben seien der Meßraum $(\Omega ,{\mathcal {F}})$ mit $\Omega =\{1,2\}$, ${\mathcal {F}}=2^{\Omega }$ und die beiden endlichen signierten Maße $\mu$ und $\nu$ mit $\nu _{i}=\nu (\{i\})$ und $\mu _{i}=\mu (\{i\})$ für $i=1,2$.

$A\in {\mathcal {F}}$	$\mu (A)$	$\nu (A)$	$\mu (A)-\nu (A)$	$|\mu -\nu |(A)$	$|\mu (A)-\nu (A)|$
$\emptyset$	$0$	$0$	$0$	$0$	$0$
$\{1\}$	$\mu _{1}$	$\nu _{1}$	$\mu _{1}-\nu _{1}$	$|\mu _{1}-\nu _{1}|$	$|\mu _{1}-\nu _{1}|$
$\{2\}$	$\mu _{2}$	$\nu _{2}$	$\mu _{2}-\nu _{2}$	$|\mu _{2}-\nu _{2}|$	$|\mu _{2}-\nu _{2}|$
$\{1,2\}=\Omega$	$\mu _{1}+\mu _{2}$	$\nu _{1}+\nu _{2}$	$\mu _{1}-\nu _{1}+\mu _{2}-\nu _{2}$	$|\mu _{1}-\nu _{1}|+|\mu _{2}-\nu _{2}|$	$|\mu _{1}-\nu _{1}+\mu _{2}-\nu _{2}|$

Der Variationsabstand der signierten Maße $\mu$ und $\nu$ ist

$d_{\mathrm {TV} }(\mu ,\nu ):=\|\mu -\nu \|_{\mathrm {TV} }=|\mu -\nu |(\Omega )=|\mu _{1}-\nu _{1}|+|\mu _{2}-\nu _{2}|\;.$

Für die Distanz $d_{\mathcal {F}}$ gilt

$d_{\mathcal {F}}(\mu ,\nu )=\max\{|\mu _{1}-\nu _{1}|,|\mu _{2}-\nu _{2}|,|\mu _{1}-\nu _{1}+\mu _{2}-\nu _{2}|\}\leq d_{\mathrm {TV} }(\mu ,\nu )$.

Die für zwei Wahrscheinlichkeitsmaße gültige Proportionalität

$d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)$

gilt nicht analog für signierte Maße, Für $\mu _{1}-\nu _{1}=1$ und $\mu _{2}-\nu _{2}=-1$ gilt $d_{\mathrm {TV} }(\mu ,\nu )=2$ und $d_{\mathcal {F}}(\mu ,\nu )=1$. Für $\mu _{1}-\nu _{1}=1$ und $\mu _{2}-\nu _{2}=-2$ gilt $d_{\mathrm {TV} }(\mu ,\nu )=3$ und $d_{\mathcal {F}}(\mu ,\nu )=2$.