Satz von Rao-Blackwell

Der Satz von Rao-Blackwell ist ein mathematischer Satz aus der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Im einfachsten Fall konstruiert er aus einem vorgegebenen Punktschätzer mittels des bedingten Erwartungswertes einen neuen Schätzer, der in dem Sinne besser als der anfangs gegebene Schätzer ist, als dass er eine geringere Varianz besitzt. Daher nennt man den neu gewonnenen Schätzer auch die Rao-Blackwell-Verbesserung des vorgegebenen Schätzers und die genutzte Vorgehensweise Rao-Blackwellisierung.

Insbesondere ist der neu gewonnene Schätzer immer suffizient. Somit liefert der Satz von Rao-Blackwell ein wesentliches Argument, optimale Schätzer unter den suffizienten Schätzern zu suchen und hebt die Bedeutung der Suffizienz als Gütekriterium hervor.

Der Satz ist nach Calyampudi Radhakrishna Rao und David Blackwell benannt.

Aussage

Gegeben sei ein statistisches Modell $(X,{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })$. Des Weiteren sei $(E,{\mathcal {E}})$ ein Entscheidungsraum, am gängigsten ist $(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$. Sei

$d\colon X\to E$

ein Punktschätzer für die zu schätzende Funktion (im parametrischen Fall Parameterfunktion genannt)

$g\colon \Theta \to E$

sowie $T$ eine suffiziente Statistik für $(P_{\vartheta })_{\vartheta \in \Theta }$. Aufgrund der Suffizienz ist der bedingte Erwartungswert unabhängig von $\vartheta$ und die Definition

$d^{+}:=E_{\bullet }(d|T)$

ist sinnvoll (das ${}_{\bullet }$ soll klarmachen, dass der bedingte Erwartungswert gewöhnlich von $\vartheta$ abhängt, in diesem Fall die Wahl von $\vartheta$ aber beliebig ist).

Dann gilt:

1. $d$ und $d^{+}$ haben denselben Bias.
2. Es ist

$\operatorname {E} _{\vartheta }\left((d^{+}-g(\vartheta ))^{2}\right)\leq \operatorname {E} _{\vartheta }\left((d-g(\vartheta ))^{2}\right)$

für alle $\vartheta \in \Theta$.

Für den Spezialfall, dass $d$ erwartungstreu ist, folgt

1. $d^{+}$ ist ebenfalls erwartungstreu.
2. Es ist

$\operatorname {Var} _{\vartheta }(d^{+})\leq \operatorname {Var} _{\vartheta }(d)$

für alle $\vartheta \in \Theta$.

Teils wird der Satz auch mit einer suffizienten σ-Algebra ${\mathcal {B}}$ anstelle der suffizienten Statistik $T$ formuliert. Die Aussagen bleiben jedoch identisch.

Beweisskizze

Die erste Aussage folgt aus $E_{\vartheta }(d|T)=E_{\bullet }(d|T)$ P-fast überall für alle $\vartheta \in \Theta$. Somit ist

$\operatorname {E} _{\vartheta }(d^{+})=\operatorname {E} _{\vartheta }\left(E_{\vartheta }(d|T)\right)=\operatorname {E} _{\vartheta }(d)$,

wobei der letzte Schritt aus den elementaren Rechenregeln des bedingten Erwartungswertes folgt. Subtraktion von $g(\vartheta )$ liefert die Behauptung.

Die zweite Aussage folgt aus der jensenschen Ungleichung für bedingte Erwartungswerte

$\varphi (E(d|T))\leq E(\varphi (d)|T),\quad {\text{ angewandt auf }}\varphi (\cdot )=(\cdot -g(\vartheta ))^{2}$.

Daraus folgt

$(d^{+}-g(\vartheta ))^{2}\leq \operatorname {E} _{\bullet }((d-g(\vartheta ))^{2}|T)$

für alle $\vartheta \in \Theta$. Bilden des Erwartungswertes liefert die Aussage.

Implikationen

Zentrales Gütekriterium für erwartungstreue Schätzer ist die Varianz, analog ist der mittlere quadratische Fehler das Gütekriterium für Schätzer mit Verzerrung. Beschränkt man sich nun bei der Suche nach guten Schätzern auf erwartungstreue Schätzer, so lässt sich nach der obigen Aussage immer ein Schätzer konstruieren, der besser als der Ausgangsschätzer ist und suffizient ist. Somit sind erwartungstreue Schätzer minimaler Varianz immer unter den suffizienten Schätzern zu finden. Dieselbe Argumentation folgt auch für Schätzer mit vorgegebener Verzerrung. Sucht man Schätzer mit minimalem mittlerem quadratischen Fehler in der Klasse der Schätzer mit einer vorgegebenen Verzerrung, so sind diese Schätzer suffizient.

Damit ist der Satz von Rao-Blackwell neben dem Satz von Lehmann-Scheffé der zentrale Satz, der die Verwendung der Suffizienz als Gütekriterium rechtfertigt.

Einordnung

Im Rahmen eines statistischen Entscheidungsproblem lässt sich der Satz von Rao-Blackwell wie folgt einordnen: Der Punktschätzer ist eine nichtrandomisierte Entscheidungsfunktion, als Verlustfunktion ist das $\varphi$ wie oben in der Beweisskizze gewählt. Die Risikofunktionen werden durch Erwartungswertbildung gewonnen und sind dann wie oben angegeben

$R_{d}(\vartheta )=\operatorname {E} _{\vartheta }\left((d-g(\vartheta ))^{2}\right)$.

In dieser Formulierung lautet der Satz von Rao-Blackwell

$R_{d^{+}}(\vartheta )\leq R_{d}(\vartheta ){\text{ für alle }}\vartheta \in \Theta$.

Somit liefert der Satz von Rao-Blackwell zu jeder Entscheidungsfunktion eine Rao-Blackwell-Verbesserung, welche für jeden Parameter $\vartheta$ die Risikofunktion verbessert.

Verallgemeinerung

Mit der oben genannten Einordnung und durch die Verwendung der Jensenschen Ungleichung im Beweis lässt sich die Rao-Blackwell-Verbesserung auf beliebige konvexe Verlustfunktionen der Form

$\varphi (\cdot ):=L(\cdot -g(\vartheta ))$

verallgemeinern. Somit lässt sich der Satz von Rao-Blackwell beispielsweise auch für Mengen von L-unverfälschten Schätzern wie beispielsweise Median-unverfälschten Schätzern formulieren.

Verwandte Aussagen

Der Satz von Rao-Blackwell ist Basis für den Satz von Lehmann-Scheffé. Dieser besagt, dass unter der zusätzlichen Voraussetzung der Vollständigkeit die Rao-Blackwell-Verbesserung einen gleichmäßig besten erwartungstreuen Schätzer liefert.

In regulären statistischen Modellen liefert die Cramér-Rao-Ungleichung eine untere Schranke für die Varianz von Schätzern.

Weblinks

• M.S. Nikulin: Rao-Blackwell-Kolmogorov theorem. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 1-55608-010-7 (englisch, encyclopediaofmath.org). 

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.