James-Stein-Schätzer

James-Stein-Schätzer sind Schätzfunktionen des Erwartungswertvektors einer mehrdimensionalen Normalverteilung. Wenn diese Normalverteilung mindestens dreidimensional ist, sind James-Stein-Schätzer bzgl. des mittleren quadratischen Fehlers gleichmäßig besser als das üblicherweise als Schätzer benutzte arithmetische Mittel. Das arithmetische Mittel ist also im Sinne der Entscheidungstheorie für Dimensionen größer als zwei keine zulässige Entscheidungsfunktion für den Erwartungswertvektor der Normalverteilung. Diese Tatsache wurde 1956 von Charles Stein entdeckt. Der erste James-Stein-Schätzer geht auf eine Arbeit von W. James und C. Stein aus dem Jahre 1961 zurück. Der James-Stein Schätzer steht in enger Verbindung zur Minimierung der KL-Divergenz bzw. zu Regularisierung.

Struktur eines James-Stein-Schätzers

Sei $X=(X_{1},\dots ,X_{m})^{T}$ ein $m$-dimensionaler normalverteilter Vektor mit stochastisch unabhängigen Komponenten, die die Varianz Eins haben. Der Erwartungswertvektor $\operatorname {E} X=\mu$ soll geschätzt werden. In naheliegender Weise wird dazu das arithmetische Mittel ${\overline {X}}=({\overline {X}}_{1},\dots ,{\overline {X}}_{m})^{T}$ benutzt, denn es ist der gleichmäßig beste erwartungstreue Schätzer für $\mu$. Eine spezielle James-Stein-Schätzung ist die folgende:

${\overline {X}}^{*}={\Bigl (}1-{\frac {m-2}{{\overline {X}}^{T}{\overline {X}}}}{\Bigr )}{\overline {X}}={\Bigl (}1-{\frac {m-2}{\sum _{j=1}^{m}{\overline {X}}_{j}^{2}}}{\Bigr )}{\overline {X}}\quad ;\quad m\geq 3$.

${\overline {X}}^{*}$ ist nicht erwartungstreu. Da komponentenweise $\operatorname {E} {\overline {X}}^{*}$ betragsmäßig kleiner als $\mu$ ist, wird $\mu$ unterschätzt, ${\overline {X}}^{*}$ ist also ein sogenannter Schrumpfungs-Schätzer (engl. shrinkage). Der Schrumpfungsfaktor ${\Bigl (}1-{\frac {m-2}{{\overline {X}}^{T}{\overline {X}}}}{\Bigr )}$ ist so gewählt, dass der mittlere quadratische Fehler des Schätzers trotz Bias kleiner ist als beim erwartungstreuen ${\overline {X}}$. Der Schätzer ${\overline {X}}^{*}$ hat zwar eine kleinere quadratische Abweichung und ist somit zwar besser als ${\overline {X}}$, ist aber selbst auch kein zulässiger Schätzer.

Verallgemeinerungen

Die Annahme „Varianz gleich Eins“ ist oben nur zur Vereinfachung gemacht worden. Schon James und Stein gaben Alternativen zu ${\overline {X}}^{*}$ an und erweiterten die Untersuchungen auf lineare Regressionsmodelle mit mindestens drei Regressionsparametern. Es ist schwer explizit zulässige Schätzer für $\mu$ zu finden, siehe aber.

Stein-Paradoxon

Der James-Stein-Schätzer hat anfangs zu kontroversen Diskussionen geführt, man sprach sogar vom Stein-Paradoxon. Das kann man an folgendem Beispiel erkennen. Sei $X$ dreidimensional mit den Komponenten

$X_{1}=$ Gewicht einer Kiwi-Frucht aus Neuseeland

$X_{2}=$ Gewicht einer Banane aus Brasilien

$X_{3}=$ Gewicht eines Apfels aus Deutschland

Wir nehmen an, dass $X$ (zumindest näherungsweise) normalverteilt ist und dass (wenig überraschend) die drei Komponenten stochastisch unabhängig voneinander sind. Dann ist es durchaus überraschend, dass man die Schätzung ${\overline {X}}$ verbessern kann, indem beispielsweise zur Schätzung des Erwartungswertes des Kiwi-Gewichtes im Schrumpfungsfaktor auch die davon unabhängigen Bananen- und Apfeldaten benutzt werden. Die Überraschung relativiert sich allerdings etwas, wenn man betont, dass der „Stein-Effekt“ nur eintritt, wenn man die Schätzung des Vektors $\mu$ unbedingt (warum auch immer) mit einem gemeinsamen Kriterium für alle drei Komponenten bewerten will. Die Schätzung jeder Komponente $\mu _{i};\ i=1,\dots ,m$ einzeln bewertet führt natürlich zum eindimensionalen Fall und dazu, dass ${\overline {X}}_{i}$ zulässig ist, also durch keine bessere Schätzung ersetzt werden kann. Eine gute Interpretation gelingt auch durch empirisch-Bayessche Argumente.