Stichprobe: beobachtete Werte der Zufallsvariablen
Stichprobenmittel / empirischer Mittelwert von
Stichprobenvarianz / empirische Varianz von
Stichprobenmittel (als Funktion der Zufallsvariablen)
Stichprobenvarianz (als Funktion der Zufallsvariablen)
Erwartungswert: Mittelwert, der sich aus der Verteilungsfunktion von X ergibt
Varianz (Stochastik): Varianz, die sich aus der Verteilungsfunktion von X ergibt
Die Stichprobenvarianz wird in mehreren Varianten definiert, die sich leicht bezüglich ihrer Eigenschaften und somit auch ihrer Anwendungsgebiete unterscheiden. Die Unterscheidung der unterschiedlichen Bezeichnungen für die Varianten ist in der Literatur nicht immer einheitlich. Wird daher lediglich von „der“ Stichprobenvarianz gesprochen, so sollte immer überprüft werden, welche der Definitionen im entsprechenden Kontext gilt.
Stichprobenvarianz als Schätzfunktion ist zu unterscheiden von der konkreten Berechnung der Varianz einer Stichprobe: Die empirische Varianz wird ebenfalls oft als Stichprobenvarianz bezeichnet, ist aber keine Funktion, sondern ein Streumaß von mehreren numerischen (Stichproben-)Werten. Sie entspricht einem konkreten Schätzwert und ist damit eine Realisierung der Stichprobenvarianz als Schätzfunktion und Zufallsvariable.
Zuerst ist der Erwartungswert zu schätzen, welcher hier in Form des Parameters vorliegt. Mit Hilfe des Kleinste-Quadrate-Kriteriums[1]
erhält man die Schätzung des Erwartungswertes als Stichprobenmittel:
.
Da durch die Schätzung des Stichprobenmittels ein Freiheitsgrad verbraucht wird, ist es üblich, die empirische Varianz mit dem Faktor zu „korrigieren“.
In der Literatur finden sich im Wesentlichen drei unterschiedliche Definitionen der Stichprobenvarianz. Viele Autoren nennen
die Stichprobenvarianz[2][3][4] oder zur besseren Abgrenzung die korrigierte Stichprobenvarianz.[5] Alternativ wird auch
als Stichprobenvarianz bezeichnet[6][3]; ebenso wird auch
für eine fixe reelle Zahl Stichprobenvarianz genannt.[7]
Wichtiger Verwendungszweck der Stichprobenvarianz ist die Schätzung der Varianz einer unbekannten Wahrscheinlichkeitsverteilung. Je nach Rahmenbedingungen kommen dabei die verschiedenen Definitionen zum Einsatz, da diese unterschiedliche Optimalitätskriterien erfüllen (siehe unten). Als Faustregel kann gelten:
Sind der Erwartungswert und die Varianz des Wahrscheinlichkeitsmaßes unbekannt, so wird als Schätzfunktion verwendet.
Ist die Varianz unbekannt und entspricht der Erwartungswert dem Wert , so wird als Schätzfunktion verwendet.
Die Schätzfunktion wird meist nicht verwendet, sie entsteht beispielsweise bei Verwendung der Momentenmethode oder der Maximum-Likelihood-Methode und erfüllt die gängigen Qualitätskriterien nicht.
Meist wird die Stichprobenvarianz unter den Annahmen verwendet, dass die Auswertungen unabhängig und identisch verteilt sind sowie entweder einen bekannten oder einen unbekannten Erwartungswert besitzen. Diese Annahmen werden durch die folgenden statistischen Modelle beschrieben:
Ist der Erwartungswert unbekannt, so ist das statistische Modell gegeben durch das (nicht notwendigerweise parametrische) Produktmodell
.
Hierbei bezeichnet das n-fache Produktmaß von und ist die Familie aller Wahrscheinlichkeitsmaße mit endlicher Varianz, die mit einer beliebigen Indexmenge indiziert sind. Die Stichprobenvariablen sind dann unabhängig identisch verteilt gemäß und besitzen also eine endliche Varianz.
Ist der Erwartungswert bekannt und gleich , so ist das statistische Modell gegeben durch das (nicht notwendigerweise parametrische) Produktmodell
.
Hierbei bezeichnet die Familie aller Wahrscheinlichkeitsmaße mit endlicher Varianz und Erwartungswert , die mit einer beliebigen Indexmenge indiziert sind. Die Stichprobenvariablen sind dann unabhängig identisch verteilt gemäß und besitzen somit eine endliche Varianz und den Erwartungswert .
Im Falle des bekannten Erwartungswertes ist ein erwartungstreuer Schätzer für die Varianz. Das bedeutet, es gilt
.
Hierbei bezeichnet bzw. die Erwartungswertbildung bzw. die Varianzbildung bezüglich des Wahrscheinlichkeitsmaßes .
Die Erwartungstreue gilt, da
ist. Hierbei folgt der erste Schritt aus der Linearität des Erwartungswertes, der zweite, da nach der Voraussetzung über den bekannten Erwartungswert ist und somit nach der Definition der Varianz gilt. In den dritten Schritt geht ein, dass die alle identisch verteilt sind.
Der Faktor wird hierbei als Bessel-Korrektur (nach Friedrich Wilhelm Bessel) bezeichnet.[8] Er kann insofern als Korrekturfaktor verstanden werden, da er so korrigiert, dass die Schätzfunktion erwartungstreu wird. Dies folgt, da
wie oben gezeigt
.
und die Bessel-Korrektur genau der Kehrwert des Faktors ist. Die Schätzfunktion geht somit aus durch die Bessel-Korrektur hervor.
Sind die Zufallsvariablen unabhängig und identisch verteilt, also beispielsweise eine Stichprobe, so ergibt sich die Standardabweichung der Stichprobe als Wurzel aus der Stichprobenvarianz bzw. , also
oder
mit
.
Diese Funktion wird Stichprobenstandardabweichung oder Stichprobenstreuung genannt;[9] ihre Realisierungen entsprechen der empirischen Standardabweichung. Da die Erwartungstreue bei Anwendung einer nichtlinearen Funktion wie der Wurzel in den meisten Fällen verloren geht, ist die Stichprobenstandardabweichung im Gegensatz zur korrigierten Stichprobenvarianz in keinem der beiden Fälle ein erwartungstreuer Schätzer für die Standardabweichung der Grundgesamtheit.
Schätzung der Standardabweichung der Grundgesamtheit aus einer Stichprobe
Wählt man eine der Zahlen oder durch Wurf einer fairen Münze, also beide mit Wahrscheinlichkeit jeweils , so ist das eine Zufallsgröße mit Erwartungswert 0, Varianz und Standardabweichung . Berechnet man aus unabhängigen Würfen und die korrigierte Stichprobenvarianz
wobei
den Stichprobenmittelwert bezeichnet, so gibt es vier mögliche Versuchsausgänge, die alle jeweils Wahrscheinlichkeit haben:
Der Erwartungswert der korrigierten Stichprobenvarianz beträgt daher
.
Die korrigierte Stichprobenvarianz ist demnach also tatsächlich erwartungstreu. Der Erwartungswert der korrigierten Stichprobenstandardabweichung beträgt hingegen
.
Die korrigierte Stichprobenstandardabweichung unterschätzt also die Standardabweichung der Grundgesamtheit.
In Systemen, die kontinuierlich große Mengen an Messwerten erfassen, ist es oft unpraktisch, alle Messwerte zwischenzuspeichern, um die Standardabweichung zu berechnen.
In diesem Zusammenhang ist es günstiger, eine modifizierte Formel zu verwenden, die den kritischen Term umgeht. Dieser kann nicht für jeden Messwert sofort berechnet werden, da der Mittelwert nicht konstant ist.
Durch Anwendung des Verschiebungssatzes und der Definition des Mittelwerts gelangt man zur Darstellung
bzw.
die sich für jeden eintreffenden Messwert sofort aktualisieren lässt, wenn die Summe
der Messwerte sowie die Summe ihrer Quadrate mitgeführt und fortlaufend aktualisiert werden. Diese Darstellung ist allerdings numerisch weniger stabil, insbesondere kann der Term unter der Quadratwurzel numerisch durch Rundungsfehler kleiner als 0 werden.
Durch geschicktes Umstellen lässt sich für letztere Gleichung eine Form finden, die numerisch stabiler ist und auf die Varianz und den Mittelwert des vorhergehenden sowie auf den Stichprobenwert und den Mittelwert des aktuellen Iterationsschrittes zurückgreift:
Für den Fall normalverteilter Zufallsgrößen lässt sich die erwartungstreue Schätzfunktion für die Standardabweichung angeben[10][11], wobei der Korrekturfaktor
durch
gegeben ist, die übliche Schätzung der Standardabweichung ist und die Gammafunktion bezeichnet. Die Formel folgt, indem man beachtet, dass eine Chi-Quadrat-Verteilung mit Freiheitsgraden hat.
Korrekturfaktoren für die erwartungstreue Schätzung der Standardabweichung
Es wurden bei einer Stichprobe aus einer normalverteilten Zufallsgröße
die fünf Werte 3, 4, 5, 6, 7 gemessen. Man soll nun einen Schätzwert für die Standardabweichung errechnen.
Die Stichprobenvarianz ist:
Der Korrekturfaktor ist in diesem Fall
und der Schätzwert für die Standardabweichung, unter Verwendung einer erwartungstreuen Schätzfunktion, ist damit näherungsweise
Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
↑L. Fahrmeir, R. Künstler, I. Pigeot, G. Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 351.
↑Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S.208, doi:10.1515/9783110215274.
↑Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S.207, doi:10.1515/9783110215274.
↑Robert V. Hogg, Elliot A. Tanis, Dale L. Zimmermann: Probability and Statistical Inference. 9. Auflage. Pearson, Boston 2013, ISBN 978-0-321-92327-1, S.264.