Schätzfunktion

dient in der mathematischen Statistik dazu, einen Schätzwert zu ermitteln
(Weitergeleitet von Parameterschätzung)

Eine Schätzfunktion, auch Schätzstatistik oder kurz Schätzer, dient in der mathematischen Statistik dazu, aufgrund von vorhandenen empirischen Daten einer Stichprobe einen Schätzwert zu ermitteln und dadurch Informationen über unbekannte Parameter einer Grundgesamtheit zu erhalten.

Schätzfunktionen sind die Basis zur Berechnung von Punktschätzungen und zur Bestimmung von Konfidenzintervallen mittels Bereichsschätzern und werden als Teststatistiken in Hypothesentests verwendet. Sie sind spezielle Stichprobenfunktionen und können durch Schätzverfahren, z. B. die Kleinste-Quadrate-Schätzung, die Maximum-Likelihood-Schätzung oder die Momentenmethode, bestimmt werden.

Im Rahmen der Entscheidungstheorie können Schätzfunktionen auch als Entscheidungsfunktionen bei Entscheidungen unter Unsicherheit betrachtet werden.

Formale Definition

Bearbeiten

Es sei

 ,

eine reellwertige Stichprobenfunktion (oder Statistik) basierend auf einer Zufallsstichprobe   aus einer Wahrscheinlichkeitsverteilung mit einem unbekannten skalaren Parameter  . Beachte, dass Großbuchstaben Zufallsvariablen anzeigen: Somit sind   und die   Zufallsvariablen.

Wenn die Stichprobenfunktion   verwendet wird, um statistische Inferenz bzgl.   durchzuführen, heißt sie Schätzfunktion oder Schätzer für den Parameter  . Der konkrete Wert  , den ein Schätzer für eine Realisierung   der Zufallsstichprobe   annimmt, ist eine Realisierung der Zufallsvariablen  .   wird als Schätzwert für den Parameter   bezeichnet.[1] Falls der Stichprobenumfang   nicht relevant ist, schreibt man auch   statt   und   statt  .

Der Begriff Schätzung ist nicht eindeutig, er bezeichnet teils das Verfahren zur Ermittlung eines Schätzers, teils die Durchführung des Verfahrens zur Ermittlung eines Schätzwertes und teils einen Schätzwert.

Beispiel

Bearbeiten

Die Zufallsvariablen   seien normalverteilt mit   für   mit unbekanntem Parameter  . Dann ist

 

eine Schätzfunktion für den Parameter  . Die Schätzfunktion   ist eine Zufallsvariable, deren Wahrscheinlichkeitsverteilung typischerweise vom Parameter   und vom Stichprobenumfang   abhängt. Beispielsweise gilt  , falls die Zufallsvariablen   stochastisch unabhängig sind. Für realisierte Werte   ist

 

ein Schätzwert für den Parameter  . Die reelle Zahl   ist ein realisierter Wert der Zufallsvariablen  .

Grundkonzepte: Stichprobenvariablen und -funktionen

Bearbeiten

In der Regel befindet sich der Experimentierende in der Situation, dass er anhand endlich vieler Beobachtungen (einer Stichprobe) Aussagen über die zugrunde liegende Verteilung oder deren Parameter in der Grundgesamtheit treffen möchte.

Nur in seltenen Fällen lässt sich die Grundgesamtheit vollständig erheben (Total- oder Vollerhebung), sodass sie dann exakt die gewünschten Informationen liefert. Ein Beispiel für eine Vollerhebung ist die Arbeitslosenstatistik der amtlichen Statistik.

In den meisten Fällen kann jedoch die Grundgesamtheit nicht vollständig erhoben werden, z. B. weil sie zu groß ist. Interessiert man sich etwa für die mittlere Größe der 18-Jährigen in der EU, müsste man alle 18-Jährigen messen, was praktisch undurchführbar ist. Stattdessen wird nur eine Stichprobe, eine zufällige Auswahl von   Elementen, erhoben (Teilerhebung).

Stichprobenvariable

Bearbeiten

An dieser Stelle setzt die statistische Modellierung an. Die Stichprobenvariable  , eine Zufallsvariable, beschreibt mit ihrer Verteilung die Wahrscheinlichkeit, mit der eine bestimmte Merkmalsausprägung bei der  -ten Ziehung aus der Grundgesamtheit auftritt. Jeder Beobachtungswert   ist die Realisierung einer Stichprobenvariable  .

Stichprobenfunktion

Bearbeiten

Die Definition von Stichprobenvariablen   erlaubt die Definition von Stichprobenfunktionen analog z. B. zu Kennwerten aus der deskriptiven Statistik:

Arithmetisches Mittel Stichprobenfunktion
   

Da jede Stichprobe aufgrund der Zufälligkeit anders ausfällt, sind auch diese Stichprobenfunktionen Zufallsvariablen, deren Verteilung von

  • der Art der Ziehung der Stichprobe aus der Grundgesamtheit und
  • der Verteilung des Merkmals in der Grundgesamtheit

abhängt.

Stichprobenverteilung

Bearbeiten

Stichprobenverteilung ist eine Bezeichnung für die Wahrscheinlichkeitsverteilung einer Stichprobenfunktion.

Schätzfunktionen

Bearbeiten

Grundgedanke und Konzept der Schätzfunktion

Bearbeiten

Schätzfunktionen sind spezielle Stichprobenfunktionen, um Parameter oder Verteilungen der Grundgesamtheit zu bestimmen. Beeinflusst werden Schätzfunktionen unter anderem durch

Man möchte letztlich versuchen, ausschließlich anhand des Wissens um das zu Grunde liegende Modell und die beobachtete Stichprobe etwa Intervalle anzugeben, die mit größter Wahrscheinlichkeit den wahren Parameter enthalten. Alternativ möchte man auch bei einer bestimmten Fehlerwahrscheinlichkeit testen, ob eine spezielle Vermutung über den Parameter (zum Beispiel, dass zu viele Gläser Kerne enthalten) bestätigt werden kann. Schätzfunktionen bilden in diesem Sinne die Basis für jede begründete Entscheidung über die Ausprägungen der Grundgesamtheit, die bestmögliche Wahl solcher Funktionen ist das Ergebnis der mathematischen Untersuchung.

Trifft man auf dieser Basis eine Entscheidung, z. B. geht die Lieferung zurück, besteht die Möglichkeit, dass die Entscheidung falsch ist. Es gibt folgende Fehlerquellen:

  1. Die Stichprobe ist nicht repräsentativ für die Grundgesamtheit, d. h., sie spiegelt die Grundgesamtheit nicht wider.
  2. Das Modell für die Zufallsvariablen   ist falsch.
  3. Die Stichprobe könnte untypisch ausgefallen sein, so dass man die Lieferung fälschlicherweise ablehnt.

Dennoch besteht in der Praxis zumeist keine Alternative zu statistischen Verfahren dieser Art. Den zuvor genannten Problemen tritt man auf verschiedene Weisen entgegen:

  1. Man versucht möglichst eine einfache Zufallsstichprobe zu ziehen.
  2. Die Modelle für die Zufallsvariablen   werden zum einen möglichst groß gewählt (so dass das "richtige" Modell enthalten ist) und zum anderen wird die Schätzfunktion so gewählt, dass ihre Verteilung für viele Modelle berechenbar ist (siehe Zentraler Grenzwertsatz).
  3. Aufgrund der Schätzfunktion wird eine Irrtumswahrscheinlichkeit angegeben.

Formale Definition der Schätzfunktion

Bearbeiten

Grundlage einer jeden Schätzfunktion sind die Beobachtungen   eines statistischen Merkmals  . Modelltheoretisch wird dieses Merkmal idealisiert: Man geht davon aus, dass es sich bei den Beobachtungen in Wahrheit um Realisierungen von Zufallsvariablen   handelt, deren „wahre“ Verteilung und „wahre“ Verteilungsparameter unbekannt sind.

Um Informationen über die tatsächlichen Eigenschaften des Merkmals zu erhalten, erhebt man eine Stichprobe von   Elementen. Mit Hilfe dieser Stichprobenelemente schätzt man dann die gesuchten Parameter bzw. die gesuchte Verteilung (siehe Kerndichteschätzung).

Um also beispielsweise einen Parameter   einer unbekannten Verteilung zu schätzen, hat man es formal mit einer Zufallsstichprobe vom Umfang   zu tun, es werden also   Realisierungen   ( ) der Zufallsvariablen   beobachtet. Die Zufallsvariablen   werden dann mittels einer Schätzmethode in einer geeigneten Schätzfunktion   zusammengefasst. Formal wird dabei vorausgesetzt, dass   eine messbare Funktion ist.

Zur Vereinfachung der Berechnung der Schätzfunktion wird oft vorausgesetzt, dass die Zufallsvariablen   unabhängig voneinander und identisch verteilt sind, also die gleiche Verteilung und die gleichen Verteilungsparameter besitzen.

Ausgewählte Schätzfunktionen

Bearbeiten

In der statistischen Praxis wird oft nach den folgenden Parametern der Grundgesamtheit gesucht:

  • den Mittelwert   und
  • der Varianz   eines metrischen Merkmals sowie
  • dem Anteilswert   einer dichotomen Grundgesamtheit.

Schätzfunktionen und Schätzwert für den Mittelwert

Bearbeiten

Der Erwartungswert   wird in der Regel mit dem arithmetischen Mittel der Stichprobe geschätzt:

Schätzfunktion Schätzwert
   

Ist die Verteilung symmetrisch, kann auch der Median der Stichprobe als Schätzwert für den Erwartungswert verwendet werden:

Schätzfunktion Schätzwert
   

wobei   die untere Gaußklammer bezeichnet. Der Median ist also der Wert derjenigen Zufallsvariable, die nach Sortierung der Daten "in der Mitte" liegt. Es befinden sich also zahlenmäßig genauso viele Werte oberhalb wie unterhalb des Median.

Welche Schätzfunktion im Falle symmetrischer Verteilungen besser ist, hängt von der betrachteten Verteilungsfamilie ab.

Schätzfunktionen und Schätzwert für die Varianz

Bearbeiten

Für die Varianz der Grundgesamtheit   verwendet man als Schätzfunktion meist die korrigierte Stichprobenvarianz:

Schätzfunktion Schätzwert
   

Typische andere Vorfaktoren sind auch   und  . Alle diese Schätzer sind zwar asymptotisch äquivalent, werden aber je nach Art der Stichprobe unterschiedlich benutzt (siehe auch Stichprobenvarianz (Schätzfunktion)).

Schätzfunktionen und Schätzwert für den Anteilswert

Bearbeiten

Man betrachtet hier das Urnenmodell mit zwei Sorten Kugeln. Es soll der Anteilswert der Kugeln erster Sorte in der Grundgesamtheit geschätzt werden. Als Schätzfunktion verwendet man den Anteil der Kugeln erster Sorte in der Stichprobe.

Schätzfunktion Schätzwert
   

mit  : Zahl der Kugeln erster Sorte in der Stichprobe und   eine binäre Zufallsvariable: Kugel der ersten Sorte in der  -ten Ziehung gezogen ( ) oder nicht gezogen ( ).

Die Verteilung von   ist eine Binomialverteilung im Modell mit Zurücklegen und eine hypergeometrische Verteilung im Modell ohne Zurücklegen.

Verteilung der Schätzfunktionen

Bearbeiten

Die Verteilung der Schätzfunktionen hängt natürlich von der Verteilung des Merkmals in der Grundgesamtheit ab.

Seien   unabhängig und identisch normalverteilte Zufallsvariablen mit Erwartungswert   und Varianz  . Der Schätzer   (Stichprobenmittel) als lineare Transformation der   besitzt dann die Verteilung

 .

Der Varianzschätzer   enthält eine Quadratsumme von bezüglich   zentrierten normalverteilten Zufallsvariablen. Deshalb ist der Ausdruck

 

Chi-Quadrat-verteilt mit   Freiheitsgraden.

Ist die Verteilung des Merkmals unbekannt, kann bei Vorliegen der Voraussetzung des zentralen Grenzwertsatzes die Verteilung der Schätzfunktion näherungsweise mit der Normalverteilung oder einer ihrer abgeleiteten Verteilungen angegeben werden.

Gütekriterien von Schätzfunktionen

Bearbeiten
 
Wahrscheinlichkeitsdichten für die konsistenten Schätzfunktionen   ( ). Mit steigendem Stichprobenumfang wird der unbekannte Parameter   immer genauer geschätzt.

Erwartungstreue

Bearbeiten

Eine erwartungstreue Schätzfunktion ist im Mittel (Erwartungswert) gleich dem wahren Parameter  :

 .

Weicht   hingegen systematisch von   ab, ist der Schätzer verzerrt (englisch biased). Die Verzerrung eines Schätzers   errechnet sich dabei zu

 .

Für eine lediglich asymptotisch erwartungstreue Schätzfunktion dagegen muss nur gelten:

 

Konsistenz

Bearbeiten

Eine Schätzfunktion heißt konsistent, wenn für jedes   (Infinitesimalzahl) gilt:

 .

mit  . Man spricht hier von stochastischer Konvergenz.

Die Grafik illustriert den Prozess: Für jedes   müssen die ausgefüllten Flächen mit steigendem Stichprobenumfang immer kleiner werden.

Mit einfachen Worten: Eine konsistente Schätzfunktion nähert sich mit wachsendem   immer mehr dem wahren Parameter   an (schätzt den wahren Parameter immer genauer).

Konsistente Schätzfunktionen müssen daher mindestens asymptotisch erwartungstreu (s. o.) sein.

Diese Eigenschaft ist grundlegend für die gesamte induktive Statistik; sie garantiert, dass eine Erhöhung des Stichprobenumfangs genauere Schätzungen, kleinere Konfidenzintervalle oder kleinere Annahmebereiche der   in Hypothesentests ermöglicht.

Minimale Varianz, Effizienz

Bearbeiten

Die Schätzfunktion soll eine möglichst kleine Varianz haben. Die Schätzfunktion   aus allen erwartungstreuen Schätzfunktionen  , welche die kleinste Varianz hat, wird dabei als effiziente, beste oder wirksamste Schätzfunktion bezeichnet:

 .

Unter bestimmten Bedingungen kann durch die Cramér-Rao-Ungleichung auch eine untere Grenze für   angegeben werden. Das heißt, für eine Schätzfunktion kann gezeigt werden, dass es keine effizienteren Schätzfunktionen geben kann; höchstens noch genauso effiziente Schätzfunktionen.

Mittlerer quadratischer Fehler

Bearbeiten

Die Genauigkeit einer Schätzfunktion bzw. eines Schätzers wird oft durch seinen mittleren quadratischen Fehler (englisch mean squared error) ausgedrückt. Eine (dabei nicht notwendigerweise auch erwartungstreue) Schätzfunktion sollte daher stets einen möglichst kleinen mittleren quadratischen Fehler aufweisen, der sich rechnerisch als Erwartungswert der quadratischen Abweichung des Schätzers   vom wahren Parameter   bestimmen lässt:

 

Wie zu sehen, ist der mittlere quadratische Fehler eines nicht erwartungstreuen Schätzers die Summe seiner Varianz und des Quadrats der Bias (Verzerrung); für erwartungstreue Schätzer dagegen sind Varianz und MSE gleich groß.

Literatur

Bearbeiten
  • Bol'shev, Login Nikolaevich (2001) [1994], "Statistical estimator", Encyclopedia of Mathematics, EMS Press.
  • Jaynes, E. T. (2007), Probability Theory: The logic of science (5 ed.), Cambridge University Press, ISBN 978-0-521-59271-0.
  • Kosorok, Michael (2008). Introduction to Empirical Processes and Semiparametric Inference. Springer Series in Statistics. Springer. doi:10.1007/978-0-387-74978-5. ISBN 978-0-387-74978-5.
  • Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
  • Shao, Jun (1998), Mathematical Statistics, Springer, ISBN 0-387-98674-X
Bearbeiten
  • Volker Schmidt: Methoden der Statistik aus dem Vorlesungsskript Stochastik für Informatiker, Physiker, Chemiker und Wirtschaftswissenschaftler
Wikibooks: Statistik – Lern- und Lehrmaterialien

Einzelnachweise

Bearbeiten
  1. Leonhard Held und Daniel Sabanés Bové: Applied Statistical Inference: Likelihood and Bayes. Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 52.