Klassisches lineares Modell der Normalregression

stochastisches Modell

In der Statistik wird als Klassische Normalregression eine Regression bezeichnet, die zusätzlich zu den Gauß-Markov-Annahmen die Annahme der Normalverteiltheit der Störgrößen beinhaltet. Das dazugehörige Modell wird klassisches lineares Modell der Normalregression bezeichnet. Die Annahme der Normalverteilung der Störgrößen wird benötigt, um statistische Inferenz durchzuführen, d. h. sie wird benötigt, um Konfidenzintervalle berechnen zu können und um allgemeine lineare Hypothesen testen zu können. Außerdem lassen sich unter der Normalverteilungsannahme weitere Eigenschaften der KQ-Schätzung herleiten.

Ausgangslage

Bearbeiten

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten   für   statistische Einheiten. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

 .

In Matrixnotation auch

 

oder in kompakter Schreibweise

 .

Hier stellt   einen Vektor von unbekannten Parametern dar, die mithilfe der Daten geschätzt werden müssen.

Klassisches lineares Modell

Bearbeiten

Das multiple lineare Regressionsmodell

 

wird „klassisch“ genannt, wenn die folgenden Annahmen gelten

  • A1: Die Störgrößen weisen einen Erwartungswert von Null auf:  , was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist.
  • A2: Die Störgrößen sind unkorreliert:   und weisen eine homogene Varianz auf. Beides zusammen ergibt:  
  • A3: Die Datenmatrix ist nichtstochastisch und hat vollen Spaltenrang  

Die Annahmen A1–A3 lassen sich zusammenfassen als  . Statt die Varianzen und Kovarianzen der Störgrößen einzeln zu betrachten, werden diese in folgender Varianz-Kovarianzmatrix zusammengefasst:

 

Somit gilt für  

  mit  .

Wenn zusätzlich zum o. g. klassischen linearen Regressionsmodell (kurz: KLRM) oder auch Standardmodell der linearen Regression genannt, die Annahme der Normalverteiltheit der Störgrößen gefordert wird, dann spricht man vom klassischen linearen Modell der Normalregression. Dies ist dann gegeben durch

  mit  .

Maximum-Likelihood-Schätzung

Bearbeiten

Schätzung des Steigungsparameters

Bearbeiten

Der unbekannte Varianzparameter einer Grundgesamtheit und der Steigungsparameter des normal linearen Modells lassen sich mithilfe der Maximum-Likelihood-Methode schätzen. Dazu wird zunächst die einzelne Wahrscheinlichkeitsdichte des Fehlervektors, der einer Normalverteilung folgt, benötigt. Sie lautet:

 , wobei   darstellt.

Da sich die Störgröße auch als   darstellen lässt, kann man die einzelne Dichte auch schreiben als

 .

Aufgrund der Unabhängigkeitsannahme lässt sich die gemeinsame Wahrscheinlichkeitsdichte   als Produkt der einzelnen Randdichten   darstellen. Die gemeinsame Dichte   lautet bei unterstellter stochastischer Unabhängigkeit dann

 

Die gemeinsame Dichte lässt sich auch schreiben als:

 

Da wir uns nun nicht für ein bestimmtes Ergebnis bei gegebenen Parametern interessieren, sondern diejenigen Parameter suchen, die am besten zu unseren Daten passen, denen also die größte Plausibilität zugeordnet wird, dass sie den wahren Parametern entsprechen, lässt sich nun die Likelihood-Funktion als gemeinsame Wahrscheinlichkeitsdichte in Abhängigkeit von den Parametern formulieren.

 

Durch logarithmieren der Likelihood-Funktion ergibt sich die logarithmische Likelihood-Funktion (auch logarithmische Plausibilitätsfunktion genannt) in Abhängigkeit von den Parametern:

 

Diese Funktion gilt es nun bzgl. der Parameter zu maximieren. Es ergibt sich also folgendes Maximierungsproblem:

 
 

Die beiden Score-Funktionen lauten:

 
 

Beim partiellen Ableiten wird ersichtlich, dass der Ausdruck

 

bereits aus der Herleitung des Kleinste-Quadrate-Schätzer bekannt ist (Schätzung des Parametervektors mit der Kleinste-Quadrate-Schätzung). Somit reduziert sich das Maximum-Likelihood-Optimierungsproblem auf das Kleinste-Quadrate-Optimierungsproblem. Daraus folgt, dass der Kleinste-Quadrate-Schätzer (kurz KQS) dem ML-Schätzer (kurz MLS) entspricht:

 

Für die Schätzung der Parameter ergibt sich also durch diese weitere Annahme (Normalverteilungsannahme) kein Unterschied. Wenn die Störgrößen normalverteilt sind, ist   Maximum-Likelihood-Schätzer und nach dem Satz von Lehmann-Scheffé bester erwartungstreuer Schätzer (best unbiased estimatorBUE). Als Konsequenz der Gleichheit von KQ- und Maximum-Likelihood-Schätzer ergibt sich, dass auch die KQ- und die ML-Residuen gleich sein müssen

 

Schätzung des Varianzparameters

Bearbeiten

Der Maximum-Likelihood-Schätzer für die Varianz, der sich auch aus der zweiten partiellen Ableitung und dem Umstand   ergibt, lautet:

 

Der ML-Schätzer ergibt sich als durchschnittliche Residuenquadratsumme. Allerdings erfüllt der Schätzer nicht gängige Qualitätskriterien für Punktschätzer, da er keine erwartungstreue Schätzung der Varianz der Störgrößen darstellt. Der Wert der logarithmischen Plausibilitätsfunktion, bewertet an der Stelle der geschätzten Parameter:

 [1]

Verallgemeinerung

Bearbeiten

Während man im klassischen linearen Modellen der Normalregression annimmt, dass die Störgröße (die unbeobachtbare Zufallskomponente) normalverteilt ist, kann die Störgröße in verallgemeinerten linearen Modellen eine Verteilung aus der Klasse der Exponentialfamilie besitzen.

Einzelnachweise

Bearbeiten
  1. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0471624141, second edition 1988, S. 221 ff.

Literatur

Bearbeiten