Projektionsmatrix (Statistik)

Matrix der Statistik
(Weitergeleitet von Residuenerzeugende Matrix)

In der Statistik ist eine Projektionsmatrix eine symmetrische und idempotente Matrix.[1] Weiterhin sind alle Eigenwerte einer Projektionsmatrix entweder 0 oder 1 und Rang und Spur einer Projektionsmatrix sind identisch.[2] Die einzige nichtsinguläre Projektionsmatrix ist die Einheitsmatrix. Alle anderen Projektionsmatrizen sind singulär. Die wichtigsten Projektionsmatrizen in der Statistik stellen die Prädiktionsmatrix und die residuenerzeugende Matrix bzw. Residualmatrix dar. Sie sind ein Beispiel für eine Orthogonalprojektion im Sinne der linearen Algebra, wo jeder Vektor eines Vektorraumes mit Skalarprodukt bei gegebener Projektionsmatrix in eindeutiger Weise zerlegt werden kann gemäß . Eine weitere in der Statistik wichtige Projektionsmatrix ist die zentrierende Matrix.

Ausgangslage

Bearbeiten

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten   für   statistische Einheiten und   Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

 .

In Matrixnotation auch

 

mit  . In kompakter Schreibweise

 

.

Hier stellt   einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Fehlerterme im Mittel null sind:  , was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist.

Prädiktionsmatrix

Bearbeiten

Eine der wichtigsten Projektionsmatrizen in der Statistik ist die Prädiktionsmatrix. Die Prädiktionsmatrix ist wie folgt definiert

  mit  ,

wobei   die Datenmatrix darstellt. Die Diagonalelemente der Prädiktionsmatrix   werden   genannt und können als Hebelwerte interpretiert werden.

Residuenerzeugende Matrix

Bearbeiten

Die residuenerzeugende Matrix[3] (englisch residual-maker matrix), auch Residuum-erzeugende Matrix, Residualmatrix ist wie folgt definiert

 ,

wobei P die Prädiktionsmatrix darstellt. Der Name residuenerzeugende Matrix ergibt sich dadurch, dass diese Projektionsmatrix multipliziert mit dem y-Vektor den Residualvektor   ergibt. Der kann durch die Prädiktionsmatrix kompakt wie folgt ausgedrückt werden

 .

Bei linearen Modellen sind Rang und Spur einer Projektionsmatrix identisch. Für den Rang der residuenerzeugenden Matrix gilt

 

Idempotenz

Bearbeiten

Die Idempotenzeigenschaft der residuenerzeugenden Matrix kann wie folgt gezeigt werden

 

Symmetrie

Bearbeiten

Die Symmetrie der residuenerzeugenden Matrix folgt direkt aus der Symmetrie der Prädiktionsmatrix und kann wie folgt gezeigt werden

 

Weitere Eigenschaften

Bearbeiten

Die Projektionsmatrix hat eine Fülle von nützlichen algebraischen Eigenschaften.[4][5] In der Sprache der linearen Algebra ist die Projektionsmatrix eine orthogonale Projektion auf den Spaltenraum der Datenmatrix  . Weitere Eigenschaften der Projektionsmatrizen werden im Folgenden zusammengefasst:

  •   und  
  •   ist invariant unter   :   folglich  .
  •   („Anwendung der Regression auf die Residuen liefert  “)
  •   ist eindeutig für einen bestimmten Unterraum
  • Alle Eigenwerte einer Projektionsmatrix sind entweder 0 oder 1

Anwendungen

Bearbeiten

Schätzung des Varianzparameters nach der Kleinste-Quadrate-Schätzung

Bearbeiten

Die Residuenquadratsumme, kurz SQR (Summe der Quadrate der Restabweichungen (oder: „Residuen“) bzw. englisch sum of squared residuals, kurz SSR) ergibt in Matrixschreibweise

 .

Dies kann auch geschrieben werden als

 .

Eine erwartungstreue Schätzung der Varianz der Störgrößen ist das „mittlere Residuenquadrat“:

 .

Mithilfe der residuenerzeugenden Matrix lässt sich die Varianz der Fehlerterme auch schreiben als

 .

Einzelnachweise

Bearbeiten
  1. Alexander Basilevsky: Applied Matrix Algebra in the Statistical Sciences. Dover, 2005, ISBN 0-486-44538-0, S. 160–176 (google.com).
  2. Wilhelm Caspary: Fehlertolerante Auswertung von Messdaten, ".124
  3. Peter Hackl: Einführung in die Ökonometrie. 2. aktualisierte Auflage, Pearson Deutschland GmbH, 2008., ISBN 978-3-86894-156-2, S. 75.
  4. P. Gans: Data Fitting in the Chemical Sciences. Wiley, 1992, ISBN 0-471-93412-7.
  5. N. R. Draper, H. Smith: Applied Regression Analysis. Wiley, 1998, ISBN 0-471-17082-8.