Median-Regression

Die Methode der kleinsten absoluten Abweichungen, auch Median-Regression, stellt ein robustes Schätzverfahren dar, um unbekannte Parameter einer linearen Regression zu schätzen. Solch ein Schätzer wird Kleinste-Absolute-Abweichungen-Schätzer (engl. least absolute deviations estimator, LAD) genannt. Bei dieser Methode wird die Summe der absoluten Abweichungen minimiert, im Unterschied zur Methode der kleinsten Quadrate, bei der die Summe der quadrierten Abweichungen minimiert wird. Die Median-Regression ist ein Spezialfall der Quantilsregression, bei der im Allgemeinen die Beträge der positiven und negativen Abweichungen unterschiedlich gewichtet werden; bei Gleichgewichtung ergibt sich die Median-Regression.

Geschichte

Die Methode der kleinsten absoluten Abweichungen ist historisch gesehen älter als die Methode der kleinsten Quadrate. Sie wurde zuerst um 1760 von Rugjer Josip Bošković (1711–1787) vorgeschlagen.^[1] In moderner Terminologie wird dieser Ansatz als Median-Regression bezeichnet, da in einem stochastischen Regressionsmodell das Resultat der Minimierung zu einem Schätzer für den Median der abhängigen Variablen bei gegebenen Werten der unabhängigen Variablen führt.^[1] Die Median-Regression ist ein Spezialfall der Quantilsregression^[2], wobei der Median das bei der Quantilsregression verwendete Quantil ist.

Verfahren

Statt die Summe der quadrierten Abweichung zu minimieren, wird die Summe der absoluten Abweichungen

\sum _{i=1}^{n}\left|y_{i}-\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}\right|

bzgl. ${\boldsymbol {\beta }}\in \mathbb {R} ^{K}$ minimiert. Dabei bezeichnet $n$ die Anzahl der Beobachtungen und $K$ die Anzahl der Regressionskoeffizienten, die im $(K\times 1)$ -Vektor ${\boldsymbol {\beta }}=(\beta _{1},\ldots ,\beta _{K})^{\top }$ zusammengefasst sind. Die Werte des Regressanden (der erklärten Variablen) sind $y_{1},\dots ,y_{n}$ und die $(K\times 1)$ -Vektoren $\mathbf {x} _{i}=(x_{i1},\dots ,x_{iK})^{\top }$ für $i=1,\dots ,n$ enthalten die Werte der Regressoren (der erklärenden Variablen). Im Fall $x_{i1}=1$ für $i=1,\dots ,n$ liegt eine Regression mit Absolutglied vor.

Eine Minimalstelle ${\hat {\boldsymbol {\beta }}}$ , d. h. ein Vektor

{\hat {\boldsymbol {\beta }}}=\arg \min _{\boldsymbol {\beta }}\sum _{i=1}^{n}\left|y_{i}-\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}\right|

,

ist ein geschätzter Parametervektor.

Das Minimierungsproblem kann als Aufgabe der linearen Programmierung formuliert werden und bspw. mit dem Simplex-Verfahren gelöst werden.

Beispiel und einfachster Spezialfall

Der einfachste Spezialfall ergibt sich für $K=1$ , $\theta =\beta _{1}$ und einen konstanten Regressor mit $x_{i1}=1$ für $i=1,\dots ,n$ . Die Minimierung von $\sum _{i=1}^{n}(y_{i}-\theta )^{2}$ bzgl. $\theta$ für fixierte y-Werte, d. h. die Anwendung der Methode der kleinsten Quadrate, führt dann zur Minimalstelle

{\bar {y}}=\arg \min _{\theta \in \mathbb {R} }\sum _{t=1}^{n}(y_{i}-\theta )^{2}\;,

d. h. zum arithmetischen Mittelwert der y-Werte. Die Minimierung von $\sum _{i=1}^{n}|y_{i}-\theta |$ bzgl. $\theta$ für fixierte y-Werte führt dazu, dass jeder Median ${\tilde {y}}$ der y-Werte eine Minimalstelle ist, also

{\tilde {y}}=\arg \min _{\theta \in \mathbb {R} }\sum _{i=1}^{n}|y_{i}-\theta |\;

erfüllt. Ein Median ist in diesem Zusammenhang jede Stelle ${\tilde {y}}\in \mathbb {R}$ , für die zugleich

{\frac {|\{i\in \{1,\dots ,n\}\mid y_{i}\geq {\tilde {y}}\}|}{n}}\geq 1/2\quad {\text{und}}\quad {\frac {|\{i\in \{1,\dots ,n\}\mid y_{i}\leq {\tilde {y}}\}|}{n}}\geq 1/2

gilt. Beispielsweise ist für $n=4$ und $y_{1}=1,y_{2}=2,y_{3}=3,y_{4}=4$ jeder Wert im Intervall $[2,3]$ ein Median. Im Unterschied zur Methode der kleinsten Quadrate ist bei der Minimierung der absoluten Abstände die Eindeutigkeit der Minimalstelle nicht garantiert.

Literatur

Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian D. Marx: Regression – Models, Methods and Applications. Springer, Berlin / Heidelberg 2013, ISBN 978-3-642-34332-2, doi:10.1007/978-3-642-34333-9 (E-Book-ISBN 978-3-642-34333-9).

Einzelnachweise

↑ ^a ^b Ludwig Fahrmeir et al.: Regression: Models, Methods and Applications. 2013, S. 105.
↑ Ludwig Fahrmeir et al.: Regression: Models, Methods and Applications. 2013, Kapitel 10: Quantile Regression.

[FKSM-1] Ludwig Fahrmeir et al.: Regression: Models, Methods and Applications. 2013, S. 105.

[2] Ludwig Fahrmeir et al.: Regression: Models, Methods and Applications. 2013, Kapitel 10: Quantile Regression.

[1]

[2]