ARMA-Modell

ARMA-Modelle (ARMA, Akronym für: AutoRegressive-Moving Average, deutsch autoregressiver gleitender Durchschnitt, oder autoregressiver gleitender Mittelwert) bzw. autoregressive Modelle der gleitenden Mittel und deren Erweiterungen (ARMAX-Modelle und ARIMA-Modelle) sind lineare, zeitdiskrete Modelle für stochastische Prozesse. Sie werden zur statistischen Analyse von Zeitreihen besonders in den Wirtschafts-, Sozial- und Ingenieurwissenschaften eingesetzt. Die Spezifikation, Schätzung, Validierung und praktische Anwendung von ARMA-Modellen werden im Box-Jenkins-Ansatz behandelt. Als wichtigste Anwendung gilt die kurzfristige Vorhersage. Diese Modelle haben die Form von linearen Differenzengleichungen und dienen dazu, lineare stochastische Prozesse abzubilden bzw. komplexere Prozesse zu approximieren.

Mathematische Darstellung

Fließen in ein ARMA-Modell sowohl vergangene Rauschterme als auch vergangene Werte der Zeitreihe selbst ein, spricht man auch von einem gemischten ARMA-Modell. Sind es nur aktuelle und vergangene Rauschterme, handelt es sich um ein (reines) Moving-Average- oder MA-Modell. Wenn neben dem aktuellen Rauschterm nur vergangene Werte der Zeitreihe selbst einfließen, handelt es sich um ein (reines) autoregressives oder AR-Modell.

Moving-Average- oder MA-Modell

y_{t}=c+\varepsilon _{t}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}

Das zu modellierende Signal $y_{t}$ ist durch ein gewichtetes, gleitendes Mittel (Moving Average) von Rauschtermen $\varepsilon _{t-j},j=1,...,q,$ in der aktuellen und den $q$ Vorperioden sowie einer Konstanten $c$ gegeben. Die sogenannten MA-Koeffizienten $b_{j},j=1,\ldots ,q,$ geben an, mit welchem Gewicht der Rauschterm in das Signal einfließt.

Bezüglich der Rauschterme $\varepsilon _{t}$ wird angenommen, dass sie zeitlich voneinander unabhängig und identisch (meist Gauß-)verteilt sind, mit Erwartungswert 0 und der Varianz $0<\sigma ^{2}<\infty$ .

Autoregressives oder AR-Modell

y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}

Das Signal setzt sich aus einer Konstanten, einem Rauschterm und einem gewichteten, gleitenden Mittel der $p$ vorhergehenden Signalwerte zusammen, wobei die AR-Koeffizienten $a_{i},i=1,\ldots ,p,$ die Gewichte sind.

ARMA-Modell

y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}

Dieses Modell wird auch als ARMA(p, q)-Modell bezeichnet, wobei p und q, jeweils die autoregressive und die Moving-Average-Ordnung des Prozesses angeben. Reine AR(p)- bzw. MA(q)-Modelle sind also spezielle ARMA-Modelle mit q=0 bzw. p=0.

Mit Hilfe des sogenannten Verschiebungs- oder Lag-Operators $L$ (von lag, „Zeitverschiebung“)

L^{d}x_{t}=x_{t-d}

schreibt man kürzer auch

a(L)y_{t}=c+b(L)\varepsilon _{t}

wobei $a(\cdot )$ und $b(\cdot )$ jeweils Polynome (der Grade p und q) sind

a(x)=1-a_{1}x-\cdots -a_{p}x^{p}

,

b(x)=1+b_{1}x+\cdots +b_{q}x^{q}

.

Alternative Darstellungen

Reine MA-Darstellung

Haben $a$ und $b$ keine gemeinsamen Nullstellen, so kann man einen ARMA-Prozess genau dann als einen MA( $\infty$ )-Prozesses auszudrücken, wenn $|z|>1$ für alle Nullstellen $z\in \mathbb {C}$ von $a$ . Das heißt, unter diesen Voraussetzungen hat der Prozess eine Darstellung der Form

y_{t}={\frac {c}{a(L)}}+{\frac {b(L)}{a(L)}}\varepsilon _{t}=\mu +\sum _{j=0}^{\infty }c_{j}\varepsilon _{t-j}

wobei der Erwartungswert von $y_{t}$ durch $\mu =c/a(L)$ und die Koeffizienten der reinen MA-Darstellung $c_{j}$ durch das Polynom $c(L)=b(L)/a(L)$ gegeben sind.

Reine AR-Darstellung

Analog zur reinen MA-Darstellung ist die reine AR-Darstellung. Sie erfordert, dass der Prozess invertierbar ist, also die Nullstellen des MA-Polynoms $b(L)$ größer eins sind. Dann gilt

d(L)y_{t}={\frac {a(L)}{b(L)}}y_{t}={\frac {c}{b(L)}}+\varepsilon _{t}

bzw.

y_{t}=\nu +\varepsilon _{t}+\sum _{j=1}^{\infty }d_{j}y_{t-j}

Spezialfälle

Weißes Rauschen

Einen ARMA(0,0)-Prozess $y_{t}=c+\varepsilon _{t}$ , wobei es sich bei $y_{t}$ um den Rauschterm (möglicherweise plus einer Konstanten) handelt, nennt man Weißes Rauschen.

Random Walk

Ein Random Walk ist ein AR-Prozess erster Ordnung (p=1), bei dem der AR-Koeffizient den Wert 1 hat, also

y_{t}=c+y_{t-1}+\varepsilon _{t}

Gilt für die Konstante $c\neq 0$ , dann spricht man auch von einem Random Walk mit Drift, andernfalls von einem Random Walk ohne Drift. Ein Random Walk ist stets integriert von der Ordnung 1.

Modellierung

Die ARMA-Modellierung folgt in der Praxis meist der Box-Jenkins-Methode, die aus den Schritten Modellidentifikation, -schätzung, -validierung und -anwendung besteht.

Identifikation

Ziel der Identifikation ist es, die ARMA-Spezifikationsparameter d, p und q zu bestimmen. Zur Bestimmung von d, der notwendigen Differenzenordnung, können Einheitswurzeltests verwendet werden. Für die ARMA-Ordnungen p und q werden häufig die Autokorrelationsfunktion (AKF) und die partielle Autokorrelationsfunktion herangezogen sowie Kriterien zur Modellselektion, wie das Akaike-Informationskriterium oder das bayessche Informationskriterium.

Schätzung

Die Schätzung der Modellparameter erfolgt meist durch Maximum-Likelihood-Schätzung oder Kleinste-Quadrate-Schätzung. Im Fall von reinen AR-Modellen ist der Kleinste-Quadrate-Schätzer ein linearer Schätzer; ansonsten ist eine nichtlineare Kleinste-Quadrate-Schätzung erforderlich.

Validierung

Um die Geeignetheit eines geschätzten Modells zu beurteilen, können verschiedene Kriterien herangezogen werden. In der Regel wird geprüft, ob die Residuen, also die geschätzten $\varepsilon _{t}$ unkorreliert sind und sich wie weißes Rauschen verhalten. Darüber hinaus kann auch die Prognosegüte evaluiert werden. Erscheint ein Modell nicht adäquat, kann ein erneutes Durchlaufen des Identifikations- und Schätzschrittes ggf. Abhilfe schaffen.

Anwendung

Nach erfolgreicher Validierung kann die Modellanwendung betrieben werden. Häufig ist das die Kurzfristprognose. Eine Einschritt-Prognose erhält man zum Beispiel, indem man die Differenzengleichung des geschätzten ARMA-Modells eine Periode in die Zukunft schiebt und den bedingten Erwartungswert berechnet. Für Mehrschritt-Prognosen kann dies rekursiv wiederholt werden.

Erweiterungen

ARMA-Modelle werden in Anwendungen typischerweise als Modelle für stationäre stochastische Prozesse und von diesen erzeugten Zeitreihen verwendet. Verschiedene Erweiterungen dienen der Modellierung nicht-stationärer stochastischer Prozesse oder multivariater stochastischer Prozesse. Stationarität bedeutet in diesem Zusammenhang, dass Erwartungswert und Varianz zeitunabhängig sind.

ARIMA-Modell

Bei nicht-stationären Zeitreihen kann unter Umständen durch Differenzenbildung Stationarität induziert werden. Die erste Differenz von $y_{t}$ ist durch $\Delta y_{t}=y_{t}-y_{t-1}$ definiert, wobei $\Delta =1-L$ der sogenannte Differenzen-Operator ist. Modelliert man nicht $y_{t}$ , sondern die d-te Differenz $\Delta ^{d}y_{t}$ als ARMA(p, q)-Modell, dann spricht man von einem integrierten ARMA-Modell der Ordnungen p, d, und q, oder kurz: einem ARIMA(p,d,q)-Modell. Werte für die ursprüngliche, undifferenzierte Zeitreihe erhält man durch d-faches Integrieren („Anti-Differenzenbildung“) von $\Delta ^{d}y_{t}$ .

ARMAX-Modell

Werden eine oder mehrere exogene Variablen benötigt, um die Zeitreihe $y_{t}$ zu modellieren, dann spricht man von einem ARMAX-Modell. Im Falle einer exogenen Variable $x_{t}$ gilt dann:

a(L)y_{t}=c+b(L)\varepsilon _{t}+e(L)x_{t}

wobei das Polynom $e(L)$ die Lag-Struktur beschreibt, mit der die exogene Variable $x_{t}$ die zu erklärende Variable $y_{t}$ beeinflusst.

Saisonale ARMA- und ARIMA-Modelle

In Wirtschafts- aber auch anderen Zeitreihen treten häufig saisonale Effekte auf. Beispiele sind monatliche Arbeitslosenzahlen, quartalsweise Einzelhandelsumsätze etc. Um diese zu berücksichtigen, können zusätzlich saisonale AR- bzw. MA-Komponenten spezifiziert werden. Liegen Daten mit einer saisonalen Spanne $s$ (z. B. $s=12$ für Monatsdaten und $s=4$ für Quartalsdaten) vor, dann hat das saisonale ARMA-Modell die Form

a_{S}(L^{s})a(L)y_{t}=c+b_{S}(L^{s})b(L)\varepsilon _{t}

wobei

a_{S}(L^{s})=1-a_{S,1}L^{s}-\cdots -a_{S,P}L^{Ps}

das saisonale AR-Polynom der Ordnung $P$ ist und

b_{S}(L^{s})=b_{S,0}+b_{S,1}L^{s}+\cdots +b_{S,Q}L^{Qs}

das saisonale MA-Polynom der Ordnung $Q$ .

In Kurzform: ${\text{ARMA}}(p,q){\text{x}}(P,Q,s)$ . Die Kombination von ARIMA-Modellen mit saisonalen Modellen führt zu SARIMA-Modellen.

VARMA-Modell

VARMA-Modelle sind eine mehrdimensionale Verallgemeinerung der ARMA-Modelle. VAR-Modelle sind lineare, zeitdiskrete Modelle für stochastische Prozesse mit $N$ endogenen Variablen: Jede Variable hängt von $p$ vorhergehenden Signalwerte zusammen ab. VMA-Modelle sind die Verallgemeinerung von MA-Modellen und sie sind nützlich für Impuls-Antwort-Funktion-Analyse. Ein VAR-Modell (Ordnung $p$ ) ist

{\vec {y}}_{t}={\vec {c}}+{\vec {u}}_{t}+\sum _{i=1}^{p}A_{i}{\vec {y}}_{t-i}

mit ${\vec {c}}$ als einem konstanten Vektor, ${\vec {u}}_{t}$ als einem Vektor aus weißem Rauschen und $A_{1},A_{2},\dotsc ,A_{p}$ als $(N\times N)$ -Matrizen.

Die Erweiterung eines ARMA-Modells durch beobachtbare exogene Variablen führt zu VARMAX-Modellen.

Siehe auch

Literatur

G. E. P. Box, G. M. Jenkins: Time series analysis: Forecasting and control. Holden-Day, San Francisco 1970.
R. McCleary, R. A. Hay: Applied Time Series Analysis for the Social Sciences. Sage Publications, Beverly Hills 1986.
James D. Hamilton: Time Series Analysis. Princeton University Press, Princeton 1994.
W. Enders: Applied Econometic Time Series. John Wiley & Sons, 1995.
Terence C. Mills: The Econometric Modelling of Financial Time Series. 2nd Edition, Cambridge University Press, 1999.
Ruey S. Tsay: Analysis of Financial Time Series. 2. Auflage. Wiley Series in Prob. and Statistics, 2005.
W. Stier: Methoden der Zeitreihenanalyse. Springer, 2001.
M. Guidolin, M. Pedio: Essentials of Time Series for Financial Applications. Academic Press, 2018.