Residuenplots

Das lineare Regressionsmodell, in seiner allgemeinen Form mit \(P\) Kovariaten, basiert auf folgenden Modellannahmen:
\[ Y_{i} = \beta_0 + \beta_1 \cdot x_{1i} + \beta_2 \cdot x_{2i} + \ldots + \beta_P \cdot x_{Pi} + \epsilon_i \qquad (i=1,\ldots ,n) \]

1. \(\epsilon_{1}, \ldots, \epsilon_{n}\) sind normalverteilt (Die Normalverteilungsannahme wird benötigt, um Standard-Tests im Regressionsmodell durchführen zu können, für die Schätzung an sich ist sie nicht erforderlich),
   

   $$E(\epsilon_{i}) = 0 $$

   $$V(\epsilon_{i}) = \sigma^{2}$$

2. \(\epsilon_{1}, \ldots, \epsilon_{n}\) sind unabhängig,
3. \( \epsilon_{i}\) und \(X_{i,p} \:(p=1, \ldots, P) \) sind unkorreliert 

Etwas weniger technisch lassen sich diese Annahmen wie folgt zusammenfassen:

Die Gültigkeit der Annahmen sollte geprüft werden.

Zunächst sollte untersucht werden, ob zwischen den metrischen unabhängigen Variablen und der abhängigen Variable überhaupt ein linearer Zusammenhang besteht. Dies lässt sich graphisch anhand von Streudiagrammen überprüfen. Andere Möglichkeit ist die sogenannte Partial Residual Plot zu benutzen. Eine lineare Zusammenhang in Form einer roten Gerade is gezeigt. Der grüner Gerade representiert die Modellierung dieser zusammenhang durch sogenannte Splines. Sollte der Zusammenhang nicht linear sein, so können eventuell die vorgestellten Transformationen genutzt werden, um den Zusammenhang zu linearisieren. 

Weiterhin wird vorausgesetzt, dass die Residuen unabhängig sind und eine konstante Varianz aufweisen (\( V(\epsilon_{i}) = \sigma^{2}\)," Homoskedastizität"). Dies kann überprüft werden, indem die geschätzten Werte der abhängigen Variablen in einem Streudiagramm gegen die Residuen gezeichnet werden (sog. Residuenplot). 

Dabei handelt es sich ebenfalls um ein Streudiagramm, in dem auf der Abszisse die geschätzten Werte der abhängigen Variablen und auf der Ordinate die geschätzten Residuen abgetragen werden. Die Punkte in dem Diagramm sollten unsystematisch streuen. Das Auftreten einer Trichterform deutet auf eine Verletzung der Annahme konstanter Varianzen („Heteroskedastizität“) hin. Ist eine Systematik in den Punkten erkennbar, so ist diese meist auf eine Verletzung der Unabhängigkeitsannahme zurückzuführen.

Die Punkte im Residuenplot sollten ohne Systematik streuen. Eine Systematik deutet auf Abhängigkeiten hin, die nicht berücksichtigt wurden. Formen die Punkte einen „Trichter“ ist dies ein Hinweis auf eine Verletzung der Annahme gleicher Varianzen. Damit man den F-Test und die t-Tests für die Parameter sinnvoll interpretieren kann, müssen die Residuen zudem normalverteilt sein. Um dies graphisch zu prüfen, können zusätzlich die Histogramm und die Normalverteilungsdiagramm untersucht werden. Der erster Output wird dann um ein Histogramm der standardisierten Residuen, dem die Dichte der Standardnormalverteilung überlagert ist, ergänzt (optional). Die Form des Histogramms sollte möglichst der der Kurve entsprechen.  Das Histogramm zeigt, dass die Verteilung der Residuen im Vergleich zu Normalverteilung eher rechtsschief ist. 

Eine weitere Möglichkeit der Kontrolle der Normalverteilungsannahme der geschätzten Residuen lässt sich unter anderem mit Hilfe eines Quantil-Quantil (Q-Q) Plot überprüfen.

Diese Diagramme überprüfen, ob die Residuen der Normalverteilungsannahme genügen. Der Q-Q Plot zeigt starke Abweichungen zwischen den Verteilungen hin. Die Punkte in kleinen und hohen Quantilen liegen über der Ausgleichslinie. Ein solcher Q-Q Plot spricht für eine linksschiefe Verteilung (positive Schiefe). Neben der graphischen Überprüfung der Normalverteilungsannahme können auch Tests auf Normalverteilung wie der Shapiro-Wilk-Test oder der Kolmogorow-Smirnov-Test durchgeführt werden. Falls die Normalverteilungsannahme nicht gegeben sein sollte, gibt es die Möglichkeit Transformationen durchzuführen. Beispielsweise ist das Einkommen häufig nicht normalverteilt, das logarithmierte Einkommen jedoch schon.