Output einer linearen Regression in R

In R kann eine lineare Regression mit der lm Funktion ausgeführt werden. Einen guten Überblick über die Ergebnisse der Schätzung bietet die summary dieser Regression. Die abhängige Variable ist das Körpergewicht (GEW) und die erklärende Variable die Körpergröße (GRO). Rechts kann das R Skript, in dem die Regression auf Grundlage der Umfragedaten_v1_an ausgeführt wird, heruntergeladen werden.

Entsprechend der Erklärungen auf der Seite ,,Das Lineare Regressionsmodell'' werden hier noch einmal die Werte aufgeführt, die in der summary einer linearen Regression in R auftauchen. 

Die Güte des Modell

2. Gelöschte Beobachtungen:

Bei fehlenden Werten in Variablen können Beobachtungen für die Modellanalyse nicht berücksichtigt werden. Im Beispiel sind dies 47 Beobachtungen.

4. Der empirische F-Wert

Der F-Wert dient zur Überprüfung der Gesamtsignifikanz des Modells. Die F-Statisik gibt den Anteil der erklärten Varianz an der unerklärten Varianz an. Dabei sind die Freiheitsgrade (siehe Anova-Block) zu berücksichtigen, die sich aus der Anzahl der Beobachtungen und der Parameter berechnet. Hier ist jedoch zu beachten, dass mit n die Zahl der Beobachtungen und mit P die Zahl der Einflußvariablen (Parameter) gemeint ist, die im Modell genutzt wurden.

$$F = \frac{MS(R)}{MS(F)} = \frac{\frac{SS(R)}{P}}{\frac{SS(F)}{(n −P −1)}}  = \frac{\frac{SS(R)}{SS(G)}/P}{\frac{SS(F)}{SS(G)}/(n −P −1)} = \frac{\frac{R^{2}}{P}}{\frac{1-R^{2}}{(n −P −1)}}  = \frac{R^{2}}{1-R^{2}} \frac{(n −P −1)}{P} $$

5. p-Wert zur F-Statistik:

Die Nullhypothese des F-Tests besagt, dass alle Koeffizienten gleich 0 sind. Hingegen ist die Alternative, dass mindestens ein Koeffizient ungleich 0 ist – es also mindestens eine Kovariate im Modell gibt, die signifikanten Einfluss auf die abhängige Variable ausübt. Die Nullhypothese wird abgelehnt, wenn der p-Wert kleiner als ein gewähltes Signifikanzniveau ist.

6. Empirisches Bestimmtheitsmaß R²

Das R²  basiert auf dem Varianzzerlegungssatz, der besagt, dass sich die Varianz der abhängigen Variablen als die Summe eines Varianzteils, der durch das Regressionsmodell erklärt wird, und der Varianz der Residuen (nicht erklärte Varianz) schreiben lässt. Das Bestimmtheitsmaß ist der Quotient aus erklärter Varianz und Gesamtvarianz. Als Anteilswert kann das R² Werte zwischen 0 und 1 annehmen.

\( R^{2} = \frac{SS(R)}{SS(G)} =  \frac{\sum_{i=1}^{n} (\hat{y}_{i} - \bar{y})^{2}}{\sum_{i=1}^{n} (y - \bar{y})^{2}} = 1 - \frac{\sum_{i=1}^{n} (y_{i} - \hat{y})^{2}}{\sum_{i=1}^{n} (y - \bar{y})^{2}}\) 

7. Korrigiertes R²

Durch das Hinzufügen einer neuen Kovariate in das Regressionsmodell kann sich das R²  nie verschlechtern. Um das inflationäre Ergänzen von nutzlosen Variablen zu sanktionieren, gibt es das sog. „adjustierte R² “. Dies zieht für jede Kovariate im Modell einen „Strafterm“ ab und wächst somit nur an, wenn Kovariaten ergänzt werden, die das Modell deutlich verbessern.

$$R^{2} =  1 - \frac{\frac{1}{n-P-1} \sum_{i=1}^{n} (y_{i} - \hat{y})^{2}}{\frac{1}{n-1} \sum_{i=1}^{n} (y - \bar{y})^{2}}$$

Schätzergebnisse

10. Erklärende oder exogene Variable:

Im Beispiel ist die Körpergröße (GRO) die erklärende Variable.

11. Geschätzte Parameter:

Bei einer linearen Einfachregression gibt es zwei geschätzte Parameter \( \beta_0\) für den Achsenabschnitt und \( \beta_1\) für die Steigung. Der Parameter \( \beta_0\) gibt den geschätzten Wert der abhängigen Variablen an, wenn alle Kovariaten gleich 0 sind, was am Schnittpunkt mit der y-Achse der Fall ist. Der Steigungsparameter gibt an, wie stark die erklärende Variable (Körpergewicht) die abhängige Variable (Körpergröße) beeinflusst.

12. Standardabweichung der Schätzung (Standardfehler, \(\hat{SF_{\beta_p}}\)):

Da die Parameter basierend auf einer Zufallsstichprobe geschätzt wurden, unterliegen diese Schätzungen einer gewissen Ungenauigkeit, die durch die Standardabweichung der Schätzung quantifiziert wird. Standardfehler werden genutzt, um statistische Signifikanz zu überprüfen und um Konfidenzintervalle zu bilden.

13. T-Statistik (empirischer T-Wert).

Mit Hilfe eines t-Tests lässt sich prüfen, ob die Nullhypothese, dass ein Koeffizient gleich 0 ist, abgelehnt werden kann. Wenn dies nicht der Fall sein sollte, ist davon auszugehen, dass die zugehörige Kovariate keinen signifikaten Einfluss auf die abhängige Variable ausübt, d.h. die erklärende Variable ist nicht sinnvoll, um die Eigenschaften der abhängigen Variablen zu erklären.

Hypothese:  \(H: \beta_p=0\) gegen \(A: \beta_p \neq 0\) mit \(p=0,1\)

Teststatistik: \(T_p = \frac{\hat{\beta_p}-0}{\hat{SF_{\beta_p}}}\) mit \(p=0,1\)

Verteilung unter H: \(T_p \sim t_{n-(p+1)}\) mit \(p=0,1\)

Testentscheidung (H ablehnen wenn): \(|T_p| > t_{n-(p+1), 1-\frac{\alpha}{2}}\) mit \(p=0,1\)

14. p-Wert zur T-Statistik:

Zusätzlich zur T-Statisik wird meistens ein p-Wert ausgegeben. Aus einer methodisch-praktisch orientierten Perspektive gibt der p-Wert das kleinste Signifikanzniveau an, zu dem die Nullhypothese  \(\beta_p=0\) gerade noch abgelehnt werden kann. Ist also das tatsächliche Signifkanzniveau \(  \alpha \), welches vor dem Test gewählt wird, geringer als der p-Wert, so kann die Nullhypothese nicht abgelehnt werden.

Der p-Wert gibt die Wahrscheinlichkeit an, dass, gegeben dass die Nullhypothese erfüllt ist, wir eine solche oder noch stärker von der Nullhypothese abweichende Teststatistik bzw Stichprobe beobachten. Das heißt er macht eine Aussage über die Wahrscheinlichkeit der Beobachtung der Stichprobe, nicht aber direkt über die Wahrscheinlichkeit der Nullhypothese selbst.

Zum p-Wert gibt es viele Missverständnisse, selbst in veröffentlichter Literatur. Aussagen wie z.b. dass "der p-Wert den Fehler 1. Art wieder gibt" bzw. "die Wahrscheinlichkeit ist, dass unsere Hypothese wahr ist, gegeben, dass der Test abgelehnt wird", sind falsch und sollten in Arbeiten vermieden werden.

Eine gute Quelle für die den richigen Umgang und ein tieferes Verständnis vom p-Wert gibt es beispielsweise hier.

Anova-Block

17. Wurzel des Mittleren Abweichungsquadrats der Residuen MS(F):

Hierbei handelt es sich um die Schätzung der Standardabweichung der Residuen des Regressionsmodells. $$\sqrt{\frac{1}{n-P-1}\sum_{i=1}^{n} (y_{i} - \hat{y}_{i} )^{2}}$$