- Angelegt von Ann-Kristin Kreutzmann, zuletzt geändert am 30.11.2015
Sie zeigen eine alte Version dieser Seite an. Zeigen Sie die aktuelle Version an.
Unterschiede anzeigen Seitenhistorie anzeigen
« Vorherige Version anzeigen Version 123 Nächste Version anzeigen »
In vielen Fragestellungen ist der Zusammenhang zwischen zwei Variablen X und Y oder mehreren Variablen z.B. X1, X2 und Y von Interesse wie z.B.
- steigt der Konsum von Eis mit der Temperatur
- haben Männer ein höheres Einkommen als Frauen oder
- ist das Einkommen höher mit besserer Bildung und mehr Berufserfahrung
Diese Zusammenhänge können anhand von Funktionen beschrieben werden, die unterschiedliche Formen annehmen können. Die einfachste Form ist der lineare Zusammenhang. Dabei erklärt die Variable X oder mehrere Variablen die Eigenschaften der abhängigen Variable Y. Im Folgenden soll darauf eingegangen werden, wie man die Form der Funktion erkennt und wie man im Falle eines linearen Zusammenhangs diesen adäquat beschreiben kann. Dabei werden Lösungswege in den vier Statistikprogrammen R, SAS, SPSS und Stata zur Verfügung gestellt. Die lineare Regression wird hier beispielhaft erläutert werden, sodass für eine theoretischere Einführung auf Kapitel 19 aus dem Buch Einführung in die Statistik: Analyse und Modellierung von Daten von Rainer Schlittgen sowie Wikipedia - Lineare Regression verwiesen wird.
Inhaltsverzeichnis
Variablen und deren Zusammenhang
Auch wenn es plausibel erscheint, dass der Zusammenhang zwischen zwei Variablen linear ist, geht jeder Regression voraus, den Zusammenhang aus den gegebenen Daten zu erkennen. Dafür ist auch das Skalenniveau der Variablen relevant, um eine sinnvolle Abbildung zu bekommen. Bei einer Regression, in der eine Variable X eine Variable Y erklärt, gibt es die Möglichkeiten, dass X metrisch oder kategorial ist ebenso wie Y metrisch oder kategorial sein kann.
Für das erste Beispiel sind sowohl die erklärende Variable X, als auch die abhängige Variable Y metrisch.
Einführung in das Bespiel: Körpergewicht und Körpergröße Die Variablen, anhand derer hier der Zusammenhang zweier metrischer Variablen erklärt werden soll, sind das Körpergewicht und die Körpergröße. Die Variablen entstammen dem Datensatz Umfragedaten. Das Körpergewicht wird in kg und die Körpergröße in cm gemessen. Meistens unterliegt einer statistischen Fragestellung eine theoretische Hypothese. In diesem Beispiel soll folgende Hypothese überprüft werden: Hypothese: Das Körpergewicht steigt mit zunehmender Körpergröße. |
---|
Für einen ersten Überblick über die beiden Variablen bieten sich für das entsprechende Skalenniveau passende Maße an. Bei metrischen Variablen können dies z.B. der Mittelwert oder der Median sowie das Minumum und das Maximum sein. In diesem Beispiel liegt das durchschnittliche Körpergewicht bei ca. 78kg und die Körpergröße im Schnitt bei ca. 172cm (siehe Abschnitt 1 in den Beispielcodes).
Zur Überprüfung der Hypothese reichen jedoch keine Informationen über die einzelnen Variablen, sondern es soll ein Zusammenhang zwischen diesen beiden herausgestellt werden. Eine einfache Methode ist die Variablen in einem Streudiagramm darzustellen, in denen jeweils eine Kovariate gegen die abhängige Variable abgebildet wird. Da hier das Körpergewicht mit Hilfe der Körpergröße erklärt werden soll, wird das Körpergewicht auf der Y-Achse und die Körpergröße auf der X-Achse abgebildet (siehe Abschnitt 2.1. in den Beispielcodes).
Streudiagramme
Streudiagramm
Diese Streudiagramme bilden die Wertepaare (GRO,GEW) des Datensatzes Umfragedaten ab. Das rechte Streudiagramm berücksichtigt im Vergleich zum linken Streudiagramm, dass einige Wertepaare häufiger Vorkommen als andere. Beide Streudiagramme wurden erstellt mit der Software Stata.
Output einer linearen Regression
\(x_i\) : unabhängige Variable
\(y_i\) : abhängige Variable
Formulierung eines linearen Modells: \(y_{i}= \beta_0 + \beta _{1}x_i\)
Bei Gültigkeit dieser strikten Beziehung müssten alle Beobachtungen im Streudiagramm auf einer Geraden mit dem Achsenabschnitt \(\beta_0\) und der Steigung \(\beta_1\) liegen.
Für die Praxis muss das Modell erweitert werden. Der zusätzliche Term \(\epsilon_i\) beschreibt die Abweichung (Fehler) der abhängigen Variable von der Geraden: \(y_{i}= \beta_0 + \beta _{1}x_i + \epsilon_i\)
Hier soll der Zusammenhang zwischen Körpergröße in cm und dem Körpergewicht in kg erklärt werden: Model: \(GEW_i = \beta_0 + \beta_1 \cdot GRO_i + \epsilon_i\) |
---|
Die Güte des Modell
1. Gesamtzahl an Beobachtungen: Die gesamte Anzahl an Beobachtungen im Datensatz entspricht der Anzahl an Zeilen. Diese wird häufig mit n gekennzeichnet. Im Umfragedatensatz gibt es insgesamt 3471 Beobachtungen.
2. Gelöschte Beobachtungen: Bei fehlenden Werten in Variablen können Beobachtungen für die Modellanalyse nicht berücksichtigt werden. Im Beispiel sind dies 52 Beobachtungen.
3. Zahl der Beobachtungen: Hiermit ist die Zahl der Beobachtungen gemeint, die zur Anpassung des Modell genutzt wird. Das bedeutet, dass diese Anzahl sich aus der Differenz der Gesamtzahl an Beobachtungen und den gelöschten Beobachtungen auf Grund von fehlenden Werten in den gewünschten Variablen ergibt. In dem Modell wurden 3419 Beobachtungen genutzt.
4. Der empirische F-Wert dient zur Überprüfung der Gesamtsignifikanz des Modells. Die F-Statisik gibt den Anteil der erklärten Varianz an der unerklärten Varianz an. Dabei sind die Freiheitsgrade (siehe Anova-Block) zu berücksichtigen, die sich aus der Anzahl der Beobachtungen und der Parameter berechnet. Hier ist jedoch zu beachten, dass mit n die Zahl der Beobachtungen und mit p die Zahl der Einflußvariablen (Parameter) gemeint ist, die auch im Modell genutzt wurden.
$$F = \frac{MS(R)}{MS(F)} = \frac{\frac{SS(R)}{p}}{\frac{SS(F)}{(n −p −1)}} = \frac{\frac{SS(R)}{SS(G)}/p}{\frac{SS(F)}{SS(G)}/(n −p −1)} = \frac{\frac{R^{2}}{p}}{\frac{1-R^{2}}{(n −p −1)}} = \frac{R^{2}}{1-R^{2}} \frac{(n −p −1)}{p} $$
Berechnung der F-Statisik für das Beispiel Körpergewicht-Körpergröße: Die F-Statisik kann über zwei verschiedene Wege berechnet werden. Entweder nutzt man die Mean Squares (MS) bzw. die Sum of Squares (SS) oder das R-Quadrat. Hier sollen einmal beide Wege beispielhaft gezeigt werden.
|
---|
5. p-Wert zur F-Statistik:
Die Nullhypothese des F-Tests besagt, dass alle Koeffizienten
gleich 0 sind. Hingegen ist die Alternative, dass mindestens ein Koeffizient ungleich 0 ist – es also mindestens eine Kovariate im Modell gibt, die signifikanten Einfluss auf die abhängige Variable ausübt. Die Nullhypothese wird abgelehnt, wenn der p-Wert kleiner als ein gewähltes Signifikanzniveau ist.
Interpretation im Beispiel Körpergewicht-Körpergröße: Der p-Wert für das Regressionsmodell liegt bei 0.0000 und ist somit kleiner als ein Signifikanzniveau α = 0,05. Daher kann die Nullhypothese des F-Tests, dass alle Koeffizienten gemeinsam gleich 0 sind, abgelehnt werden. |
---|
6. Empirisches Bestimmtheitsmaß R²
Das R² basiert auf dem Varianzzerlegungssatz, der besagt, dass sich die Varianz der abhängigen Variablen als die Summe eines Varianzteils, der durch das Regressionsmodell erklärt wird und der Varianz der Residuen (nicht erklärte Varianz) schreiben lässt. Das Bestimmtheitsmaß ist der Quotient aus erklärter Varianz und Gesamtvarianz. Als Anteilswert kann das R² Werte zwischen 0 und 1 annehmen.
$$R^{2} = \frac{SS(R)}{SS(G)} = \frac{\sum_{i=1}^{n} (\hat{y}_{i} - \bar{y})^{2}}{\sum_{i=1}^{n} (y - \bar{y})^{2}} = 1 - \frac{\sum_{i=1}^{n} (y_{i} - \hat{y})^{2}}{\sum_{i=1}^{n} (y - \bar{y})^{2}}$$
Berechnung und Interpretation des Bestimmtheitsmaßes für das Beispiel Körpergewicht-Körpergröße: $$R^{2} = \frac{281419,069}{940321,433} = 1- \frac{658902,363}{940321,433} = 0.2993$$
Ein \(R^{2}\) von 0.2993 bedeutet, dass 29.93% der Varianz in Gewicht durch das Modell erklärt werden können. |
---|
Die Einschätzung der Höhe des Bestimmheitsmaß hängt oft vom Anwendungsfeld ab. Zur Beurteilung des eigenen Modells ist daher der Vergleich mit anderen Studien (im gleichen Feld) unerlässlich.
7. Korrigiertes R²
Durch das Hinzufügen einer neuen Kovariaten in das Regressionsmodell kann sich das R² nie verschlechtern. Um das inflationäre Ergänzen von nutzlosen Variablen zu sanktionieren, gibt es das sog. „adjustierte R²“. Dies zieht für jede Kovariate im Modell einen „Strafterm“ ab und wächst somit nur an, wenn Kovariaten ergänzt werden, die das Modell deutlich verbessern.
$$R^{2} = 1 - \frac{\frac{1}{n-p-1} \sum_{i=1}^{n} (y_{i} - \hat{y})^{2}}{\frac{1}{n-1} \sum_{i=1}^{n} (y - \bar{y})^{2}}$$
Berechnung des korrigierten Bestimmtheitsmaßes für das Beispiel Körpergewicht-Körpergröße: $$R^{2} = 1 - \frac{\frac{1}{-p-1} \sum_{i=1}^{n} (y_{i} - \hat{y})^{2}}{\frac{1}{n-1} \sum_{i=1}^{n} (y - \bar{y})^{2}}$$ |
---|
8. Standardfehler des Schätzers. Das ist die Wurzel der mittleren Abweichungsquadrate des Modells aus dem Anova-Block und bescreibt die standard Abweichung der Beobachtungen von Prognosewerte:
\(\sqrt{MS(F)}\)
Schätzergebnisse
9. Abhängige oder endogene Variable: Im Beispiel ist das Körpergewicht (GEW) die abhänige Variable.
10. Erklärende oder exogene Variable: Im Beispiel ist die Körpergröße (GRO) die erklärende Variable.
11. geschätzte Parameter: Bei einer linearen Einfachregression gibt es zwei geschätzte Parameter \( \beta_0\) für Konstante und \( \beta_1\) für Körpergröße. Einen Achsenabschnitt, der der Parameter für die Konstante ist. Dieser Parameter gibt den geschätzten Wert der abhängigen Variablen an, wenn alle Kovariaten gleich 0 sind und auf dem Graph ist die Höhe von y-Axenabschnitt. Der zweite Parameter ist ein Steigungsparameter, der angibt, wie stark die erklärende Variable die abhängige Variable beeinflusst.
Schätzung im Beispiel Körpergewicht-Körpergröße: \(\hat{GEW}_i = -88.3726 + .9643 \cdot GRO_{i}\) Interpretation der Parameter: Der Parameter für die Konstante entspricht -88,37256. Das bedeutet, dass bei einer Körpergröße von 0 cm das geschätzte Körpergewicht bei ca. -88 kg liegen würde. Dies macht natürlich keinen Sinn, weil eine Körpergröße von 0 cm unplausibel ist. Dem Überblick über die Variable Körpergröße kann man entnehmen, dass die kleinste Person eine Körpergröße von 143 cm angegeben hat. Der Steigungsparameter entspricht .9643048. Das bedeutet, dass pro Centimeter das Gewicht um ca. 0,96 kg steigt. |
---|
12. Standardabweichung der Schätzung (Standardfehler, \(\hat{SF_{\beta_j}}\)). Da die Parameter basierend auf einer Zufallsstichprobe geschätzt wurden, unterliegen diese Schätzungen einer gewissen Ungenauigkeit, die durch die Standardabweichung der Schätzung quantifiziert wird. Standardfehler sind genutz, um statistische Signifikanz zu überprüfen und um Konfidenzintervale zu bilden.
13. T-Statistik (empirischer T-Wert). Mit Hilfe eines t-Tests lässt sich prüfen, ob die Nullypothese, dass ein Koeffizient gleich 0 ist, abgelehnt werden kann. Wenn dies nicht der Fall sein sollte, ist davon auszugehen, dass die zugehörige Kovariate keinen signifikaten Einfluss auf die abhängige Variable ausübt.
Hypothese: \(H: \beta_p=0\) gegen \(A: \beta_p \neq 0\)
Teststatistik: \(T_p = \frac{\hat{\beta_p}-0}{\hat{SF_{\beta_p}}}\)
Verteilung unter H: \(T \sim t_{n-(p+1)}\)
Testentscheidung (H ablehnen wenn): \(|T_p| > t_{n-(p+1), 1-\frac{\alpha}{2}}\)
Der Teststatistik von Koeffizient für Körpergröße ist \(38,202 = \frac{0,964}{0,025}\). Man kann den Teststatistik mit den kritischen Werten vergleichen: 38,202 > 1,961. |
---|
14. p-Wert zur T-Statistik: Wahrscheinlichkeit, dass Nullhypothese \(\beta_p=0\) zutrifft.
Im Beispiel liegt der p-Wert zur Hypothese \(\beta_1=0\) unter 0,0001. Man kann daraus schlissen, Körpergröße hat ein signifikanten Einfluss auf Körpergewicht ausübt. |
---|
15. 95% Konfidenzintervalle: Bereich, der in Durschschnitt in 95 von 100 Fällen den tatsächlichen Wert des Parameters einschließt. Wenn man sich 5% als Signifikanzniveue überlegt, ein Koeffizient wird genau dann insignifikant, wenn das 95% Konfidenzinterval null beeinhalt. Die Konfidenzintervalle helfen den Grad von Ungenauigkeit zu evaluiren.
Anova-Block
15. Modell-Quadratsumme/Regressions-Quadratsumme (SS(R)): Mit SS(R) wird die Varianz der abhängigen Variablen angegeben, die durch das Modell bzw. durch die Regression erklärt werden kann. $$ \sum_{i=1}^{n } (\hat{y_i} - \bar{y})^{2}$$
16. Residuen-Quadratsumme (SS(F)): Die Varianz, die nicht durch das Modell bzw. die Regression erklärt werden kann, wird mit SS(F) beschrieben. \(\sum_{i=1}^{n} (\hat{y_i} - y_i)^{2}\)
17. Gesamtstreuung (Gesamt-Quadratsumme). Die Varianz der abhängigen Variable lässt sich als Summe der durch das Modell erklärten Varianz und der unerklärten Varianz darstellen: erklärte Abweichung + unerklärte Abweichung (SS(G)= SS(R) + SS(F)).
Die Varianz der abhängigen Variable lässt sich als Summe der durch das Modell erklärten Varianz und der unerklärten Varianz darstellen:
19. Freiheitsgrade
20. Mittlere Abweichungsquadrate MS = Quadratsumme/Freiheitsgrade.
21. F-Statistik ist als der Quotient MS(R)/MS(F) kalkuliert. Unter Annahme, dass die Residuen normal verteilt sind, fold dieser Qutient F-Verteilung mit p und n-(p+1) Freichetsgrade.
22. P-Wert zur F-Statistik: Wahrscheinlichkeit, dass Nullhypothese, dass alle zutrifft.
Modellannahmen und Vorüberlegungen
Residuen
- \(\epsilon_{1},\ldots ,\epsilon_{n}\) sind identisch verteilt: Beurteilung von Residuenplots
- \(\epsilon_{1},\ldots ,\epsilon_{n}\) sind unabhängig: Wird im Normalfall mit der Stichprobenziehung begründet
- \(\epsilon_{i}\) und \(x_{i}\) sind unkorreliert: Nicht ohne weiteres überprüfbar. Inhaltlich bedeutet diese Annahme: "Es können alle relevanten Variablen beobachtet werden und sind im Modell enthalten!"
- \(\epsilon_{i}\) sind normal verteilt: QQ-Plot, Verteilungstests
Die Annahme konstanter Varianzen („Homoskedastizität“) und die Annahme unabhängiger Residuen lassen sich über einen sog. Residuenplot prüfen. Dabei handelt es sich ebenfalls um ein Streudiagramm, in dem auf der Abszisse die geschätzten Werte der abhängigen Variablen und auf der Ordinate die geschätzten Residuen abgetragen wer- den. Die Punkte in dem Diagramm sollten unsystematisch streuen. Das Auftreten einer Trichterform deutet auf eine Verletzung der Annahme konstanter Varianzen („Heteroskedastizität“) hin. Ist eine Systematik in den Punkten erkennbar, so ist diese meist auf eine Verletzung der Unabhängigkeitsannahme zurückzuführen. ???Der Residuenplot für das Beispiel gibt keine Hinweise auf Modellabweichungen.???
Für die geschätzten Residuen lässt sich ein QQ-Plot erstellen, mit dessen Hilfe geprüft werden kann, ob die Residuen εi normalverteilt sind. Für das Beispiel gibt der QQ-Plot keinen Anlass an der Annahme normalverteilter Residuen zu zweifeln: ???
Bildergalerie
An diese Seite sind keine Bilder angefügt. |
- Keine Stichwörter