Nach diesem Schema richtet sich auch dieser Wiki-Artikel und unterteilt die vorgestellten Modelle erst anhand des Skalenniveaus der abhängigen Variable und anschließend nach dem funktionalen Zusammenhang der Daten.
1 stetige abhängige Variable
lineare Regression
Das lineare Regressionsmodell kann gewählt werden, wenn für die abhängige Variable und für die unabhängige/n Variable/n folgendes Skalenniveau vorliegt:
abhängige Variable (y) | metrisch |
unabhängige/n Variable/n (x) | metrisch, ordinal und nominal |
Liegen mehrere unabhängige Variablen vor, so spricht man von einer multiplen Regression.
Das lineare Regressionsmodell wird sinnvollerweise verwendet, wenn davon ausgegangen werden kann, dass ein linearer Zusammenhang zwischen der/den unabhängige/n Variable/n und der abhängigen Variable besteht. Dies bedeutet konkret, dass durch die Messergebnisse, die nach dem Plotten als Punktewolke in einem Koordinatensystem (mit y auf der Ordinate und x auf der Abszisse) vorliegen, gut eine Gerade gefittet werden kann. Dabei sollten die Messergebnisse möglichst nah um diese Gerade verteilt liegen und die Abstände von den Messergebnissen zu der Gerade bei steigenden oder sinkenden x-Werten im Mittel möglichst gleich bleiben. So wird durch eine lineare Regression die abhängige Variable \(y_i \) durch eine oder mehrere unabhängige Variable/n \(x_{i,2},...,x_{i,p}\) erklärt:
\(y_i= \beta_1+ \beta_2 x_{i,2}+ ...+ \beta_p x_{i,p} + \epsilon_i\)
In Matrixschreibweise erhält man:
Inhalt |
---|
\(\beta_2,...,\beta_p\) beschreibt dabei die Steigung der zu fittenden Gerade, \(\beta_1\) den y-Achsenabschnitt. Es ist darauf zu achten, dass die Regressionskoeffizienten \(\beta_i\) mit \(i\in\{1,...,p\}\) nur in erster Potenz vorliegen können, die unabhängigen Variablen allerdings auch in anderen Potenzen in das Modell mit eingehen können.
Bei der linearen Regression werden folgende Annahmen getroffen:
- Die Fehlerterme \(\epsilon_1, \epsilon_2, ..., \epsilon_n \) sind normalverteilte Zufallsvariablen mit Erwartungswert 0 (\(E(\epsilon_i)=0\)) und der Varianz \(\sigma^2\) (\(V(\epsilon_i)=\sigma^2\)).
- \(\epsilon_1, \epsilon_2, ..., \epsilon_n\) sind unabhängig
- \(\epsilon_i\) und \(x_i\) sind unkorreliert.
Eine genaue Erklärung zum linearen Regressionsmodell mit Beispielen und ausführlichen Umsetzungen in unterschiedlichen Statistik-Programmen kann man hier finden.
Beziehung der linearen Regression zur Anova
Die Vorraussetzungen für die einfaktoriellen ANOVA entsprechen genau den Annahmen, die wir für das lineare Regressionsmodell treffen (siehe vorherigen Abschnitt). Bei der einfaktoriellen ANOVA wird darauf getestet, ob die Mittelwerte der Gruppen (bezüglich des Faktors) gleich sind. Die Nullhypothese lautet also \( H_0: \mu_{1}=\mu_{2}=...=\mu_{p}\). Der Test auf diese Nullhypothese mittels ANOVA ist ein Spezialfall des F-test (dient der Überprüfung der Gesamtsignifikanz des linearen Regressionsmodells), ist \(\beta_i=0 \forall i\in \{1,2,...,p\}\) erfüllt, so entspricht der F-test der ANOVA.
nichtlineare Regression
Die lineare und nichtlineare Regression unterscheiden sich nicht in den Skalenniveaus der verwendeten Variablen.
abhängige Variable (y) | metrisch |
unabhängige/n Variable/n (x) | metrisch, ordinal und nominal |
Auch der nichtlinearen Regression wird wie bei der linearen Regression von einer metrisch skalierten ahängigen Variablen ausgegangen, jedoch ist der funktionale Zusammenhang in dieser Modellklasse nicht mehr linear in den zu schätzenden Paramtetern \(\beta\). Das heißt, auch in nichtlinearen Modellen gilt \(E(Y|X=x) = f(x,\beta)\) aber \(f(x,\beta)\) entspricht nicht mehr der Identität, wie in der linearen Regression. Beispielsweise könnte \(f(x,\beta)={\frac {\beta _{1}x}{\beta {2}+x}}\) annehmen. Diese Funktion kann nicht mehr als Linearkombination der beiden \(\beta_i, i=1,2\) dargestellt werden. Wichtige nichtlineare Funktionen sind Exponentialfunktionen, logarithmische oder auch trigonometrische Funktionen.
Ein Eindruck der Beziehung zwischen X und Y kann wie beim linearen Modell durch Scatterplots gewonnen werden. Streuen die Punkte nicht um eine Gerade kann das auf ein nichtlineares Modell hindeuten. Es muss jedoch beachtet werden, dass auch ein Plot,der mit dem linearen Modell \(y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i1}^2\) beschrieben werden kann, eine nichtlineare Beziehung zwischen \(Y\) und \(X_1\) anzeigt. Es sei deshalb noch einmal darauf hingewiesen, dass sich der Begriff "nichtlinear" auf die zu schätzenden Parameter bezieht, nicht auf die erklärenden Variablen.
Bei einigen funktionalen Zusammenhängen gibt es die Möglichkeit durch Transformation wieder ein lineares Regressionsmodell zu erzeugen. Beispielsweise kann aus \(Y=a\exp{(X\beta)}v\) durch logarithmieren der Gleichung \(\ln(Y) = \ln(a) + X\beta + \epsilon\) , mit \(\epsilon=\ln(v)\) erzeugt werden. Wichtig ist es zu beachten, dass diese Transformationenn auch die Fehlerterme \(\epsilon\) betreffen. Allgemeine Modellannahmen der linearen Regression bezüglich der Fehler müssen geprüft werden.
2 kategoriale abhängige Variable
Bei kategorial skalierten abhängigen Variablen \(Y_i\) kommen meist generalisierte lineare Modelle zur Anwendung. Eine wichtige Annahme des linearen Regressionsmodells, Normalverteilungsannahme der Störterme ist in Modellen mit diskreten erklärten Variablen nicht immer gerechtfertigt. Bei Modellen der generalisierten linearen Klasse kann die Verteilung der Fehlerterme auch zu anderen Verteilungen der exponentiellen Familie gehören. Das heißt sie können unter anderem normal-, binomial-, bernouli-, oder poissonverteilt sein.
2.1 dichotome oder multinomiale abhängige Variable
Wenn die abhängige Variable, die untersucht werden soll kategorial skaliert ist, jedoch keine aufsteigende Reihenfolge der Kategorien gebildet werden kann (z.B. Geschlecht, Präferenz einer Automarke) spricht man von nominalem Skalenniveau. Die gängigsten Methoden zu Umgang mit solchen Variablen finden sich im folgenden Abschnitt.
logistische Regression (Logit-Modell)
Bei der logistischen Regression können die unabhängige/n Variable/n Variablen jedes beliebige Skalenniveau annehmen und müssen auch nicht innerhalb der einzelnen unabhängigen Variablen \(x_1,...,x_p\) einheitlich sein. Die abhängige Variable nimmt allerdings nur diskrete Werte an. Meist liegt die abhängige Variable binomial (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) vor, d.h. es treten nur zwei unterschiedliche Ausprägungen "0" und "1" auf. Falls allerdings die abhängige Variable multinomial (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) vorliegt (es treten mehr als zwei unterschiedliche Ausprägungen auf), kann eine verallgemeinerte Version, das multinomiale logistische Regressionsmodell verwendet werden.
abhängige Variable (y) | dichotom (binomial), multinomial |
unabhängige/n Variable/n (x) | beliebiges Skalenniveau (die Skalenniveaus der einzelnen \(x_1,...,x_p\) dürfen sich auch unterscheiden, liegt eine multinomiale Variable vor, so muss eine Zerlegung in Dummy-Variablen stattfinden) |
Ein Fragestellung bei der sich eine logistischer Regression anbieten würde, wäre beispielsweise, welche Faktoren die Wahrscheinlichkeit erhöhen, dass eine Person eine Arbeitsstelle hat. In diesem Fall würde man als abhängige binomiale 0-1 kodierte Variable erhalten, wobei 1 für Erwerbstätigkeit und 0 für Arbeitslosigkeit steht.
Das Ziel der logistischen Regression ist die Vorhersage der Wahrscheinlichkeit mit der ein bestimmtes Ereigniss eintritt.
Das (binomiale) logistische Regressionsmodell ist durch folgende Gleichung gegeben:
$$P(y_i=1|X=x_{( i )})=G(x_{( i )}'\beta)=p_i=\frac{exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}{1+exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}=\frac{1}{1+exp(-\beta_1-x_{i,2}\beta_2-...-x_{i,p}\beta_p)},\forall i\in\{1,\dots,n\} $$
Die Parameter \(\beta_i\) werden mit der Maximum-Likelihood-Methode geschätzt, da eine direkte Berechnung mittels kleinster Quadrate (siehe lineare Regression) nicht möglich ist. Die Schätzwerte werden anhand iterativer Verfahren wie dem Newton-Raphson Algoritmus ermittelt. Da die log-Likelihood Funktion des logistischen Regressionsmodells überall konkav ist, exisitiert ein einzigartiger Maximum-Likelihood Schätzer für die zu bestimmenden Parameter.
Die Interpretation der marginalen Effekte der unabhängigen Variable auf die unabhängige unterscheidet sich deutlich vom linearen Regressionsmodel. Da eine sogenannte Linkfunktion die Verbindung zwischen \(x_{( i )}\) und\(y_i\) herstellt, entsprechen die marginalen Effekte dem Produkt aus geschätztem Parameter und Wahrscheinlichkeitsdichte des Modells:
$$\frac{\partial P(y_i=1|X=x_{( i )})}{\partial x_j}=g(x_{( i )}'\beta)\beta_j,$$
wobei \(g(z)=\frac{\partial G(z)}{\partial z}\). Die marginalen Effekte sind also immer von den Ausprägungen aller unabhängigen Variablen ahängig. Da Wahrscheinlichkeitsdichten immer positiv sind, gibt das Vorzeichen des geschätzten Parameters die Richtung des marginalen Effekts an.
Hat die abhängige Variable mehr als zwei Ausprägungen (J + 1), ist also multinomial skaliert wird das multinomiale Logitmodell verwendet. Wenn die Fehlerterme unaghängig und gleichverteilt sind nach der Gumbel Verteilung, ergibt sich als Modellgleichung für die Wahrscheinlichkeit, dass \(y_i\) die Ausprägung j annimmt:
$$P(y_i=j|X=x_{( i)})=p_{ij}=\frac{exp(x_{( i )}'\beta_j)}{1+\sum_{h=1}^J exp(x_{( i )}'\beta_h)},\forall j\in\{1,\dots,J\}$$
Hierbei ist zu beachten, dass zur Parameteridentifikation eine Basiskategorie derart angenommen werden muss, dass beispielsweise gilt \(\beta_0=0\). Sonst können die Parameter nicht eindeutig geschätzt werden. Anders ausgedrückt reicht es J Wahrscheinlichkeiten zu berechnen, um J + 1 Wahrscheinlichkeiten zu bestimmen, da sie sich insgesamt zu eins addieren müssen. Im Fall von J + 1 = 2 landet man wieder beim Standard logistischen Modell (siehe oben).
Probitregression
abhängige Variable (y) | dichotom (binomial), multinomial |
unabhängige/n Variable/n (x) | beliebiges Skalenniveau (die Skalenniveaus der einzelnen \(x_1,...,x_p\) dürfen sich auch unterscheiden, liegt eine multinomiale Variable vor, so muss eine Zerlegung in Dummy-Variablen stattfinden) |
Wie bei der logistischen Regression, geht man von einer dichotomen (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) oder auch multinomialen (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) abhängigen Variable aus. Der Unterschied zwischen den beiden Modellen liegt in der Annahme über die Verteilung der Fehlerterme \(\epsilon\), denn im Probitmodell werden standardnormalverteilte Residuen angenommen. Im allgemeinen motoviert man ein Probitmodell über die Annahme einer latenten Zufallsvariable \(Y^*_i\) mit \(Y^*_i=x'_{( i )}\beta+\epsilon_i\) mit \(\epsilon_i\sim\mathcal{N}(0,1)\). Dann kann die beobachtete dichotome abhängige Variable als Indikator dafür betrachtet werden, ob \(Y^*_i\) größer als null ist. Aus dieser Herangehensweise ergibt sich:
$$P(y_i=1|X=x_{( i )})=p_i=\Phi (x_{( i )}'\beta),\forall i\in\{1,\dots,n\}$$
wobei \(\Phi(\cdot)\) für die kumulierte Verteilungsfunktion der Standardnormalverteilung steht. Das sorgt dafür, dass die Wahrschlichkeit wiklich nur zwischen 0 und 1 liegen kann.
Auch das Probitmodell wird über die Maximum-Likelihood-Methode berechnet, wobei es keine analytische Lösung der Gleichungen gibt und sie beispielsweise mit dem Newton-Raphson Verfahren näherungsweise gelöst werden. Die log-Likelihood Funktion des Probitmodells ist überall konkav, was die Existenz eines einzigartigen ML-Schätzers garantiert. Da sich das Probit- und das Logitmodell vor allem über die Wahl der Linkfunktion unterscheiden, können auch beim Probitmodell die geschätzten Parameter \beta nicht als marginale Effekte interpretiert werden. Die Effekte hängen ebenso von der Wahrscheinlichkeitsdichte (hier Dichte der Standardnormalverteilung) ab. Das Vorzeichen des geschätzten Pramteters gibt aber die Richtung des Effekts an.
Im allgemeineren Fall mit mehr als zwei möglichen Ausprägungen (J + 1) der abhängigen Variable kann das multinomiale Probitmodell angewendet werden. Im Unterschied zum multinomialen Logitmodell werden die Fehlerterme \(\epsilon_{i}=(\epsilon_{i,0},\dots,\epsilon_{i,J})'\sim\mathcal{N}(0,\Sigma)\) als gemeinsam normalverteilt (möglicherweise paarweise korreliert angenommen). Handelt es sich bei der Varianz-Kovarianzmatrix um die Einheitsmatrix, spricht man vom unahängigen Probitmodell.
2.2 ordinale abhängige Variable
Liegt eine kategoriale abhängige Variable vor, deren Ausprägungen in eine Reihenfolge gebracht werden können (z.B. Zufriedenheit mit einem Produkt, Schulnoten) handelt es sich um eine ordinal skalierte Variable, deren Beziehung zu erklärenden Vatiablen häufig mit folgenden Modellen beschrieben wird. Theoretisch ist es mögliche anstatt geordneten Regressionsmodellen, ein multinomiales Modell aus Teil 2.1 zu verwenden. Dadurch erhält man aber ineffiziente Schätzer, da die zustätzliche Information durch die bestehende Reihenfolge übergangen wird. Die Analyse mit einem linearen Regressionsmodell ist unangemessen, da der Unteschied zwischen "1" und "2" nicht gleich dem Unterschied zwischen "8" und "9" ist. Die Abstände der Auprägungen also nicht interpretierbar, was für ein lineares Modell Voraussetzung ist.
Geordnete Probitregression
Ausgehend von einer metrischen, nicht beobachtbaren (latenten) Variable \(y^*\) mit Modell: \(y^*_i=x'_i\beta+\epsilon_i, \epsilon_i|x_{( i )}\sim\mathcal{N}(0,1) i.i.d. i=1,\dots,n\) geht man von folgender Beziehung zur vorliegenden abhängiger Variable (mit endlichen Anzahl an Kategorien (J + 1)) aus:
$$y_i={\begin{cases}0\ ,&{\text{für}}&-\infty<y^*_i\leq\mu_1\ ,\\1\ ,&{\text {für}}&\mu_1<y^*_i\leq\mu_2\ ,\\&\vdots\\J\ ,&{\text{für}}&\mu_J<y^*_i\leq\infty\end{cases}}$$
Dabei stehen \(\mu_j\) für geordnete Schwellenwerte, die neben den \beta die zu schätzenden Paramteter des Modells darstellen.
3 Analyse von Zähldaten