Erläuterung der Problemstellung

Im allgemeinen wird bei der Regressionsanalyse der Zusammenhang zwischen einer abängigen Variable \(Y\) und einer \((X)\) oder mehrer unabhängiger Variablen \(X_1,X_2,..., X_k\) untersucht. Dieser Zusammenhang kann sich je nach Datenlage und untersuchter Fragestellung der empirischen Arbeit deutlich unterscheiden. In diesem Abschnitt Wahl der Modellklasse, soll auf die gängigsten Modelle der Regressionsanalyse eingegangen werden. Anhand von bestimmten Kriterien wird erläutert, wann welche Modellierung am besten geeignet ist um den Zusammenhang in den vorliegenden Daten darzustellen. Ausgehend von dem funktionalen Zusammenhang \(Y = f(X,\beta) + \epsilon\), der die abhängige Variable als Funktion von unabhängigen Variablen und zu schätzenden Parametern \(\beta\) zuzüglich eines Fehler- oder Residuenterms \(\epsilon\) ausdrückt. Um zu entscheiden, welches Modell geschätzt werden soll betrachtet man nun zuerst die abhängige Variable Y und kann auf Grund ihres Skalenniveaus eine Vorauswahl an Modellklassen treffen. Als zweiten Schritt betrachtet man den funktionalen Zusammenhang zwischen Y und X, und wählt so die passende Modellklasse aus. Abschließend muss überprüft werden, ob die jeweiligen zusätzlichen Annahmen der gewählten Modellierung erfüllt sind. 

Nach diesem Schema richtet sich auch dieser Wiki-Artikel und unterteilt die vorgestellten Modelle erst anhand des Skalenniveaus der abhängigen Variable und anschließend nach dem funktionalen Zusammenhang der Daten.

1

metrische abhängige Variable

lineare Regression

Das lineare Regressionsmodell kann gewählt werden, wenn für die abhängige Variable und für die unabhängige/n Variable/n folgendes Skalenniveau vorliegt:

Liegen mehrere unabhängige Variablen vor, so spricht man von einer multiplen Regression.

Durch eine lineare Regression die abhängige Variable \(y_i \) durch eine oder mehrere unabhängige Variable/n \(x_{i,2},...,x_{i,p}\) erklärt:$$y_i= \beta_1+ \beta_2 x_{i,2}+ ...+ \beta_p x_{i,p} + \epsilon_i$$ In Matrixschreibweise erhält man:$$ \begin{pmatrix} y_1\\y_2\\ \vdots \\y_n \end{pmatrix} = \begin{pmatrix} 1 & x_{1,2} & ... & x_{1,p}\\1 & x_{2,2}&...&x_{2,p}\\ \vdots &\vdots&\ddots &\vdots \\1 & x_{n,2}&...&x_{n,p}\ \end{pmatrix} \begin{pmatrix} ß_1\\ß_2\\ \vdots \\ß_p \end{pmatrix}+\begin{pmatrix} \epsilon_1\\\epsilon_2\\ \vdots \\ \epsilon_n \end{pmatrix} $$ \(\beta_2,...,\beta_p\) beschreibt dabei die Steigung der zu fittenden Gerade, \(\beta_1\) den y-Achsenabschnitt. Es ist darauf zu achten, dass die Regressionskoeffizienten \(\beta_i\) mit \(i\in\{1,...,p\}\) nur in erster Potenz vorliegen können, die unabhängigen Variablen allerdings auch in anderen Potenzen in das Modell mit eingehen können. 

Wann wird das lineare Regressionsmodell gewählt?

Das lineare Regressionsmodell wird gewählt, wenn davon ausgegangen werden kann, dass ein linearer Zusammenhang zwischen der/den unabhängige/n Variable/n und der abhängigen Variable besteht.

In den meisten Fällen erkennt man diesen linearen Zusammenhang dadurch, dass durch die Punktewolke der Messergebnisse im Scatterplot gut eine Gerade gefittet werden kann. Dabei sollten die Messergebnisse möglichst nah um diese Gerade verteilt liegen und die Abstände von den Messergebnissen zu der Gerade bei steigenden oder sinkenden x-Werten im Mittel möglichst gleich bleiben. Aber auch in anderen Fällen, wo im Scatterplot nicht direkt ein lineare Zusammenhang festgestellt werden kann, kann die lineare Regression angewandt werden. So lässt sich auch auf folgenden Zusammenhang die lineare Regression anwenden: \(y_i=\beta_1+\beta_2 x_{i2}^{2}\). in diesem Fall würde die Verteilung der Punkte im Scatterplot einen quadratischen Zusammenhang nahelegen. Der Grund dafür, dass dieser Zusammenhang auch mittels linearer Regression beschrieben werden kann, ist das die unabhängige/n Variable/n auch in Potenzen verschieden von 1 vorliegen können (hier: \(x_{i2}^{2}\)). Die Linearität bezieht sich folglich nur auf die Regressionskoeffizienten \(\beta_i\) mit \(i\in\{1,...,p\}\).

Bei der linearen Regression werden folgende Annahmen getroffen: 

• Die Fehlerterme \(\epsilon_1, \epsilon_2, ..., \epsilon_n \) sind normalverteilte Zufallsvariablen mit Erwartungswert 0 (\(E(\epsilon_i)=0\)) und der Varianz \(\sigma^2\) (\(V(\epsilon_i)=\sigma^2\)).
• \(\epsilon_1, \epsilon_2, ..., \epsilon_n\) sind unabhängig
• \(\epsilon_i\) und \(x_i\) sind unkorreliert.  

Eine genaue Erklärung zum linearen Regressionsmodell mit Beispielen und ausführlichen Umsetzungen in unterschiedlichen Statistik-Programmen kann man hier finden.

Beziehung der linearen Regression zur Anova

Die Vorraussetzungen für die einfaktoriellen ANOVA entsprechen genau den Annahmen, die wir für das lineare Regressionsmodell treffen (siehe vorherigen Abschnitt). Bei der einfaktoriellen ANOVA wird darauf getestet, ob die Mittelwerte der Gruppen (bezüglich des Faktors) gleich sind. Die Nullhypothese lautet also \( H_0: \mu_{1}=\mu_{2}=...=\mu_{p}\). Der Test auf diese Nullhypothese mittels ANOVA ist ein Spezialfall des F-Tests (dient der Überprüfung der Gesamtsignifikanz des linearen Regressionsmodells): Ist \(\beta_i=0 \forall i\in \{1,2,...,p\}\) erfüllt, so entspricht der F-Test genau der ANOVA.  

nichtlineare Regression

Die lineare und nichtlineare Regression unterscheiden sich nicht in den Skalenniveaus der verwendeten Variablen.

Auch der nichtlinearen Regression wird wie bei der linearen Regression von einer metrisch skalierten ahängigen Variablen ausgegangen, jedoch ist der funktionale Zusammenhang in dieser Modellklasse nicht mehr linear in den zu schätzenden Paramtetern \(\beta\). Das heißt, auch in nichtlinearen Modellen gilt \(E(Y|X=x) = f(x,\beta)\) aber \(f(x,\beta)\) entspricht nicht mehr der Identität, wie in der linearen Regression. Beispielsweise könnte \(f(x,\beta)={\frac  {\beta _{1}x}{\beta {2}+x}}\) annehmen. Diese Funktion kann nicht mehr als Linearkombination der beiden \(\beta_i, i=1,2\) dargestellt werden. Wichtige nichtlineare Funktionen sind Exponentialfunktionen, logarithmische oder auch trigonometrische Funktionen.

Ein Eindruck der Beziehung zwischen \(X\) und \(Y\) kann wie beim linearen Modell durch Scatterplots gewonnen werden. Streuen die Punkte nicht um eine Gerade, kann das auf ein nichtlineares Modell hindeuten. Es muss jedoch beachtet werden, dass auch ein Plot, der mit dem linearen Modell \(y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i1}^2\) beschrieben werden kann, eine nichtlineare Beziehung zwischen \(Y\) und \(X_1\) anzeigt. Deshalb sei noch einmal darauf hingewiesen, dass sich der Begriff "nichtlinear" auf die zu schätzenden Parameter bezieht, nicht auf die erklärenden Variablen.

Bei einigen funktionalen Zusammenhängen gibt es die Möglichkeit durch Transformation wieder ein lineares Regressionsmodell zu erzeugen. Beispielsweise kann aus \(Y=a\exp{(X\beta)}v\) durch logarithmieren der Gleichung \(\ln(Y) = \ln(a) + X\beta + \epsilon\) , mit \(\epsilon=\ln(v)\) erzeugt werden. Wichtig ist es zu beachten, dass diese Transformationenn auch die Fehlerterme \(\epsilon\) betreffen. Allgemeine Modellannahmen der linearen Regression bezüglich der Fehler müssen geprüft werden.

Anwendungsformen nichtlinearer Modell finden sich vielfach in den Naturwissenschaften. Wachstumsanalyse, (Enzym-) Kintetik, aber auch die (linearisierbare) Cobb-Douglas Produktionsfunktion sind Beispiele für

2 kategoriale abhängige Variable

Bei kategorial skalierten abhängigen Variablen \(Y_i\) kommen meist generalisierte lineare Modelle zur Anwendung. Eine wichtige Annahme des linearen Regressionsmodells, Normalverteilungsannahme der Störterme ist in Modellen mit diskreten erklärten Variablen nicht  immer gerechtfertigt. Bei Modellen der generalisierten linearen Klasse kann die Verteilung der Fehlerterme auch zu anderen Verteilungen der exponentiellen Familie gehören. Das heißt sie können unter anderem normal-, binomial-, bernoulli-, oder poissonverteilt sein.

2.1 dichotome oder multinomiale abhängige Variable

Wenn die abhängige Variable, die untersucht werden soll kategorial skaliert ist, jedoch keine aufsteigende Reihenfolge der Kategorien gebildet werden kann (z.B. Geschlecht, Präferenz einer Automarke) spricht man von nominalem Skalenniveau. Die gängigsten Methoden zu Umgang mit solchen Variablen finden sich im folgenden Abschnitt.

 logistische Regression (Logit-Modell)

Bei der logistischen Regression können die unabhängige/n Variable/n Variablen jedes beliebige Skalenniveau annehmen und müssen auch nicht innerhalb der einzelnen unabhängigen Variablen \(x_1,...,x_p\) einheitlich sein. Die abhängige Variable nimmt allerdings nur diskrete Werte an. Meist liegt die abhängige Variable binomial (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) vor, d.h. es treten nur zwei unterschiedliche Ausprägungen "0" und "1" auf. Falls allerdings die abhängige Variable multinomial (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) vorliegt (es treten mehr als zwei unterschiedliche Ausprägungen auf), kann eine verallgemeinerte Version, das multinomiale logistische Regressionsmodell verwendet werden.

Ein Fragestellung bei der sich eine logistischer Regression anbieten würde, wäre beispielsweise, welche Faktoren die Wahrscheinlichkeit erhöhen, dass eine Person eine Arbeitsstelle hat. In diesem Fall würde man als abhängige Variable eine binomiale  0-1 kodierte Variable erhalten, wobei 1 für Erwerbstätigkeit und 0 für Arbeitslosigkeit steht. 

Das Ziel der logistischen Regression ist die Vorhersage der Wahrscheinlichkeit mit der ein bestimmtes Ereigniss eintritt.

Das (binomiale) logistische Regressionsmodell ist durch folgende Gleichung gegeben:

$$P(y_i=1|X=x_{( i )})=G(x_{( i )}\prime\beta)=p_i=\frac{exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}{1+exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}=\frac{1}{1+exp(-\beta_1-x_{i,2}\beta_2-...-x_{i,p}\beta_p)},\forall i\in\{1,\dots,n\} $$

Die Parameter \(\beta_i\) werden mit der Maximum-Likelihood-Methode geschätzt, da eine direkte Berechnung mittels kleinster Quadrate (siehe lineare Regression) nicht möglich ist. Die Schätzwerte werden anhand iterativer Verfahren wie dem Newton-Raphson Algoritmus ermittelt. Da die log-Likelihood Funktion des logistischen Regressionsmodells überall konkav ist, exisitiert ein eindeutiger Maximum-Likelihood Schätzer für die zu bestimmenden Parameter.

Die Interpretation der marginalen Effekte der unabhängigen Variable auf die unabhängige unterscheidet sich deutlich vom linearen Regressionsmodel. Da eine sogenannte Linkfunktion die Verbindung zwischen \(x_{( i )}\) und \(y_i\) herstellt, entsprechen die marginalen Effekte dem Produkt aus geschätztem Parameter und Wahrscheinlichkeitsdichte des Modells:

$$\frac{\partial P(y_i=1|X=x_{( i )})}{\partial x_j}=g(x_{( i )}\prime\beta)\beta_j,$$

wobei \(g(z)=\frac{\partial G(z)}{\partial z}\). Die marginalen Effekte sind also immer von den Ausprägungen aller unabhängigen Variablen ahängig. Da Wahrscheinlichkeitsdichten immer positiv sind, gibt das Vorzeichen des geschätzten Parameters die Richtung des marginalen Effekts an.

Da die marginalen Effekte nicht konstant und deshalb keiner so direkten Interpretation wie im linearen Modell zugänglich sind, werden oft die sogenannten Odds oder die Oddsratio betrachtet. Dabei werden die Odds (für ein kleines Modell mit zwei zu schätzenden Parametern) als \(\text{odds}=exp(\beta_0+\beta_1x)\) und die Oddsratio als

\[\text{OR}=\frac{\text{odds}(x+1)}{\text{odds}(x)}=\frac{\frac{G(x+1)}{1-G(x+1)}}{\frac{G(x)}{1-G(x)}}=\frac{exp(\beta_0+\beta_1(x+1))}{exp(\beta_0+\beta_1x)}=exp(\beta_1),\;\;\text{wobei}\;G(x)=\frac{exp(\beta_0+\beta_1x)}{1+exp(\beta_0+\beta_1x)}\]

dargestellt. Wird \(x\) um eine Einheit erhöht, verändert sich die Oddsratio um \(exp(\beta_1)\).

Hat die abhängige Variable mehr als zwei Ausprägungen (J + 1), ist also multinomial skaliert wird das multinomiale Logitmodell verwendet. Wenn die Fehlerterme unaghängig und gleichverteilt sind nach der Gumbel Verteilung, ergibt sich als Modellgleichung für die Wahrscheinlichkeit, dass \(y_i\) die Ausprägung j annimmt:

$$P(y_i=j|X=x_{( i)})=p_{ij}=\frac{exp(x_{( i )}\prime\beta_j)}{1+\sum_{h=1}^J exp(x_{( i )}\prime\beta_h)},\forall j\in\{1,\dots,J\}$$

Hierbei ist zu beachten, dass zur Parameteridentifikation eine Basiskategorie derart angenommen werden muss, dass beispielsweise gilt \(\beta_0=0\). Sonst können die Parameter nicht eindeutig geschätzt werden. Anders ausgedrückt reicht es J Wahrscheinlichkeiten zu berechnen, um J + 1 Wahrscheinlichkeiten zu bestimmen, da sie sich insgesamt zu eins addieren müssen. Im Fall von J + 1 = 2 landet man wieder beim Standard logistischen Modell (siehe oben).

Probitregression

Wie bei der logistischen Regression, geht man von einer dichotomen (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) oder auch multinomialen (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) abhängigen Variable aus. Der Unterschied zwischen den beiden Modellen liegt in der Annahme über die Verteilung der Fehlerterme \(\epsilon\), denn im Probitmodell werden standardnormalverteilte Residuen angenommen. Im allgemeinen motoviert man ein Probitmodell über die Annahme einer latenten Zufallsvariable \(Y^*_i\) mit \(Y^*_i=x\prime_{( i )}\beta+\epsilon_i\) mit \(\epsilon_i\sim\mathcal{N}(0,1)\). Dann kann die beobachtete dichotome abhängige Variable als Indikator dafür betrachtet werden, ob \(Y^*_i\) größer als null ist. Aus dieser Herangehensweise ergibt sich:

$$P(y_i=1|X=x_{( i )})=p_i=\Phi (x_{( i )}\prime\beta),\forall i\in\{1,\dots,n\}$$

wobei \(\Phi(\cdot)\) für die kumulierte Verteilungsfunktion der Standardnormalverteilung steht. Das sorgt dafür, dass die Wahrschlichkeit wiklich nur zwischen 0 und 1 liegen kann.

Auch das Probitmodell wird über die Maximum-Likelihood-Methode berechnet, wobei es keine analytische Lösung der Gleichungen gibt und sie beispielsweise mit dem Newton-Raphson Verfahren näherungsweise gelöst werden. Die log-Likelihood Funktion des Probitmodells ist überall konkav, was die Existenz eines eindeutigen ML-Schätzers garantiert. Da sich das Probit- und das Logitmodell vor allem über die Wahl der Linkfunktion unterscheiden, können auch beim Probitmodell die geschätzten Parameter \beta nicht als marginale Effekte interpretiert werden. Die Effekte hängen ebenso von der Wahrscheinlichkeitsdichte (hier Dichte der Standardnormalverteilung) ab. Das Vorzeichen des geschätzten Pramteters gibt aber die Richtung des Effekts an.

Im allgemeineren Fall mit mehr als zwei möglichen Ausprägungen (J + 1) der abhängigen Variable kann das multinomiale Probitmodell angewendet werden. Im Unterschied zum multinomialen Logitmodell werden die Fehlerterme \(\epsilon_{i}=(\epsilon_{i,0},\dots,\epsilon_{i,J})\prime\sim\mathcal{N}(0,\Sigma)\) als gemeinsam normalverteilt (möglicherweise paarweise korreliert angenommen). Handelt es sich bei der Varianz-Kovarianzmatrix um die Einheitsmatrix, spricht man vom unahängigen Probitmodell.

(Praktischer Hinweis für Logit- und Probitmodell

Im Unterschied zum linearen Modell muss mit heteroskedastischen Fehlern anders umgegangen werden. Das Vorliegen von Heteroskedastie im Modell (darauf sollte getestet werden) muss beim Aufstellen der log-Likelihood beachtet werden. Wird ein Modell unter Nichtbeachtung gerechnet, sind die Parameterschätzer inkonsistent. Es reicht daher nicht aus nach der Schätzung mit beispielsweise der Methode der Eicker-Huber-White Standardfehler eine konsistente Kovarianzmatrix zu erzeugen.) 

2.2 ordinale abhängige Variable

Liegt eine kategoriale abhängige Variable vor, deren Ausprägungen in eine Reihenfolge gebracht werden können (z.B. Zufriedenheit mit einem Produkt, Schulnoten) handelt es sich um eine ordinal skalierte Variable, deren Beziehung zu erklärenden Vatiablen häufig mit folgenden Modellen beschrieben wird. Theoretisch ist es mögliche anstatt geordneten Regressionsmodellen, ein multinomiales Modell aus Teil 2.1 zu verwenden. Dadurch erhält man aber ineffiziente Schätzer, da die zustätzliche Information durch die bestehende Reihenfolge übergangen wird. Die Analyse mit einem linearen Regressionsmodell ist unangemessen, da der Unteschied zwischen "1" und "2" nicht gleich dem Unterschied zwischen "8" und "9" ist. Die Abstände der Auprägungen also nicht interpretierbar, was für ein lineares Modell Voraussetzung ist.

Geordnete Probitregression

Ist man beispielsweise daran interessiert, die Medaillenvergabe an Sportler bei den olympischen Spielen vorherzusagen, liegt eine ordinal skalierte abhängige Variable vor (Bronze, Silber, Gold). Diese Vorhersage kann mithilfe unabhängiger Variablen wie Größe, Muskelkraft, Lungenvolumen, Essverhalten, usw. mit einer geordneten Probitregression getroffen werden.

Ausgehend von einer metrischen, nicht beobachtbaren (latenten) Variable \(y^*\) mit Modell: \(y^*_i=x\prime_i\beta+\epsilon_i, \epsilon_i|x_{( i )}\sim\mathcal{N}(0,1) \text{i.i.d.}\;\; i=1,\dots,n\) geht man von folgender Beziehung zur vorliegenden abhängigen Variable (mit endlichen Anzahl an Kategorien (J + 1)) aus:

$$y_i={\begin{cases}0\ ,&{\text{für}}&-\infty<y^*_i\leq\mu_1\ ,\\1\ ,&{\text  {für}}&\mu_1<y^*_i\leq\mu_2\ ,\\&\vdots\\J\ ,&{\text{für}}&\mu_J<y^*_i\leq\infty\end{cases}}$$

Dabei stehen \(\mu_j\) für geordnete Schwellenwerte, die neben den \(\beta\)s die zu schätzenden Paramteter des Modells darstellen. Nimmt man nun an \(\mu_0=-\infty\) und \(\mu_{J+1}=\infty\) kann die die Wahrscheinlichkeit des Eintretens der jeweiligen Kategorie abhängig von den erklärenden Variablen dargestellt werden mit:

$$p_{ij}=P(y_i=j|x_{( i )})=P(\mu_j<y^*_i\leq\mu_{j+1}|x_{( i )})=P(\mu_j<x\prime_{( i )}\beta+\epsilon_i\leq\mu_{j+1}|x_{( i )})=P(\mu_j-x\prime_{( i )}\beta<\epsilon_i\leq\mu_{j+1}-x\prime_{( i )}\beta|x_{( i )})=\Phi(\mu_{j+1}-x\prime_{( i )}\beta)-\Phi(\mu_j-x\prime_{( i )}\beta)$$

Dabei steht \(\Phi(\cdot)\) für die kumulierte Standardnormalverteilung. Aus Identifikationsgründen darf in der Designmatrix (Matrix der erklärenden Variablen) keine Konstante enthalten sein. Wäre das der Fall könnten die Schwellenwerte davon nicht unterschieden werden und sie blieben dadurch unidentifiziert. Die Parameter werden durch die Maximum-Likelihood Methode geschätzt, wobei die log-Likelihood überall konkav ist. Dadurch ist ein eindeutiger ML-Schätzer bestimmt. Die ML-Schätzer sind hierbei konsistent, asymptotisch effizient und asymptotisch normalverteilt. Die Interpretation der marginalen Wahrscheinlichkeitseffekte gestaltet sich etwas schwieriger, als in einem Multinomialen Modell. Der Effekt hängt sowohl vom geschätzten Parameter, als auch von der Differenz von Wahrscheinlichkeitsdichten ab. Auch das Vorzeichen des Effekts lässt sich nur im Falle der ersten oder letzten Kategorie eindeutig über das Vorzeichen des jeweiligen Schätzers bestimmen. Im allgemeinen Fall gilt: \(\frac{\partial p_{ij}}{\partial x_{ik}}=\beta_k(\phi(\mu_j-x\prime_{( i )}\beta)-\phi(\mu_{j+1}-x\prime_{( i )}\beta))\), wobei \(\phi(\cdot)\) für die Wahrscheinlichkeitsdichte der Standardnormalverteilung steht.

Geordnete logistische Regression

Die geordnete logistische Regression folgt den gleichen Überlegungen wie die geordnete Probitregression. Der Unterschied liegt in der Annahme über die Verteilung der Fehlerterme, denn sie werden wie im binomialen oder multinomialen (siehe oben) Fall als logistisch verteilt angenommen. Daraus ergibt sich für die bedingten Wahrscheinlichkeiten der jeweiligen Kategorien:

$$p_{ij}=\Lambda(\mu_{j+1}-x\prime_{( i )}\beta)-\Lambda(\mu_j-x\prime_{( i )}\beta),$$

wobei \(\Lambda(\cdot)\) für die kumulierte Verteilungsfunktion der logistischen Verteilung steht. Auch hier gilt, dass keine Konstante im Modell entahlten sein darf, da die Schwellenwerte \(\mu_j\) sonst nicht zu identifizieren sind. Die Schätzung und Interpretation der Parameter läuft analog zur Probitregression.

3 Analyse von Zähldaten

In Zähldatenmodellen liegt die abhängige Variable diskret vor und nimmt nur nichtnegative Werte an (\(y_i\in\mathbb{N_0}\)). Derartige Modelle geben an, wie oft ein Ereigniss von Interesse innerhalb eines Zeitraums aufgetreten ist. Beispiele für Daten, die mit einem Zähldatenmodell untersucht werden können sind die Anzahl der Patente, die von einer Firma im Jahr angemeldet werden, oder die Anzahl der Kinder, die in einem Monat in einer Stadt geboren werden. Obwohl es sich um quantitative Daten handelt ist die Modellierung mit bedingten Wahrscheinlichkeiten angebrachter, als mit bedingen Erwartungswerten (\(E(y_i|x_{( i )})=x\prime_{( i)}\beta\)). Letztere können unter Umständen negative Vorhersagen produzieren, was nicht sinnvoll ist, wenn \(y_i\) nur nichtnegative Werte annehmen kann. Dadurch ist ein lineares Regressionsmodell mit kleinster Quadrate Schätzung ungeeignet für diesen Datentypus. Im folgenden werden die gängigsten Modelle für Zähldaten vorgestellt.

Poisson Regression

Es ist sinnvoll Poisson Regression durchzuführen, falls angenommen werden kann, dass die abhängige Variable \(Y\) Poissonverteilt ist.

Die Poissonverteilung ist folgendermaßen definiert: $$P(Y=k)=\frac{\lambda^k}{k!} e^{-\lambda} \;\;  \text{für}\;\; k=0,1,2,... \text{ und } \lambda>0 $$Sie liefert eine Aussage darüber wie groß  die Wahrscheinlichkeit für \(k\) erfolgreiche Ereignisse bei \(n\rightarrow \infty\) Versuchsdurchführungen ist, wenn nur zwei verschiedene Ereignisse, Erfolg und Misserfolg, eintreten können. \(\lambda\) beschreibt dabei die mittlere Anzahl zu erwartender Ereignisse. Eine Poisson Regression kann zum Beispiel auf die Anzahl der Geburten in einer Stadt in einem Monat angewandt werden. Dabei ist \(\lambda\) die mittlere Anzahl von Geburten in einem Monat in dieser Stadt. Um Poisson Regression anwenden zu können, muss aber folgende Bedingung erfüllt sein:  Der Erwartungswert und die Varianz dieser Verteilung sind jeweils \(\lambda\). $$E(Y)=Var(Y)=\lambda$$Für das beschriebene Beispiel bedeutet dies, dass die erwartete Anzahl der Geburten in einem Monat in dieser Stadt der Varianz in den Geburtenanzahlen zwischen den Monaten entspricht. Diese Gleichheit von Varianz und Erwartungswert ist in der Anwendung jedoch öfters verletzt. Wenn diese Gleichheit in der Anwendung nicht vorliegt, so muss eine negative Binominal Regression (siehe nächsten Abschnitt) durchgeführt werden.

Somit gilt für die Verteilung von \(Y_i|x_{(i)}\) mit \(i=1,...,N\): $$Y_i|x_{(i)} \sim Poisson(\lambda_i)\;\;\;\; \text{mit}\;E(Y_i|x_{(i)})=\lambda_i$$\(\lambda_i\) wird modelliert, indem angenommen wird das \(\lambda_i=h(x_{(i)}\beta)\). \(h\) ist hierbei die Responsefunktion, die prinzipiell frei gewählt werden kann. In den meisten Fällen wählt man für \(h()\) die Exponentialfunktion und spricht dann von einer Log-linearen Poisson Regression. Für dieses Regression ergeben sich dann folgende Gleichung: $$\lambda_i=e^{(x_{(i)}\beta)}=e^{\beta_0} e^{\beta_1 x_{i1}} e^{\beta_2 x_{i2}}...e^{\beta_p x_{ip}} = e^{\beta_0+ \beta_1 x_{i1} \beta_2 x_{i2}+ ...+\beta_p x_{ip}} $$Es ist darauf zu achten, dass es sich hier um ein heteroskedastisches Modell handelt, da die Varianzen sich für die unterschiedlichen Beobachtungen unterscheiden (\(Var(Y_i|x_{(i)})=\lambda_i\)). 

Die Werte für den Parametervekor \(\beta=(\beta_1,\beta_2,...,\beta_p)^T\) lassen sich nicht mehr über die Methode der kleinsten Quadrate schätzen, sondern es muss die Maximum-Likelihood-Methode angewandt werden, um diesen Schätzer zu ermitteln.

Negative binomial Regression

Liegen Zähldaten vor, bei denen die Gleichheit von Erwartungswert und Varianz verletzt ist kann im Falle von Überdispersion (Varianz ist größer als Erwartungsert) mithilfe der negativen binomial Regression modelliert werden. Ausgehend von einem Poissonmodell mit \(Y_i|x_{(i)} \sim Poisson(\lambda_i)\;\text{wobei}\;\;\;\lambda_i=exp(x\prime_{( i )}\beta)\) könnte das Modell misspezifiziert sein, da nicht alle relevanten Informationen beobachtet werden können.

$$\lambda\prime_{i}=exp(x\prime_{( i )}\beta+\epsilon_i)=\lambda_iv_i,\;\;v_i=exp(\epsilon_i)$$

Der Parameter\(\epsilon_i\) beeinhaltet dabei unbeobachtete Heterogenität, welche dazu führt, dass die Annahme der Equidispersion der Poissonverteilung verletzt ist (in diesem Fall \(Var(Y_i|x_{( i )})>E(Y_i|x_{( i )})\)). Deshalb wird im allgemeinen stattdessen angenommen:

$$Y_i|x_{(i)},v_i \sim Poisson(\lambda\prime_i)\;\;\text{und}\;\;v_i\sim (1,\sigma^{2}_v)$$

Da nur \(y_i,x_{( i )}\) beobachtet werden können, \(v_i\) aber nicht, ist nur die auf \(x_{( i )}\) bedingte Verteilung \(Y_i|x_{( i )}\sim(\lambda_i,\lambda_i+\sigma^{2}_v\lambda^{2}_i)\) von Interessse. Deshalb integriert man den unbeobachtbaren Parameter aus der Wahrscheinlichkeitsverteilung heraus. In der Praxis nimmt man für \(v_i\) oft eine Gamma-Verteilung unabhängig von \x_{( i )}\) an, da die Integration dann eine geschlossene Lösung hat. Hieraus erhält man die Wahrscheinlichkeitsverteilung der negativen Binomialverteilung, welche als Verteilung der Anzahl von Erfolgen in einer Folge von Bernoulli Versuchen mit gleicher Erfolgswahrscheinlichkeit, bevor eine bestimmte Anzahl von Misserfolgen aufgetreten ist, angesehen werden kann.

$$f(y|x)=\frac{\Gamma(y+\alpha)}{\Gamma(y+1)\Gamma(\alpha)}\left(\frac{\lambda}{\lambda+\alpha}\right)^{y}\left(\frac{\alpha}{\lambda+\alpha}\right)^{\alpha},\;\;\text{mit}\;\;E(y)=\lambda,\;\;Var(y)=\lambda+\frac{\lambda^2}{\alpha}$$

Mit geeigneter Wahl für \(\alpha\) erhält man schließlich verschiedene negative binomial Modelle. Verwiesen sei hier auf die zwei geläufigsten Negbin I und Negbin II:

• Negbin I: \(\alpha\) kann zwischen Beobachtungen variieren: \(\alpha^{-1}_i=\frac{\sigma^2}{\lambda_i}\), was zu \(Var(Y_i|x_{( i )})=\lambda_i+\sigma^2\lambda_i=(1+\sigma^2)exp(x\prime_{( i )}\beta)\) führt
• Negbin II: \(\alpha\) ist konstant: \(\alpha^{-1}_i=\sigma^2\), was zu \(Var(Y_i|x_{( i )})=\lambda_i+\sigma^2\lambda^2_i=exp(x\prime_{( i )}\beta)+\sigma^2(exp(x\prime_{( i )}\beta))^2\) führt

Diese Modelle werden mit der Maximum Likelihood Methode geschätzt, wie die Poissonregression auch. Für \(\sigma^2\to 0\) kovergieren die negativen Binomialmodelle gegen das Poissonmodell, was die Grundlage für Likelihood-Ratio oder Wald Test bildet, um das richtige Modell für Zähldaten auszuwählen.

Der Vorteil einer negativ binomialen Regression gegenüber einem Poissonmodell ist die Effizienz der Schätzung. Sind die getroffenen Annahmen jedoch verletzt führt das im Allgemeinen zu inkonsistenten Schätzergebnissen.