Zur Veranschaulichung der Gliederung dieses Wiki-Artikels, sowie zum Einordnen der untschiedlichen behandelten Modelle dient dieses Grafik: Ausgehend von der Betrachtung der abhängigen Variablen findet hier eine erste Einteilung in unterschiedliche Modellklassen statt, durch weitere Betrachtungen kann eine Unterscheidung zwischen den hier vorgestellten Modellen vollzogen werden.
Inhalt |
---|
1 metrische abhängige Variable
lineare Regression
Das lineare Regressionsmodell kann gewählt werden, wenn für die abhängige Variable und für die unabhängige/n Variable/n folgendes Skalenniveau vorliegt:
abhängige Variable (y) | metrisch |
unabhängige/n Variable/n (x) | metrisch, ordinal und nominal |
Liegen mehrere unabhängige Variablen vor, so spricht man von einer multiplen Regression.
Mit einer linearen Regression wird die abhängige Variable \(y_i \) anhand einer oder mehrerer unabhängiger Variablen \(x_{i,2},...,x_{i,p}\) erklärt:$$y_i= \beta_1+ \beta_2 x_{i,2}+ ...+ \beta_p x_{i,p} + \epsilon_i$$ In Matrixschreibweise erhält man:$$ \begin{pmatrix} y_1\\y_2\\ \vdots \\y_n \end{pmatrix} = \begin{pmatrix} 1 & x_{1,2} & ... & x_{1,p}\\1 & x_{2,2}&...&x_{2,p}\\ \vdots &\vdots&\ddots &\vdots \\1 & x_{n,2}&...&x_{n,p}\ \end{pmatrix} \begin{pmatrix} ß_1\\ß_2\\ \vdots \\ß_p \end{pmatrix}+\begin{pmatrix} \epsilon_1\\\epsilonInhalt |
---|
nichtlineare )
2 kategoriale abhängige Variable
Bei kategorial skalierten abhängigen Variablen ) kommen meist generalisierte lineare Modelle zur Anwendung. Eine wichtige Annahme des linearen Regressionsmodells, Normalverteilungsannahme der Störterme ist in Modellen mit diskreten erklärten Variablen nicht immer gerechtfertigt. Bei Modellen der generalisierten linearen Klasse kann die Verteilung der Fehlerterme zu anderen Verteilungen der Exponentialfamilie gehören. Das bedeutet, sie können unter anderem normal-, binomial-, bernoulli-, oder poissonverteilt sein.2.1 dichotome oder multinomiale abhängige Variable
Wenn die abhängige Variable, die untersucht werden soll kategorial skaliert ist, jedoch keine aufsteigende Reihenfolge der Kategorien gebildet werden kann (z.B. Geschlecht, Präferenz einer Automarke) spricht man von nominalem Skalenniveau. Die gängigsten Methoden im Umgang mit solchen Variablen finden sich im folgenden Abschnitt.
logistische Regression (Logit-Modell)
Bei der logistischen Regression können die unabhängige/n Variable/n Variablen jedes beliebige Skalenniveau annehmen und müssen auch nicht innerhalb der einzelnen unabhängigen Variablen \(x_1,...,x_p\) einheitlich sein. Die abhängige Variable nimmt allerdings nur diskrete Werte an. Meist liegt die abhängige Variable binomial (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) vor, d.h. es treten nur zwei unterschiedliche Ausprägungen "0" und "1" auf. Die Fehlerterme werden bei diesem Modell als logistisch verteilt angenommen. Falls allerdings die abhängige Variable multinomial (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) vorliegt (es treten mehr als zwei unterschiedliche Ausprägungen auf), kann eine verallgemeinerte Version, das multinomiale logistische Regressionsmodell verwendet werden.
abhängige Variable (y) | dichotom (binomial), multinomial |
unabhängige/n Variable/n (x) | beliebiges Skalenniveau (die Skalenniveaus der einzelnen \(x_1,...,x_p\) dürfen sich auch unterscheiden, liegt eine multinomiale Variable vor, so muss eine Zerlegung in Dummy-Variablen stattfinden) |
Ein Fragestellung bei der sich eine logistischer Regression anbieten würde, wäre beispielsweise, welche Faktoren die Wahrscheinlichkeit beeinflussen, dass eine Person eine Arbeitsstelle hat. In diesem Fall würde man als abhängige Variable eine binomiale 0-1 kodierte Variable verwenden, wobei 1 für Erwerbstätigkeit und 0 für Arbeitslosigkeit steht.
Das Ziel der logistischen Regression ist die Vorhersage der Wahrscheinlichkeit mit der ein bestimmtes Ereigniss (unter Verwendung von Einflussfaktoren) eintritt.
Das (binomiale) logistische Regressionsmodell ist durch folgende Gleichung gegeben:
$$P(y_i=1|X=x_{( i )})=G(prime\beta)=p_i=\frac{exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}{1+exp(\beta_1+x_{i,2}\beta_2+...+x_{i,p}\beta_p)}=\frac{1}{1+exp(-\beta_1-x_{i,2}\beta_2-...-x_{i,p}\beta_p)},\forall i\in\{1,\dots,n\} $$Die Parameter \(\beta_i\) werden mit der Maximum-Likelihood-Methode geschätzt, da eine direkte Berechnung mittels kleinster Quadrate (siehe lineare Regression) nicht möglich ist. Die Schätzwerte werden anhand iterativer Verfahren wie dem Newton-Raphson Algoritmus ermittelt. Da die log-Likelihood Funktion des logistischen Regressionsmodells überall konkav ist, exisitiert ein eindeutiger Maximum-Likelihood Schätzer für die zu bestimmenden Parameter.
Die Interpretation der marginalen Effekte dieser Modellklasse unterscheidet sich deutlich vom linearen Regressionsmodel. Die marginalen Effekte der Logitregression entsprechen dem Produkt aus geschätztem Parameter und Wahrscheinlichkeitsdichte des Modells:
$$\frac{\partial P(y_i=1|X=x_{( i )})}{\partial x_j}=g(x_{( i )}\prime\beta)\beta_j,$$
wobei \(g(z)=\frac{\partial G(z)}{\partial z}\). Die marginalen Effekte sind also immer von den Ausprägungen aller unabhängigen Variablen ahängig. Da Wahrscheinlichkeitsdichten immer positiv sind, gibt das Vorzeichen des geschätzten Parameters die Richtung des Effekts auf die bedingte Wahrscheinlichkeit an.
Da die marginalen Effekte nicht konstant und deshalb keiner so direkten Interpretation wie im linearen Modell zugänglich sind, werden oft die sogenannten Odds oder die Oddsratio betrachtet. Dabei werden die Odds (für ein kleines Modell mit zwei zu schätzenden Parametern) als \(\text{odds}=exp(\beta_0+\beta_1x)\) und die Oddsratio als
\[\text{OR}=\frac{\text{odds}(x+1)}{\text{odds}(x)}=\frac{\frac{G(x+1)}{1-G(x+1)}}{\frac{G(x)}{1-G(x)}}=\frac{exp(\beta_0+\beta_1(x+1))}{exp(\beta_0+\beta_1x)}=exp(\beta_1),\;\;\text{wobei}\;G(x)=\frac{exp(\beta_0+\beta_1x)}{1+exp(\beta_0+\beta_1x)}\]
dargestellt. Wird \(x_1\) ceteris paribus um eine Einheit erhöht (alle anderen erklärenden Variablen verbleiben auf dem alten Wert), verändert sich die Oddsratio um \(exp(\beta_1)\).
Hat die abhängige Variable mehr als zwei Ausprägungen (J + 1), ist also multinomial skaliert wird das multinomiale Logitmodell verwendet. Wenn die Fehlerterme unaghängig und gleichverteilt sind nach der Gumbel Verteilung, ergibt sich als Modellgleichung für die Wahrscheinlichkeit, dass \(y_i\) die Ausprägung j annimmt:
$$P(y_i=j|X=x_{( i)})=p_{ij}=\frac{expprime\beta_j)}{1+\sum_{h=1}^J exp(primebetah)}forall j\in\{1,\dots,J\}$$Hierbei ist zu beachten, dass zur Parameteridentifikation eine Basiskategorie derart angenommen werden muss, dass beispielsweise gilt \(\beta_0=0\). Sonst können die Parameter nicht eindeutig geschätzt werden. Anders ausgedrückt reicht es J Wahrscheinlichkeiten zu berechnen, um J + 1 Wahrscheinlichkeiten zu bestimmen, da sie sich insgesamt zu eins addieren müssen. Im Fall von J + 1 = 2 landet man wieder beim Standard logistischen Modell (siehe oben).
Probitregression
abhängige Variable (y) | dichotom (binomial), multinomial |
unabhängige/n Variable/n (x) | beliebiges Skalenniveau (die Skalenniveaus der einzelnen \(x_1,...,x_p\) dürfen sich auch unterscheiden, liegt eine multinomiale Variable vor, so muss eine Zerlegung in Dummy-Variablen stattfinden) |
Wie bei der logistischen Regression, geht man von einer dichotomen (\(Y_i|x_{( i )}\sim\mathcal{Ber}(p_i)\)) oder auch multinomialen (\(Y_i|x_{( i )}\sim\operatorname{Categorical}(p_{i,1},\dots,p_{i,m})\)) abhängigen Variable aus. Der Unterschied zwischen den beiden Modellen liegt in der Annahme über die Verteilung der Fehlerterme \(\epsilon\), denn im Probitmodell werden standardnormalverteilte Residuen angenommen. Im allgemeinen motoviert man ein Probitmodell über die Annahme einer latenten Zufallsvariable \(Y^*_i\) mit \(Y^*_i=x\prime_{( i )}\beta+\epsilon_i\) mit \(\epsilon_i\sim\mathcal{N}(0,1)\). Dann kann die beobachtete dichotome abhängige Variable als Indikator dafür betrachtet werden, ob \(Y^*_i\) größer als null ist. Aus dieser Herangehensweise ergibt sich:
$$P(y_i=1|X=p\Phi prime\,\forall i\in\{1,\dots,n\}$$wobei Phi(cdot\) für die kumulierte Verteilungsfunktion der Standardnormalverteilung steht. Das sorgt dafür, dass die Wahrschlichkeit wiklich nur zwischen 0 und 1 liegen kann.Auch das Probitmodell wird über die Maximum-Likelihood-Methode berechnet, wobei es keine analytische Lösung der Gleichungen gibt und sie beispielsweise mit dem Newton-Raphson Verfahren näherungsweise gelöst werden. Die log-Likelihood Funktion des Probitmodells ist überall konkav, was die Existenz eines eindeutigen ML-Schätzers garantiert. Da sich das Probit- und das Logitmodell vor allem über die Wahl der Linkfunktion unterscheiden, können auch beim Probitmodell die geschätzten Parameter \beta nicht als marginale Effekte interpretiert werden. Die Effekte hängen ebenso von der Wahrscheinlichkeitsdichte (hier Dichte der Standardnormalverteilung) ab. Das Vorzeichen des geschätzten Pramteters gibt aber die Richtung des Effekts an.
Im allgemeineren Fall mit mehr als zwei möglichen Ausprägungen (J + 1) der abhängigen Variable kann das multinomiale Probitmodell angewendet werden. Im Unterschied zum multinomialen Logitmodell werden die Fehlerterme \(\epsilon_{i}=(\epsilon_{i,0},\dots,\epsilon_{i,J})\prime\sim\mathcal{N}(0,\Sigma)\) als gemeinsam normalverteilt (möglicherweise paarweise korreliert angenommen). Handelt es sich bei der Varianz-Kovarianzmatrix um die Einheitsmatrix, spricht man vom unahängigen Probitmodell.
Praktischer Hinweis für Logit- und Probitmodell
Im Unterschied zum linearen Modell muss mit heteroskedastischen Fehlern anders umgegangen werden. Das Vorliegen von Heteroskedastie im Modell (darauf sollte getestet werden) muss beim Aufstellen der log-Likelihood beachtet werden. Wird ein Modell unter Nichtbeachtung gerechnet, sind die Parameterschätzer inkonsistent. Es reicht daher nicht aus, nach der Schätzung mit beispielsweise der Methode der Eicker-Huber-White Standardfehler eine konsistente Kovarianzmatrix zu erzeugen.)
2.2 ordinale abhängige Variable
Liegt eine kategoriale abhängige Variable vor, deren Ausprägungen in eine Reihenfolge gebracht werden können (z.B. Zufriedenheit mit einem Produkt, Schulnoten) handelt es sich um eine ordinal skalierte Variable, deren Beziehung zu erklärenden Vatiablen häufig mit geordneten Modellen beschrieben wird. Theoretisch ist es möglich anstatt von geordneten Regressionsmodellen, ein multinomiales Modell aus Teil 2.1 zu verwenden. Dadurch erhält man aber ineffiziente Schätzer, da die zusätzliche Information durch die bestehende Reihenfolge nicht beachtet wird. Die Analyse mit einem linearen Regressionsmodell ist unangemessen, da der Unterschied zwischen "1" und "2" nicht gleich dem Unterschied zwischen "8" und "9" ist. Die Abstände der Ausprägungen sind also nicht interpretierbar, wie es im linearen Regressionsmodell mit metrischer abhängiger Variable der Fall ist.
Geordnete Probitregression
abhängige Variable (y) | ordinal (Reihenfolge in Ausprägungen liegt vor) |
unabhängige/n Variable/n (x) | beliebiges Skalenniveau (die Skalenniveaus der einzelnen \(x_1,...,x_p\) dürfen sich auch unterscheiden, liegt eine multinomiale Variable vor, so muss eine Zerlegung in Dummy-Variablen stattfinden) |
Ist man beispielsweise daran interessiert, die Medaillenvergabe an Sportler bei den olympischen Spielen vorherzusagen, liegt eine ordinal skalierte abhängige Variable vor (kein Podiumsplatz, Bronze, Silber, Gold). Diese Vorhersage kann mithilfe unabhängiger Variablen wie Größe, Muskelkraft, Lungenvolumen, Essverhalten, usw. mit einer geordneten Probitregression getroffen werden.
Ausgehend von einer metrischen, nicht beobachtbaren (latenten) Variable \(y^*\) mit Modell: \(y^*_i=x\prime_i\beta+\epsilon_i, \epsilon_i|x_{( i )}\sim\mathcal{N}(0,1) \text{i.i.d.}\;\; i=1,\dots,n\) nimmt man folgende Beziehung zur vorliegenden abhängigen Variable (mit endlichen Anzahl an Kategorien (J + 1)) an:
$$y_i={\begin{cases}0\ ,&{\text{für}}&-\infty<y^*_i\leq\mu_1\ ,\\1\ ,&{\text {für}}&\mu_1<y^*_i\leq\mu_2\ ,\\&\vdots\\J\ ,&{\text{für}}&\mu_J<y^*_i\leq\infty\end{cases}}$$
Dabei stehen \(\mu_j\) für geordnete Schwellenwerte, die neben den \(\beta\)s die zu schätzenden Paramteter des Modells darstellen. Nimmt man nun an \(\mu_0=-\infty\) und \(\mu_{J+1}=\infty\) kann die die Wahrscheinlichkeit des Eintretens der jeweiligen Kategorie abhängig von den erklärenden Variablen dargestellt werden mit:
$$p_{ij}=P(y_i=j|x_{( i )})=P(\mu_j<y^*_i\leq\mu_{j+1}|x_{( i )})=P(\mu_j<x\prime_{( i )}\beta+\epsilon_i\leq\mu_{j+1}|x_{( i )})=P(\mu_j-x\prime_{( i )}\beta<\epsilon_i\leq\mu_{j+1}-x\prime_{( i )}\beta|x_{( i )})=\Phi(\mu_{j+1}-x\prime_{( i )}\beta)-\Phi(\mu_j-x\prime_{( i )}\beta)$$
Dabei steht \(\Phi(\cdot)\) für die kumulierte Verteilungsfunktion der Standardnormalverteilung. Aus Identifikationsgründen darf in der Designmatrix (Matrix der erklärenden Variablen) keine Konstante enthalten sein. Wäre das der Fall könnten die Schwellenwerte davon nicht unterschieden werden und sie blieben dadurch unidentifiziert. Die Parameter werden durch die Maximum-Likelihood Methode geschätzt, wobei die log-Likelihood überall konkav ist. Dadurch ist ein eindeutiger ML-Schätzer bestimmt. Die ML-Schätzer sind hierbei konsistent, asymptotisch effizient und asymptotisch normalverteilt. Die Interpretation der marginalen Wahrscheinlichkeitseffekte gestaltet sich etwas schwieriger, als in einem Multinomialen Modell. Der Effekt hängt sowohl vom geschätzten Parameter, als auch von der Differenz von Wahrscheinlichkeitsdichten ab. Auch das Vorzeichen des Effekts lässt sich nur im Falle der ersten oder letzten Kategorie eindeutig über das Vorzeichen des jeweiligen Schätzers bestimmen. Im allgemeinen Fall gilt: \(\frac{\partial p_{ij}}{\partial x_{ik}}=\beta_k(\phi(\mu_j-x\prime_{( i )}\beta)-\phi(\mu_{j+1}-x\prime_{( i )}\beta))\), wobei \(\phi(\cdot)\) für die Wahrscheinlichkeitsdichte der Standardnormalverteilung steht.
Geordnete logistische Regression
Die geordnete logistische Regression folgt den gleichen Überlegungen wie die geordnete Probitregression. Der Unterschied liegt in der Annahme über die Verteilung der Fehlerterme, denn sie werden wie im binomialen oder multinomialen (siehe oben) Fall als logistisch verteilt angenommen. Daraus ergibt sich für die bedingten Wahrscheinlichkeiten der jeweiligen Kategorien:
beta)-\Lambda(\mu_j-x\prime_{( i )}\beta),$$wobei \(\Lambda(\cdot)\) für die kumulierte Verteilungsfunktion der logistischen Verteilung steht. Auch hier gilt, dass keine Konstante im Modell enthalten sein darf, da die Schwellenwerte \(\mu_j\) sonst nicht zu identifizieren sind. Die Schätzung und Interpretation der Parameter verläuft analog zur Probitregression.
3 Analyse von Zähldaten
In Zähldatenmodellen liegt die abhängige Variable diskret vor und nimmt nur nichtnegative Werte an (\(y_i\in\mathbb{N_0}\)). Derartige Modelle geben an, wie oft das Ereigniss von Interesse innerhalb eines Zeitraums aufgetreten ist. Beispiele für Daten, die mit einem Zähldatenmodell untersucht werden können sind die Anzahl der Patente, die von einer Firma im Jahr angemeldet werden, oder die Anzahl der Kinder, die in einem Monat in einer Stadt geboren werden. Obwohl es sich um quantitative Daten handelt ist die Modellierung mit bedingten Wahrscheinlichkeiten angebrachter, als mit bedingen Erwartungswerten (\(E(y_i|\prime\). Letztere Modellierungen können unter Umständen negative Vorhersagen produzieren, was nicht sinnvoll ist, wenn \(y_i\) nur nichtnegative Werte annehmen kann. Dadurch ist ein lineares Regressionsmodell mit kleinster Quadrate Schätzung ungeeignet für diesen Datentypus. Im folgenden werden die gängigsten Modelle für Zähldaten vorgestellt.
Poisson Regression
Es ist sinnvoll Poisson Regression durchzuführen, falls angenommen werden kann, dass die abhängige Variable \(Y\) poissonverteilt ist.
Die Zähldichte der Poissonverteilung ist folgendermaßen definiert: $$P(Y=k)=\frac{\lambda^k}{k!} e^{-\lambda} \;\; \text{für}\;\; k=0,1,2,... \text{ und } \lambda>0 $$Sie liefert eine Aussage darüber wie groß die Wahrscheinlichkeit für \(k\) erfolgreiche Ereignisse bei \(n\rightarrow \infty\) Versuchsdurchführungen ist, wenn nur zwei verschiedene Ereignisse, Erfolg und Misserfolg, eintreten können. \(\lambda\) beschreibt dabei die mittlere Anzahl zu erwartender Ereignisse. Eine Poisson Regression kann zum Beispiel auf die Anzahl der Geburten in einer Stadt in einem Monat angewandt werden. Dabei ist \(\lambda\) die mittlere Anzahl von Geburten in einem Monat in dieser Stadt. Um Poisson Regression anwenden zu können, muss aber folgende Bedingung erfüllt sein: Der Erwartungswert und die Varianz dieser Verteilung sind jeweils \(\lambda\). $$E(Y)=Var(Y)=\lambda$$Für das beschriebene Beispiel bedeutet dies, dass die erwartete Anzahl der Geburten in einem Monat in dieser Stadt der Varianz in den Geburtenanzahlen zwischen den Monaten entspricht. Diese Gleichheit von Varianz und Erwartungswert ist in der Anwendung jedoch öfters verletzt. Wenn diese Gleichheit in der Anwendung nicht vorliegt, so muss eine negative Binominal Regression (siehe nächster Abschnitt) durchgeführt werden.
Somit gilt für die Verteilung von \(Y_i|x_{(i)}\) mit \(i=1,...,N\): $$Y_i|x_{(i)} \sim Poisson(\lambda_i)\;\;\;\; \text{mit}\;E(Y_i|x_{(i)})=\lambda_i$$\(\lambda_i\) wird modelliert, indem angenommen wird das \(\lambda_i=h(x_{(i)}\beta)\). \(h\) ist hierbei die Responsefunktion, die prinzipiell frei gewählt werden kann. In den meisten Fällen wählt man für \(h()\) die Exponentialfunktion und spricht dann von einer Log-linearen Poisson Regression. Für diese Regression ergibt sich dann folgende Gleichung: $$\lambda_i=e^{(x_{(i)}\beta)}=e^{\beta_0} e^{\beta_1 x_{i1}} e^{\beta_2 x_{i2}}...e^{\beta_p x_{ip}} = e^{\beta_0+ \beta_1 x_{i1} \beta_2 x_{i2}+ ...+\beta_p x_{ip}} $$Es ist darauf zu achten, dass es sich hier um ein heteroskedastisches Modell handelt, da die Varianzen sich für die unterschiedlichen Beobachtungen unterscheiden (\(Var(Y_i|x_{(i)})=\lambda_i\)).
Die Werte für den Parametervekor \(\beta=(\beta_1,\beta_2,...,\beta_p)^T\) lassen sich nicht mehr über die Methode der kleinsten Quadrate schätzen, sondern es muss die Maximum-Likelihood-Methode angewandt werden, um diesen Schätzer zu ermitteln.
Negative binomial Regression
Liegen Zähldaten vor, bei denen die Gleichheit von Erwartungswert und Varianz verletzt ist, kann im Falle von Überdispersion (Varianz ist größer als Erwartungsert) mithilfe der negativen binomial Regression modelliert werden. Ausgehend von einem Poissonmodell mit \(Y_i|x_{(i)} \sim Poisson(\lambda_i)\;\text{wobei}\;\;\;\lambda_i=exp(x\prime_{( i )}\beta)\) könnte das Modell misspezifiziert sein, da nicht alle relevanten Informationen beobachtet werden können. Es wäre also denkbar, dass Lambda ausser durch die erklärenden Variablen noch durch eine Störgröße beinflusst wird, die nicht gemessen werden kann:
$$\lambda\prime_{i}=exp(x\prime_{( i )}\beta+\epsilon_i)=\lambda_iv_i,\;\;v_i=exp(\epsilon_i)$$
Der Parameter \(\epsilon_i\) beeinhaltet dabei unbeobachtete Heterogenität, welche dazu führt, dass die Annahme der Equidispersion der Poissonverteilung verletzt ist (in diesem Fall \(Var(Y_i>E(Y_i\)). Deshalb wird im allgemeinen stattdessen angenommen:$$Y_i|x,v_i \sim Poisson(\lambda\prime);\;\text{und}\;\;v_i\sim (1,\sigma^{2}_v)$$Da nur \(y_i,x) beobachtet werden können, \(v) aber nicht, ist nur die auf \(x) bedingte Verteilung \(Y_isim(\lambda_i,\lambda_i+\sigma^{2}_v\lambda^{2}_i)\) von Interessse. Deshalb integriert man den unbeobachtbaren Parameter aus der Wahrscheinlichkeitsverteilung heraus. In der Praxis nimmt man für \(v_i\) oft eine Gamma-Verteilung unabhängig von \(x) an, da die Integration dann eine geschlossene Lösung hat. Hieraus erhält man die Wahrscheinlichkeitsverteilung der negativen Binomialverteilung, welche als Verteilung der Anzahl von Erfolgen in einer Folge von Bernoulli Versuchen mit gleicher Erfolgswahrscheinlichkeit, bevor eine bestimmte Anzahl von Misserfolgen aufgetreten ist, angesehen werden kann.$$f(y|x)=\frac{\Gamma(y+\alpha)}{\Gamma(y+1)\Gamma(\alpha)}\left(\frac{\lambda}{\lambda+\alpha}\right)^{y}\left(\frac{\alpha}{\lambda+\alpha}\right)^{\alpha},\;\;\text{mit}\;\;E(y)=\lambda,\;\;Var(y)=\lambda+\frac{\lambda^2}{\alpha}$$
Mit geeigneter Wahl für \(\alpha\) erhält man schließlich verschiedene negative binomial Modelle. Verwiesen sei hier auf die zwei geläufigsten Negbin I und Negbin II:
Diese Modelle werden wie die Poissonregression mit der Maximum Likelihood Methode geschätzt. Für \(\sigma^2\to 0\) kovergieren die negativen Binomialmodelle gegen das Poissonmodell, was die Grundlage für Likelihood-Ratio oder Wald Test bildet, um das richtige Modell für Zähldaten auszuwählen.
Der Vorteil einer negativ binomialen Regression gegenüber einem Poissonmodell ist die Effizienz der Schätzung. Sind die getroffenen Annahmen jedoch verletzt führt das im Allgemeinen zu inkonsistenten Schätzergebnissen.