Kategorielle Outcomes - \(\chi^2\) Test

• oft sind wir an Zusammenhängen von kategoriellen Variablen interessiert
• Klassische Analysestrategie: Kreuztabelle und \(\chi^2\) Test auf Unabhängigkeit
• Vorteil: einfache Darstellung (Tabelle mit Spaltenprozenten, \(\chi^2\) Wert, p-Wert, Kontingenzkoeffizient)
• Nachteil: der \(\chi^2\) Test ist ein Globaltest, d.h. wir testen nur, ob es irgendwo signifikante Abweichungen der beobachteten von den erwarteten Häufigkeiten gibt, aber nicht wie und wo
• weiterer Nachteil: nur kategorielle Prädiktoren, nur bivariate Zusammenhänge
• Alternative: GLM mit logistischer Link-Funktion

Lineare Regression bei dichotomer AV

(Inverse) Logit-Funktion

Lineare vs. logistische Regression

\(Logit(Y) = b_0 + b_1 X_i + \epsilon_i\)

• gleiche Annahmen zu Unabhängigkeit und Multikollinearität
• gleiche Logik der Modellspezifikation mit Nullmodell und Prädiktorvariablen
• gleiche Logik der statistischen Inferenz, d.h. Standardfehler und Konfidenzintervalle
• unterschiedliche Interpretation der Koeffizienten (sowohl unstandardisiert als auch standardisiert)
• unterschiedliche Maße der Modellgüte ( \(R^2\), etc.)

Interpretation logistischer Modelle

• unstandardisierte Koeffizienten sind bei logistischer Regression schwer interpretierbar
• Interpretation als (Änderung von) Wahrscheinlichkeiten ist falsch, u.a. weil diese nicht konstant sind
• 3 Möglichkeiten, logistische Modelle zu interpretieren:
  • Divide-by-4-Regel mit unstandardisierten Koeffizienten
  • Average Marginal Effects
  • Odds-Ratios

Unstandardisierte Koeffizienten

• die Interpretation von unstandardisierten Koeffizienten im logistischen Modell hängt (auch) am Intercept bzw. an den anderen Kovariaten
• der Intercept lässt sich durch die sog. Inverse Logit Funktion (in R plogis()) in eine Baseline-Wahrscheinlichkeit umrechnen
• die Veränderung der Wahrscheinlichkeiten bei einer Änderung von \(X\) (Slope) ist nicht in allen Fällen gleich groß
• Gelman & Hill (2007) empfehlen für eine schnelle Interpretation unstandardisierte Koeffizienten die Divide-by-4-Regel
• \(B/4\) ist eine Obergrenze für die Änderung in der Wahrscheinlichkeit P(Y=1), wenn \(X\) sich um eine Einheit ändert
• Abweichung ist am Rande der Verteilung von \(Y\) größer als in der Mitte

Average Marginal Effects

• für jeden Wert von \(X\) lässt sich der Anstieg in der Logit-Funktion von \(Y\) berechnen.
• wenn wir dies für alle Werte in der Stichprobe tun, und davon den Mittelwert errechnen, erhalten wir den AME
• dieser lässt sich als durchschnittliche Veränderung in der Wahrscheinlichkeit P(Y=1) über alle Fälle interpretieren
• alternativ können wir auch wieder typische Fälle auswählen und dafür die vorgesagten Werten von \(Y\) schätzen
• dies bietet sich vor allem bei Modellen mit kategoriellen Prädiktorvariablen an (vgl. ANOVA)

Odds Ratios - Exp(B)

• die meisten logistischen Regressionen berichten statt B den Wert Exp(B), der auch als Odds Ratio (OR) bezeichnen wird
• Odds = \(P(x)/1-P(x)\) kann man im Deutschen als Chance oder Risiko übersetzen, nicht jedoch als Wahrscheinlichkeit!
• eine OR=1 bedeutet kein Effekt, OR > 1 bedeutet eine erhöhte Chance bzw. Risiko, eine OR < 1 eine niedrigere Chance/Risiko
• Exp(B) = .5 heißt: mit jedem Skalenpunkt mehr X besteht ein halb so großes Risiko
• Exp(B) = 2 heißt: mit jedem Skalenpunkt mehr X verdoppelt sich das Risiko

Modellgüte: Pseudo \(R^2\)

• weit verbreitetes Maß für die Güte einer logistischen Regression ist das Pseudo \(R^2\) von McFadden, Nagelkerke oder Cox & Snell.
• diese setzen die Log-Likelihood des Nullmodells mit dem gefitteten Modell in Beziehung, beschreiben also wieviel besser das Modell gegenüber dem Nullmodell ist
• die Interpretation ist vergleichbar mit dem klassischen \(R^2\), wobei nicht immer klar ist, inwiefern der Wertebereich wirklich von 0-1 geht