Korrelation, Regression und GLM

• historisch zwei unterschiedliche Ansätze, den Zusammenhang zweier metrischer Variablen zu analysieren: Korrelation und Regression
• Korrelation basiert auf der Idee der Kovarianz, d.h. dem “gemeinsamen Variieren” zweier Variablen
• bivariate Regression als GLM, bei dem ein metrisches Outcome \(Y\) durch eine Prädiktorvariable \(X\) vorhergesagt werden soll
• beide sind (natürlich!) miteinander verwandt, d.h. es unterscheiden sich vor allem die Konventionen des Berichtens

Form des Zusammenhangs

Regressions- vs. Korrelationskoeffizienten

• unstandardisierter Regressionskoeffizient \(B\) als Anstieg, d.h. zunächst Richtung des Zusammenhangs
• Korrelationskoeffizient \(r\) als Effektstärke, d.h. wie nahe die Werte von \(Y\) der Regressionsgeraden sind
• starker Zusammenhang = wenig Residualvarianz = hohe Korrelation \(r\)

Unterschiedlich starke Zusammenhänge

Korrelationsmatrizen

Quelle: Scharkow, Festl, Vogelgesang & Quandt, 2013

Mal wieder: Korrelation und Kausalität

Quelle: https://www.cjr.org/tow_center_reports/the_curious_journalists_guide_to_data.php

Bivariate Regression

• linearer Zusammenhang zwischen \(X\) und \(Y\) wieder, wobei wir definieren, was Prädiktor \(X\) und was Outcome \(Y\) ist
• die Modellformel wie immer: \[ Y_i = b_0 + b_1 X_i + \epsilon_i \]
• \(b_0\) ist der vorhergesagte Wert von \(Y\), wenn \(x=0\)
• \(b_1\) ist der vorhergesagte Anstieg von \(Y\), wenn \(X\) um eine Einheit steigt (d.h. der Ansteig in Originalmetrik)
• ändert sich die Metrik von \(X\) oder \(Y\), ändert sich die Interpretation von \(b_1\)

Intercepts und Zentrierung

• Intercept bzw. Konstante als vorausgesagte Wert von \(Y\), wenn \(X=0\)
• nur sinnvoll zu interpretieren, wenn \(X\) auch die Ausprägung 0 haben kann
• man kann \(X\) zentrieren, z.B. von allen Werten \(x_i\) eine Konstante \(c\) subtrahieren, dann ist Intercept der vorausgesagte Wert für \(x = c\)
• häufigste Zentrierung ist die Mittelwertzentrierung, d.h. \(c = \bar{x}\), der Intercept bezieht sich auf den durchschnittlichen Wert von \(X\)
• Zentrierung ändert nichts an den Regressionskoeffizienten oder am Globalfit, sondern nur am Intercept

Effektgrößen und Modellgüte

• jeder Koeffizient \(B\) hat einen Standardfehler SE(B) und ein Konfindenzintervall
• mit beiden lässt sich \(H_0\) prüfen können, dass kein linearer Zusammenhang existiert - bzw. ob die Daten sich mit \(B=0\) decken
• \(B\) lässt sich substantiell in der Metrik von \(Y\) interpretieren (eine Einheit mehr/weniger \(X\) entspricht \(B\) Einheiten mehr/weniger \(Y\)), er sagt aber nichts über die Stärke des Zusammenhangs oder Modellgüte
• wie gut das lineare Modell (im Vergleich zum Nullmodell ohne Prädiktoren) vorhersagt, kann man am \(R^2\) erkennen
• im bivariaten Fall entspricht das exakt dem quadrierten Korrelationskoeffizienten \(r_{XY}\)

Unstandardisierte B vs. standardisierte Beta

• Interpretation von unstandardisiertem \(B\) setzt voraus, dass wir die Metriken von \(X\) und vor allem \(Y\) kennen
• oft wird (z.B. für Vergleiche oder Meta-Analysen) ein standardisiertes Maß gewünscht, das unabhängig von \(X\) und \(Y\) ist
• wir können Regressionskoeffizienten standardisieren, in dem wir
  • entweder die Daten \(X\) und \(Y\) vor der Analyse z-standardisieren (M = 0, SD = 1)
  • oder den Koeffizienten selbst standardisieren, durch \(\beta = b \frac{s_x}{s_y}\)
• im bivariaten Fall (nur dort!) entspricht \(\beta\) dem Korrelationskoeffizienten \(r\)

Korrelation vs. bivariate Regression/GLM

• \(r\) als standardisierte Größe, d.h. auch ohne Kenntnis der Skalen von \(X\) und \(Y\) interpretierbar
• Korrelationsanalyse verführt ggf. weniger zu kausalen (Fehl-)Interpretationen als ein GLM mit unabhängiger und abhängiger Variable
• bei Korrelationen sind alternative Verfahren für nicht-metrische Daten (z.B. Spearmans Rangkorrelation) verbreitet
• beim GLM bekommt mehr Informationen: unstandardisierte Effektgrößen (inkl. Intercept)
• beide Verfahren liefern dieselben Schätzer und dieselben Testentscheidungen, basieren auf denselben Annahmen

Beispielstudie: Johannes et al. (2022)

Daten

Outcome-Variable

Scatterplot

Korrelation samt Hypothesentest

Bivariate lineare Regression

Zentrierung Alter = 18

Mittelwertzentrierung

Transformierte Y-Variable (Minuten)

Z-standardisierte Variablen

Aufgabe: Books Time (Minuten)

Literatur

Johannes, N., Dienlin, T., Bakhshi, H., & Przybylski, A. K. (2022). No effect of different types of media on well-being. Scientific reports, 12(1), 1-13.

Scharkow, M., Festl, R., Vogelgesang, J., & Quandt, T. (2015). Beyond the “core-gamer”: Genre preferences and gratifications in computer games. Computers in Human Behavior, 44, 293-298.