Anwendungsorientierte Analyseverfahren

Multilevelregression

Prof. Dr. Michael Scharkow

Sommersemester 2024

Wiederholung: Interaktionseffekte

Parameter Coefficient 95% CI t(418) p Std. Coef. Fit
(Intercept) 2.85 (2.71, 3.00) 38.43 < .001 0.00
alter centered -0.01 (-0.02, 0.00) -2.44 0.015 -0.11
tagging 0.67 (0.42, 0.91) 5.34 < .001 0.24
bez centered 0.17 (0.06, 0.29) 2.98 0.003 0.24
tagging × bez centered 0.19 (0.00, 0.38) 1.98 0.048 0.09
AICc 1380.74
R2 0.13
R2 (adj.) 0.12
Sigma 1.23

Nochmal Modellannahmen: Unabhängigkeit

  • beim GLM gehen wir davon aus, dass die Residuen unabhängig voneinander sind
  • Annahme ist verletzt, wenn die Fälle der Stichprobe nicht unabhängig voneinander sind
  • typische Fälle sind (a) zeitliche Abhängigkeiten, z.B. durch Messwiederholung, und (b) Abhängigkeiten durch geschachtelte Daten
  • wenn Unabhängigkeitsannahme verletzt ist, werden (a) Schätzer verzerrt sein und (b) die Standardfehler zu klein, d.h. erhöhtes Risiko für Alpha-Fehler

Was sind geschachtelte (nested) Daten?

Level-1-Einheiten gehören zu/sind geschachtelt in Level-2-Einheiten.

  • Schüler geschachtelt in Klassen oder Schulen

  • Beiträge geschachtelt in Nachrichtenoutlets, Accounts, Ausgaben oder Sendungen

  • Messungen geschachtelt in Personen (Personen sind Level-2!)

  • Daten können auch auf mehr als zwei hierarchischen Ebenen (Schüler, Klasse, Schule) geschachtelt oder kreuzklassifiziert sein

  • bei kreuzklassifizierten Daten gehören Level-1-Einheiten zu min. zwei verschiedenen Kontexten (z.B. Bewertungen von Werbespots gehören zu bewertenden Personen und bewerteten Spots)

Warum Multilevel-Modelle?

  • statistische Gründe: Die Schachtelung der Level-1-Einheiten muss auch berücksichtigt werden, wenn nur Level-1-Zusammenhänge von Interesse sind (dependence as a nuisance).

  • substanziellen Gründe: Multilevel-Modelle erlauben eine Zerlegung in Between- und Within-Group-Varianz und damit die adäquate Modellierung von Zusammenhängen auf verschiedenen Ebenen (dependence as an interesting phenomenon).

Grundbegriffe

  • Multilevel Model = Hierarchical Model = Mixed Effects Model (= Mehrebenen-Modell)
  • Between-Group-Varianz = Varianz, die durch Unterschiede in den Level-2-Einheiten erzeugt wird
  • Within-Group-Varianz = Varianz, die durch Unterschiede der Level-1-Einheiten innerhalb derselben Level-2-Einheit erzeugt wird
  • Fixed Effects = Zusammenhänge, die in allen Level-2-Kontexten gleich sind
  • Random (Varying) Effects = Zusammenhänge, die über die Level-2-Kontexte variieren
  • Cross-Level-Interaction = Zusammenhang zwischen Level-1-Effekt und Level-2-Kontextmerkmalen

Nullmodell mit varierenden Intercepts

Das Multilevel-Nullmodell für geschachtelte Daten mit \(i\) Individuen in \(j\) Gruppen besteht aus je einem Nullmodell pro Ebene:

Level 1: \(Y_{ij} = b_{0j}+ \epsilon_{ij}\) und Level 2: \(b_{0j} = \gamma_{00} + u_{0j}\)

oder zusammengenommen: \(Y_{ij} = \gamma_{00} + u_{0j} + \epsilon_{ij}\)

\(\gamma_{00}\) ist der globale Mittelwert von \(Y\), \(u_{0j}\) ist die gruppenspezifische Abweichung vom globalen Mittelwert und \(\epsilon_{ij}\) ist das individuelle Residuum.

Intra-Class-Correlation (ICC)

  • zu Beginn sollte man ein Nullmodell (d.h. ohne Prädiktoren) schätzen, um die Intra-Class-Correlation (ICC) zu berechnen
  • ICC Anteil der Varianz in einer Variable, der durch die Kontexte (Level-2) erklärt wird. Technisch: der Anteil Between-Group-Varianz (also die Varianz von \(u_{0j}\)) an der Gesamtvarianz von \(Y\).
  • wenn der ICC hoch ist (viel Gruppenvarianz), lohnt sich die Betrachtung von Level-2-Prädiktoren
  • wenn der ICC niedrig ist (wenig Gruppenvarianz), sind Level-1-Prädiktoren ein sinnvolleres Ziel
  • selbst bei kleinem ICC ist Mehrebenenanalyse sinnvoll, da sie nie “schlechter” als ein klassisches Regressionsmodell ist

Regression und Multilevel-Regression

  • Multilevel-Modelle sind eine konzeptionelle Erweiterung der (linearen) Regression
  • alle Annahmen der Regression (Normalverteilung der Residuen, Homoskedastizität, Linearität) weiterhin
  • gruppenspezifischen Abweichungen werden oft nur summarisch, d.h. z.B. ihre Varianz berichtet, aber nicht einzeln inspiziert
  • Zentrierung ist üblich, Standardisierung der Koeffizienten eher selten

Random (bzw. Varying-) Intercept Modell

-Intercepts dürfen gruppenspezifisch variieren, Regressionskoeffizienten \(B\) sind für alle Level-2-Einheiten gleich

\(Y_{ij} = \gamma_{00} + u_{0j} + B_1 x_1 + B_2 x_2 + ... + \epsilon_{ij}\)

  • die variierenden Intercepts die Abweichungen der einzelnen Level-2-Einheiten vom globalen Intercept
  • Output und Interpretation der Regressionskoeffizienten entspricht dem regulären linearen Regressionsmodell

\(R^2\) und Modellvergleich

  • In Multilevel-Modellen gibt es keinen Standard für die Berechnung von \(R^2\)
  • Alternative 1: separate Inspektion bzw. Modellvergleich der einzelnen Varianzkomponenten (Residual und Level-2-Varianz) hat den Vorteil, dass man recht klar erkennen kann, welche L1- bzw. L2-Prädiktoren wie das Modell verbessern
  • Alternative 2: Globalmaße, die in entweder nur die Fixed Effects (marginal \(R2\)) oder Fixed und Random Effects (conditional \(R2\)) berücksichtigen (Nakagawa et al., 2017)
  • Wie beim partiellen F-Test der Regression kann man auch verschiedene Modelle miteinander hinsichtlich ihrer Varianzaufklärung vergleichen, dies wird oft Likelihood-Ratio-Test genannt

Modellerweiterungen


  • zusätzlich zu den Intercepts kann man auch Regressionskoeffizienten über die Level-2-Einheiten variieren lassen, um die Effektheterogenität über Gruppen zu prüfen
  • ebenso kann man Interaktionen sowohl innerhalb einer Ebene als auch sog. Cross-Level-Interactions modellieren, d.h. ob der Kontext- den Individualeffekt moderiert

Beispielstudie: Fähnrich et al. (2020)

Daten

  • Stichprobe von 10807 Facebook-Posts von 42 Universitäten
  • Uni-Fans ist die Anzahl Fans der Facebook-Seite (in Tausend), d.h. hier eine Level-2-Variable
  • Alle anderen Variablen sind pro Post, d.h. Level-1-Variablen.
uni uni_fans created_time type likes_count comments_count
UC Berkeley 354.90 2013-02-26 01:01:53 video 82 11
Cornell U 272.76 2013-06-08 14:19:45 photo 91 2
UC Santa Barbara 65.43 2013-06-12 20:00:01 photo 158 23
U Toronto 253.77 2015-04-22 15:22:52 photo 1950 59
Cornell U 272.76 2015-06-25 18:49:14 photo 286 1

Outcome-Variable

Variable n_Obs Mean SD Median MAD Min Max
comments_count 10807 12.15 36.46 3 4.45 0 1556

Nullmodell und ICC

Parameter Coefficient 95% CI t(10804) p Effects Group Std. Coef. Fit
(Intercept) 14.34 (9.23, 19.44) 5.50 < .001 fixed 0.06
16.71 random uni
33.32 random Residual
AICc 106618.77
R2 (conditional) 0.20
R2 (marginal) 0.00
Sigma 33.32 


16.71^2 / (16.71^2 + 33.32^2)
[1] 0.2009607

Vorhergesagte Werte (Uni-Page)

uni estimate std.error statistic p.value conf.low conf.high
Columbia U 2.33 2.61 0.89 0.37 -2.78 7.44
Cornell U 9.40 2.61 3.61 0.00 4.29 14.51
Duke U 8.69 2.61 3.34 0.00 3.58 13.80
Harvard U 66.38 2.61 25.48 0.00 61.27 71.48
Imperial College London 3.40 2.61 1.30 0.19 -1.71 8.50
Johns Hopkins U 3.18 2.61 1.22 0.22 -1.92 8.29
MIT 15.76 2.61 6.05 0.00 10.66 20.87
New York U 10.71 2.61 4.11 0.00 5.61 15.82
Northwestern U 7.88 2.61 3.03 0.00 2.78 12.99
Princeton U 5.63 2.61 2.16 0.03 0.53 10.74

Varying Intercept-Modell (Topic Research)

Parameter Coefficient 95% CI t(10387) p Effects Group Std. Coef. Fit
(Intercept) 15.57 (10.48, 20.67) 5.99 < .001 fixed 0.06
topic research -4.06 (-5.53, -2.59) -5.42 < .001 fixed -0.05
16.60 random uni
33.41 random Residual
AICc 102577.73
R2 (conditional) 0.20
R2 (marginal) 0.00
Sigma 33.41

Modellvorhersagen (varying intercepts)

Varying Intercept vs. Varying Slope-Modell

npar AIC BIC logLik deviance Chisq Df Pr(>Chisq)
m1_research 4 102582.7 102611.7 -51287.36 102574.7
m2_research_vs 6 102532.8 102576.3 -51260.39 102520.8 53.93 2 0

Varying Slopes pro Uni-Page

term uni estimate std.error statistic p.value conf.low conf.high
topic_research Columbia U -0.43 1.22 -0.35 0.72 -2.82 1.96
topic_research Cornell U -3.15 1.22 -2.58 0.01 -5.54 -0.76
topic_research Duke U -2.72 1.22 -2.23 0.03 -5.11 -0.33
topic_research Harvard U -24.59 1.22 -20.16 0.00 -26.98 -22.20
topic_research Imperial College London -0.91 1.22 -0.75 0.45 -3.30 1.48
topic_research Johns Hopkins U -0.73 1.22 -0.60 0.55 -3.13 1.66
topic_research MIT -5.51 1.22 -4.52 0.00 -7.90 -3.12
topic_research New York U -3.48 1.22 -2.85 0.00 -5.87 -1.09
topic_research Northwestern U -2.43 1.22 -1.99 0.05 -4.82 -0.04
topic_research Princeton U -1.67 1.22 -1.37 0.17 -4.07 0.72

Modellvorhersagen (varying slopes)

Modell mit Level-2-Prädiktor

Parameter Coefficient 95% CI t(10384) p Effects Group Std. Coef. Fit
(Intercept) 10.88 (6.56, 15.19) 4.94 < .001 fixed 0.05
topic research -5.69 (-8.35, -3.04) -4.21 < .001 fixed -0.07
uni fans 0.01 (0.01, 0.01) 8.18 < .001 fixed 0.21
13.41 random uni
7.26 random uni
-0.99 random uni
33.32 random Residual
AICc 102509.01
R2 (conditional) 0.16
R2 (marginal) 0.05
Sigma 33.32

Fazit

  • in der Kommunikationswissenschaft sind geschachtelte Daten nahezu überall anzutreffen, sei es bei Inhaltsanalysen, Panel- oder Mehrländer-Befragungen

  • oft sind auch Personen die Level-2-Einheiten, z.B. bei Experience-Sampling-Daten oder Within-Subject-Experimenten

  • die Grundlogik der Multilevel-Analyse entspricht dem linearen Modell, lediglich die Art und Weise, die Schachtelung zu berücksichtigen, variiert

  • wenn Verdacht auf Verletzung der Unabhängigkeitsannahme besteht, kann man immer zumindest ein Varying Intercept Modell schätzen, das nie “schlechter” als ein lineares Regressionsmodell ist

  • technisch muss man in R (fast) nur lm() durch lmer() ersetzen und die Modellformel leicht anpassen (siehe praktische Übung)

Literatur

Hox, J. J., Moerbeek, M., & Van de Schoot, R. (2017). Multilevel analysis: Techniques and applications. Routledge.

Fähnrich, B., Vogelgesang, J., & Scharkow, M. (2020). Evaluating universities’ strategic online communication: how do Shanghai Ranking’s top 50 universities grow stakeholder engagement with Facebook posts?. Journal of Communication Management, 26(3).