Wiederholung: Information Overload

Moderationsanalyse

• Diagnose: Effektheterogenität, d.h. der Zusammenhang von X und Y ist nicht für alle gleich
• der Effekt von X auf Y hängt von Moderatorvariable Z ab (“wird von Z moderiert”)
• die Größe und die Richtung des Regressionskoeffizienten ist davon abhängig, welche Ausprägung Z hat
• Beispiele:
  • Experimente mit min. 2 Faktoren, die sich gegenseitig beeiflussen
  • Effektheterogenität in verschiedenen Subgruppen der Stichprobe
• Effektheterogenität aktuell en vogue (person-specific media effects, Valkenburg et al., 2021), aber theoretisch und empirisch ggf. problematisch (Healy, 2017; Vuorre et al., 2022)

Woran erkennen wir Effektheterogenität?

Analysemöglichkeiten

(a) separate Regressionsmodelle pro Subgruppe schätzen

• kein direkter Test der Moderationshypothese
• weniger statistische Power wg. kleinerer Subsamples
• alle Regressionskoeffizienten werden unterschiedlich geschätzt
• bei metrischen Moderatoren Dichotomisierung o.ä. nötig

(b) Moderationsanalyse mit Interaktionstermen

• gezielt für spezifische Prädiktoren möglich
• statistische Power bleibt erhalten
• metrische Moderatoren problemlos integrierbar

Beispiel getrennte Analysen

Regressionsformel für Moderation

• Bei der Moderationsanalyse gehen wir davon aus, dass der Effekt X auf Y eine Funktion von Z ist
  \(Y = b_0 + f(Z)X + b_2Z + \epsilon\)

• Die Funktion f(Z) sei definiert als lineare Funktion \(f(Z) = b_1 + b_3Z\)
  \(Y = b_0 + (b_1 + b_3Z)X + b_2Z + \epsilon\)

• Durch Ausmultiplizieren erhalten wir einen Interaktionsterm \(XZ\), der einfach das Produkt von \(X\) und \(Z\) ist
  \(Y = b_0 + b_1X + b_2Z + b_3XZ + \epsilon\)

Was bedeuten die Koeffizienten?

• Regressionsformel \(Y = b_0 + b_1X + b_2Z + b_3XZ + \epsilon\)
• \(b_0\) (Intercept) ist der erwartete Wert von \(Y\), wenn \(X = 0\) und \(Z = 0\)
• \(b_1\) ist der (konditionale) Effekt von \(X\), wenn \(Z = 0\)
• \(b_2\) ist der (konditionale) Effekt von \(Z\), wenn \(X = 0\)
• \(b_3\) ist der eigentliche Interaktionseffekt, d.h. die Differenz in \(b_1\), wenn \(Z\) sich um eine Einheit ändert

Interpretation konditionaler Effekte

• bei Moderationsanalysen wird oft nur auf die Signifikanz des Interaktionsterms geschaut.
• man kann und sollte aber auch die substanziellen Effekte betrachten, z.B. durch
  • Schätzung der konditionalen Regressionskoeffizienten für (typische) Werte von \(Z\)
  • Visualisierung der Modellvorhersagen für \(Y\) für (typische) Werte von \(Z\)

Wichtig: Bei Regressionsmodellen mit Interaktionseffekten \(XZ\) sind die Koeffizienten von \(X\) und \(Z\) nicht mehr unabhängig voneinander interpretierbar, d.h. die Effekte sind nicht mehr unkonditional für alle Fälle \(n\) gültig!

Wichtig: Damit die konditionalen Effekte überhaupt interpretierbar sind, sollten wir metrische Variablen zentrieren und kategorielle Variablen dummy- oder effektcodieren!

Interaktionsterme

• in R kann man Interaktionsterme direkt in die Modellformel für lm() aufnehmen: y ~ x + z + x:z oder einfacher y ~ x * z
• alternativ werden Interaktionsterme manuell erstellt:
  • vor der Schätzung die beiden Variablen \(X\) und \(Z\) miteinander zu einer neuen Variable \(XZ\) multiplizieren
  • dieser Interaktionsterm \(XZ\) wird dann als zusätzliche Prädiktorvariable ins Modell aufgenommen
• für leichtere Interpretierbarkeit immer darauf achten, dass \(X\) und \(Z\) einen sinnvollen Wert für 0 haben

Beispielstudie: Vögele & Bachl, 2017

Daten

Bivariates Modell (nur Versuchsbedingung)

Zwei Prädiktoren (nur Haupteffekte)

Modell mit kategoriellem Moderator

Konditionale Effekte

Durch Einsetzen in die Gleichung \(f(Z) = b_1 + b_3Z\) lassen sich die konditionalen Effekte von \(X\) (Dialekt) bei verschiedenen Ausprägungen vom Moderator \(Z\) (Geschlecht) schätzen:

Average Marginal Effects (AME)

Die durchschnittlichen Effekte von \(X\) über die gesamte Stichprobe (average marginal effects) lassen sich bestimmen, indem für jeden einzelnen Fall der konditionale Effekt berechnet und dann gemittelt wird.

Average Marginal Effects (AME) entsprechen im linearen Modell den unmoderierten Koeffizienten

Vorhergesagte Werte

• Durch Einsetzen der Werte von \(X\) in die Regressionsgleichung lassen sich wie immer die vorhergesagten Werte in \(Y\) schätzen.
• Im Beispiel gibt es nur 4 typische Bedingungen (2 Treatment x 2 Geschlecht), die wir explizit vorhersagen.
  

Visualisierung der Vorhersagen

Erweiterungen

• dieselbe Analyselogik gilt auch für Moderatoren mit mehr als zwei Ausprägungen, d.h.
  • alle konditionalen Effekte gelten dann für die Referenzgruppe
  • es gibt jeweils \(k-1\) Haupt- und Interaktionseffekte
• in (zum Glück) seltenen Fällen gibt es auch 3-Wege-Interaktionen (2 Moderatoren)
  • Einbeziehung bzw. Berechnung der Interaktionsterme \(XZ_1\), \(XZ_2\) und \(XZ_1Z_2\)
  • Interpretation doppelt konditionaler Effekt sehr kompliziert

Beispiel Moderation mit 3 Gruppen

Beispiel Moderation mit 3 Gruppen

Beispiel 3-Way-Interaction

Quelle: Rains et al. (2023)

Zwischenfazit

• Moderationsanalysen mit kategoriellen Variablen sind technisch leicht durchführbar, erfordern aber eine neue Interpretation
• die Interpretation der stat. Signifikanz der Interaktionsterme ist einfach, die substanzielle Interpretation schwierig
• durch Hinzunahme des Interaktionsterms werden aus den beteiligten Haupteffekten automatisch konditionale Effekte in der Referenzgruppe (!)
• die Koeffizienten der Prädiktoren ohne Interaktionsterm bleiben unkonditional (!)

Regression mit metrischem Moderator

• Anstelle einer dichotomen Variable kann man auch eine metrische Moderatorvariable berücksichtigt werden, hier zum Beispiel die Voreinstellung gegenüber dem schwäbischen Dialekt (atol).
• Hypothese: Je positiver die Einstellung zum schwäbischen Dialekt bei einer Versuchsperson, desto positiver der Effekt der Experimentalbedingung
• Reminder: der Koeffizient für Dialekt bezieht sich nun auf einen konkreten Wert von atol (konditionaler Effekt)

Regression mit metrischem Moderator

Konditionale Effekte durch Zentrierung

• Zentrierung von atol mit 1, d.h. Koeffizient für Dialekt gilt für atol = 1 (Minimum)

Conditional Effects

• wie bei Modellvorhersagen können wir für typische Werte des Moderators den Koeffizienten von X schätzen

Conditional effects plot

Johnson-Neyman Intervalle

• es werden Intervallgrenzen geschätzt, jenseits derer die Regressionskoeffizienten von \(X\) signifikant sind

JOHNSON-NEYMAN INTERVAL

When atol is OUTSIDE the interval [3.35, 4.74], the slope of schwab is p < .05.

Note: The range of observed values of atol is [1.00, 5.00]

• Problem 1: Alpha-Fehler durch (sehr) häufige Tests
• Problem 2: “The difference between signficant and insignificant is not itself signficant” (Andrew Gelman), sprich: die Punkte, an denen die stat. Signifikanz “umspringt”, haben keinerlei besondere Eigenschaften
• nicht verwenden!

Modellvorhersagen

• wie immer lassen sich mit ausgewählten Werten der Prädiktoren auch Vorhersagen berechnen

Visualisierung der Modellvorhersagen

Tipps

• auf korrekte Interpretation der Referenzgruppen achten bei kategoriellen Moderatoren
• metrische Variablen zentrieren, die keinen interpretierbaren Nullpunkt haben, bevor man Interaktionsterme einfügt
• immer auch \(X\) und \(Z\) im Modell zu haben, wenn der Interaktionsterm \(XZ\) im Modell ist
• pragmatischer Vorschlag: wenn kein signifikanter Interaktionseffekt, dann lieber unkonditionales Modell (ohne Moderator) berichten
• substanzielle Interpretation durch Berechnung und Visualisierung von conditional effects und Modellvorhersagen

Fazit

• lineare Modelle mit Moderation sind in der Regel sehr (zu!) leicht zu spezifizieren, aber zumeist deutlich schwieriger substanziell zu interpretieren (außer Signifikanz des Interaktionseffekts)
• auch wenn die Regressionstabelle optisch sehr ähnlich aussieht, ändert sich Interpretation grundsätzlich
• viele SozialwissenschaftlerInnen interpretieren moderierte Effekte entweder gar nicht oder falsch
• Moderationshypothesen sind nicht per se theoretisch wertvoll, und auch bei Moderationsanalysen gibt es Alpha-Fehler

Take-Home Aufgabe #3

Altay et al. (2022) untersuchen experimentell, ob falsche Nachrichten weniger als wahre geteilt werden, und wie dies von der Interessantheit der Nachricht abhängt.

Beantworten Sie folgende Forschungsfragen mit Hilfe der Studien-Daten:

1. Werden wahre Nachrichten eher geteilt als falsche?
2. Werden interessante Nachrichten eher geteilt als uninteressante?
3. Gibt es den im Titel des Artikels angesprochenen Effekt eines zusätzlichen “interesting-if-true” Effekts auf das Teilen von Nachrichten? Wie fällt dieser aus?

Take-Home Aufgabe #3

1. Stellen Sie die Ergebnisse des/der geschätzen Modells/Modelle sinnvoll tabellarisch oder grafisch dar (Screenshot reicht).
2. Beantworten Sie die Forschungsfragen anhand von Ihnen ausgewählter Kennwerte bzw. Quantities of Interest (2-3 Sätze pro Forschungsfrage)
3. Lösung als PDF-Datei bitte bis 03.07.2024, 12 Uhr in Moodle hochladen.

Take-Home Aufgabe #3

# Daten laden
altay22 = read_tsv("data/altay2022.tsv")

• Share = Wahrscheinlichkeit, die Nachricht mit anderen zu teilen (1-6, höher ist wahrscheinlicher)
• Type = Nachrichtentyp (experimentell variiert, TN=wahr, FN=falsch)
• Interesting = Wahrgenommene Interessantheit der Nachricht (1-7, höher ist interessanter)

Literatur

Healy, K. (2017). Fuck nuance. Sociological Theory, 35(2), 118-127.

Rains, S. A., Harwood, J., Shmargad, Y., Kenski, K., Coe, K., & Bethard, S. (2023). Engagement with partisan Russian troll tweets during the 2016 US presidential election: a social identity perspective. Journal of Communication, 73(1), 38-48.

Valkenburg, P., Beyens, I., Pouwels, J. L., van Driel, I. I., & Keijsers, L. (2021). Social media use and adolescents’ self-esteem: Heading for a person-specific media effects paradigm. Journal of Communication, 71(1), 56-78.

Vögele, C., & Bachl, M. (2017). Der Einfluss des Dialekts auf die Bewertung von Politikern. SCM Studies in Communication and Media, 6(2), 196-215.

Vuorre, M., Johannes, N., & Przybylski, A. K. (2022). Three objections to a novel paradigm in social media effects research.