How to Obtain Comparable Measures for Cross-National Comparisons

Comparisons of means or associations between theoretical constructs of interest in cross-national comparative research assume measurement invariance, that is, that the same constructs are measured in the same way across the various nations under study. While it is intuitive, this assumption needs to be statistically tested. An increasing number of sociological and social psychological studies have been published in the last decade in which the cross-national comparability of various scales such as human values, national identity, attitudes toward democracy, or religiosity, to name but afew, were tested. Many of these studies did not manage to fully achieve measurement invariance. In this study we review, in anontechnical manner, the methodological literature on measurement invariance testing. We explain what it is, how to test for it, and what to do when measurement invariance across countries is not given in the data. Several approaches have been recently proposed in the literature on how to deal with measurement noninvariance. We illustrate one of these approaches with alarge dataset of seven rounds from the European Social Survey (2002-2015) by estimating the most trustworthy means of human values, even when strict measurement invariance is not given in the data. We conclude with asummary and some critical remarks. ZusammenfassungVergleiche von Mittelwerten und von Beziehungen zwischen theoretischen Konstrukten, die im Rahmen international vergleichender Forschung untersucht werden, gehen davon aus, dass diese Konstrukte messinvariant sind, d.h., dass sie in den verschiedenen Landern identisch gemessen werden. Obwohl diese Annahme plausibel sein kann, muss sie jedoch statistisch getestet werden. Im letzten Jahrzehnt wurde eine zunehmende Zahl von soziologischen, politikwissenschaftlichen und sozialpsychologischen Studien veroffentlicht, in denen die internationale Vergleichbarkeit von verschiedenen Skalen zur Messung von z.B. menschlichen Werten, nationaler Identitat, Einstellungen zu Demokratie oder Religiositat uberpruft wurde. In vielen dieser Studien konnte Messinvarianz nicht vollig nachgewiesen werden. Die folgende Studie bietet in einer nicht technischen Art und Weise einen uberblick uber die methodologische Literatur zur Messinvarianz. Es wird erklart, was Messinvarianz ist, wie man sie uberpruft und was man tun kann, wenn sie in den Daten nicht gegeben ist. In der Literatur wurden in der letzten Zeit verschiedene Ansatze vorgeschlagen, wie man fehlende Messinvarianz behandeln kann. Die Autoren illustrieren eine dieser Herangehensweisen (Alignment) mit einem gro ss en Datensatz, der 7Befragungsrunden des European Social Survey (2002-2015) beinhaltet, und schatzen den vertrauenswurdigsten Durchschnitt menschlicher Werte, auch wenn strikte Messinvarianz in den Daten nicht vorhanden ist. Abschlie ss end folgen eine Zusammenfassung und einige kritische Anmerkungen.