Über die Kunst, Phänomene in den Sozialwissenschaften messbar zu machen
Eine wichtige Herausforderung der sozialwissenschaftlichen Umfrageforschung besteht darin, nicht direkt beobachtbare Merkmale (Phänomene) von Personen oder Personengruppen zu definieren und messbar zu machen. Während es vergleichsweise einfach ist, beobachtbare, faktische oder objektive Merkmale (z.B. Kinderzahl, Einkommen) relativ fehlerfrei zu erfassen, ist das mit nicht direkt beobachtbaren Merkmalen deutlich komplizierter. Dazu zählen z.B. Persönlichkeitseigenschaften, kulturelles Kapital oder politisches Vertrauen. Messinstrumente für solche Merkmale müssen besonders sorgfältig konstruiert und dokumentiert werden, um die Qualität deren Messung (genauer: die Objektivität, Validität und Reliabilität) sicherzustellen. Dieser Beitrag erklärt, wie man solche Messinstrumente konstruiert und dokumentiert und erläutert, warum es für Forschung und Praxis wichtig ist, Dokumentationen von Messinstrumenten möglichst frei zugänglich zu machen („Open Access“).
An important challenge of social science survey research is to define characteristics (phenomena) of individuals or groups of individuals that are not directly observable and to make them measurable. While it is easy to record observable, factual or objective characteristics (e.g. number of children, income) relatively error-free, this is much more complicated with characteristics that are not directly observable. These include personality traits, cultural capital or political trust. Measuring instruments for such characteristics must be constructed and documented with particular care to ensure the quality of their measurement (more precisely: objectivity, validity and reliability). This article explains how to construct and document such measuring instruments and explains why it is important for research and practice to make documentation of measuring instruments as freely accessible as possible (“open access”).
DOI: 10.34879/gesisblog.2020.20
Über die Komplexität von Messungen in der sozialwissenschaftlichen Forschung
Die Entwicklung eines Messinstrumentes ist ein mehrschrittiger Prozess. Auch nach der Publikation eines Messinstrumentes ist der Prozess noch nicht abgeschlossen. Messinstrumente können verändert, verbessert und für den Einsatz in anderen Kontexten (z.B. andere Sprachen, Kulturen) angepasst werden. Zudem müssen sie von Zeit zu Zeit hinsichtlich ihrer Brauchbarkeit überprüft werden. Messinstrumente können dabei unterschiedliche Formen annehmen und durchaus verschieden bezeichnet werden. Gängige Formen und Bezeichnungen sind „Items“, „Skalen“, „Fragen“, „Fragebogen“ oder „Tests“. Wie lässt sich nun ein Messinstrument zum Beispiel zur Erfassung von Bereichen der „Persönlichkeit“ entwickeln?
Messung von sozialwissenschaftlichen Phänomenen
(Theoretische) Grundlage. Um Bereiche der „Persönlichkeit“ messbar zu machen, müssen wir diese zunächst definieren. Dafür können wir z.B. auf bestehende Persönlichkeitstheorien zurückgreifen.
Entwicklung eines Messinstrumentes. Bereiche der „Persönlichkeit“ werden häufig durch bestimmte Aussagen erfasst, zu denen Personen aufgefordert werden den Grad ihrer Zustimmung anzugeben. Dabei sollen die Aussagen indikativ für ein Merkmal sein. Der Grad der Zustimmung wird beispielsweise anhand mehrfach abgestufter Antwort- oder Ratingskalen erfasst. Das mag sehr abstrakt klingen, doch versuchen wir einmal eine messbare Aussage für den Persönlichkeitsbereich “Extraversion” herzuleiten. Extraversion beinhaltet definitorisch hohe Geselligkeit (im Alltag werden solche Menschen häufig als extrovertiert bezeichnet). Dementsprechend würde eine extravertierte Person der Aussage Ich umgebe mich gerne mit vielen Leuten zustimmen und auf einer 5-stufigen Antwortskala die 4 oder 5 wählen. Hiermit wäre bereits unsere erste Aussage zur Messung des Persönlichkeitsbereichs Extraversion abgeleitet! Die Messung mittels einzelner Aussagen auf Basis der Definition eines Phänomens nennt sich Operationalisierung. Damit lässt sich ein nicht oder nur indirekt beobachtbares Phänomen adäquat erfassen. Da jede einzelne Messung mit einem gewissen Fehler behaftet ist, werden mehrere Aussagen zur Messung eines Phänomens generiert. Dadurch wird es wahrscheinlicher, dass wir das Phänomen zuverlässig messen. Eine höhere Anzahl von zu beantwortenden Aussagen geht allerdings mit einer höheren Befragungszeit einher. Bei der Entwicklung einer (Persönlichkeits-)Messung sollte man aber nicht nur über die Anzahl der Aussagen diskutieren, sondern auch über deren sprachliche Formulierung und Messabstufung bzw. Antwortoptionen. Sind irgendwelche Aussagen zu komplex oder widersprüchlich formuliert, kann es bei einigen Befragten zu Verständnisproblemen kommen. Die Entwicklung einer zuverlässigen Messprozedur kann relativ komplex werden und viele verschiedene Überlegungen und jeweils begründete Entscheidungen erfordern. Entsprechend wichtig ist eine detaillierte und genaue Dokumentation des Entwicklungsprozesses.
Sicherlich haben wir alle schon einmal in diversen handelsüblichen Lifestylemagazinen sogenannte Tests zur Erfassung von Aspekten der „Persönlichkeit“ gesehen. Dennoch zweifeln Sie wahrscheinlich an der Aussagekraft eines solchen Testes. Zurecht! Es fehlt etwas ganz Entscheidendes: eine Dokumentation, die angibt auf welcher Grundlage der Test entwickelt wurde; die es erlaubt, das Instrument korrekt vorzugeben und hinsichtlich seiner Aussagekraft zu beurteilen.
Überprüfen des Messinstrumentes. Nun muss sich erst einmal zeigen, ob unser Instrument wirklich „funktioniert“. Hierfür benötigen wir Personen, die die Aussagen unseres Instrumentes beantworten und uns damit Daten liefern. Diese Personen sollen am besten zufällig aus der Zielgruppe unseres Instrumentes gezogen werden. Wird nicht auf eine zufällige Auswahl von Personen aus der Zielgruppe geachtet, zum Beispiel durch eine reine Auswahl von Personen im Bekanntenkreis, kann es passieren, dass Personen mit bestimmten Merkmalen ausgeschlossen werden. Vielleicht sind es genau die ausgeschlossenen Personen, die unsere Aussagen unverständlich oder zu komplex finden würden. Die Auswahl der Befragten ist daher bedeutsam und kann unsere Ergebnisse zur Qualität des Messinstrumentes günstig oder ungünstig beeinflussen. Deshalb sind eine sorgsame Auswahl und genaue Dokumentation des Auswahlprozesses unabdingbar. Außerdem gilt: Je größer die Anzahl von Befragten, desto genauer wird die Zielgruppe repräsentiert und desto mehr können wir uns auf die Ergebnisse verlassen.
Qualität des Messinstrumentes. Nachdem die Befragten die Aussagen unseres Messinstrumentes beantwortet haben, können wir nun die Qualität unseres Instrumentes anhand von Daten überprüfen. Die Überprüfung der Qualität erfolgt entlang dreier Kernkriterien, die wir nun nacheinander besprechen werden: (1) Objektivität, (2) Zuverlässigkeit (Reliabilität) und (3) Gültigkeit (Validität) der Messung.
- Objektivität: Ein Messinstrument ist objektiv, wenn die Erhebung immer und von jedem auf die gleiche Weise durchgeführt werden kann (Durchführungsobjektivität). Dafür ist es wichtig, dass eindeutig dokumentiert wird, wie das Messinstrument den Befragten vorzugeben ist. Zur Objektivität zählt weiterhin, dass genau dokumentiert ist, wie die Antworten einer Person auf die einzelnen Aussagen miteinander zu einem Gesamtwert verrechnet werden, sodass gleiche Werte resultieren unabhängig davon, wer den Test auswertet (Auswertungsobjektivität). Die letzte Form der Objektivität ist die Interpretationsobjektivität. Eine Interpretationsobjektivität liegt vor, wenn die Werte des Messinstrumentes unabhängig vom Nutzer der Daten immer dieselben Schlüsse nahelegen. Die Objektivität wird argumentativ belegt (oder verworfen) oder mithilfe von statistischen Verfahren nachgewiesen.
- Reliabilität: Eine hohe Reliabilität liegt vor, wenn das Merkmal, in unserem Fall ein Persönlichkeitsmerkmal, möglichst präzise messfehlerfrei erhoben wird. Die Reliabilität wird mithilfe von statistischen Verfahren untersucht. Je nach Mess-Eigenschaften des Instruments sollten unterschiedliche Reliabilitätskennzahlen betrachtet werden.
- Validität: Ein Messinstrument ist valide, wenn es das zu messen beabsichtigte Merkmal auch tatsächlich misst. Es gibt nicht die eine „Validität“ eines Instrumentes. Stattdessen gibt es verschiedene und zueinander komplementäre Belege für Validität im Hinblick auf bestimmte Ziele, die mit der Messung verknüpft sind. Zur Bestätigung der Inhaltsvalidität muss beispielsweise argumentativ dargelegt werden, warum die Aussagen zur Messung des Merkmals geeignet sind. Häufiger zum Tragen kommen aber statistische Analysen bei der Überprüfung der Validität. Um theoretisch angenommene Verbindungen zu ähnlichen Phänomenen zu überprüfen, werden deren Zusammenhänge (Konstruktvalidität) und mögliche Verbindungen zu objektiven Kriterien (wie z. B. Intelligenztest und Schulnoten; Kriteriumsvalidität) mit statistischen Verfahren überprüft.
Die Dokumentation des Messinstrumentes. Aus der Dokumentation eines Messinstrumentes sollte hervorgehen, wie das Instrument entwickelt wurde, welche Schritte der Entwicklungsprozess beinhaltet hat und wie die Güte des Messinstrumentes zu bewerten ist. Ausreichend Information dazu, wie das Instrument vorzugeben und auszuwerten ist, ist ebenfalls sehr wichtig. Diese Anforderungen sind deshalb auch in Richtlinien nationaler (Fach-)verbände und Organisationen, wie z.B. in den von GESIS publizierten Survey Guidelines, formuliert. Zudem sollte eine Dokumentation einer Qualitätsprüfung unterzogen worden sein. In der Wissenschaft wird dies durch sogenannte Peer-Review-Verfahren, also die Begutachtung durch unabhängige Wissenschaftler*innen aus dem gleichen Fachgebiet, umgesetzt. Die Dokumentation und auch das Messinstrument selbst sollten leicht oder sogar frei zugänglich sein. Das ist wichtig, damit die Aussagekraft der Ergebnisse, die mit dem Instrument gewonnen werden, eingeschätzt werden können.
Wo finde ich gut dokumentierte Messinstrumente für die Sozialwissenschaften?
Frei zugängliche Messinstrumente sind in Online-Repositorien, wie zum Beispiel ZIS, dem Open Access Repositorium für sozial- und verhaltenswissenschaftliche Messinstrumente, von GESIS auffindbar. ZIS veröffentlicht Dokumentationen von Messinstrumenten in den Sozialwissenschaften, die nach einheitlichen und wissenschaftlichen Standards erstellt und überprüft wurden. Dabei entstehen keine Kosten für Autorinnen und Autoren von Messinstrumenten sowie für Nutzende, die diese für nichtkommerzielle wissenschaftliche Zwecke verwenden möchten. Sollten Sie ein solches Instrument benötigen oder selbst eines entwickelt haben, könnte ZIS interessant für Sie sein. Schauen Sie doch einfach einmal vorbei!
Wir hoffen, dass der Beitrag einen Einblick in die Entwicklung und Komplexität eines Messinstrumentes für die Sozialwissenschaften leisten konnte und verdeutlicht hat, welche Rolle eine gute und leicht zugängliche Dokumentation dabei spielt.
Leave a Reply