#1: Datenqualität in der Sozialwissenschaft:  Warum einheitliche Standards wichtig sind 

Die Sicherstellung der Datenqualität ist in den Sozialwissenschaften zentral, da ungenaue Daten falsche Schlussfolgerungen ermöglichen. Mit neuen Datentypen wie Social-Media-Daten wird die Bewertung komplexer, da verschiedene Erhebungsmethoden unterschiedliche Anforderungen stellen. Dieser Beitrag präsentiert ein Framework zur Bewertung der Dimensionen von Datenqualität, das sowohl den Verwendungszweck als auch intrinsische (Korrektheit) und extrinsische Anforderungen (Nutzbarkeit) berücksichtigt. Es bietet eine systematische Grundlage für zukünftige Anwendungen.

Ensuring data quality is crucial in the social sciences, as inaccurate data can lead to false conclusions. With the emergence of new data types, such as social media data, assessing data quality has become more complex, as different collection methods impose varying requirements. This paper presents a framework for evaluating the dimensions of data quality that considers both the purpose of usage and intrinsic (accuracy) as well as extrinsic (usability) requirements. It provides a systematic foundation for future applications.

DOI: 10.34879/gesisblog.2024.86

---

Hintergrund 

Die Sozialwissenschaft gewinnt ihre Erkenntnisse über soziale Phänomene primär aus empirischen Daten wie Umfragen oder Texten. Eine der größten Herausforderungen besteht darin, die Qualität dieser Daten sicherzustellen, da ungenaue oder unvollständige Daten zu falschen Schlussfolgerungen führen können. Ein Beispiel sind Umfragen zur politischen Einstellung: Wenn bestimmte Bevölkerungsgruppen in den Daten unterrepräsentiert sind, kann dies zu verzerrten Ergebnissen führen und falsche Rückschlüsse auf die politische Landschaft zulassen. Auch andere Fehlerquellen, etwa fehlende Motivation und fehlerhafte Rückmeldung der Befragten, können die Qualität der Daten beeinflussen. 

Traditionell basieren die Sozialwissenschaften hauptsächlich auf Umfragedaten, für die es explizite und implizite Standards zur Sicherstellung der Datenqualität gibt. Heute jedoch erweitern sich die Datenquellen kontinuierlich um neue Typen wie Sensordaten, Social Media-Daten oder Webtracking-Daten und durch die Verknüpfung bestehender Datenquellen (Linked Data). Durch die Erweiterung der Datenquellen kommt es zu einer zunehmenden Fragmentierung der Ansätze zur Bewertung der Qualität sozialwissenschaftlicher Daten. Unterschiedliche Erhebungsmethoden und Datentypen bringen jeweils eigene Anforderungen und Standards mit sich, was zu uneinheitlichen Definitionen und Bewertungen von Datenqualität führt. Ein einheitliches Verständnis davon, was als „hohe Datenqualität“ gilt, wie sie zu bewerten und zu testen ist, ist daher oft schwer zu etablieren. Dies gilt besonders in einem interdisziplinären Umfeld, in dem Forschende auf unterschiedliche Qualitätskriterien angewiesen sind.  

Zudem ist Datenqualität kein objektives Kriterium. Sie ist kontextabhängig und von unterschiedlichen Anforderungen geprägt, je nachdem, wie die Daten verwendet werden. Während Forschende im Rahmen einer Studienerhebung auf die Korrektheit der Daten fokussiert sind, legen Nachnutzende ggfs. mehr Wert auf die vollständige Dokumentation und einfache Zugänglichkeit der Daten.  

Die Vielfalt an heterogenen und multidimensionalen Datentypen, die heute genutzt werden, verschärft diese Herausforderung. Ein Social-Media-Datensatz etwa umfasst häufig eine breite Palette an Informationen – von Texten und Bildern über Videos bis hin zu Nutzerverhalten wie Klicks – was eine umfassende Bewertung der Datenqualität erschwert. 

Ein einheitliches Framework für die Bewertung der Dimensionen von Datenqualität 

In einem neuen Positionspapier, welches von Forschenden am GESIS Leibniz Institut für Sozialwissenschaften veröffentlich wurde¹, wird ein einheitliches Framework für die Bewertung der grundlegenden Dimensionen der Qualität sozialwissenschaftlicher Daten vorgestellt. Das Framework wurde in einem systematischen Prozess mithilfe von Anwendungsfällen (Use Cases) für verschiedene Datentypen entwickelt. Abbildung 1 gibt einen Überblick über das Framework.  

Um die wichtigsten Dimensionen der Datenqualität sozialwissenschaftlicher Daten zu evaluieren, sollte sowohl der Verwendungszweck als auch die konkreten Anforderungen an wissenschaftliche Daten definiert werden.  

Verwendungszweck: Der erste Schritt jeder Datenqualitätsbewertung ist die Festlegung des Kontexts der Datennutzung. In Forschungsprojekten, welche repräsentative Umfragedaten nutzen, sind strenge methodische Standards erforderlich, um die Repräsentativität für die Zielpopulation zu gewährleisten. Wenn die Daten der Forschungscommunity bereitgestellt werden sollen, sind weiterhin gute Dokumentation und Zugänglichkeit zentral. Andere Anwendungen, etwa bei sensiblen, nicht öffentlich zugänglichen Daten, erfordern andere Qualitätsstandards, z.B. weniger Fokus auf Zugänglichkeit. Für die Verknüpfung mit anderen Datensätzen, wie bei der Kombination von Umfragedaten und Webtracking-Daten, sind kompatible Formate, Metadaten und gemeinsame Identifikator Variablen (z. B. eine eindeutig zuweisbare ID über mehrere Befragungen) essenziell. Der Verwendungszweck muss also klar definiert sein, bevor Maßnahmen zur Datenqualität ergriffen werden. 

Intrinsische Anforderungen: Ausgehend vom Verwendungszweck muss dann sichergestellt werden, dass die Daten für das untersuchte Phänomen ausreichend korrekt sind. Daten, die etwa aus dem GESIS Panel, einer repräsentativen Langzeitstudie der deutschsprachigen erwachsenen Bevölkerung, stammen, müssen die Merkmale der Zielpopulation akkurat widerspiegeln. Variablen sollten objektiv, valide und zuverlässig gemessen werden. Auch bei Daten ohne vorher festgelegtes Messkonzept, wie etwa Social-Media-Daten, muss die korrekte Erhebung der Daten gesichert und sichergestellt sein, dass sie zum Beispiel tatsächlich die Ansichten und Verhaltensweisen der Nutzer:innen reflektieren, falls im Verwendungszweck Aussagen über die Nutzer:innen gemacht werden sollen.  

Extrinsische Anforderungen: Extrinsische Anforderungen beziehen sich auf die Verwendbarkeit der Daten für potenzielle Nutzer:innen. Hierzu zählen Aspekte, die für die Datenqualität aus Sicht des Datenmanagements und Open Science Kriterien wichtig sind. Daten, die für die breite wissenschaftliche Gemeinschaft bereitgestellt werden sollen, müssen bestimmten Standards in Bezug auf Dokumentation und Veröffentlichung entsprechen. So sollten Daten aus dem GESIS Panel in einem Online-Repository zugänglich und mit umfassenden Metadaten zur Methodik versehen sein. 

Ausblick 

In diesem Beitrag haben wir ein Framework zur Bewertung der Dimensionen von Datenqualität vorgestellt. Der Vorteil des Frameworks liegt darin, unabhängig von dem Kontext oder der Art der erhobenen Daten, generelle Anforderungen an die Qualität sozialwissenschaftlicher Daten zu definieren. Doch wie können intrinsische und extrinsische Anforderungen gezielt getestet werden? Dazu bedarf es konkreter Frameworks, die konkrete Schritte und Indikatoren für die Sicherstellung von Datenqualität bereitstellen. Im zweiten Teil dieses Blogbeitrags folgt daher ein systematischer Überblick über solche Frameworks.