Ob in der Politikberatung oder in der Sozialforschung: Wer auf Umfragedaten setzt, muss sicherstellen, dass diese auch wirklich verlässlich sind. Doch was tun, wenn sich in internationalen Großprojekten wie der European Values Study (EVS) oder dem International Social Survey Programme (ISSP) trotz hoher Standards Fehler in den Rohdaten befinden? Und wie lässt sich messen, was die oft im Hintergrund wirkenden Datenkuratierenden an Qualitätsarbeit tatsächlich leisten? Insa Bechert, Kerstin Beck und Ivet Solanes Ros vom GESIS – Leibniz-Institut für Sozialwissenschaften sind diesen Fragen auf den Grund gegangen und präsentieren einen neuen Ansatz, um den Mehrwert der Datenkuratierung beziffern zu können.
Whether in policy consulting or social research, anyone relying on survey data must ensure that their data are truly reliable. But what must be done when, despite high standards, errors persist in the raw data of large international projects, such as the European Values Study (EVS) or the International Social Survey Programme (ISSP)? How can we measure the true quality contribution made by data curators, who often work in the background? Insa Bechert, Kerstin Beck, and Ivet Solanes Ros from the GESIS Leibniz Institute for the Social Sciences have addressed these questions and present a new approach to quantify the added value of data curation.
DOI: 10.34879/gesisblog.2025.107
Datenqualität, ein „Must Have“ für brauchbare Analysen
Ein prägnantes Beispiel verdeutlicht die Sachlage: 2017 war in den österreichischen EVS-Daten die Antwortskala zu einer zentralen Einstellungsfrage versehentlich umgedreht worden. Dies hatte gravierende Folgen für anschließende Analysen. In diesem Fall erschienen österreichische Rechtswähler plötzlich weltoffener als ursprünglich angenommen – ein Fehler, den erst der prüfende Blick der Kuratierenden ans Licht brachte und zugleich bewies, dass man unkuratierte Rohdaten nicht so ohne weiteres der Wissenschaft zur Verfügung stellen kann.
Im Gegenteil, die sorgsame Prüfung der Datenqualität spielt eine entscheidende Rolle für weitere Analysen. Mit dem „Total Survey Error“ -Schema steht der Umfrageforschung ein Rahmen zur Systematisierung möglicher Fehlerquellen zur Verfügung. In Bezug auf Datenqualität wird dabei zwischen zwei grundlegenden Aspekten unterschieden: einerseits der „intrinsischen Qualität“ die für Genauigkeit, Fehlerfreiheit, Vollständigkeit, Zuverlässigkeit und Validität steht; andererseits der „kontextuellen Qualität“, die sicherstellt, dass Daten für bestimmte Forschungsfragen nutzbar sind – beispielsweise in Bezug auf Aktualität, Vergleichbarkeit zwischen Ländern oder der Möglichkeit zur Nachnutzung. Auch eine sorgsame Dokumentation von Abweichungen in jeder Phase des Forschungsdatenzyklus und getroffenen Kuratierungsmaßnahmen ist ein zentraler Aspekt der Qualitätssicherung.
Vorstellung eines Schemas zur Datenkuratierung: Die vier Ebenen der Qualitätsprüfung
Damit auf dem Weg von der nationalen Erhebung bis zum internationalen Datensatz keine Fehler durchs Raster rutschen, setzen die Autorinnen auf ein mehrstufiges System. Dieses entwickeln sie basierend auf den Kurationserfahrungen mit den beiden internationalen Surveys EVS und ISSP, die durch ihre Größe und Komplexität spezifische Herausforderungen für die Kuratierung (z.B. heterogene Variablen, Matrixdesigns) mitbringen. Konkret verwenden sie für ihre Analyse den ISSP 2013 („National Identity III“) und die EVS 2017 (Integrated Dataset); beide umfassen zahlreiche Länder und Variablen.
Die Prüfung der Rohdaten erfolgt auf den folgenden vier Ebenen:
- Fallebene: Sind die Interviews vollständig? Gibt es doppelte Fälle oder inkonsistente Antworten? Passen die IDs?
- Variablenebene: Stimmen die Filterführungen, gibt es fehlerhafte Ableitungen oder Abweichungen vom Standard (Labels, Werte, Kategorien), liegen Plausibilitätsprobleme vor oder fehlerhafte/fehlende Missings?
- Datensatzebene: Ist der Aufbau des Datensatzes vollständig und korrekt, sind alle Variablen vorhanden?
- Dokumentationsebene: Passt die Begleitinformation zu den Daten, gibt es inkonsistente Metadaten oder Dokumentationsangaben?
Für jedes auftauchende Problem adressieren die Autorinnen unterschiedliche Kuratierungsmaßnahmen: von der Markierung (flagging) über die Korrektur (Rekodierung), ggf. der Löschung, und der Dokumentation bis hin zur gezielten Ergänzung von Variablen. Um auch länderspezifische Vergleiche zu ermöglichen, werden die Fehlerarten, Maßnahmen und Häufigkeiten je Survey und Land quantifiziert.
Der Curation Impact Factor
Zur Quantifizierung der vorgenommenen Kuratierungsmaßnahmen und damit vor allem auch zur Messung des Effekts der Datenkuratierung schlagen die Autorinnen den „Curation Impact Factor“ (CIF) als neue Kennziffer vor. Dieser Kennziffer erfasst, auf allen vier Ebenen wie viel Prozent aller Angaben durch Kuration modifiziert wurden, und lässt damit Rückschlüsse zu, um wie viel Prozent sich die Datenqualität durch Kuratierung auf den einzelnen Ebenen verbessert hat. So lag im Beispiel der vorgelegten Untersuchung der CIF beim ISSP 2013 bei 18 Prozent, beim EVS 2017 sogar bei 21 Prozent.
Bei der Interpretation des CIF muss man sich bewusst machen, dass er den Kuratierungseffekt misst, weder den Aufwand noch die resultierende Datenqualität. Sind Daten von Anfang an sehr hochwertig, bedeutet ein niedriger CIF, dass es wenig zu verbessern gab, was den Wert des Kurationsaufwands nicht schmälert, weil man sich nur nach der Kontrolle einer hohen Datenqualität sicher sein kann. Bislang werden bei der CIF-Berechnung alle Fehler gleich gewichtet – egal wie gravierend sie die Analyseergebnisse beeinflussen würden. Die Autorinnen schlagen deshalb vor, den CIF künftig weiterzuentwickeln, etwa durch Gewichtung mehr oder weniger relevanterer Kuratierungsmaßnahmen.
Mehr als ein Zahlenspiel: Ein Argument für gute Kuratierung
Was also leistet der CIF? Am wichtigsten wohl: Er schafft Sichtbarkeit für die oft unsichtbare, aber immens wichtige Arbeit der Datenkuratierung. Und: Er kann als schlagkräftiges Argument in Anträgen und Förderdebatten dienen, gerade dann, wenn es um die nötigen Ressourcen für hochwertige Datenpflege geht. Wer sich auf internationale Umfragedaten in Sozialwissenschaft und Politikberatung verlässt, profitiert maßgeblich vom prüfenden Blick und der strukturierten Arbeit der Datenkuratierenden. Mit dem CIF steht erstmals ein Werkzeug bereit, das diesen Beitrag messbar und vergleichbar macht.
Wissenschaftliche Originalpublikation:
Bechert, I., Beck, K. & Solanes Ros, I. (2025). Caring for Data’s Soul. The development of a Curation Impact Factor to pinpoint the effects of data curation activities on data quality. International Journal of Digital Curation, Vol. 19 No. 1.
DOI: https://doi.org/10.2218/ijdc.v19i1.1030
Dieser Beitrag wurde von Dr. Sophie Zervos mit Unterstützung von ChatGPT 4.1 auf Grundlage der wissenschaftlichen Originalpublikation erstellt und von einer der Forschenden geprüft.