Altmetrics (2): Empfehlungen für den Einsatz in der Praxis

Wie im vorangegangenen Beitrag zu Altmetrics ausgeführt, umfassen Altmetrics eine ganze Reihe unterschiedlicher Indikatoren, die die Relevanz und Wirkung wissenschaftlichen Outputs messen und von unzähligen Plattformen stammen können. Diese Vielfalt ermöglicht eine nuancenreichere Bewertung wissenschaftlicher Leistung, erschwert aber auch deren Interpretation. Aus dem *metrics-Forschungsprojekt¹ entstanden konkrete Empfehlungen, die Praktiker*innen helfen sollen, Altmetrics für ihre jeweiligen Anwendungsfälle sinnvoll zu nutzen und potenzielle Fallstricke zu vermeiden. Wir stellen diese hier vor.

As discussed in the previous post on altmetrics, altmetrics encompass a whole range of different indicators that measure the relevance and impact of scientific output and can come from myriad platforms. This diversity allows for a more nuanced assessment of scientific output, but also complicates its interpretation. Concrete recommendations emerged from the *metrics research project ² to help practitioners make sense of altmetrics for their particular use cases and avoid potential pitfalls. We present them here.

DOI: 10.34879/gesisblog.2021.40

---

Forschende publizieren und kommunizieren zunehmend auf neuen Wegen und dies vor allem über Soziale Medien. Daraus ergeben sich neue Herausforderungen bei der Vermessung und Bewertung wissenschaftlichen Outputs und dessen Relevanz. Alternativen Metriken bzw. Altmetrics lassen sich auf unzähligen Plattformen gewinnen und umfassen daher eine enorme Bandbreite unterschiedlicher Leistungsindikatoren.

Altmetrics bieten die Chance, die vielfältigen Interaktionen mit wissenschaftlicher Kommunikation, die in der Realität stattfinden, detaillierter und facettenreicher zu erfassen als dies mit den bisherigen Leistungsindikatoren möglich war. So haben die Forschenden im *metrics-Projekt beispielsweise für Facebook Interaktionen, Reaktionen, Kommentare und Shares als Metriken ermittelt, für Twitter auch Tweets und Retweets, für Wikipedia Referenzen, für YouTube Suchtreffer und für Mendeley die Anzahl der Leser*innen und Gruppenposts. Dies ist nur ein exemplarischer Ausschnitt, verdeutlicht aber die Fülle an möglichen Informationen. Genau diese Vielfalt erschwert jedoch zugleich die systematische Erfassung, Selektion und Interpretation der Daten.

Aufbau eines Registers für Social-Media-Plattformen

Aggregatoren, die Metriken verschiedener Plattformen sammeln, können kaum allen dort möglichen Indikatoren gerecht werden und diese sinnvoll erfassen. Ebenso stark, wie sich Plattformen in ihren Charakteristika und Funktionalitäten unterscheiden, variiert auch ihre Nutzung durch Forschende, zum Beispiel bedingt durch deren Alter, Rolle oder wissenschaftliche Disziplin. Daher empfehlen die Projektbeteiligten die Konzentration auf die wichtigsten und populärsten Plattformen und deren kontinuierliche Erfassung in einem Register.

Der Grundstein dafür wurde im *metrics-Projekt mit dem Social Media Registry (SoMeR) bereits gelegt (https://metrics-project.net/en/social-media-registry/). Das Register enthält die Top 90 Plattformen für wissenschaftliche Publikation und Kommunikation und beschreibt sie jeweils in Bezug auf Zielgruppen, Einsatzzweck, Funktionalität und Zugänglichkeit der Daten. Dazu zählen beispielsweise EBSCO, Google Scholar, LinkedIn, Wikipedia, YouTube, Twitter und Reddit. Es soll interessierten Stakeholdern aus der Praxis eine Orientierung bei der Auswahl relevanter Quellen bieten.

Da sich Plattformen, ihre Funktionalität und die Nutzungsgewohnheiten der User*innen jedoch stetig verändern und auch neue Plattformen entstehen bzw. an Relevanz gewinnen können, muss das Register fortlaufend gepflegt und aktualisiert werden. Dabei sollte auch die wissenschaftliche Community miteinbezogen werden. Der Entscheidung für die Nutzung von Plattformdaten folgt dann der Prozess der tatsächlichen Datenerhebung, auf den sich die zweite Empfehlung der Forschenden bezieht.

Erweiterung der Services zu Crossref Event Data

Crossref Event Data ist ein kostenloser Service, der für Publikationen mit Crossref oder DataCite DOIs Kommentare, Links, Shares, Bookmarks, Referenzen und ähnliches von zahlreichen Social-Media-Plattformen erfasst und speichert. Wer keinen eigenen Algorithmus zur Sammlung nutzt, kann darauf zurückgreifen. Die von Crossref Event Data zur Verfügung gestellten Daten sind bisher jedoch sehr komplex und müssen für eine aussagekräftige Darstellung zusätzlich aufbereitet werden – für weniger erfahrene Nutzer*innen von Altmetrics kann dies ein Problem darstellen. Daher sprechen sich die Autor*innen des *metrics Berichts für eine Erweiterung des Services aus.

Ihr Vorschlag: Leitfäden für typische Szenarien wie das Anzeigen von bestimmten Altmetrics in einem Repository. Diese könnten Praktiker*innen bei wichtigen Entscheidungen helfen, z.B. welche Aktivitäten als Spam deklariert und ausgeklammert werden können oder wann welche Plattformsignale, wie Tweets und Retweets, addiert oder getrennt gezählt werden sollten.

Anerkennung des semantischen Reichtums und Entwicklung adäquater Darstellungsformen

Die Vielfalt und Komplexität webbasierter Quellen – ihr semantischer Reichtum – und die Gewohnheiten der Forschenden, wie sie diese nutzen, spielen eine entscheidende Rolle. Vor diesem Hintergrund müssen Prozesse der Selektion, Darstellung und Aggregation sehr bedacht erfolgen. Gerade hier liegen das Potenzial und die Herausforderung alternativer Metriken. Auf der einen Seite bilden Metriken, die aus einer Reihe unterschiedlicher Quellen stammen, die Vielfalt an Interaktionen mit wissenschaftlichem Output auf verschiedenen Plattformen im Netz besser ab als herkömmliche Verfahren. Auf der anderen Seite erschwert diese Heterogenität die Interpretation, Zusammenfassung und Vergleichbarkeit der Daten.

Es gilt, eine Balance zwischen Detailgenauigkeit und Informationsüberfluss herzustellen. Zugunsten der Verständlichkeit sind Zusammenfassungen für das jeweilige Zielpublikum unerlässlich, doch die Selektion von Informationen muss gut durchdacht sein. Um auch für gelegentliche Nutzer*innen ein Bewusstsein für den semantischen Reichtum von Altmetrics zu schaffen, braucht es Umgebungen, die nicht nur reine Zahlen abbilden, sondern auch deren Entstehungskontext visualisieren. Hier gibt es weiteren Forschungsbedarf und die Notwendigkeit adäquate Darstellungsformen zu entwickeln.  

Aggregation vermeiden

Aus den in mehreren Projektstudien gewonnenen Erkenntnissen zur Unterschiedlichkeit der Plattformen und Nutzungspraktiken zieht der *metrics-Projektbericht darüber hinaus die Schlussfolgerung, dass das Zusammenfassen von Daten mehrerer Plattformen nicht sinnvoll ist, da selbst die gleiche Aktion, z.B. das Liken eines Beitrags, auf unterschiedlichen Plattformen mit variierenden Intentionen verbunden sei.

Das heißt, die reine Aggregation von Metriken aus unterschiedlichen Quellen sollte vermieden werden. Gesamtindikatoren sollten nur dann genutzt werden, wenn eine reduzierte und leicht zu überblickende Darstellung von Informationen oberste Priorität hat. Denn mit jeder Zusammenfassung von Indikatoren geht ein Verlust von Informationen einher, der jeweils gegen den Nutzen der Übersichtlichkeit abgewogen werden muss.

Wissen fördern

Grundsätzlich greifen die meisten Wissenschaftler*innen im Arbeitsalltag auf Metriken zur Bewertung wissenschaftlicher Publikationen zurück. Allerdings bestehen auch Zweifel in Bezug auf deren Transparenz und potenziell mögliche Manipulationen. Das gilt in besonderem Maße für alternative Metriken, die in proprietären Plattformumgebungen gewonnen werden. Die im Rahmen des *metrics Projektes durchgeführten Studien zur Wahrnehmung und Nutzung von Altmetrics durch Forscher*innen in ihrem eigenen Arbeitsalltag haben gezeigt, dass konventionelle Indikatoren wie die Anzahl der Zitierungen oder der Impact-Faktor der Fachzeitschrift meist als relevanter eingestuft werden als alternative Metriken wie Erwähnungen auf Twitter oder Mendeley Bookmarks. Bei der Literaturrecherche werden also vor allem traditionelle Bibliometriken als Filter genutzt, ebenso wie bereits etablierte webbasierte Metriken wie die Anzahl der Downloads. Altmetrics werden in der täglichen Praxis bisher eher als nützliche Zusatzinformationen wahrgenommen, nicht als alleinige Indikatoren. Dabei haben Altmetrics durchaus das Potenzial, das wissenschaftliche Bewertungssystem zu bereichern und fairer zu gestalten.

Es wird daher empfohlen, das Wissen von Wissenschaftler*innen in diesem Bereich gezielt zu fördern. Gerade jüngere Forschende am Anfang ihrer Karriere könnten sehr von systematischen Trainings in diesem Bereich profitieren, da die Beschäftigung mit Altmetrics neue Wege aufzeigt, den eigenen Impact und die Sichtbarkeit auszuwerten, zu belegen und strategisch zu erhöhen. Solche Kompetenzen wiederum könnten Vorteile gegenüber erfahrenen und mit dem wissenschaftlichen Bewertungssystem vertrauteren Forschenden schaffen – und so insgesamt zu faireren Bedingungen für Nachwuchsforschende beitragen.

Inhaltlich ist es angezeigt, die breite Vielfalt an Indikatoren und deren Aggregation, Datenquellen und Anwendungsbereiche sowie Stärken und Schwächen von Altmetrics in den Mittelpunkt zu stellen. Einen guten ersten Überblick bieten Ressourcen wie beispielsweise das Metrics Toolkit oder auch Trainings wie beispielsweise von Parthenos. Diese sollten unbedingt mit dem konkreten Forschungsalltag und dem jeweiligen Hintergrund der Forschenden in Verbindung stehen, damit Wissenschaftler*innen ihr erworbenes Wissen auch produktiv einsetzen können.

Nutzung kritisch reflektieren 

Da die Forschung gezeigt hat, dass die Nutzung von Altmetrics sehr komplex ist und durchaus auch nachteilige Effekte im wissenschaftlichen Bewertungssystem haben kann, ist ein kritischer und reflektierter Umgang mit ihnen unerlässlich. Vor jeder Implementierung sollte die Eignung der jeweiligen Metriken kritisch hinterfragt und geplante Bewertungs- und Selektionsverfahren in wissenschaftlichen Institutionen unter Einbeziehung aller Beteiligten diskutiert werden.

Grundsätzlich empfiehlt es sich, im Rahmen von Altmetrics Generalisierungen zu vermeiden und auffällige Ausreißer getrennt auszuwerten. Es können nämlich auch externe Faktoren wie politische Statements das Interesse für ein bestimmtes Thema punktuell stark erhöhen und so extrem hohe Zugriffs- oder Reaktionswerte auf Publikationen verursachen.

Schaffung einer nationalen Anlaufstelle

Vorherige Initiativen ebenso wie die Ergebnisse des *metrics Projekts zeigen, wie komplex die Entwicklung verlässlicher und transparenter Altmetrics ist. Daher braucht es eine zentrale Anlaufstelle, die auf lange Sicht Expertise und verlässliche Daten zu dem Thema bündelt. Da sich die Altmetrics Landschaft ständig im Wandel befindet und kleine Einzellösungen schnell überholt sind, empfehlen sich langfristig gedachte gemeinschaftliche Initiativen. Daraus könnten quasi-standardisierte Prozesse der Datensammlung und vergleichbare Metriken entstehen.

Referenzierbarkeit verbessern und Zitierpraktiken in den Sozialen Medien etablieren

Verlässliche und vergleichbare Metriken zur Bewertung der Interaktionen mit wissenschaftlichem Output im Netz sind u.a. davon abhängig, dass Aggregatoren die Daten zu einer Publikation von verschiedenen Plattformen verbinden können. Das kann nur funktionieren, wenn sich Artikel und andere Formen der Publikation, die im Web zitiert und diskutiert werden, eindeutig identifizieren lassen. DOIs haben sich hier als System etabliert und ihre Nutzung sollte daher weiter ausgebaut werden.

Gleichzeitig sollte die Etablierung von Standards und Richtlinien für neue Formen der Zitation in den Sozialen Medien über die Nutzung von Identifikatoren wie DOIs hinaus ausgebaut werden. Hilfreich wäre eine konsistente Nutzung der Plattformfunktionen, bei der beispielsweise die Favorisierungsfunktion immer als Ausdruck einer positiven Haltung zum jeweiligen Inhalt gilt. Es ist fraglich, ob ein so eindeutiges Verhalten in der Realität umsetzbar wäre – in jedem Fall aber sollten Nutzer*innen und Entwickler*innen von alternativen Metriken genau beobachten, wie Forschende und andere Leser*innen Funktionen und Operatoren auf Plattformen nutzen, und mögliche Veränderungen im Nutzungsverhalten wahrnehmen.

Transparente Standards für die Datenkollektion und Nutzung von Metriken entwickeln

Die Vielfalt und Heterogenität von Social Media Plattformen und deren Funktionen ist eine große Herausforderung für die Altmetrics Forschung. Funktionen und deren Interpretation müssen für jede Plattform einzeln herausgearbeitet werden. Zudem machen Aggregatoren wie Altmetric.com oder PlumX oft nicht transparent, welche Plattformen und Funktionen sie einschließen, und wie sie deren Signale in ihren Algorithmen kombinieren. Das führt zu einer schlechten Vergleichbarkeit und Reproduzierbarkeit von Altmetrics. Fallstudien zufolge liefern aktuell keine zwei Aggregatoren die gleichen Ergebnisse³. Hier könnten Ansätze wie das Social Media Register SocMedR oder der NISO Altmetrics Code of Conduct⁴ helfen, informierte Entscheidungen für oder gegen spezifische Aggregatoren und Social Media Daten zu treffen. Transparenz ist jedoch nur der erste Schritt. Das langfristige Ziel sollte die Entwicklung und konsequente Durchsetzung von Standards bei der Datensammlung für webbasierte Bewertungsmechanismen sein, auch in Bezug auf das Löschen veralteter Inhalte.

Altmetrics in der Praxis implementieren und Erfahrungen sammeln

Ohne Zweifel bestehen noch einige Hürden bei der Implementierung von Altmetrics in der Praxis. Sie bieten aber auch schon jetzt Chancen, den Impact wissenschaftlichen Outputs zeitnah und differenzierter zu bewerten als herkömmliche Verfahren. Zu ihrer Weiterentwicklung können zahlreiche Akteure aus der Praxis, etwa Bibliotheken oder Repository-Manager*innen, mit ihren Erfahrungen und Erkenntnissen beitragen. Praktiker*innen sei daher empfohlen, ihre eigenen Erfahrungen in dem Feld zu machen – zum Beispiel in Kooperation mit Forschenden oder Service-Anbietern. Daraus ergäben sich wiederum wertvolle Einsichten in individuelle Anwendungsfälle. Die im *metrics Projekt entstandene Open Source Software *Metrician beispielsweise soll einen niedrigschwelligen Einstieg in die praktische Nutzung von Altmetrics bieten und als Basis für die Diskussion elaborierterer Implementierungs­ansätze dienen.

Mit großen Social Media Anbietern kooperieren oder offene Alternativen nutzen

Die Vergleichbarkeit und Reproduzierbarkeit alternativer Metriken steht und fällt mit der Transparenz und Wiederverwendbarkeit der zugrunde liegenden Daten. Nutzer*innen und Entwickler*innen von Altmetrics sollten sich daher um offene APIs oder Lizenzen bemühen. Gerade große wissenschaftliche Einrichtungen sollten vor diesem Hintergrund mit den jeweiligen Anbietern in Kontakt treten oder eigene Datenbanken aufbauen.

Darüber hinaus sollten alternative offene Service-Anbieter wie Crossref Event Data systematischer genutzt werden, gegebenenfalls in Verbindung mit kommerziellen Anbietern wie Web of Science, Scopus oder Altmetric.com. Denn mit steigender Transparenz wachsen auch die Vergleichbarkeit und Reproduzierbarkeit von Altmetrics – und damit ihre Aussagekraft und sinnvolle Einbindung in das Bewertungssystem wissenschaftlicher Publikation und Kommunikation.

References/Footnotes

1. Lemke, S., Zagovora, O., Weller, K., Orth, A., Beucke, D., Stropel, J. & Peters, I. (2020). *metrics recommendations from the dfg *metrics project for “measuring the reliability and perceptions of indicators for interactions with scientific products”. DINI Schriften 19-en, Version 1.0. https://doi.org/10.18452/22242.2
2. Lemke, S., Zagovora, O., Weller, K., Orth, A., Beucke, D., Stropel, J. & Peters, I. (2020). *metrics recommendations from the dfg *metrics project for “measuring the reliability and perceptions of indicators for interactions with scientific products”. DINI Schriften 19-en, Version 1.0. https://doi.org/10.18452/22242.2
3. Bar-Ilan, J., Halevi, G., & Milojević, S. (2019). Differences between Altmetric Data Sources. A Case Study. Journal of Altmetrics, 2(1). http://doi.org/10.29024/joa.4
4. NISO (2016). Outputs of the NISO Alternative Assessment Metrics Pro­ject. A Recommended Practice of the National Information Standards Organization (NISO RP-25-2016). Retrieved from https://groups.niso.org/apps/group_public/download.php/17091/NISO%20RP-25-2016%20Outputs%20of%20the%20NISO%20Alternative%20As­sessment%20Project.pdf