Altmetrics (1): Neue Wege der Vermessung und Bewertung wissenschaftlichen Outputs

Einzelne Forschende stehen zunehmend im Fokus der öffentlichen Aufmerksamkeit. Bereits seit einigen Jahren, aber nochmal beschleunigt durch die momentane Situation, erschließen sich neue Wege der Publikation und der Kommunikation von wissenschaftlicher Expertise. Diese neuen Wege erfordern auch neue Indikatoren zur Vermessung und Bewertung wissenschaftlichen Outputs und dessen Relevanz. Sogenannte alternative Metriken können hier einen wertvollen Beitrag zur Debatte um das wissenschaftliche Anerkennungssystem liefern. In dem von der DFG geförderten Gemeinschaftsprojekt *metrics¹ haben Forscher*innen konkrete Empfehlungen für den künftigen Umgang mit alternativen Leistungsindikatoren durch Forscher*innen, Forschungsadministrator*innen, Geldgeber*innen, Bibliotheken, Repository-Manager*innen und Verleger*innen entwickelt, die wir in einer zweiteiligen Reihe in diesem Monat vorstellen möchten.

Individual researchers are increasingly the focus of public attention. For some years now, but accelerated by the current situation, new ways of publishing and communicating scientific expertise have been emerging. These new ways also require new indicators to measure and evaluate scientific output and its relevance. So-called alternative metrics can make a valuable contribution to the debate on the scientific recognition system. In the DFG-funded collaborative project *metrics², researchers have developed concrete recommendations for the future use of alternative performance indicators by researchers, research administrators, funders, libraries, repository managers and publishers, which we would like to present in a two-part series this month.

DOI: 10.34879/gesisblog.2021.39

---

Was sind Altmetrics?

Die Bewertung wissenschaftlichen Outputs auf der Basis von Leistungsindikatoren ist kein neues Phänomen. In der Bibliometrie und Szientometrie beschäftigt man sich schon lange mit geeigneten Instrumenten zur Messung der Relevanz und Wirkung von Publikationen. Dabei haben sich vor allem die Anzahl der Publikationen, Zitationsraten und der Impact-Faktor von Fachzeitschriften als Metriken etabliert. Im Zuge der Digitalisierung kamen im Bereich der “webometrics”³ Indikatoren wie die Anzahl der Downloads oder Weblinks hinzu.

Mit neuen Formaten der Wissenschaftskommunikation und der Publikation von Forschungsergebnissen über Plattformen wie Twitter, Mendeley und Co eröffnen sich nun wiederum neue Möglichkeiten, deren Wirkung und Relevanz zu bewerten. Insbesondere Social Media Plattformen stellen selbst schon Mechanismen der Bewertung wie Likes und Shares bereit, die konventionelle Indikatoren der Bibliometrie ergänzen können. Der Begriff “altmetrics”⁴ bezieht sich also auf die Auswertung zahlreicher, teils sehr unterschiedlicher Social-Media-Aktivitäten, mit denen sich wissenschaftlicher Output vermessen lässt. Dazu zählen beispielsweise die Erwähnung eines Artikels in einem Tweet, die Zusammenfassung eines Konferenzberichtes in einem Facebook-Post oder die Referenz auf eine Publikation in einem Wikipedia-Artikel.

Welche alternativen Metriken es gibt und welche Aussagen diese überhaupt liefern können, hat das Projekt *metrics evaluiert, und daraus Empfehlungen für ihren Einsatz in der Praxis abgeleitet.

Was können Almetrics leisten und welche Probleme bergen sie?

Alternative Metriken können eine wertvolle Ergänzung zu bereits etablierten Leistungsindikatoren darstellen. Sie sind deutlich schneller verfügbar und liefern zeitnah Informationen zur Rezeption von wissenschaftlichen Veröffentlichungen. Zudem bilden sie unterschiedliche Formen der Interaktion nuancierter ab und ermöglichen so neue Einsichten im Hinblick auf ihre Wirkung. Darüber hinaus sehen die beteiligten Wissenschaftler*innen im Aufkommen neuer Bewertungsmaßstäbe vor allem auch die Chance, eine Diskussion um die Zukunft wissenschaftlicher Arbeit und Kommunikation anzustoßen. Denn Überlegungen zur Nützlichkeit alternativer Leistungsindikatoren fügen sich auch in die viel grundsätzlichere Debatte über akademische Werte und die häufig geforderte Reformation des wissenschaftlichen Belohnungssystems ein.  

Die Ergebnisse des *metrics-Projekts weisen jedoch auch auf einige Hürden im Bereich der Altmetrics-Nutzung hin. Vor allem die Tatsache, dass diese größtenteils in proprietären Umgebungen gesammelt werden, beeinträchtigt ihre Glaubwürdigkeit und Nützlichkeit. Der Zugang zu den Daten wird durch die Privatunternehmen hinter den Plattformen kontrolliert: Beispielsweise lässt sich nicht nachvollziehen, ob alle öffentlichen Tweets auf Twitter für Dritte zugänglich sind, und auch gängige Altmetrics-Aggregatoren machen ihre Algorithmen angesichts zunehmender Konkurrenz weniger transparent. Zwar entstehen aktuell auch offene Alternativen wie CrossRef Event Data, doch private Plattformen bestimmen derzeit die Wissenschaftspraxis. Welche Plattformen wie (intensiv) von der Wissenschaft genutzt werden, kann sich zudem ständig ändern – das ist eine Haupterkenntnis des Forschungsprojekts und eine weitere Herausforderung für die Altmetrics-Forschung.

Plattformen, Nutzer*innen und Funktionalitäten sind ständig im Wandel

Mit der Sammelbezeichnung *metrics beziehen sich die Forschenden auf die gesamte Bandbreite an zur Verfügung stehenden Metriken, von bereits etablierten bis hin zu neuen Leistungsindikatoren. Der Fokus des Projekts aber lag auf der Erhebung und Evaluierung alternativer Metriken – und kommt zu dem Ergebnis, dass Altmetrics einem ständigen Wandel unterworfen sind. Jederzeit können neue Plattformen auftauchen, die neue Formate wissenschaftlichen Outputs oder der Interaktion mit diesem ermöglichen. Gleichzeitig können bisher stark durch die wissenschaftliche Community genutzte Plattformen verschwinden oder sich in ihrer Funktionalität, und damit auch in ihrer Nutzung, verändern. Angesichts dieser Unwägbarkeiten sollten sich Forschende und Nutzer*innen von Altmetrics den Projektbeteiligten zufolge auf ein „bewegliches Ziel“ einstellen und bereit sein, Metriken regelmäßig zu überarbeiten.

Empfehlungen für den Einsatz in der Praxis

Im Bewusstsein dieser Problematiken, aber auch der enormen Chancen alternativer Metriken für einzelne Wissenschaftler*innen und das gesamte Wissenschaftssystem, hat das Projekt Lösungsansätze für bestehende Defizite sowie konkrete Empfehlungen formuliert, die Akteuren aus der Praxis helfen sollen, *metrics für ihre konkreten Anwendungsfälle erfolgreich zu nutzen. Diese orientieren sich an den vier übergeordneten Zielen des Projekts (1) die aktuell wichtigsten Plattformen und ihre Funktionalitäten zu erfassen, (2) Eigenschaften und Unterschiede zwischen ihnen, ihren Nutzer*innen, Funktionalitäten und Interaktionen zu beschreiben, (3) den Status Quo der Wahrnehmung und Nutzung von Altmetrics durch Forschende zu ermitteln, und (4) technische Fragen rund um die Einrichtung von Altmetrics und deren Auswirkungen auf Nutzung, Wahrnehmung und Zuverlässigkeit zu adressieren.

In einem zweiten Beitrag werden wir diese Empfehlungen detailliert vorstellen.

References/Footnotes

1. *metrics – Measuring The Reliability and perceptions of Indicators for interactions with sCientific productS“ ist ein von der DFG gefördertes Gemeinschaftsprojekt der Niedersächsischen Staats- und Universitätsbibliothek Göttingen, dem ZBW – Leibniz-Informationszentrum Wirtschaft, GESIS – Leibniz-Institut für Sozialwissenschaften und der Verbundzentrale des Gemein­samen Bibliotheksverbundes (GBV). Alle Empfehlungen und weiterführende Ergebnisse sind im Abschlussbericht des Projekts (https://doi.org/10.18452/22242.2) und auf der Projektwebsite (https://metrics-project.net/) zu finden.
2. *metrics – Measuring The Reliability and perceptions of Indicators for interactions with sCientific productS is a DFG-funded joint project of the Göttingen State and University Library, the ZBW – Leibniz Information Center for Economics, GESIS – Leibniz Institute for the Social Sciences, and the Verbundzentrale des Gemeinsamen Bibliotheksverbundes (GBV). All recommendations and further results can be found in the project’s final report (https://doi.org/10.18452/22242.2) and on the project website (https://metrics-project.net/).
3. Thelwall, M. (2008). Bibliometrics to webometrics. Journal of Information Science 34(4), 605-621. https://doi.org/10.1177/0165551507087238
4. Priem, J., Taborelli, D., Groth, P., & Nylon, C. (2010, October 26). Altmetrics: A manifesto. Retrieved from http://altmetrics.org/manifesto/