Forschungsbewertung in Deutschland: Reform überfällig?
Aktuelles aus der Wissenschaft
Die Bewertung von wissenschaftlicher Leistung in Deutschland ist komplex. Ein einheitliches System gibt es nicht, dennoch sind seit langer Zeit überwiegend quantitative Kennzahlen wie die Anzahl wissenschaftlicher Publikationen und Zitate oder die Höhe eingeworbener Drittmittel wichtig.
Aber wie zeitgemäß sind diese Kennzahlen noch? In ganz Europa entwickelt sich ein Reformationsvorhaben, das die Forschungsbewertung fair für alle Wissenschaftler und Wissenschaftlerinnen gestalten möchte, unabhängig von Geschlecht, Alter und Lebensumständen. Eine deutsche Institution, die sich seit vielen Jahren für eine Neu-Bewertung von wissenschaftlicher Leistung einsetzt, ist die Deutsche Forschungsgemeinschaft (DFG). 2022 veröffentlichte die DFG das Positionspapier „Wissenschaftliches Publizieren als Grundlage und Gestaltungsfeld der Wissenschaftsbewertung“, auf das ein konkretes Maßnahmenpaket folgte.
Wie diese Maßnahmen genau aussehen, was die Kritikpunkte am jetzigen Leistungsbewertungssystem sind und wie die aktuelle Diskussion in Deutschland aussieht, verraten Dr. Anna Christa und Dr. Matthias Kiesselbach von der DFG. Beide arbeiten im Team Verfahrensgestaltung mit Schwerpunkt Forschungskultur.
Was ist die Deutsche Forschungsgemeinschaft (DFG)?
Dr. Anna Christa: „Die DFG ist die größte Forschungsförderorganisation in Deutschland und als Selbstverwaltung der Wissenschaft organisiert. Das heißt, dass alle unsere Gremien mehrheitlich aus der wissenschaftlichen Community gewählt sind. Es geht primär um die Förderung von Grundlagenforschung. Die DFG setzt sich aber auch für gute Rahmenbedingungen in der Wissenschaft ein, dazu gehört auch die Forschungsbewertung.“
In welchem Rahmen findet Leistungsbewertung von Wissenschaft in Deutschland statt?
Dr. Matthias Kiesselbach: „Forschungsbewertung findet in sehr vielen Organisationen auf sehr vielen Ebenen in verschiedenen Kontexten statt. Es gibt dafür kein durchdesigntes System. Wir haben in Deutschland ein komplexes Wissenschaftssystem mit vielen Universitäten und außeruniversitären Einrichtungen, deren Bewertungspraktiken sehr vielfältig sind.“
„Forschungsbewertung kann ganz unterschiedliche Dinge bedeuten“ – Dr. Matthias Kiesselbach
Dr. Matthias Kiesselbach: „Erstens findet die Bewertung von Forschung in Kontexten von Berufungs-, Einstellungs- und Personalverfahren statt. Also wie bewertet man die Leistung von Personen, die sich auf Stellen bewerben? Zweitens findet Forschungsbewertung statt, wenn Projekte bei Förderern wie der DFG beantragt werden. Dazu werden Anträge begutachtet und bewertet. Hinzu kommen Evaluationen von ganzen Einrichtungen. Das sind nur einige Beispiele, man kann aber sehen, dass Forschungsbewertung ganz unterschiedliche Dinge bedeuten kann. Wichtig ist auch eine weitere Unterscheidung: Manchmal geht es um die Vergangenheit -, etwa, was eine Forscherin oder ein Verbundprojekt geleistet hat. Manchmal geht es aber auch um die Zukunft, also um eine Prognose, welche Erkenntnisse ein Forschungsprojekt zutage fördern wird.“
Anhand welcher Kriterien wird wissenschaftliche Leistung in Deutschland bewertet?
Dr. Matthias Kiesselbach: „Alle Personen und Einrichtungen, die Forschung bewerten, machen das etwas unterschiedlich. Es wird jedoch insgesamt häufig kritisiert, dass sich eine bestimmte Praxis eingebürgert hat, die wissenschaftlich nicht optimal ist. Ein Hauptkritikpunkt ist, dass bei der Forschungsbewertung häufig zu sehr auf Zahlen und zu wenig auf die Ideen und Inhalte geschaut wird. Bei den Zahlen geht es zum Beispiel darum, wie viele Journalartikel jemand publiziert hat, wie oft diese zitiert wurden, in welchen Journalen die Artikel veröffentlicht wurden und welchen Impact Factor (IF) die Journale jeweils haben. Ein weiterer Kritikpunkt ist, dass viele Dinge, die im Forschungszyklus eine große Rolle spielen, nicht oder zu wenig in die Bewertung mit eingehen. Zum Beispiel die Kuratierung von Daten, oder wie eine Forschungssoftware genutzt wird.“
Was sind die Folgen, wenn nicht der ganze Forschungszyklus in die Bewertung miteingeht?
Dr. Matthias Kiesselbach: „Das führt dazu, dass Fehlanreize entstehen. Es gibt viele Forschende, die richten ihre Forschungstätigkeit nicht so sehr auf die Erlangung neuen Wissens aus, sondern auf die Produktion von Kennwerten, von denen sie denken, dass sie in der Forschungsbewertung eine Rolle spielen. Wichtiger als die Erlangung neuer oder besser fundierter Erkenntnisse ist dann etwa, möglichst oft in möglichst renommierten Journalen veröffentlicht zu haben und viel zitiert zu werden. Das führt mitunter zu einer Flut von Artikeln mit wenig Substanz und auch zu einer thematischen Engführung. Ganz zu schweigen von Zitationskartellen oder gar erfundenen Ergebnissen.“
Die DFG hat ein Maßnahmenpaket zur Veränderung der Forschungsbewertung rausgebracht – Was sind die Inhalte?
Dr. Anna Christa: „Bei der DFG gilt „Qualität vor Quantität“. Das ist eine Förderphilosophie, die bei uns schon sehr lange betrieben wird. Zum Beispiel wurde schon vor 15 Jahren, 2010, eingeführt, dass die Anzahl der Publikationen im Antrag und im CV begrenzt werden. Also dass man in seiner ganzen Vita nicht alle Publikationen listen kann, sondern nur die relevantesten.“
„Deshalb ist der Geist von CoARA bei uns auf sehr fruchtbaren Boden gefallen“ – Dr. Anna Christa
Dr. Anna Christa: „Deshalb ist der Geist von CoARA bei uns auf sehr fruchtbaren Boden gefallen. Es fiel der DFG nicht schwer Mitglied zu werden. Wir haben uns schon früh als Gründungsmitglied engagiert und beim Entwurf des Agreements on Reforming Research Assessment mitgearbeitet. 2022 hat die DFG zwei Maßnahmen umgesetzt, um die qualitative Bewertung noch mehr in den Fokus zu rücken. Erstens wurden die Antragsleitfäden aktualisiert. Also wie im Antrag die eigenen Publikationen dargestellt werden. Die zweite, größere Einführung war ein einheitliches Muster für die Lebensläufe. Damit kann man jetzt ein breiteres Spektrum an Forschungsoutputs und Aktivitäten darstellen.“
Kann die DFG schon ein Fazit zu den Maßnahmenpakten ziehen?
Dr. Anna Christa: „Das ist zum Teil gar nicht so einfach zu sagen, welche Auswirkung eine einzelne Änderung hat. Wir haben uns aber angeschaut, was in den CVs hinterlegt wird. Unsere Intention war, dass auch Forschungsaktivitäten jenseits der klassischen Journal- und Buchpublikationen angegeben werden. In einer Stichprobe haben wir gesehen, dass Antragstellende in einer großen Anzahl auch Kategorie B- „nicht-klassische“ Publikationen angeben. Wir haben auch gesehen, dass in den Lebensläufen Dinge wie Mentoring, Aktivitäten in der Selbstverwaltung der Wissenschaft, oder Begutachtungstätigkeiten angegeben werden. Jetzt wäre es spannend zu sehen, wie unsere Gutachter und Gutachterinnen sowie unsere Gremienmitglieder damit umgehen. Wir denken gerade darüber nach dort direkt nachzufragen.“
Dr. Anna Christa: „Im Rahmen der Exzellenz-Cluster Begutachtung haben wir eine Umfrage unter Gutachtenden durchgeführt. Da haben wir gefragt, inwiefern die Informationen im CV hilfreich waren, um die Qualifikationen der Antragstellenden zu begutachten. Über 80% der Gutachtenden haben angegeben, dass die Informationen im CV hilfreich oder sehr hilfreich waren. Wir haben in dieser Umfrage auch gesehen, welche Informationen jenseits der Unterlagen, die die DFG verschickt, Gutachtende zur Bewertung heranziehen. Wir fanden interessant, dass der Anteil an Gutachtenden im Vergleich zu unserer letzten Umfrage 2008 zurückgeht, die sagen, dass sie sich auch Metriken anschauen, oder die Antragstellenden googeln. Man kann spekulieren, warum dieser Anteil zurückgegangen ist. Vielleicht ist die Zeit, die sich jemand für die Begutachtung und die weitere Recherche nimmt, auch ein Faktor. Wir sehen die Ergebnisse aus der Umfrage aber insgesamt als positives Zeichen, dass die Informationen, die wir zur Verfügung stellen, gut geeignet sind, um sich eine Meinung über den Antragsteller zu bilden.“
Sind noch weitere Maßnahmen geplant?
Dr. Matthias Kiesselbach: „Wir haben bisher vor allem unsere eigene Forschungsförderung der DFG beschrieben. Es gibt aber ja auch noch die große weite Welt außerhalb der Mauern der DFG. Die interessiert uns auch, weil es zum Satzungsauftrag der DFG gehört für gute Rahmenbedingungen in der Forschung überhaupt zu sorgen. Die Menschen sind nicht nur in der DFG aktiv, sondern auch in ihren Unis und Forschungsinstituten. Das ist einer der Gründe, warum die DFG etwa die San Francisco Decleration on Research Assessment (DORA) unterzeichnet hat und zuletzt auch in die CoARA eingetreten ist. Damit wollen wir die Weiterentwicklung der Forschungsbewertung auch außerhalb der DFG unterstützen.“
Wie sieht die Arbeit der DFG in der CoARA aus?
Dr. Matthias Kiesselbach: „In der CoARA sind wir in drei Arbeitsgruppen beteiligt. Darin passiert einiges, wir arbeiten da etwa an Empfehlungen und Tool Boxes. Wir leiten auch eine dieser Arbeitsgruppen mit. Mit unserem Anstoß wurde zudem das National Chapter, also sozusagen unser Landesverband der COARA gegründet. Das läuft gut, er hat mittlerweile 37 Mitglieder.“
Werden durch die neuen Bemühungen der Umgestaltung der Leistungsbewertung weniger Personengruppen benachteiligt?
Dr. Matthias Kiesselbach: „Unsere Hoffnung und eines der Ziele ist es, dass sich die Arbeitsbedingungen in der Forschung verändern. Man kann es so umschreiben, dass Forschende in ihren Entscheidungen, wie und an was sie forschen, sowie in ihren Karrierestrategien freier werden sollen. Sie sollen mehr ihren eigenen wissenschaftlichen Neigungen und Intuitionen folgen können. Und weniger den Zwängen des Begutachtungssystems.“
„Es geht uns um die jüngeren Forschenden“ – Dr. Matthias Kiesselbach
Dr. Matthias Kiesselbach: „Es gibt noch andere Aspekte, aber wenn es um Personen geht, geht es uns hier vor allem um die jüngeren Forschenden. Sie haben die ganzen Entscheidungen noch vor sich. Mit der Erhöhung der Freiheitsgrade der Forscher geht ein weiteres Ziel der CoARa einher. Dieses besteht darin, das ganze Forschungssystem effizienter und thematisch noch vielfältiger zu machen.“
Dr. Anna Christa: „Im CV der DFG haben wir auch eine neue Kategorie „Ergänzende Angaben zum Werdegang“ eingeführt. Dort kann man persönliche Umstände darlegen. Warum es Ausfallzeiten gab, oder warum man nicht den klassischen Karriereweg eingeschlagen hat. Da sehen wir, dass vor allem die Gruppe der Early Career Researchers zum Beispiel häufig Angaben zur Elternzeit macht. Das ist so auch für die Gutachtenden sichtbar und kann entsprechend berücksichtigt werden. Unser Eindruck – der ist allerdings noch nicht mit Daten belegt – ist, dass dies auch geschieht.“
Was sind die langfristigen Ziele der Reform?
Dr. Matthias Kiesselbach: „Die Idee ist, dass ein Wissenschaftler, eine Wissenschaftlerin am Anfang der Karriere selbst entscheiden kann, welcher Typ von Forscher oder Forscherin er oder sie sein will. Vielleicht will jemand nicht in einem Jahr sechs Publikationen veröffentlichen, sondern längere und komplexere Forschungsprojekte mit mehreren Beteiligten über drei Jahre durchführen. Und dann erst am Ende die Ergebnisse publizieren. Oder man möchte nicht nur Journalartikel schreiben, sondern richtig gut dokumentierte Forschungssoftware erarbeiten, die dann auch von anderen aufgegriffen und weiterentwickelt werden kann. Auch dann, wenn die Forschungssoftware nicht mit einer Publikation verbunden ist. Oder jemand möchte vor allem mit der Pflege von moderner, wegweisender Forschungsinfrastruktur beschäftigt sein.“
Dr. Matthias Kiesselbach: „Im Moment ist es noch so, wenn man so eine Entscheidung treffen möchte, braucht man Mut und muss auch teilweise bereit sein zurückzustecken. Unsere Vision und Erwartung ist aber, dass solche Entscheidungen, die ja nicht nur Neigungen sind, sondern auch auf der Basis von wissenschaftlicher Intuition und Expertise getroffen werden in Zukunft leichter und mit geringerem Risiko getroffen werden können. Das Forschungssystem wird dann auch besser, weil es in allen Nischen gute Leute gibt, die im Moment in wenige Nischen gedrängt werden. Da wollen wir hinkommen. Das wird vielleicht noch etwas dauern, weil das Forschungssystem recht träge ist.“
„Man braucht Reputation, um in der Karriere weiterzukommen“ – Dr. Matthias Kiesselbach
Dr. Matthias Kiesselbach: „Das hat natürlich auch damit zu tun, dass sich in der Wissenschaft viel um Reputation dreht und dass die Reputationszuweisung noch sehr journal-lastig organisiert ist. Um das zu ändern, müssen sich viele Leute gemeinsam auf den Weg machen. Junge Leute müssen auch Vertrauen in uns Förderer – darunter die DFG haben, dass wir nicht nur reden, sondern das auch ernst meinen. Natürlich müssen auch viele der von uns beauftragten Gutachter und Gutachterinnen überzeugt sein. Diese müssen nach Ideen und Inhalten bewerten und nicht nach Kennzahlen. Das System bewegt sich aber nun. Das sieht man auch daran, dass CoARA inzwischen wirklich viele Mitglieder hat, und das auf der ganzen Welt.“
Gehen die Maßnahmen schnell genug?
Dr. Anna Christa: „Ich würde spontan aus DFG-Sicht sagen, dass die Maßnahmen, die wir eingeführt haben, keine Revolution waren. Unser Begutachtungssystem hat sich nicht komplett verändert – und mussten das auch gar nicht, da wir schon sehr weit waren, In anderen Teilen der Welt ist aber sicher noch Veränderungsbedarf, worauf ein einziger Player wie die DFG natürlich nur sehr begrenzten Einfluss hat, wie die Veränderung der Forschungsbewertung auf der ganzen Welt vorangehen. Das ist eine globale Anstrengung, die eine Weile dauern wird. Aber sie passiert.“
Dr. Anna Christa: „Wir sehen, dass über 800 Einrichtungen das Agreement hinter der CoARA unterzeichnet haben. Die Initiative wächst und das ist gut. Natürlich gibt es viele Forscherinnen und Forscher, die im „alten“ System der Forschungsbewertung ihre Karriere gemacht haben. Aber auch unter ihnen schätzen viele die CoARA. Auch deswegen denke ich, dass es keine ganze Generation dauert, bis man den Geist der COARA noch sehr viel stärker im täglichen Handeln sehen wird.“
Das Interview führte Redakteurin Hanna Uhl am 18.03.25.
Aktuelles aus der Wissenschaft, Karriere Allgemein, Karrierecoach Tipps & Wissen