Seitenhistorie

...

AG Datenzentren will weiter den Prozess von FDM, CARE, Ethik weiter begleiten. Aufruf, daran weiter teilzunehmen! Use Cases einreichen!

...

Workshop 9a: Optimiertes Peer Reviewing in den Digital Humanities (Notizen von Vincent)

Organisator:innen: Svenja Guhr, Timo Steyer, Walter Scholger, Manuel Burghardt, Lisa Dieckmann, Nils Reiter und Ulrike Wuttke

Vorbemerkung:

In Absprache mit dem DHd-Vorstand sowie dem aktuellen Programmkomitee entwickelte die Task Force eine Handreichung für das Peer-Reviewing der DHd 2022 mit weiterführenden Erklärungen der Kriterien und Empfehlungen zur Begutachtung in der DHd-Community, die bereits für den Review Prozess der DHd-Jahrestagung 2022 an die Reviewer:innen verteilt wird. Ein globales Ziel der Handreichung ist es, eine größere Einheitlichkeit in der Anwendung der Begutachtungskriterien für Beiträge in der Jahrestagung DHd-Community zu schaffen.

Diese neuen Entwicklungen und die damit verbundenen Diskussionen und Beschlüsse sind nicht immer leicht nachzuvollziehen, daher soll der Workshop ein Format anbieten, um sich über die Begutachtungspraxis der DHd und über weitere Begutachtungsformate zu informieren, einen Ort für Austausch zwischen mehr und weniger erfahrenen Reviewer:innen zu schaffen, aber auch konkret das Schreiben von Gutachten zu erproben.

Was ist gutes Reviewing/ was macht gutes Reviewing aus? Partnerarbeiten, Breakout Sessions etc. zur Diskussion

• Mängel verbessern, Begutachtungswesen durch textliche Reviews etc.
• Problem des sog. "Gatekeepings" → Nur positiv Begutachtetes bekommt Qualitätssiegel
• Reviewing ist wichtig für gesellschaftliches Vertrauen!
• Themennähe der Reviewer durch immer steigende Anzahl von Einreichungen nicht immer gegeben.
• Open Report → Alle Reviews publizieren als mögliche Option? - In den Austausch treten, Proposals überarbeiten, offener Dialog.

Problematik der Bewertungsskala und weitere Anregungen:

Einzelne Kriterien haben einzelne Punkte; Deckelungen - Flexiblere Punktevergabe wäre evtl. besser.

Evtl. zu viele unterschiedliche Kriterien - obwohl sie einer besseren Vergleichbarkeit dienlich sind. 

Struktureller Widerspruch - Zu wenige Reviewer zu zu vielen Einreichungen - Problem der Themennähe entsteht daraus.

Gedanken aus meiner Breakout-Session:

• Die Länge der Reviews kann zu Missverständnissen führen - Sowohl zu wenige Sätze, als auch zu viele können dementsprechend nicht genug Informationen übermitteln oder Verwirrung aufkommen lassen.
• Abstracts sind relative Norm für DH-Themen → Abstracts in Länge evtl. anpassen?
• Fester Reviewerstamm für Zeitschriften etc. ?
• Großes Problem bei Reviews → Unvergütete Tätigkeit + evtl. Zeitproblematik → Zeit auf die Reviews zu antworten ist nicht immer gegeben - Entzerrung von Timelines nicht einfach, aber evtl. zielführend.

Weitere wichtige Punkte:

• Fehlende Formate in denen neue Reviewer von bereits erfahrenen Mentoren angelernt oder unterstützt werden. → Daraus folgen Berührungsängste für potenzielle neue Reviewer:innen.
  • Mögliche neue Ansätze: Sog. "Sub-Reviewer" - Bessere Arbeitsteilung + Anleitung der Nachwuchsreviewer (Mentoringprogramm) - Stichwort: Wissenschaftliche Nachwuchsförderung

Begutachtungsvarianten:

• Einreichungen sollten stets konstruktiv sein und Verbesserungsvorschläge im Einklang mit ehrlicher Meinung und konstruktiver Kritik beinhalten.

Beispielhafter Ablauf:

Artikel in geeignetem Journal einreichen → Bewertung durch Herausgeber + Bewertung durch Reviewer + Artikel-Überarbeitung → Annahme oder Ablehnung → Publizierung durch Herausgeber (Herausgeber können bereits vor dem Review-Verfahren Einreichungen mit absehbar mangelnder Qualität ablehnen)

Unterschiedliche Review-Verfahren:

Single Blind - Double Blind - Triple Blind( im letzteren Falle besteht vollständige Anonymität zwischen Autor:innen, Reviewer:innen und Moderationsteam.)

Alternative: Open Peer Review; Offen - Bisheriges Feedback zum Open Peer Review fiel relativ positiv aus; Größter Kritikpunkt war die Offenlegung der Identitäten

• Offenlegung der beteiligten Personen
• Offene Kommunikation der Ergebnisse
• Offener Zugang für Mitwirkende + direkte u. wechselseitige Kommunikation zwischen Einreichenden und Gutachter:innen
• Open identities + Open reports + Open participation + open interaction

Aufkommende Kritik am Peer-Review-Verfahren:

• Intransparenz
• Bevorzugung bekannter Thesen und Wissenschaftler:innen
• Ausnutzung der Gutachter:innenposition für eigene Forschung
• Hoher Zeitaufwand
• Mangel an Anreizen und Anerkennung
• Problematik eventueller Befangenheiten ( Verwandtschaften, berufliche Zusammenarbeiten etc.) - Durch verhältnismäßig "kleine" DH-Community besteht ein vergrößertes Risiko möglicher Befangenheit
• Mögliche Überlastungen der Gutachter:innen
• Nicht immer mit Open-Science vereinbar

#Es folgten vorher aufgenommene Impulsvorträge, welche in Videoform abgespielt wurden.

Impulsvorträge:

Nils Reiter(Computerlinguistik), Joelle Weis(Geschichte) und Walter Scholger(DH)

• Wenn die einzelnen Reviews zu sehr auseinandergehen, bieten manche Formate auch Foren zum Austausch unter den Reviewer:innen.
• Sog. "anonimity period" - 90 Tage vor Einreichung dürfen keine Pre-publishing Artikel hochgeladen werden
• Bewerbung für Förderprogramme involvieren meist double blind Verfahren - Mangel von Alternativen
• Grundlegendes Problem: Zeitmanagement

Im Vortrag genannte Quellen:

Ross-Hellauer T. (2018): What is open peer review? A systematic review [version 2; peer review: 4 approved].F1000Research 2017, 6:588 https://doi.org/10.12688/f1000research.11369.2 

Ross-Hellauer, T., Görögh, E. (2019): Guidelines for open peer review implementation. Res Integr Peer Rev 4, 4. https://doi.org/10.1186/s41073-019-0063-9

Ross-Hellauer T, Deppe A, Schmidt B (2017): Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE 12(12): e0189311. https://doi.org/10.1371/journal.pone.0189311

• Rebuttal-Phase - Wie schreibt man eigentlich Reviews für DHd → Junior Reviewer:innen-Coaching;
• Best Review Award als Anreiz, Kommunikation zwischen Autor:innen und Gutachter:innen
• Handreichung für Gutachterinnen - Manuel Burghardt
• Konstruktives Feedback, vorurteilslos und objektiv - Ton auch bei konstruktiver Kritik positiv - Feedback zu Stärken und Ausbaupotenzial
• Persönliche Meinungsäußerungen vom Autor sollten für das Review keine Rolle spielen (pol. Befangenheit etc.

Weitere relevante Quelle:

Burghardt, Manuel, Dieckmann, Lisa, Guhr, Svenja, Reiter, Nils, Scholger, Walter, Steyer, Timo, Trilcke, Peer, & Wuttke, Ulrike. (2021). Handreichung für den Begutachtungsprozess der DHd2022. Zenodo. https://doi.org/10.5281/zenodo.5093652

Abschließende Punkte:

• Befangenheitskriterien → Harte Ausschlusskriterien(unmittelbar geplante Zusammenarbeit, Verwandtschaft, berufliche Abhängigkeiten)
• Wichtig: Klar kommunizierte Bewertungskriterien + Konstruktives Feedback → Mischung aus objektiv-deskriptiver Rückmeldung und subjektiv-wertender Einschätzung
• Aufbauend, mit Vorschlägen zur Verbesserung, statt demotivierend und desillusionierend!
• Das sog. "Feedback-Sandwich" → Balance zwischen pos. und neg. Feedback: Stärken des Beitrags + konkreter Mehrwert - Schwächen des Beitrags mit Belegen unterfüttert
• Feedback Formulierungen sollten sich ausschließlich auf Elemente beziehen auf die Autor:innen Einfluss nehmen können!
• Sachbezogenes Feedback mit konkreten Verbesserungsvorschlägen hat größeren Mehrwert als ausschließlicher Lob oder ausschließliches Aufzeigen von Fehlern.
• Erst beschreiben, dann bewerten - Keine Generalisierungen - Review mit Struktur: Kurzzusammenfassung, inhaltliche Kritik, Rückmeldung zur Annahme oder Ablehnung, gg.f persönliche Rückmeldung an Autor:innen

...

DHd 2022 Tag 3 (9.3.2022)

...