5 Peer Review

5.1 Überblick

  • Ziel: Mindestens 2 Reviews für das Projektteam einholen.
  • Zeitspanne: 2 Wochen.
  • Zeitaufwand: 3-4 Stunden
  • Relevante Ansprechpersonen: Projektkoordinatorin, Projektteam

5.2 Anleitung

5.2.1 Grundsätze der Auswahl der Reviewerinnen

Die Projektkoordinatorin stimmt mit dem Projektteam ab, welche Skills die Peer ReviewerInnen mitbringen sollten. Ziel des Peer-Reviews ist es, ein Feedback zum Abschlussberichts des Projektes von unabhängigen Dritten einzuholen. Uns ist an dieser Stelle wichtig, dass dieses Feedback in konstruktiver Form geschieht und sowohl das Projektteam als auch Peer-Reviewerinnen aus diesem Prozess lernen können.

5.2.2 Ablauf des Reviews

Die Projektkoordinatorin erstellt auf Basis des Templates eine Ausschreibung und stimmt diese mit dem Core-Team ab. In der Ausschreibung sind Anforderungen und ein Datum, bis wann das Review eingereicht werden muss, bereits festgelegt.

Die Projektkoordinatorin richtet ein Mail-Chimp Formular für potentielle Reviewerinnen ein. Die Projektkoordinatorin sendet die Ausschreibung an das Netzwerk. Die Bewerbungsfrist ist eine Woche. Die Projektkoordinatorin lässt sich vom Projektteam den kompletten Projektordner als VeraCrypt-Container schicken.

Unmittelbar nach Fristende wählt die Projektkoordinatorin zwei Reviewerinnen aus. Die Projektkoordinatorin hält dafür in der Regel keine Rücksprache mit dem Core-Team und in keinem Fall bindet sie das Projektteam in die Entscheidung ein. Die Projektkoordinatorin informiert die Reviewerinnen und sagt den restlichen Bewerberinnen ab. Dafür stehen Teamplates bereit (siehe Abschnitt Templates).

Die Reviewerinnen erhalten ihre Instruktionen und die Daten. Die Projektkoordinatorin weist insbesondere auf die Feedbackregeln hin und, dass das Review anonym sein soll. Die Daten erhält die ReviewerIn als VeraCrypt-Container. Dieser wird per CorrelCloud als Download bereitgestellt. Das Passwort teilt die Projektkoordination auf einem anderen Kanal als den Downloadlink mit. Das wird in der Regel per SMS sein. Wenn die ReviewerIn GNPUG hat, kann das Passwort auch in einer verschlüsselten Mail mitgeteilt werden. Die Projektkoordinatorin weist daraufhin, dass die Projektdaten nicht außerhalb des VeraCrypt-Containers gespeichert werden dürfen, nur auf einem privaten Rechner geöffnet werden dürfen und nicht in einer Dropbox o.ä. abgelegt werden dürfen.

Die Projektkoordinatorin nimmt die Reviews entgegen. Nötigenfalls erinnert sie an die Frist. Nach Erhalt der Dokumente kontrolliert sie, ob diese tatsächlich anonym sind. Sie achtet dabei auch auf die Dokument-Metadaten. Sie leitet dann die Reviews an das Projektteam weiter.

Das Projektteam ist frei darin, ob und in welcher Form sie die Kommentare der ReviewerInenn aufgreifen. Im Sinne der Transparenz und CorrelAids Feedbackkultur wäre es schön wenn das Projektteam zu dem Review Stellung bzeieht. Dazu zwei Vorschläge:

  1. Das Projektteam nimmt knapp Stellung zu den beiden Peer-Reviews. Die Stellungnahme wird durch ein Feedback der Projektkoordinatorin ergänzt und an die Reviewer weitergeleitet.
  2. Rückmeldung zu den jeweiligen Kommentaren der Peer-Reviewer durch eine Kommentierungsmatrix. Bzw einfache Kommentierung des Reviews.

Das Feedback für die Peer-Reviewer wird auf Basis der Einschätzung des Projektteams und der Projektkoordinatorin angefertigt und Zeit nah versandt. Dies geschieht formlos.

5.3 Prozessgrafik

Rücksprache mit dem Projektteam Tag 1 Anpassen des Template + Einrichten des MailChimp Formulars Tag 3 Versenden der Ausschreibung über des Netzwerkverteiler Tag 4 Auswahl von Reviewern durch die Projektkoordinatorin Tag 11 Projektkoordinatorin schreibt Ausgewählte Netzwerkmitglieder an und bittet um Bestätigung Tag 13 Projektkoordinatorin verschickt Absagen an weitere Bewerberinnen Tag 16 Projektkoordniatorin schickt Mail mit Leitlinien zum Peer-Review an die Ausgewählten Netzwerkmitglieder Tag 16 Netzwerkmitglieder erarbeiten Peer-Review (Zeitrahmen abhängig von Projekt) Tag 17-21/28 Anonymisieren des Feedbacks durch die Projektkoordinatorin und Weiterleitung an das Projektteam Tag 22/29 Ende der Überarbeitungsphase für das Projektteam Tag 25/31 Projektkoordinatorin fertigt gemeinsam mit Projektleitung Feedback für die Peer-Reviwerinnen an Tag 26/32

5.4 Checkliste

  • Weiß ich, welcher Aufwand mit dem Review verbunden ist?
  • Wird die Aufgabe und der Zeitrahmen in der Ausschreibung klar?
  • Ist das MailChimpFormular getestet und funktioniert einwandfrei?
  • Habe ich alle Bewerber durch Zu/Absagen informiert?
  • Sind den Peer-Reviewerinnen die Grundsätze der Feedback-Kutur klar? Gibt es klare Ansprechpartner bei Fragen?
  • Kann ich innerhalb der Reviews Rückschlüsse auf den Verfasser ziehen? (Name, Metadaten)
  • Haben alle Reviewer eine Rückmeldung zu Ihrem Review bekommen?

5.5 Templates

5.5.1 Template für Formular

Rahmendaten

Bewerbungsfrist: [Datum]

Gesucht: X ReviewerInnen

Zeitraum: [Zeitraum von 2-3 Tagen]

Formular

Vorname*

Name*

E-Mail-Adresse*

Gender*

  • Weiblich
  • Männlich
  • Möchte ich nicht angeben/so definieren.

Stadt *

Universität/Arbeitgeber

Mit welcher Statistik-Software arbeitest du hauptsächlich?*

  • R
  • Python
  • Andere (siehe Textfeld in der nächsten Zeile)

Welche weitere Software nutzt du? [Textfeld]

Meine Einschätzung zu meinen R-Kenntnissen

Projektspezifischen Fragen

*Pflichtfeld

5.5.2 Template für Ausschreibung im Netzwerk

Liebe Mitglieder im CorrelAid-Netzwerk, liebe/r …,

unser Projekt für …, eine …, steht kurz vor dem Abschluss. Wir suchen 2 Peer ReviewerInnen, die das Projektergebnis begutachten.

Ein Teil der Projektarbeit von CorrelAid ist ein Peer Review der Arbeitsergebnisse, bevor diese an die auftraggebende Organisation übergeben werden. Wir orientieren uns dabei an den in der Wissenschaft üblichen Review-Verfahren. Konkret werden wir ein Single Blind Review durchführen: Der oder die ReviewerIn weiß, wer das Projektteam ist, aber das Projektteam wird die Identität des oder der ReviewerIn nicht erfahren. So wollen wir die hohe Qualität unserer Arbeit gewährleisten.

Der oder die ReviewerIn wird den Bericht und den Code des Projektteams bekommen, um diesen zu prüfen und zu kommentieren. Für die Tätigkeit als ReviewerIn sind mindestens gute Kenntnisse in R eine Voraussetzung, da das Projektteam mit R arbeitet. Alle anderen Kenntnisse, die wir im Formular abfragen, sind hilfreich, aber keine Voraussetzung für die Tätigkeit als ReviewerIn. Im Projekt wurde [XYZ gemacht].

Unser Zeitplan:

  • Ausschreibung offen bis:
  • Übergabe des Projektmaterials an den/die ReviewerIn:
  • Abgabe des Reviews:

Bitte bewirb dich nur dann, wenn du der hier dargestellten Zeitplanung entsprechen kannst. Wir hoffen, dass du in dem angegebenen Zeitraum mindestens drei Stunden für den Review aufwenden kannst.

Wenn du dich als ReviewerIn bewerben möchtest, fülle bitte bis zum Freitag, den 3. Juni (Mitternacht) dieses Formular aus:

Als ReviewerIn leistet du einen sehr wichtigen Beitrag für die Arbeit von CorrelAid!

Wir freuen uns sehr auf deine Bewerbung!

Liebe Grüße

[Projektkoordinatorin]

Viele KöchInnen verbessern den Brei! Hilf als Peer ReviewerIn, unseren Projektbericht für … zu verbessern.

5.5.3 Template für Zusage


Liebe/r ...,
ich danke Dir herzlich, dass Du CorrelAid beim Peer Review unterstützen möchtest und freue mich, Dir mitteilen zu können, dass Du beim Peer Review mit dabei bist. Du wirst wie beim Peer Review üblich nur mit mir Kontakt haben während des ganzen Verfahrens.

Hier nun Informationen zum Peer Review. Melde Dich jederzeit, wenn Du Hilfe brauchst oder Fragen hast. 

Das Projektteam arbeitet unter einem engen Zeitplan, deshalb handelt es sich bei dem vorliegenden Material noch um einen Rohentwurf. Bitte behalte das bei deinem Review im Hinterkopf. Bitte beachten auch die üblichen Feedbackregeln, wie z.B. hier notiert: https://www.uni-goettingen.de/de/document/download/199ce1e3399b4e0ec377de32af5f0f6e.pdf/gutes%20feedback_regeln.pdf

**Zeitplan**

- Ausschreibung offen bis: 27. August (Samstag) (abgeschlossen)
- Übergabe des Projektmaterials an den/die ReviewerIn: 28. August (abgeschlossen)
- Abgabe des Reviews: 31. August (um einen Tag verlängert)

**Aufgabe des/r ReviewerIn**

- Kommentierung des Projektberichts (wie bei einem wissenschaftlichen Review)
- zusätzlich Prüfung des Codes

**Was Du fürs Review brauchst und bekommt**

Du bekommst Zugang zu sämtlichen Daten des Projekts. Diese bekommst Du als verschlüsselte Datei. Wir nutzen dafür das Programm VeraCrypt, dass Du auf Deinem Rechner installieren musst.

Ich schicke Dir in einer weiteren Mail einen Downloadlink. Das Passwort für die Daten möchte ich Dir sicherheitshalber auf einem anderen Weg zukommen lassen. Könntest Du mir dafür diene Telefonummer schicken? Dann sende ich Dir das Passwort zu.

Anleitungen zur Software findest Du hier: [Neues Hackmd benötigt]

**Datenschutz**

Der Datenschutz ist für uns bei CorrelAid sehr wichtig, da wir für unsere Auftraggeberin gewährleisten müssen, dass ihre Daten bei uns sicher sind. Wichtig ist, dass die Arbeit mit den Daten nur auf Deinem privaten Computer geschehen muss. Die Daten dürfen nicht in einer Dropbox oder ähnlichem liegen. Nach Abschluss des Projektberichts sollst du die Daten sofort löschen.

Melde Dich jederzeit, wenn Du Hilfe brauchst oder Fragen hast.

Liebe Grüße

[Projektkoordinatorin]

5.5.4 Template für Instruktionen

Liebe/r …, vielen Dank nochmals, dass Du uns als Peer Reviewer/in unterstützt.

Hier nun wie versprochen der Link zu den Daten: [Download-URL bei Nextcloud]

Hier nochmal alle Informationen zum weiteren Verfahren.

Form

Bitte behalte das bei deinem Review im Hinterkopf. Bitte beachten auch die üblichen Feedbackregeln, wie z.B. hier notiert: https://www.uni-goettingen.de/de/document/download/199ce1e3399b4e0ec377de32af5f0f6e.pdf/gutes%20feedback_regeln.pdf

Zeitplan

  • Ausschreibung offen bis: 27. August (Samstag) (abgeschlossen)
  • Übergabe des Projektmaterials an den/die ReviewerIn: 28. August (abgeschlossen)
  • Abgabe des Reviews: 31. August (um einen Tag verlängert)

Aufgabe des/r ReviewerIn

  • Kommentierung des Projektberichts (wie bei einem wissenschaftlichen Review)
  • zusätzlich Prüfung des Codes

Was Du fürs Review brauchst und bekommt

Du bekommst Zugang zu sämtlichen Daten des Projekts. Diese bekommst Du als verschlüsselte Datei. Wir nutzen dafür das Programm VeraCrypt, dass Du auf Deinem Rechner installieren musst.eiteren Verfahren.

Melde Dich jederzeit, wenn Du Hilfe brauchst oder Fragen hast.

Liebe Grüße

[Projektkoordinatorin]

5.5.5 Template für Absage

Liebe/r [Name],

Du hattest Dich bereit erklärt, als Peer Reviewer für unser Projekt … zu fungieren. Ich möchte Dir ganz herlich danken, dass Du dich gemeldet hast und bereit bist, uns Deine Zeit und Expertise zur Verfügung zu stellen.

Wir haben viele Rückmeldungen erhalten weshalb wir eine Auswahl treffen mussten. Du warst dieses Mal leider nicht dabei. Bei der Auswahl habe ich insbesondere auch darauf geachtet, dass Personen zum Zuge kommen, die sich bisher noch nicht auf erfolgreich auf eine Ausschreibung gemeldet haben.

Ich hoffe, Du bleibst uns dennoch gewogen. Die nächsten Projekte und Reviews stehen bald an.

Viele Grüße

[Projektkoordinatorin]