In der Vorbereitungsphase mussten Peers folgende Aufgaben wahrnehmen:

• einen Vertrag mit der zu evaluierenden Schule abschließen;
• Lektüre und Analyse des Selbstberichts der zu evaluierenden Schule sowie eventuell Einholung weiterer Informationen von der Schule;
• ev. Teilnahme an einem Vorbereitungstreffen mit der Schule;
• Austausch über den Selbstbericht innerhalb des Peer Teams sowie Einigung auf Evaluierungsthemen für das Peer Review;
• Erstellung einer Agenda für den Peer Besuch in Kooperation mit dem/der Peer Review Organisator/in an der Schule;
• Teilnahme an einem Vorbereitungstreffen der Peers (z.B. am Abend vor dem Peer Besuch); welches vom/von der Peer Review Koordinator/in organisiert wird
• Vorbereitung von Interviewfragen, Auswahl von Interviewgruppen und Kriterien für die Beobachtungen in der Schule.

Dokumente zum Download:
07a Vertrag der Schulen mit den Peers (doc 72 kb)
07b Vertrag der Schulen mit externen Peers (doc 73 kb)
07c Vertrag der Schulen mit BS-Peers (doc 56 kb)
11 Beispiel Peer Besuch Agenda (doc 78 kb)

Die Hauptaufgaben der Peers während des Peer Besuchs waren die Datenerhebung, Datenanalyse sowie das Feedback an die Schule. Ein Peer Besuch dauerte in der Regel zwei Tage.

Datenerhebung

Während des Peer Besuchs führten die Peers eine kurze und verdichtete Evaluation durch, die sich auf jene Qualitätsbereiche bezog, die die Schule ausgewählt hatte. Die Basis dafür war die Analyse des Selbstberichts und weiterer relevanter Dokumente. Dazu kamen Evaluierungen, die die Peers während ihres Besuchs vor Ort durchführten. Hier wurden also zusätzliche Daten erhoben. In dieser Phase konnten verschiedene Evaluierungsmethoden (z. B. Interviews, weitere Analyse von Dokumenten, Beobachtungen usw.) zum Einsatz kommen.

Befragt wurden bspw.

• Direktoren/innen;
• Abteilungsleiter/innen;
• Schüler/innen;
• Absolventen/innen bzw. ehemalige Schüler/innen;
• andere Stakeholdergruppen (Unternehmensvertreter/innen, Eltern, Sozialpartner, andere Bildungseinrichtungen usw.).

Die Einladung von Personen zu den Interviewgruppen lagt in der Verantwortung der Schule, die – um Ausgewogenheit und unterschiedliche Stimmen zu gewährleisten – eine repräsentative Auswahl an Interviewpartnern/innen für jede Gruppe treffen sollte. Die Peers sollten klare Vorgaben für die Zusammensetzung der Interviewgruppen machen. Bei der Zusammenstellung der Interviewgruppen sollten besonders folgende soziale Aspekte berücksichtigt werden, die die Offenheit der Interviewteilnehmer/innen negativ beeinflussen konnten: formelle und informelle Hierarchien, bestehende Konflikte, verschiedene Interessen usw.

Eine häufig zum Einsatz kommende Methode war der Rundgang vor Ort. Bei diesem Rundgang durch die Schule bzw. die Schulanlage bewertete das Peer Team oder Peer Tandem die Infrastruktur und die Ausstattung der Schule. Es konnten während des Rundgangs auch informelle Informationen gesammelt werden.

Während des Peer Besuchs konnten weitere Beobachtungen durchgeführt werden (z.B. Unterrichtshospitationen; Beobachtungen während des praktischen Unterrichts, d.h. in Laboratorien, Werkstätten etc. sowie in anderen sozialen Situationen, z.B. während der Pausen). Beobachtungen mussten sehr gut vorbereitet werden, d.h. das Ziel/die Ziele und das Thema der Beobachtung mussten im Voraus ebenso festgelegt werden wie eine systematische Vorgangsweise für die Durchführung. Beobachtungen von spezifischen Lehr- und Lernaktivitäten konnten mit dem Rundgang verbunden werden, was dann jedoch zeitlich anspruchsvoller war. Neben individuellen Unterrichtshospitationen konnten einzelne Klassen den ganzen Tag über oder mehrere Klassen für kurze Zeitspannen beobachtet werden. Neben Interviews und Beobachtungen konnten natürlich auch andere Methoden während des Peer Besuchs zur Anwendung kommen, wie z.B. Foto-, Video- und Bildevaluierungen, Rollenspiele, kurze Fragebogenerhebungen etc. Während des Peer Besuchs war es unbedingt notwendig, den Zeitplan einzuhalten.

Dokumente zum Download:
15 Grundlegende Regeln für Peers (pdf 28 kb)
16 Interview-Protokolle und Analysen (doc 78 kb)

Eine vorläufige Analyse und Bewertung der Qualitätsbereiche müssen die Peers auf der Grundlage des Selbstberichts vor dem Peer Besuch vornehmen. Während des Besuchs sollten die Ergebnisse unmittelbar nach den einzelnen Sitzungen und Aktivitäten aufgearbeitet und diskutiert werden. Die Peers sollten aber keine voreiligen Schlüsse ziehen, sondern die Datenlage sorgfältig abwägen und zusätzliche Informationen einholen, falls die Ergebnisse nicht eindeutig sind. Eine kommunikative Validierung (d.h. das Einholen von Feedback von verschiedenen Gruppen von Betroffenen und Beteiligten zu erhobenen Ergebnissen; jederzeit im Peer Review Prozess möglich, zumeist jedoch kurz vor, während oder nach der Feedbacksitzung mit den Schulen) – besonders mit Lernenden und/oder dem verantwortlichen Management – kann dazu beitragen, getroffene Einschätzungen zu überprüfen und einen umfassenderen Eindruck zu gewinnen.

Für die Auswertung der Daten müssen die Evaluierungen der einzelnen Situationen so aggregiert bzw. „anonymisiert“ werden, dass sich die Aussagen auf die gesamte Einrichtung und nicht auf einzelne Personen beziehen bzw. die Auswertungen keine Rückschlüsse auf einzelne Personen erlauben.

In der Peer Besuch Agenda muss genügend Zeit für einen wiederholten Meinungsaustausch innerhalb der Peer Tandems sowie für die endgültige Analyse der Ergebnisse im gesamten Peer Team vorgesehen werden, damit die Peers die erhobenen Informationen und Daten angemessen verdichten, analysieren und diskutieren können. So erfordert ein einstündiges Interview zumindest eine halbstündige Erstanalyse. Wenn Beobachtungen durchgeführt werden, sollten Beobachtungsleitfäden ausgefüllt, analysiert und am Ende der Beobachtungsphase zusammengefasst werden. Die Erhebung großer Datenmengen per se ist nicht zu empfehlen, da dabei oft zu wenig Zeit für die Analyse und die Auswertung dieser Daten bleibt und die Peers sich überfordert, gestresst und frustriert fühlen (siehe dazu auch Europäisches Peer Review Handbuch, S. 21f., S. 26).

Im Mittelpunkt des Peer Reviews steht die Bewertung bzw. professionelle Beurteilung durch die Peers. Dabei ist es unbedingt erforderlich, genügend Zeit für die herausfordernde Aufgabe vorzusehen, Ergebnisse herauszufiltern, zu verdichten, sie zu prüfen, verschiedene Meinungen im Peer Team zu diskutieren und abschließend gemeinsame Schlüsse zu ziehen. Vor der Feedbacksitzung mit der Schule am Ende des Peer Besuchs sollte deshalb eine abschließende Besprechung der Peers durchgeführt werden. In dieser Besprechung werden die erhobenen Daten durchgesehen und auf ihre Relevanz und Repräsentativität hin überprüft.

Wichtige Ergebnisse, vorzugsweise bereits zu diesem Zeitpunkt klar gegliedert in Stärken und Verbesserungsbereiche, müssen ausgewählt und visualisiert werden, sodass sie den Schulvertretern/innen während der Feedbacksitzung mittels einer Powerpoint-Präsentation oder eines Flipcharts vorgelegt werden können. In der Diskussion gilt es natürlich, die verschiedenen Standpunkte der Peers zu berücksichtigen - es ist jedoch zu empfehlen, dass die Peers zu gemeinsamen Schlüssen kommen. Unterschiedliche Meinungen sollten nur wiedergegeben werden, wenn keine Einigung erzielt werden konnte. Alle Bewertungen müssen begründet und belegt werden (siehe dazu auch Europäisches Peer Review Handbuch, S. 22). Das Geben von Feedback ist eine sehr anspruchsvolle Aufgabe. Das Feedback der Peers an die Schule muss nützlich und konstruktiv sein und vor dem Hintergrund einer wohlwollenden und freundlichen Grundhaltung abgegeben werden. Als unterstützendes Dokument zum Thema Feedback stehen den Peers die Grundlegenden Regeln für Peers zur Verfügung. Umgekehrt sollte die Schule während der abschließenden Feedbacksitzung versuchen, das Feedback als wertvolle Information zu betrachten, die die eigene Arbeit und Weiterentwicklung unterstützen kann (vgl. Europäisches Peer Review Handbuch, S. 23).

Die endgültige Bewertung der von der Schule ausgewählten Qualitätsbereiche und –kriterien sollte erst nach bzw. im Anschluss an die Feedbacksitzung erfolgen, sodass Kommentare und Stellungnahmen von Seiten der Schule einfließen können. Die Peers haben grundsätzlich auch die Möglichkeit, Empfehlungen abzugeben, wenn die Schule dies wünscht. Sollte die Schule keine Empfehlungen von Seiten der Peers erhalten wollen, so sollte dies bereits in der Vorbereitungsphase zum Peer Review geklärt werden.

Dokumente zum Download:
17 Bewertung von Qualitätsbereichen (doc 58 kb)

Der Peer Review Bericht ist das gemeinsame Ergebnis der Bewertungen und Schlussfolgerungen sowie gegebenenfalls Empfehlungen der Peers. Die Kommentare und Stellungnahmen der Schule, die während der Feedbacksitzung gegeben wurden, sollten ebenfalls in den Peer Review Bericht einfließen. Es ist zu empfehlen, dass der/die Peer Koordinator/in gemeinsam mit dem/der Evaluationsexperten/in den Peer Bericht hauptverantwortlich verfassen. Die beiden anderen Peers sollen den von ihnen verfassten Bericht kommentieren. Es ist wichtig, dass die Peers im Rahmen von Diskussionen und Argumentationen zu gemeinsamen Schlussfolgerungen kommen. Ist das nicht möglich, so können auch abweichende Meinungen dargestellt werden.

In der Praxis hat sich gezeigt, dass es wichtig und sinnvoll ist, mit der Erstellung des Peer Review Berichts schon während des Peer Besuchs zu beginnen. Danach ist häufig keine direkte Kommunikation zwischen den Peers möglich, was die Erstellung des Peer Review Berichts erschwert und verzögert. Es ist daher zu empfehlen, dass die Peers schon während bzw. direkt im Anschluss an den Peer Besuch zu gemeinsamen Schlussfolgerungen, Bewertungen und gegebenenfalls Empfehlungen kommen, die auch schriftlich festgehalten werden (z. B. mit Hilfe des Formulars zur Bewertung von Qualitätsbereichen oder dem Formular für den Peer Review Bericht). Die Feinarbeiten (z. B. Ausformulierung von Stichworten, Formatierung etc.) können auch nach dem Peer Besuch erledigt werden.

Die Rohfassung des Peer Review Berichts sollte der Schule sobald wie möglich nach dem Peer Besuch zur Verfügung stehen. Die Schule erhält dann die Möglichkeit, den Rohbericht zu kommentieren. In der Endversion des Peer Review Berichts (spätestens 5 Wochen nach dem Peer Review soll dieser an der Schule sein!) werden die Stellungnahmen und Kommentare der Schule mit aufgenommen. Dieser Endbericht sollte möglichst allen internen Anspruchsgruppen (Lehrern/innen, Schülern/innen, Eltern usw.) zur Verfügung stehen. Eine Zusammenfassung der Ergebnisse kann auch einer breiteren Öffentlichkeit, z. B. über die Schulhomepage, zur Verfügung gestellt werden.

Nähere Informationen über die Struktur des Peer Review Berichts sind hier zu finden.

Der Bericht muss eine Beschreibung und Bewertung der Ergebnisse des Peer Reviews durch die Peers beinhalten (vgl. Europäisches Peer Review Handbuch, S. 29). Wichtig sind Hinweise auf Stärken und Schwächen sowie die Formulierung von Schlussfolgerungen und gegebenenfalls Empfehlungen. Der Peer Review Bericht darf nur Ergebnisse enthalten, die schon während der Feedbacksitzung mit der Schule diskutiert wurden. Völlig neue Themen sollten nach der Feedbacksitzung nicht mehr aufgenommen werden.

Dokumente zum Download:
18 Peer Review Bericht (Vorlage mit Erklärungen) (doc 123 kb)