E-Book, Deutsch, 308 Seiten, Format (B × H): 140 mm x 210 mm, Gewicht: 400 g
Reihe: Grundlagen der Weiterbildung
Reischmann Weiterbildungs-Evaluation
2. korrigierte Auflage 2017
ISBN: 978-3-944708-68-3
Verlag: ZIEL
Format: EPUB
Kopierschutz: Adobe DRM (»Systemvoraussetzungen)
Lernerfolge messbar machen
E-Book, Deutsch, 308 Seiten, Format (B × H): 140 mm x 210 mm, Gewicht: 400 g
Reihe: Grundlagen der Weiterbildung
ISBN: 978-3-944708-68-3
Verlag: ZIEL
Format: EPUB
Kopierschutz: Adobe DRM (»Systemvoraussetzungen)
Die Evaluation von Weiterbildung wird seit Jahren - nicht erst seit Pisa - als Zauberwort propagiert. Bei der Umsetzung von entsprechenden Vorhaben klafft jedoch eine große Lücke zwischen Anspruch und Wirklichkeit, da die Bildungsverantwortlichen vielfach nicht über das notwendige Evaluationswissen verfügen. Ziel des Lehrbuchs "Weiterbildungs-Evaluation" ist es deshalb, die Grundlagen für eine kritische Reflexion von Konzepten und Methoden der Evaluation zu legen und vor allem das "Machen" zu erlernen. Der Anwendungsbezug wird durch mehr als 60 praxisnahe Übungsaufgaben (mit Lösungshinweisen) sichergestellt. Das im Internet bereitgestellte Auswertungsprogramm (Demoversion) ermöglicht die schnelle und präzise Auswertung von Kursbeurteilungsbogen.
Aus dem Inhalt:
Evaluation - was es ist und wie man es macht – Evaluationstypen und –beispiele – Klassische Evaluationsverfahren – Gütekriterien oder "Zu Risiken und Nebenwirkungen" – Die Technik der Zielanalyse – Befragungen, Qualitative Daten – Das Schreiben eines Evaluationsberichts – Glossar, Internet-Links
Autoren/Hrsg.
Weitere Infos & Material
1. Evaluation – was das (nicht) ist und wozu sie nützt 1.1 Zum Begriff Wie bei jedem vieldiskutierten Begriff finden sich auch bei »Evaluation« unterschiedliche Definitionen. So wird bei Durchsicht der Definitionen der letzten dreißig Jahre die »schillernde Vielfalt der mit dem Begriff ‚Evaluation’ assoziierten Vorstellungen« (Wottawa/Thierau 1998, S. 13) konstatiert, es wird festgestellt: »Aktuelle Evaluationsbegriffe sind vielschichtig« (Balzer / Frey / Nenniger 1999, S. 393), und zusammengefasst: »Evaluation umfasst … eine Vielzahl von Bedeutungsfacetten und Vorgehensweisen, und in der Literatur finden sich zahlreiche, zum Teil sehr unterschiedliche Vorstellungen und Beschreibungen« (Mittag /Hager 2000, S. 103). Zu dieser schillernden Vielfalt beigetragen haben neben anderem die unterschiedlichen Wurzeln der Evaluationsforschung; Rost (2000, S. 129) nennt die Curriculumevaluation, die Evaluation sozialer Programme, die Evaluation therapeutischer Maßnahmen und die Evaluation im Kontext von Betrieben und Organisationen. Insbesondere beim Bezug auf englischsprachige Quellen trägt zur Unklarheit auch bei, dass »Evaluation« bzw. »to evaluate« in der englischen Umgangssprache nicht nur Fachtermini sind, sondern zunächst und vor allem schlicht und ohne besonderen Anspruch »Bewertung« bzw. »bewerten« meinen; dies hat bei deutschen Übersetzungen manchmal Missverständnisse hervorgerufen. Betrachtet man weniger die Worte und Formulierungen der Evaluationsdefinitionen, sondern die darin angesprochenen Elemente, Aufgaben und Funktionen von Evaluation, dann lassen sich jedoch durchaus eine Reihe von Gemeinsamkeiten identifizieren. Als pädagogischer / andragogischer Fachbegriff im Deutschen wie im Englischen enthält der Begriff »Evaluation« im Wesentlichen drei Elemente, die sich in den meisten Evaluationsdefinitionen finden; diese werden in folgender Definition zusammengefasst. Definition Evaluation meint 1. das methodische Erfassen und 2. das begründete Bewerten von Prozessen und Ergebnissen zum 3. besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion. Diese Definition soll diesem Lehrbuch zu Grunde liegen. 1.1.1 »Erfassen« = methodisch organisiert + dokumentiert (Definitionselement 1a + b) Der Fachbegriff »Evaluation« enthält zunächst das Erfassen von Prozessen und Ergebnissen. »Erfassen« bedeutet dabei eine explizite Handlung, die (a) methodisch organisiert und damit überprüfbar ist und deren Ergebnis (b) festgehalten – dokumentiert – wird (»schwarz auf weiß«). a) Für das, was man erfasst, wird die Bezeichnung »Daten« verwendet. Dies können Zahlen oder Worte sein; Bilder, Fotos, Artefakte u.ä. werden, wenn sie als Datengrundlage dienen, vor der Weiterverarbeitung in Zahlen und Worte »übersetzt«. Zum Erfassen der Daten verwendet man Instrumente: Fragebögen, Interviews, Tests, Checklisten, Beobachtungslisten. Die Spanne der Methoden der Datenerhebung reicht von strengen Forschungsdesigns mit Kontrollgruppen, Randomisierung, standardisierten Tests und Signifikanztests in der Tradition quantitativer Unterrichtsforschung bis zu qualitativ-naturalistischen Fallstudien in der Tradition responsiver Evaluation (vgl. Beywl 1998). Widmer (2000, S. 80) fasst die Diskussion mit dem Stichwort »Methodenpluralismus« zusammen. Charakteristisch für das methodisch organisierte Erfassen ist, dass man hinterher weiß, wie die Daten zustande kamen. »Einige Teilnehmer wurden befragt …« erfüllt dieses Kriterium nicht. »Jeder fünfte Teilnehmer gemäß alphabetischer Reihenfolge wurde befragt; unmittelbar im Anschluss wurde jeweils ein Gedächtnisprotokoll angefertigt …« erfüllt dieses Kriterium. Die Bedingung, dass Evaluation methodisch erhobene Daten voraussetzt, findet sich übereinstimmend sowohl in der älteren als auch in der jüngsten Diskussion. Gelegentlich wird zwischen Evaluation (methodisch weicher) und Evaluationsforschung (methodisch strenger) unterschieden (z. B. Suchmann 1967, Mittag /Hager 2000), gelegentlich werden die Begriffe synonym verwendet (z. B. Stockmann 2000). Da es im Gegensatz zur englischen Sprache keinen umgangsprachlichen Konkurrenzbegriff gibt, soll hier für den deutschen Fachbegriff »Evaluation« die strengere Position vertreten werden, dass die methodische Erhebung von Daten unabdingbares Element von Evaluation ist. »Es wurde mit Betroffenen gesprochen …« oder »Beim Besuch der Einrichtung konnte der Eindruck gewonnen werden …« – solche vagen Formulierungen zeigen, dass überhaupt keine Daten (= methodisch organisiert) erhoben wurden; alles, was nachfolgt, kann nicht mehr beanspruchen, Evaluation zu sein. Für allgemeine wertende Aussagen ohne systematische Datenbasis sollte nach diesem Verständnis der Begriff »Evaluation« nicht verwendet werden (sondern eben »Meinung«, »Bewertung« …, oder »Visitation«, »Hospitation«, »Kontrollbesuch«, »Mitarbeiterbeurteilung«, »Rückmeldung« …). b) Seltener wird explizit auf die Notwendigkeit der Dokumentation, Aufbereitung, Darstellung und Verfügbarkeit der Instrumente und Daten hingewiesen (zumeist unter dem Stichwort »Berichtlegung«, z. B. Wottawa/Thierau 2000, S. 159, Balzer/Frei/Nenniger 1999, S. 399), wohl weil dies Forschern selbstverständlich erscheint. Für Evaluationen, die zumeist nah bei und mit den Betroffenen und Beteiligten erarbeitet werden, ist eine solche »at-hand«-Verfügbarkeit der Instrumente und Daten unabdingbar, um das Gefühl von Willkür oder subjektiver Interpretation zu vermeiden und um immer klarzumachen: Evaluation ist ein datenbasiertes Verfahren! Ausschlusskriterien Wenn keine Dokumentation vorliegt, wenn Aussagen nicht mit zugänglichen Daten begründet werden können, dann sollte – so wird hier vorgeschlagen – nicht von Evaluation gesprochen werden. Übungsaufgabe 1*
Kreuzen Sie an, ob bei folgenden Maßnahmen die Kriterien »methodisch organisiert« und/oder »Ergebnis dokumentiert« erfüllt ist: methodisch organisiert Ergebnis dokumentiert a) Am Ende eines Kurses redet man miteinander über den Kurs. ? ? b) Man tauscht Meinungen über die Stärken und Schwächen eines Volkshochschulprogramms aus. ? ? c) Ein »Fragebogen zur Kursbewertung« wurde ausgefüllt und liegt unausgewertet im Schrank. ? ? d) Am Kursende schreiben alle Teilnehmer Moderationskärtchen zur Frage »Was hat der Kurs mir gebracht (grüne Kärtchen), was hat mir gefehlt (rote Kärtchen)?« Diese werden an der Pinwand systematisch geordnet und mit den Teilnehmern, dem Kursleiter und dem Leiter des Tagungshauses besprochen. Danach wandern sie in den Papierkorb. ? ? Anstelle der hier gewählten Bezeichnung »Erfassen« wird in anderen Definitionen manchmal die Bezeichnung »Messung« verwendet. »Messung« bedeutet, dass Beobachtungen auf einer »mehr – weniger«-Skala angeordnet werden. Dies wäre eine strenge Auslegung des Evaluationsbegriffes, denn es gibt auch andere hilfreiche Formen, mit denen Prozesse und Ergebnisse erfasst und dokumentiert werden können. 1.1.2 »Bewerten« = Vergleich Ist- / Soll-Wert + Begründung Soll-Wert (Definitionselement 2a + b) »Evaluation« enthält als Zweites das Bewerten von Prozessen und Ergebnissen auf der Grundlage der erhobenen Daten. Wird »Evaluation« als Fachbegriff verwendet, dann ist dieses »Bewerten« etwas anderes als »seine subjektive Meinung äußern«: Man vergleicht die erhobenen Daten (»Ist-Wert«) mit dem, was man sich gewünscht hat (»Soll-Wert«). Dieser Soll-Wert sollte möglichst vorher, spätestens im Verlauf der Evaluations-Untersuchung durch Beschreibungen, Erläuterungen und Begründungen so nachvollziehbar gemacht werden, dass auch für einen Außenstehenden verständlich wird, warum welche Kriterien zu einem bestimmten Urteil führen. Der Maßstab muss also explizit begründet werden und kann damit überprüft, kritisiert und korrigiert werden. Dieses »Bewerten« als zweites Element der Evaluationsdefinition wird als eine der problematischsten Anforderungen an Evaluation diskutiert. Wottawa / Thierau warnen: »Leider sind die Fragen der Zielsetzung in vielen Evaluationsprojekten die größte Schwachstelle« (1999, S. 83). Einhellig ist die Position, dass die Sammlung von Daten allein noch keine Evaluation ist. So formulieren Thorndike /Hagen bereits in einem in mehreren Auflagen erschienenen frühen Standardwerk: »It can not be too much emphasised that measurement at best provides only information, not judgment« (Thorndike /Hagen 1964, S. 13) Und: »The term ‚evaluation’ … includes more definitely the aspect of valuing – of...
