Giel / Klockgether / Mäder Evaluationspraxis

Professionalisierung - Ansätze - Methoden
2. Auflage 2016
ISBN: 978-3-8309-8528-0
Verlag: Waxmann Lehrbuch
Format: PDF
Kopierschutz: 0 - No protection

E-Book, Deutsch, 305 Seiten

In der Evaluationspraxis stellen sich vielfach Herausforderungen, zu denen situativ passende und kreative Lösungen gefunden werden müssen. Die Autorinnen und Autoren dieses Bandes - erfahrene Evaluatorinnen und Evaluatoren - zeichnen in ihren Beiträgen diese professionelle Praxis nach und legen die dahinterliegenden Begründungen offen.
Dieser Band präsentiert Aufsätze aus drei inhaltlichen Bereichen: Professionalisierungsinstrumente, Evaluationsansätze und Evaluationsmethoden. Im ersten Teil werden Quellen für eine Verbesserung der Evaluationssteuerung vorgestellt, wie Checklisten, Strategien zur Förderung des Datenschutzes oder der Einsatz interkulturell sensibler Teams. Der Schwerpunkt im zweiten Teil liegt auf nutzungsorientierten Evaluationsansätzen, insbesondere für experimentierende und unausgereifte Programme. Neben Datenerhebungsmethoden werden im dritten Teil auch Methoden für die Gegenstandsklärung sowie die Ergebnisvermittlung inklusive des Bewertungsvorgangs präsentiert.
Das Buch bietet Erfahrenen, Novizinnen und Novizen, Praktikerinnen und Praktikern sowie Studierenden einen anregenden und anschaulichen Einblick in die Evaluationspraxis.

Autoren/Hrsg.

Giel, Susanne

Klockgether, Katharina

Mäder, Susanne

Inhaltsverzeichnis

1;Buchtitel;1
1.1;Vorwort zur 2. Auflage;5
1.2;Inhalt;7
2;Evaluationspraxis reflektieren – Einleitung und Überblick (Susanne Giel/Katharina Klockgether/Susanne Mäder);9
2.1;Die Rolle von Univation als fachlicher Bezugspunkt;11
2.2;Zum Aufbau des Buches;12
2.3;Hinweis für Leserinnen und Leser;16
2.4;Literatur;17
3;Beitrag zu einer konsistenten Evaluationsterminologie –das Glossar von Univation (Melanie Niestroj/Wolfgang Beywl/Berthold Schobert);21
3.1;1. Babylon ist überall;21
3.2;2. Zielsetzung des Beitrags;22
3.3;3. Entstehung des Eval-Wiki: Glossar der Evaluation;22
3.4;4. Nutzung des Glossars;26
3.5;5. Ausblick und Einladung zur Mitarbeit;29
3.6;Literatur;30
4;Checklisten zur Planung und Steuerung von Evaluationen (Katharina Klockgether);31
4.1;1. Welche Arten von Checklisten gibt es?;31
4.2;2. Beispiele von Checklisten;32
4.3;3. Wie verbreitet sind Checklisten?;35
4.4;4. Was sind die Vorteile und Tücken von Checklisten?;37
4.5;5. Welche Eigenschaften hat eine gute Checkliste?;39
4.6;6. Fazit und Ausblick;40
4.7;Literatur;41
5;Informationssicherheit in der Evaluation (Marc Jelitto);43
5.1;1. Welche Gefahren Expertenteams sehen:;44
5.2;2. Welche Informationen bei Evaluationen in Gefahr sind:;45
5.3;3. Welche Ziele beim Informationsschutz verfolgt werden:;46
5.4;4. In welchen Bereichen ein Schutz besonders wichtig ist:;46
5.5;5. Welche Faktoren eine wichtige Rolle spielen:;47
5.6;6. Grundlegende Praxisvorschläge für den Evaluationsalltag;47
5.7;7. Grundlegender Schutz der Computer;51
5.8;8. Vertiefte strategische Sicherheit;52
5.9;Literatur;53
6;Interkulturelle Kompetenz – ein weiterer Bausteinfür das professionelle Handeln in Evaluationen (Schahrzad Farrokhzad);55
6.1;Kompetenzanforderungen an Evaluatorinnen und Evaluatoren – Vorbemerkungen;55
6.2;1. Interkulturelle Kompetenzen – hilfreich in der Evaluation?;57
6.2.1;1.1 Anforderungen interkultureller Kompetenzentwicklung – Mikroebene;61
6.2.2;1.2 Anforderungen interkultureller Kompetenzentwicklung – Mesoebene;64
6.2.3;1.3 Anforderungen interkultureller Kompetenzentwicklung – Makroebene und globale Ebene;66
6.3;2. Fazit;68
6.4;Literatur;70
7;Schwarm-Evaluation als Steuerungsansatz (Dörte Schott und Wolfgang Beywl);73
7.1;1. Intelligenz und Kreativität von Schwärmen;74
7.2;2. Fallbeispiel: Herausforderungen, Antwort und gewonnene Erkenntnisse;77
7.2.1;2.1 Kontext;77
7.2.2;2.2 Durchgeführte Evaluationen;78
7.2.3;2.3 Kollaboration als Antwort auf die Herausforderungen;79
7.2.4;2.4 Gewonnene Erkenntnisse;80
7.3;3. Analyse: Der Schwarm-Evaluations-Ansatz (SEA);80
7.4;4. Diskussion: Möglichkeiten und Grenzen des SEA;82
7.5;5. Fazit und Ausblick;85
7.6;Literatur;86
8;Der Programmbaum als Evaluationsinstrument (Samera Bartsch/Wolfgang Beywl/Melanie Niestroj);89
8.1;1. Zielsetzung des Beitrags;89
8.2;2. Entstehungshintergrund des Programmbaums;91
8.3;3. Die Elemente des Programmbaums;93
8.4;4. Nutzen des Programmbaums;98
8.4.1;4.1 Nutzen für Programmverantwortliche (bzw. die Programm- und Maßnahmenplanung);99
8.4.2;4.2 Nutzen für Evaluierende;103
8.4.3;4.3 Nutzen für die Meta-Evaluation;107
8.5;5. Diskussion des Modells ‚Programmbaum‘ in Theorie und Praxis;108
8.6;6. Schlussbemerkung;110
8.7;Literatur;110
9;Wirkungen auf der Spur mit Programmtheorien (Susanne Giel);113
9.1;1. Die Herausforderung der Wirkungsfeststellung;113
9.2;2. Programmtheorie und theoriebasierte Evaluation;115
9.3;3. Theoriebasierte Evaluation von Modellprojekten zur Prävention von Rechtsextremismus, Antisemitismus und Rassismus;118
9.3.1;3.1 Phase 1: Sampling;119
9.3.2;3.2 Phase 2: Wirkannahmen aus Sicht der Projektdurchführenden rekonstruieren;121
9.3.3;3.3 Phase 3: Wirkungen aus Sicht der Zielgruppen überprüfen;122
9.3.4;3.4 Phase 4: Wirkannahmen kommunikativ validieren;123
9.3.5;3.5 Phase 5: Vergleichende Analyse;126
9.4;4. Reflexion des theoriebasierten Evaluationsansatzes vor dem Hintergrund der praktischen Erfahrungen;128
9.5;Literatur;130
10;Developmental Evaluation nach Michael Patton. Begriffsbestimmung und Reflexion der praktischen Anwendung (Maria Gutknecht-Gmeiner);133
10.1;1. Developmental Evaluation;134
10.1.1;1.1 Entstehung (‚Wie kam es zu DE?‘);134
10.1.2;1.2 Definition von Developmental Evaluation (‚Was ist DE?‘);134
10.1.2.1;1.2.1 Evaluationszweck: ? Entwicklung;135
10.1.2.2;1.2.2 Komplexität des Evaluationsgegenstands;136
10.1.2.3;1.3 Umsetzung von Developmental Evaluation (‚Wie geht DE?‘);139
10.2;2. Developmental Evaluation von ‚Computer-Science-Management‘;140
10.2.1;2.1 Computer-Science-Management – ein innovatives Ausbildungsprogramm;140
10.2.2;2.2 Grundlegende Parameter der Evaluation;141
10.2.3;2.3 Eignung für Developmental Evaluation;142
10.2.4;2.4 Koevolutionäre Umsetzung;144
10.2.5;2.5 Design und Methoden;146
10.2.6;2.6 Nutzung und Nutzen;148
10.3;3. Reflexion und Ausblick;149
10.3.1;3.1 Beitrag von Developmental Evaluation;149
10.3.2;3.2 Voraussetzungen;150
10.3.3;3.3 Herausforderungen;151
10.3.4;3.4 Offene Fragen und Ausblick;153
10.4;Literatur;154
11;Nutzen einer wirkungsorientierten Zielsystematik. Bindeglied zwischen Evaluation und Programmsteuerung (Stefan Schmidt);159
11.1;1. Die wirkungsorientierte Zielsystematik;160
11.1.1;1.1 Hierarchische Ordnung von Zielen;161
11.1.2;1.2 Entwicklung von Outcome-Zielen;164
11.1.3;1.3 Differenzierung von Zielgruppen;171
11.2;2. Wirkungsorientierung in der Evaluation und in der Programmsteuerung;174
11.3;Literatur;175
12;Der Umgang mit Monitoring in der Evaluation (Katharina Klockgether);177
12.1;1. Monitoring und Evaluation: Was ist das?;177
12.2;2. Verhältnis der Evaluation zu Monitoring;179
12.3;3. Outputmonitoring und Bedingungsmonitoring im Rahmen der Evaluation von EQUAL-Entwicklungspartnerschaften;180
12.4;4. Output-, Outcome- und Impact-Monitoring im Förderprogramm IQ;182
12.4.1;4.1 Der Weg zum Monitoring-Instrument;183
12.4.2;4.2 Der Einsatz des Monitoring-Instruments im Förderprogramm IQ;186
12.5;5. Herausforderungen bei der Entwicklung von Monitoring-Instrumenten in einer Programmevaluation;188
12.6;6. Was Evaluierende im Zusammenhang mit Monitoring beachten sollten;191
12.7;7. Vorhandene Monitoringdaten nutzen;192
12.8;8. Übergreifendes Fazit;196
12.9;Literatur;196
13;Interviews mit Jugendlichen. Herausforderungen in der Planung und Umsetzung (Matthias Sperling);199
13.1;1. Allgemeine Herausforderungen qualitativer Interviews;199
13.2;2. Die Zielgruppe ‚Jugendliche‘ als Herausforderung;200
13.3;3. Zugang und Erreichbarkeit der Jugendlichen;201
13.4;4. Die Sprache in Interviews mit Jugendlichen;204
13.5;5. Das Verhalten von Jugendlichen in Interviews;205
13.6;6. Die Wahl einer passenden Interviewform;206
13.7;7. Der Ablauf des Interviews;207
13.8;8. Leitfäden zur Interviewgestaltung;207
13.9;9. Die Dokumentation von Interviews;210
13.10;10. Datenschutz und Einverständnis;212
13.11;11. Die Interviewatmosphäre/-situation;213
13.12;12. Die Reflexion der Interviewsituation;215
13.13;13. Die Kommunikation mit den Jugendlichen im Anschluss an die Interviews;216
13.14;Literatur;216
14;Mit Gruppendiskussionen kollektive Orientierungen rekonstruieren (Ute B. Schröder );219
14.1;1. Die Gruppendiskussion – eine Methode der Datengewinnung aus der Sozialforschung;219
14.2;2. Historischer Kontext und methodologischer Hintergrund zum Verständnis des Kollektiven;221
14.3;3. Die Aktualisierung kollektiver Orientierungen in Gruppendiskussionen;222
14.4;4. Zwei Arten des Verstehens: konjunktiv und kommunikativ;225
14.5;5. Die Analyse von Gruppendiskussionen – Rekonstruktion von implizitem und explizitem Wissen und kollektiven Orientierungen;227
14.6;6. Bewertung und Werthaltung;231
14.7;7. Schlussbemerkungen;232
14.8;Literatur;233
15;Die Anwendung der Grounded Theory in Evaluationen (Marianne Lück-Filsinger);237
15.1;1. Grundlagen der Grounded Theory;238
15.2;2. Die Grounded Theory in Anwendung: eine Evaluationsstudie;240
15.2.1;2.1 Evaluation der Übergangsgestaltung vom Kindergarten in die Grundschule: Kontext und Gegenstand des Auftrags;240
15.2.2;2.2 Theoretical Sampling;242
15.3;3 Kodieren in der Praxis einer Evaluation;243
15.3.1;3.1 Das Offene Kodieren: Finden von Konzepten und erste Ideen für Kategorien;243
15.3.2;3.2 Das Axiale Kodieren zur Herstellung von Verbindungen zwischen den Kategorien;246
15.3.3;3.3 Selektives Kodieren: die Generierung einer gegenstandsbezogenen Theorie;248
15.4;4. Fazit;250
15.5;Literatur;252
16;Evaluation und das Web (Elitsa Uzunova);255
16.1;1. Wie das Web die (Evaluations-)Welt verändert;256
16.2;2. Neue Optionen für Evaluationen;259
16.2.1;2.1 Bei der Datenerhebung;261
16.2.1.1;2.1.1 Neue Chancen zur Datengenerierung;261
16.2.1.2;2.1.2 Neue Herausforderungen in der Datengenerierung;264
16.2.2;2.2 Bei der Datenauswertung;266
16.2.2.1;2.2.1 Neue Möglichkeiten der Datenauswertung;266
16.2.2.2;2.2.2 Neue Herausforderungen in der Auswertung;267
16.2.3;2.3 Bei der Präsentation von Ergebnissen;268
16.2.3.1;2.3.1 Neue Möglichkeiten bei der Präsentation von Evaluationsergebnissen;269
16.2.3.2;2.3.2 Neue Herausforderungen bei der Präsentation von Evaluationsergebnissen;271
16.3;3. Konsequenzen der Web-Technologien für die Professionalisierung von Evaluierenden;272
16.3.1;3.1 Neue Vernetzungs-/Wissenstransferoptionen für die Evaluationscommunity;272
16.3.2;3.2 Neue Herausforderungen für die Evaluationscommunity;275
16.4;4. Fazit – Ausblick;276
16.5;Literatur;277
17;Bewertungsverfahren in der Evaluation. Vorgehensweisen und Praxisbeispiele (Susanne Mäder);279
17.1;1. Bewerten, aber wie?;279
17.2;2. Umgang mit Bewertung in Theorie und Praxis;280
17.3;3. Zentrale Schritte und Begriffe von Bewertung;282
17.4;4. Wirkmodelle als Ausgangspunkt für Bewertungskriterien;284
17.5;5. Ermittlung von Erfolgspunkten zur Resultatsbewertung;289
17.6;6. Schlussfolgerungen;295
17.7;Literatur;296
18;Autorinnen und Autoren;299
19;Index;303