Holling / Birbaumer / Frey Grundlagen und statistische Methoden der Evaluationsforschung
1. Auflage 2009
ISBN: 978-3-8409-1505-5
Verlag: Hogrefe Publishing
Format: PDF
Kopierschutz: 1 - PDF Watermark
E-Book, Deutsch, 747 Seiten
ISBN: 978-3-8409-1505-5
Verlag: Hogrefe Publishing
Format: PDF
Kopierschutz: 1 - PDF Watermark
Im Mittelpunkt des Enzyklopädiebandes stehen die Definition und wissenschaftstheoretische Fundierung der Evaluationsforschung sowie methodische und statistische Grundlagen. Dieses Werk ist somit nicht nur für die Psychologie, sondern auch für andere wissenschaftliche Disziplinen relevant. In nahezu allen gesellschaftlichen Bereichen, wie z.B. Bildung,Verwaltung, Wirtschaft oder Gesundheit, werden heutzutage unterschiedlichste Aktivitäten evaluiert. Somit spielt die Evaluationsforschung nicht nur in der Psychologie, sondern auch in den Nachbarwissenschaften, wie der Pädagogik, Politologie oder Ökonomie, eine bedeutende Rolle. Die Beiträge dieses Enzyklopädiebandes konzentrieren sich auf die wissenschaftlichen Grundlagen der Evaluationsforschung. Im Vordergrund stehen die Definition der Evaluationsforschung und die wissenschaftstheoretische Fundierung dieses Gebietes sowie statistische und methodische Grundlagen. Da Evaluationsstudien häufig komplexer und längerfristiger Natur sind, erfordern sie insbesondere multivariate statistische Auswertungsverfahren. Ihnen wird daher besonders viel Raum gewährt. In einzelnen Kapiteln werden u.a. folgende Themen behandelt: Facettentheorie, Aufstellen und Prüfen von Hypothesen. Generalisierbarkeitstheorie, Metaanalyse in der Evaluationsforschung, das Allgemeine Lineare Modell in der Evaluationsforschung, Hierarchische Lineare Modelle (HLM), Generalisierte Lineare Modelle, Strukturgleichungsmodelle, Multidimensionale Skalierung, Mischverteilungsmodelle, Veränderungsmessung, Zeitreihenanalyse, Resampling sowie statistische Methoden bei unvollständigen Daten.
Autoren/Hrsg.
Fachgebiete
Weitere Infos & Material
1;Autorenverzeichnis;6
2;Vorwort;10
3;Inhaltsverzeichnis;14
4;Grundlagen der Evaluationsforschung;30
4.1;1 Einleitung;30
4.2;2 Definitionen von Evaluation und Evaluationsforschung;31
4.3;3 Zwei typische Beispiele für Evaluationsforschung;34
4.4;4 Gegenstand psychologischer Evaluationsforschung;38
4.5;5 Ziele von Evaluationsstudien;40
4.6;6 Theoretische Grundlegung psychologischer Evaluationsstudien;42
4.7;7 Gütekriterien von Evaluationsstudien;46
4.8;8 Nutzenmessung;54
4.9;9 Spezifische Bedingungen von Evaluationsstudien;57
4.10;10 Fazit;60
4.11;Literatur;60
5;Wissenschaftstheoretische Grundlagen der Evaluationsforschung;64
5.1;1 Aufgaben der Wissenschaftstheorie;64
5.2;2 Zur logischen Struktur des Evaluationsbegriffs;65
5.3;3 Handlungsregeln und Evaluationshypothesen;68
5.4;4 Zum empirischen Gehalt von Evaluationshypothesen;70
5.5;5 Zum Problem der Generalisierbarkeit von Evaluationsresultaten;75
5.6;6 Auffassungen über die Beschaffenheit der Welt;78
5.7;7 Auffassungen über die Erkennbarkeit der Welt;79
5.8;8 Zur Funktion von Theorien in der Evaluationsforschung;82
5.9;Literatur;84
6;Evaluationsmodelle;88
6.1;1 Einleitung;88
6.2;2 Das Modell von Posavac und Carey;92
6.3;3 Konzeptuelle Beiträge aus der Urteils- und Entscheidungs-forschung zum Indikationsproblem: die Matrix von Kenneth Hammond als ein bisher vernachlässigtes Evaluationsmodell;95
6.4;4 Das CIPP-Modell von Daniel Stufflebeam;97
6.5;5 Die Konzeption der fünf Datenboxen als umfassendes Evaluationsmodell;100
6.6;6 Varianten des Bewertungsfokus unterschiedlicher Evaluationsmodelle;113
6.7;7 Fazit;120
6.8;Literatur;121
7;Phasen der Evaluationsforschung;128
7.1;1 Phasenmodelle in Wissenschaft und Praxis;128
7.2;2 Initiierungsphase der Evaluation;134
7.3;3 Konzeptionsphase der Evaluation;139
7.4;4 Planungsphase der Evaluation;145
7.5;5 Realisierungsphase der Evaluation;152
7.6;6 Abschlussphase der Evaluation;155
7.7;7 Schlussfolgerung;160
7.8;Literatur;160
8;Facettentheorie;164
8.1;1 Grundidee der Facettentheorie (FT);164
8.2;2 Beispiel: Eine Delphi-Studie;166
8.3;3 FT-Design;171
8.4;4 FT-Datenanalyse;176
8.5;5 Der Abbildungssatz als Strukturierungshilfe;183
8.6;6 Forschungsstand und Perspektiven;188
8.7;Literatur;189
9;Aufstellen und Prüfen von Hypothesen;192
9.1;1 Einleitung;192
9.2;2 Substanzielle Hypothesen in der Evaluation;193
9.3;3 Standardmodelle zur Prüfung von Evaluationshypothesen;201
9.4;4 Weitere Ansätze zur Analyse von Evaluationshypothesen;213
9.5;Literatur;230
10;Generalisierbarkeitstheorie;236
10.1;1 Einleitung;236
10.2;2 Grundbegriffe;237
10.3;3 Generalisierbarkeitsstudie;239
10.4;4 Planung von Entscheidungsstudien;245
10.5;5 Gütemaße für D-Studien;249
10.6;6 Design von G- und D-Studien;254
10.7;7 Anwendung der Generalisierbarkeitstheorie in der Evaluationsforschung;257
10.8;8 Softwareprogramme zur Generalisierbarkeitstheorie;259
10.9;Literatur;260
11;Metaanalyse in der Evaluationsforschung;264
11.1;1 Einleitung;264
11.2;2 Die Suche nach generalisierbaren kausalen Beziehungen;265
11.3;3 Metaanalyse zur Generalisierung kausaler Beziehungen;270
11.4;4 Schlussfolgerungen;305
11.5;Literatur;306
12;Das Allgemeine Lineare Modell in der Evaluationsforschung;314
12.1;1 Einleitung und Überblick;314
12.2;2 Das Allgemeine Lineare Modell (ALM);320
12.3;3 Regressionsanalyse;344
12.4;4 Varianzanalyse;348
12.5;5 Kovarianzanalyse;353
12.6;6 Zusammenfassung und Ausblick;357
12.7;Literatur;358
13;Hierarchische Lineare Modelle (HLM);364
13.1;1 Einleitung;364
13.2;2 Clustersampling in der Evaluationsforschung;365
13.3;3 Das Zwei-Ebenen-HLM-Modell;366
13.4;4 Beispiel eines Zwei-Ebenen-Modells;370
13.5;5 Modellspezifikation und -optimierung;372
13.6;6 Schätzalgorithmen und Software;374
13.7;7 Nicht normalverteilte und nicht intervallskalierte Variablen;375
13.8;8 Analyse von Längsschnittdaten im Rahmen von HLM;376
13.9;9 Metaanalyse mittels HLM;381
13.10;10 Resümee;388
13.11;Literatur;389
14;Generalisierte Lineare Modelle;392
14.1;1 Einleitung;392
14.2;2 Grundlagen generalisierter linearer Modelle;393
14.3;3 Das allgemeine lineare Modell;402
14.4;4 Die logistische Regression;406
14.5;5 Die logistische Regression für nominale und ordinale Variablen;410
14.6;6 Das loglineare Modell;415
14.7;7 Abschließende Bemerkungen;420
14.8;Literatur;421
15;Strukturgleichungsmodelle;422
15.1;1 Einleitung;422
15.2;2 Pfadmodelle mit Observablen;424
15.3;3 Modelle der Klassischen Testtheorie;426
15.4;4 Latent-state-trait-Modelle;434
15.5;5 Latent-change-Modelle und Wachstumskurven-Modelle;444
15.6;6 Multitrait-multimethod-Modelle;447
15.7;7 Faktorenanalytische Modelle;452
15.8;8 Strukturgleichungsmodelle;458
15.9;9 Ausblick;468
15.10;Literatur;471
16;Multidimensionale Skalierung;478
16.1;1 Einleitung;478
16.2;2 Grundideen der MDS;478
16.3;3 Wichtige technische Aspekte der MDS;483
16.4;4 Interpretationsansätze in der MDS;492
16.5;5 Prokrustische Transformationen;497
16.6;6 Individuelle Unterschiedsmodelle;499
16.7;7 Konfirmatorische MDS;500
16.8;8 Unfolding;502
16.9;9 MDS und verwandte Verfahren;506
16.10;Literatur;508
17;Mischverteilungsmodelle;512
17.1;1 Einleitung;512
17.2;2 Die „latent class analysis“ (LCA);518
17.3;3 Gemischte Strukturgleichungsmodelle;532
17.4;4 Modelltests und Bestimmung der Klassenanzahl;544
17.5;5 Ausblick;548
17.6;6 Software;548
17.7;Literatur;549
18;Veränderungsmessung;554
18.1;1 Einleitung;554
18.2;2 Veränderungsmessung: Voraussetzungen und Eingrenzung des Gegenstandsbereichs;555
18.3;3 Der Schluss auf die Ursache einer Veränderung;559
18.4;4 Die Modellierung individueller Veränderungsverläufe bei vielen Messzeitpunkten;564
18.5;5 Psychometrische Eigenschaften von Veränderungsindizes;567
18.6;6 Veränderungsmessung als Schätzung der Parameter individueller Wachstumskurven;572
18.7;7 Beiträge der Probabilistischen Testtheorie zur Veränderungs-messung;583
18.8;8 Fazit;588
18.9;Literatur;589
19;Zeitreihenanalyse;594
19.1;1 Einführung;594
19.2;2 Grundbegriffe;596
19.3;3 Designvarianten;600
19.4;4 Univariate Zeitreihenanalysen: Grundlagen;607
19.5;5 ARIMA-Modelle;611
19.6;6 Interventionsanalysen;618
19.7;7 Multivariate Zeitreihenanalyse;623
19.8;8 Ausblick;630
19.9;Literatur;632
20;Resampling;636
20.1;1 Einleitung;636
20.2;2 Sampling und Resampling;637
20.3;3 Resampling-Techniken;641
20.4;4 Wichtige Anwendungsbereiche;658
20.5;5 Programme mit und für Resampling-Verfahren;668
20.6;6 Ausblick;670
20.7;Literatur;671
21;Statistische Methoden bei unvollständigen Daten;678
21.1;1 Einführung;678
21.2;2 Allgemeine Verfahren;685
21.3;3 Inferenz basierend auf der Likelihood;692
21.4;4 Modelle vom Regressionstyp;708
21.5;Literatur;717
22;Autorenregister;722
23;Sachregister;738
(S. 28-29)
Im Gegensatz zu den meisten Laborexperimenten sind Evaluationsstudien zumeist längerfristige, komplexe Studien, in die unterschiedliche Interessen der beteiligten Personengruppen involviert sind. Man hat es hier zumeist nicht nur mit den üblichen Schritten der Durchführung von Studien im Rahmen der empirischen Sozialforschung zu tun, es kommen weitere Aufgaben hinzu. Häufig bedarf es zunächst einer umfassenden Auseinandersetzung mit den Auftraggebern, wenn diese sehr allgemeine, z.T. diffuse und nicht selten unrealistische Zielvorstellungen haben. Dann ist zumeist ein Vertrag zu entwerfen und ein Kosten- und Projektplan zu entwickeln. Anschließend gilt es, die Akzeptanz aller beteiligten Personengruppen herzustellen, das gesamte Projekt kontinuierlich zu begleiten, d. h. zu überwachen und zu steuern. Häufig kann erst danach eine abschließende zusammenfassende Evaluation erfolgen.
Die Komplexität von Evaluationsstudien wird in dem Beitrag von Döring (in diesem Band) bei der Beschreibung der Phasen von Evaluationsstudien deutlich. Weiterhin zeigen auch die umfangreiche Menge der Standards von Evaluationsstudien sowie verschiedene Evaluationsmodelle, wie z.B. das sogenannte CIPP-Modell (Context, Input, Process, Product) von Stufflebeam (2003, vgl. dazu Wittmann in diesem Band), besondere Bedingungen und die vielfältigen Aufgaben von Evaluation auf. Wir behandeln hier kurz die zwei wohl bedeutendsten Besonderheiten von Evaluationsstudien.
Zunächst betrachten wir den Einfluss unterschiedlicher Interessengruppen, sog. Stakeholder. Anschließend gehen wir auf die besonderen Aufgaben ein, die im Rahmen der sogenannten formativen Evaluation entstehen.
9.1 Die Bedeutung der Stakeholder
Evaluationen stehen häufig in einem komplexen sozialen Kontext und werden nicht selten auch als ein strategisches Instrument betrachtet. Der Begriff "Stakeholder", bezeichnet die unterschiedlichen Interessengruppen, die mittelbar oder unmittelbar von einer Evaluation betroffen sind (vgl. Westermann, 2002). Dazu gehören Personen, deren Aktivitäten im Zentrum der Evaluation stehen (z. B. Therapeuten) sowie Personen, die Zielpersonen einer Intervention sind (z.B. Patienten). Zusätzlich können externe Personen (z.B. wissenschaftliche Berater) sowie Auftraggeber beziehungsweise Kostenträger zu den Stakeholdern gerechnet werden.
Für jede Stakeholdergruppe besitzt eine Evaluation eine unterschiedliche Bedeutsamkeit, wobei die Ziele unterschiedlicher Stakeholdergruppen natürlich auch in Konflikt zueinander stehen können. Dies hat Auswirkungen auf die Rolle des Evaluators (vgl. Rossi et al., 2004), die vom Ausmaß der Einbeziehung von Stakeholderinteressen determiniert wird. So begreift Campbell den Evaluator als objektiv und als naturwissenschaftlich ausgerichteten Forscher, der in Distanz zum evaluierenden Programm und den Stakeholdern steht und dessen Hauptaufgabe die Absicherung von Kausalschlüssen ist (z.B. Campbell, 1969).
Damit entspricht Campbells Sicht dem wertedistanzierten Evaluationsmodell nach Beywl et al. (2004). Cronbach (1982) sieht hingegen den Evaluator in einer Rolle, die den Interessen eines Auftraggebers verpflichtet (wenn auch nicht vollständig unterworfen) ist. Der Evaluator ist hier der gesellschaftlichen Aufklärung verpflichtet und hat insbesondere die Aufgabe, Verantwortungsträger auf Fehler und Schwächen der zu evaluierenden Programme hinzuweisen und bei der Verbesserung derselben zu unterstützen, damit letztendlich die gesamte Gesellschaft davon profitieren kann (werterelativistisches Evaluationsmodell nach Beywl et al., 2004)."
