E-Book, Deutsch, 496 Seiten
ISBN: 978-3-8409-1524-6
Verlag: Hogrefe Verlag
Format: PDF
Kopierschutz: Wasserzeichen (»Systemvoraussetzungen)
Zielgruppe
Studierende und Lehrende der Psychologie, insbesondere der Psychologischen Diagnostik.
Autoren/Hrsg.
Fachgebiete
Weitere Infos & Material
1;Methoden der psychologischen Diagnostik;1
2;Autorenverzeichnis;7
3;Vorwort;11
4;Inhaltsverzeichnis;13
5;1. Kapitel: Klassische Testtheorie. Grundlagen und Erweiterungen für heterogene Tests und Mehrfacettenmodelle;23
5.1;1 Konzeptuelle Grundlagen und Definitionen;23
5.2;2 True Scores und Fehlerwerte;33
5.3;3 „Klassische“ Ansätze zur Schätzung von Reliabilitätskoeffizienten;42
5.4;4 Erweiterung der KTT: Heterogene Tests;57
5.5;5 Zur Rolle der konfirmatorischen Faktorenanalysein der erweiterten KTT;61
5.6;6 Reliabilitätsschätzung bei heterogenen Tests mit konfirmatorischen Faktorenanalysen;68
5.7;7 Reliabilitätsschätzung bei heterogenen Tests mit explorativen Faktorenanalysen;79
5.8;8 Stichprobentheoretische Erwägungen;82
5.9;9 Mehrfacettenmodelle;84
5.10;10 Schlussfolgerungen für die Gesellschaft;102
5.11;Literatur;104
6;2. Kapitel: Psychometrische Grundlagen von Large Scale Assessments;109
6.1;1 Testkonstruktion;110
6.2;2 Testdesign;118
6.3;3 Stichprobendesign;122
6.4;4 Skalierung der Leistungsdaten;130
6.5;5 Reliabilität und Modellgeltung;156
6.6;6 Schlussfolgerungen;166
6.7;Literatur;167
7;3. Kapitel: Methoden der Item- und Skalenkonstruktion;173
7.1;1 Messtheoretische Grundlagen der Testkonstruktion;173
7.2;2 Strategien der Testkonstruktion;186
7.3;3 Generierung von Items;197
7.4;4 Aggregation;207
7.5;5 Selektion von Items;212
7.6;6 Fazit;230
7.7;Literatur;231
8;4. Kapitel: Automatisierte Itemgenerierung: Aktuelle Ansätze, Anwendungen und Forschungen;237
8.1;1 Einleitung;237
8.2;2 Automatisierte Itemgenerierung;241
8.3;3 Konstruktionsphasen eines Zwei-Komponenten-Itemgenerators;254
8.4;4 Aktuelle Anwendung eines Zwei-Komponenten-Itemgenerators;258
8.5;5 Weiterführende Forschungsfragestellung;280
8.6;6 Diskussion und Ausblick;289
8.7;Literatur;292
9;5. Kapitel: Kriteriumsorientierte Diagnostik;303
9.1;1 Einleitung;303
9.2;2 Vergleich von kriteriumsorientierten und normorientierten Tests;304
9.3;3 Konstruktion kriteriumsorientierter Tests;307
9.4;4 Modelle kriteriumsorientierter Tests;308
9.5;5 Setzen von Standards;319
9.6;6 Validität kriteriumsorientierter Tests;328
9.7;7 Reliabilität;334
9.8;8 Fazit;339
9.9;Literatur;340
10;6. Kapitel: Verhaltensbeobachtung;347
10.1;1 Definition und Einteilung;348
10.2;2 Beobachtungsfehler, Beobachtertraining und Gütekriterien;361
10.3;3 Differenzielle Perspektive;378
10.4;4 Schlussfolgerungen für die Gesellschaft;387
10.5;Literatur;389
11;7. Kapitel: Interview;393
11.1;1 Begriffsbestimmung;393
11.2;2 Einflüsse auf die Validität von Interviews;395
11.3;3 Die Güte des Interviews;411
11.4;4 Der Interviewer als Schlüsselfigur im Interviewprozess;420
11.5;5 Rechtliche und ethische Rahmenbedingungen;424
11.6;6 Schlussfolgerungen für die Gesellschaft;425
11.7;Literatur;426
12;8. Kapitel: Psychodiagnostische Verfahren im Kulturvergleich;437
12.1;1 Einleitung;437
12.2;2 Die Vergleichbarkeit psychischer Gegebenheiten zwischen Kulturen;438
12.3;3 Bias und Strategien zu dessen Vermeidung;443
12.4;4 Methodik der kulturvergleichenden psychologischen Diagnostik;448
12.5;5 Entwicklung psychodiagnostischer Verfahren für kulturvergleichende;454
12.6;6 Schlussfolgerungen;474
12.7;Literatur;475
13;Autorenregister;481
14;Sachregister;493
4. Kapitel Automatisierte Itemgenerierung: Aktuelle Ansätze, Anwendungen und Forschungen (S. 215-216)
Martin Arendasy und Markus Sommer
1 Einleitung
In Zeiten häufig eingesetzter psychologischer Testverfahren (Schuler, 2000) und der damit einhergehenden, immer weniger kontrollierbaren Verbreitung von Testmaterialien wird dem Aspekt der Testsicherheit und der Validität von Testverfahren immer größere Bedeutung beigemessen werden müssen. Um beidem konstruktiv zu begegnen, wird die Automatisierte Itemgenerierung (AIG, Irvine & Kyllonen, 2002) besonders relevant.
1.1 Testsicherheit
Unter dem relativ breiten Konzept der Testsicherheit können all jene Aspekte subsumiert werden, die dem Schutz von Testmaterialien vor unkontrollierter, nicht intendierter Verbreitung von Testmaterialien dienen. Bezüglich des Qualitätsmanagements wird versucht, den Zugang zu und die fachgerechte Verwendung von psychologischen Testverfahren zu steuern (vgl. Hornke & Winterfeld, 2004). Darüber hinaus werden zunehmend spezielle Softwareprodukte eingesetzt, mit deren Hilfe dem Diebstahl und dem Kopieren von Items während eines Online-Assessments vorgebeugt werden kann (Edelblut, Elliot, Mikulas & Bosley, 2002). Schon zu Beginn der 1980er Jahre wurden erste Versuche unternommen, die Testsicherheit durch den Einsatz von „computergestützen adaptiven Tests“ (CAT) zu erhöhen (vgl. Sands, Waters & McBride, 1997, Wainer, 2000, van der Linden & Glas, 2000). Der grundlegende Gedanke war, dass der umfangreiche Itempool eines CAT deutlich schlechter erinnert werden kann, als die Items eines konventionellen linearen Tests mit fester Itemreihenfolge (Green, 1983). CATs erfordern jedoch einen möglichst umfangreichen Pool an Items, die bereits in vorangehenden Erprobungen mithilfe von Item-Response- Theorie-Modellen (IRT-Modellen) wie dem einparametrischen logistischen Modell (1PLM, im Folgenden als Rasch-Modell bezeichnet, Rasch, 1980) oder dem zweiparametrischen logistischen Modell (2PLM, Birnbaum, 1968) kalibriert sein müssen. Dies erhöht nicht nur die finanziellen Kosten und zeitlichen Aufwendungen der Testkonstruktion, sondern stellt auch deutlich erhöhte Anforderungen an die Itemkonstruktion. In den folgenden Jahren wurde jedoch immer deutlicher, dass beim adaptiven Testen bestimmte Items aus dem umfangreichen Pool häufiger verwendet werden als andere. So kommt beispielsweise Wainer (2000) zu dem Schluss, dass bei CAT und Anwendung des klassischen Maximum-Information-Auswahl-Algorithmus 15 bis 20 % der Items innerhalb eines Pools immerhin rund 50 % der tatsächlich administrierten Items darstellen. In Abhängigkeit von der Größe des Itempools stellt dies ein mehr oder weniger großes Problem für die Testsicherheit dar.
Zu bedenken ist hierbei jedoch, dass sich die Items eines Pools – abhängig von der Verteilung der Itemparameter in einem Pool – hinsichtlich ihrer „Overexposure“ zum Teil drastisch unterscheiden. Vor allem die Items in der Startphase eines CAT mit einem fixen Startitem scheinen besonders stark von dieser Overexposure betroffen zu sein. Aufgrund dieser Overexposure einzelner Items ist die tatsächlich genutzte Größe des Itempools ungleich kleiner als sein Gesamtumfang. Um Overexposure zu kontrollieren, wurden in der Folge verschiedene Item-Exposure-Control-Algorithmen entwickelt (z. B. Sympson & Hetter, 1985, Stocking & Lewis, 2000). Wenngleich das Problem der Overexposure durch die Anwendung dieser Algorithmen kompensiert werden kann, zeigen aktuelle Studien (Yi, Zhang & Chang, 2006), dass mithilfe von Item-Exposure-Control-Algorithmen immer noch kein hinreichender Schutz vor einem möglichen Itemdiebstahl gewährleistet werden kann. Die Gefahr, dass Items aus dem Pool entwendet und an Dritte verkauft werden, reduziert drastisch ihre Verwertbarkeits- bzw. „Lebensdauer“. Um die Testsicherheit dennoch zu gewährleisten, müssen Itempools in regelmäßigen Abständen durch neu konstruierte, konstruktgleiche und kalibrierte Items ersetzt werden. Dies erhöht die Anforderungen an die Itemgenerierung weit über den Prozess der initialen Konstruktion des Itempools hinaus. Aufgrund der Kosten, die mit der anfänglichen Entwicklung, Kalibrierung und der späteren Wartung und Aktualisierung des Itempools verbunden sind, entstand in den letzten Jahren ein zunehmendes Interesse an verschiedenen Ansätzen der Automatisierten Itemgenerierung (AIG) mit deren Hilfe Items mit weitgehend bekannten Itemparametern konstruierbar sein sollen (für einen Überblick vgl. Irvine & Kyllonen, 2002). An die AIG sind verschiedenste Erwartungen geknüpft: (1) Reduktion der Entwicklungskosten für ein einzelnes Item durch den Einsatz von Generatoren, mit deren Hilfe eine große Anzahl an Items automatisch erzeugt werden kann, und (2) Reduktion der Kalibrierungskosten.
