|
Aus dem Inhalt: Teil
I
"Was" und "wozu" ?
Evaluationsforschung im Überblick
1 Was ist Evaluation? 3
1.1 Kriterien und Gegenstände der Evaluation 5
1.2 Historischer Abriss der Evaluation 8
1.3 Arten von Evaluationsforschung 11
1.4 Evaluationsforschung und Nachbardisziplinen 16
1.4.1 Diagnostik, Methodologie und Methodik 17
1.4.2 Psychologische Anwendungsfelder 17
1.4.3 Nicht-psychologische Anwendungsfelder 18
1.5 Zusammenfassung 18
1.6 Übungsaufgaben 19
Weiterführende Literatur 19
2 Aufgaben, Standards und Modelle der Evaluation 21
2.1 Zielsetzungen der Evaluation 23
2.2 Aufgaben und Gütekriterien der Evaluationsforschung 24
2.3 Evaluationsstandards 29
2.4 Evaluationsmodelle 32
2.4.1 Methodische und methodologische Orientierungen 32
2.4.2 Bewertungsorientierte Ansätze 33
2.4.3 Nutzungsorientierte Ansätze 34
2.4.4 Normative Ansätze 36
2.5 Zusammenfassung 36
2.6 Übungsaufgaben 38
Weiterführende Literatur 38
Teil II:
"Wann" und "warum" ?
Inhaltliche Fragestellungen
3 Evaluation als Beschreibung von Zuständen 41
3.1 Kennwerte für die Beschreibung von Ist-Zuständen 45
3.2 Vergleichskriterien 48
3.2.1 Normative Vergleiche 48
3.2.2 Empirische Vergleiche 49
3.3 Kriterien zur Bewertung statistischer Bedeutsamkeit 49
3.3.1 Statistische Normvergleiche auf Einzelfallebene 49
3.3.2 Statistische Tests auf Gruppenebene 51
3.4 Kriterien zur Bewertung praktischer Bedeutsamkeit 53
3.5 Zusammenfassung 55
3.6 Übungsaufgaben 56
Weiterführende Literatur 57
4 Evaluation als Beschreibung von Veränderungen 58
4.1 Beschreibung und Testung von Veränderungen 60
4.1.1 Differenzmaße auf Einzelfallebene 60
4.1.2 Differenzmaße auf Gruppenebene 61
4.1.3 Häufigkeitsveränderungen auf Populationsebene 62
4.1.4 Trendanalyse 64
4.1.5 Zeitreihenanalyse 66
4.1.6 Varianzanalyse mit Messwiederholung 67
4.2 Methodische Probleme der Veränderungsmessung 67
4.2.1 Direkte und indirekte Veränderungsmessung 67
4.2.2 Regressionseffekt 70
4.2.3 Reliabilität von Differenzwerten 72
4.3 Moderatoren von Veränderung 73
4.4 Zusammenfassung 76
4.5 Übungsaufgaben 77
Weiterführende Literatur 78
5 Evaluation als Wirksamkeitsüberprüfung 79
5.1 Wirksamkeit und Wirkung 80
5.1.1 Wirkmodelle 81
5.1.2 Persistenz und Transfer 85
5.1.3 Neben- und Folgewirkungen 89
5.2 Kausalität und interne Validität 89
5.3 Robustheit und externe Validität 91
5.4 Zusammenfassung 93
5.5 Übungsaufgaben 94
Weiterführende Literatur 95
6 Evaluation als Effizienzanalyse 96
6.1 Quantifizierung von Kosten und Nutzen 98
6.1.1 Kostenarten 98
6.1.2 Wirkung und Nutzen 99
6.2 Modelle der Effizienzanalyse 104
6.2.1 Kosten-Nutzen-Analyse 104
6.2.2 Kosten-Effektivitäts-Analyse 105
6.3 Zusammenfassung 106
6.4 Übungsaufgaben 107
Weiterführende Literatur 108
7 Prospektive Evaluation und Maßnahmenplanung 109
7.1 Bedarfsanalyse 110
7.1.1 Problembestimmung 111
7.1.2 Bestimmung der Zielgruppe 112
7.1.3 Zielhierarchien 115
7.2 Konzeptionsanalyse 118
7.3 Zusammenfassung 120
7.4 Übungsaufgaben 121
Weiterführende Literatur 122
8 Formative Evaluation: Programmoptimierung und
Implementationskontrolle 123
8.1 Programmoptimierung 125
8.2 Implementationskontrolle 127
8.3 Zusammenfassung 130
8.4 Übungsaufgaben 131
Weiterführende Literatur 132
Teil III
"Wie" und "womit" ?
Methodische Aspekte der Evaluationsforschung
9 Messfragen: Operationalisierung von
Evaluationsobjekten und -kriterien 135
9.1 Quantitative Methoden der Datengewinnung 136
9.1.1 Messmodelle für latente Wirksamkeitskonstrukte 137
9.1.2 Multimethodale und multimodale Diagnostik 141
9.1.3 Weitere Gütekriterien für Wirksamkeitsindikatoren 144
9.1.4 Einschränkung der Validität von Wirksamkeitsindikatoren 147
9.2 Qualitative Methoden der Datengewinnung 149
9.3 "Checkliste" zur Konstruktion von Messinstrumenten 151
9.4 Zusammenfassung 151
9.5 Übungsaufgaben 153
Weiterführende Literatur 153
10 Designfragen: Planung von
Evaluationsuntersuchungen 154
10.1 Kausalität, Validität und Konfundierung 157
10.2 Möglichkeiten der Kontrolle von Konfundierungen 163
10.3 Kontroll- und Vergleichsbedingungen 167
10.3.1 Arten von Kontrollgruppen 168
10.3.2 Konfundierungen mit der Bedingungszuweisung 171
10.4 Evaluationsdesigns ohne Kontrollbedingung 174
10.5 Zusammenfassung 176
10.6 Übungsaufgaben 178
Weiterführende Literatur 181
11 Auswertungsfragen: Deskriptiv- und
inferenzstatistische Methoden 182
11.1 Explorative Datenanalyse 183
11.1.1 Grundbegriffe 183
11.1.2 Inspektion von Häufigkeitsverteilungen 185
11.1.3 Fehlende Werte 189
11.2 Inferenzstatistische Verfahren 191
11.2.1 Grundprinzipien inferenzstatistischer Tests 191
11.2.2 Taxonomie statistischer Tests 192
11.2.3 Voraussetzungen statistischer Verfahren 193
11.2.4 Nicht-parametrische Verfahren 196
11.3 Spezielle Aspekte der inferenzstatistischen Hypothesenprüfung 196
11.3.1 Teststärke 196
11.3.2 Kumulierung von Irrtumswahrscheinlichkeiten 200
11.3.3 Kovarianzanalysen und Autoregressor-Modelle 202
11.4 Zusammenfassung 205
11.5 Übungsaufgaben 207
Weiterführende Literatur 208
CD-ROM
Anleitung zur Benutzung der CD-ROM 209
Inhalt der CD-ROM 209
- Zusammenfassungen
- Fragen und Antworten
- Abbildungen und Übersichten
- Datenbeispiele
- Definitionen - Glossar des Buchs
Glossar 210
Literatur 219
Personenverzeichnis 224
Sachwortverzeichnis 226 |
Wie gut sind meine Lehrveranstaltungen? Lohnt sich
ein Führungskräftetraining? Bringt Projektunterricht mehr als
Frontalunterricht? - Anhand von Praxisfragen erklären die Autoren gut
nachvollziehbar Einsatzbereiche und Methodik von Evaluation, die als
Instrument von Qualitätsmanagement und Controlling in den verschiedensten
Praxisfeldern wachsende Bedeutung erhält.
