Entwicklung der Toolbox

Alle Fragebögen der FIRE Toolbox wurden im Rahmen von Masterarbeiten systematisch entwickelt. Der Entwicklungsprozess gliederte sich in mehrere Abschnitte, die in der Abbildung dargestellt sind.

 

Die Grafik zeigt die Entwicklungsschritte aller FIRE-Fragebögen.
Entwicklung der FIRE-Fragebögen (jede Farbe entspricht einer eigenständigen Masterarbeit)
© OWMs

 

Interviews

Zunächst wurden Interviews mit Dozenten und Teilnehmenden von Ausbildungsveranstaltungen geführt. Darin ging es um die Frage, welche Aspekte eine gute Lehrveranstaltung bzw. eine gut gestellte Prüfung ausmachen.

Ableitung von Items

Auf Basis der Interviews und einschlägiger Literatur wurden Items (= Fragebogenfragen) abgeleitet, die alle genannten Aspekte abdeckten.

Inhaltliche Überprüfung

Die abgeleiteten Items wurden Dozenten und Teilnehmenden von Ausbildungsveranstaltungen vorgelegt. Diese bewerteten die Verständlichkeit der Items sowie die Relevanz und Vollständigkeit der genannten Aspekte.

Statistische Überprüfung

In der statistischen Überprüfung wurden die Items jeweils einer großen Anzahl von Lehrgangsteilnehmenden vorgelegt (im Durchschnitt 316 Personen). Diese füllten die Items in Bezug auf ihren aktuellen Lehrgang aus. Anhand der Daten konnten explorative Faktorenanalysen gerechnet werden. Diese gaben Aufschluss darüber, wie viele und welche übergeordneten Dimensionen den Items jeweils zugrunde lagen (z.B. „Dozentenverhalten“, „Struktur“, …). Für die finale Version des jeweiligen Fragebogens wurden solche Items ausgewählt, die ihre jeweilige Dimension gut repräsentierten und darüber hinaus positive statistische Messeigenschaften hatten (z.B. ausreichend Variabilität, um gut differenzieren zu können).

Anpassung der FIRE-Items

Der FIRE-Kernfragebogen dient als Basis für den FIRE-ST und den FIRE-CU. Die bereits gut erprobten FIRE-Items wurden weitgehend übernommen, im Wortlaut angepasst und inhaltlich ergänzt.

Validierung

Validierungsstudien mit einer durchschnittlichen Stichprobengröße von 335 Teilnehmenden zeigten Folgendes:

  • Die angenommene Dimensionalität der FIRE-Fragebögen wurde bestätigt (mittels konfirmatorischer Faktorenanalyse)
  • Die FIRE-Fragebögen korrelieren mit etablierten, inhaltlich ähnlichen Evaluationsfragebögen, z.B. aus dem universitären Kontext
  • Die Ergebnisse der FIRE-Fragebögen sind weitgehend unabhängig von Faktoren wie der aktuellen Stimmung der Teilnehmenden oder deren Alter.
  • Die Ergebnisse der FIRE-Fragebögen hängen signifikant mit wichtigen Kriteriumsvariablen zusammen, z.B. mit der Zufriedenheit der Teilnehmenden oder mit deren Bewertung der evaluierten Veranstaltung bzw. Prüfung.