Vom 13. bis 19. Oktober lief eine Online-Umfrage unter allen Studierenden der Humanmedizin, welches Programm sie zum Kreuzen von IMPP-Prüfungsfragen bevorzugen würden. Nach der Umfrage 2012 stellte dies die zweite Gelegenheit für die Medizinstudierenden aus Münster dar, Einfluß auf das/die von der Bibliothek angebotene/n Kreuztool/s zu nehmen (Fragebogen).

Zur Diskussion standen die drei Programme Amboss (Miamed), examen online (Thieme) und mediscript (Elsevier). examen online (bis Ende 2014) und mediscript (bis April 2015) stehen noch etwas länger im Hochschulnetz zur Verfügung, der Trial für Amboss läuft morgen aus.

508 Medizinstudierende haben die Umfrage bis zum 18.10. beantwortet, darunter 9,8% aus den vorklinischen und 90,2% aus den klinischen Semestern. Damit betrug der Rücklauf ca. 25%. Der Anteil der vollständig ausgefüllten Fragebögen war 86% oder 437 von 508. Diese 437 Fragebögen wurden in die nachfolgend dargestellte Auswertung aufgenommen.

Zufriedenheit mit den Features

Die Frage lautete: „Wie zufrieden waren Sie mit den folgenden Eigenschaften von dem Kreuztool XYZ?“ Zur Auswahl standen die Features: Übersichtlichkeit der Webseite, Einfachheit des Kreuzens, Vollständigkeit der Fragenpakete, Auswahl der Fragen nach Fachgebiet, Kommentarfunktion, Nutzbarkeit unterwegs (Smartphone, Tablet), Einfachheit der Registrierung. Bei Amboss wurde zusätzlich noch das Feature „Lernkarten“ abgefragt, bei examen online Spicker, Audios & Videos und bei mediscript „Lernmaterial (Buchta)“.

Die Bewertungsmöglichkeiten auf einer 5-teiligen Skala waren sehr zufrieden, zufrieden, teils/teils, unzufrieden, sehr unzufrieden. Die Bewertungen sehr zufrieden und zufrieden wurde aufaddiert und die Features entsprechend den durchschnittlichen Bewertungen gerankt. Die Zahl der in die Auswertung einbezogenen Bewertungen waren für Amboss (je nach Feature) 208-265, bei examen online 321-335 (für die Zusatzfeatures 186 bzw. 193 und Nutzbarkeit unterwegs 252) und bei mediscript 46-65.

Die Ergebnisse im Überblick:

• Amboss schnitt bei allen Features mit Abstand am besten ab, mit weitem Abstand gefolgt von examen online und – wiederum mit Abstand – mediscript.
• Die Umfrageteilnehmer waren mit der Einfachheit des Kreuzens am zufriedensten, gefolgt von der Vollständigkeit der Fragen und der Möglichkeit Fragen nach Fachgebieten auszuwählen.
• Das einzige Feature, was deutlich abfiel, war die Nutzbarkeit unterwegs mit Smartphone und/oder Tablet. Hier waren selbst bei Amboss nur gut 3/4 sehr zufireden oder zufrieden.
• Mit der Spicker-Funktion bei examen online wwaren 41% sehr zufrieden/zufrieden, mit Audios/Videos 27%.

Wichtigkeit der Features

Die Frage lautete „Wie wichtig sind Ihnen die folgenden Eigenschaften der Kreuztools?“ aus Auswahloptionen zur Antwort standen: Vollständigkeit der Fragenpakete, Übersichtlichkeit der Webseite, Fragenkommentare, Weiterführendes Lernmaterial wie Lernkarten und Lehrbuchtexte, Nutzbarkeit unterwegs, Auswahl der Fragen nach Fachgebiet, Einfachheit des Kreuzens, Einfachheit der Registrierung, Kostet mich nichts, Nutzung auch ohne VPN.

Die Bewertungsmöglichkeiten auf einer 5-teiligen Skala waren sehr wichtig, wichtig, teils/teils, unwichtig, sehr unwichtig. Die Bewertungen sehr zufrieden und zufrieden wurde aufaddiert und die Features entsprechend den durchschnittlichen Bewertungen gerankt. Die Zahl der in die Auswertung einbezogenen Bewertungen waren für Amboss (je nach Feature) 208-265, bei examen online 252-335 (für die Zusatzfeatures 186 bzw. 193) und bei mediscript 52-65.

Mit 97% am Wichtigsten für die Antwortenden ist die Vollständigkeit der Fragenpakete, gefolgt von der Einfachheit des Kreuzens (96%), der Möglichkeit, die Fragen nach Fachgebiet trainieren zu können (95%) und dem Angebot von Kommentaren (94%). Mit einigem Abstand folgt dann die Übersichtlichkeit der Webseite (85%), zusätzliche Lernmaterialien wie der Buchta bei Elsevier oder die Lernkarten bei Amboss. 72%, also etwa weniger als 3/4 war es wichtig oder sehr wichtig, dass das Angebot für sie kostenlos war, 69%, dass sie es von unterwegs aus nutzen konnten, und 61% wollten es auch gerne ohne VPN nutzen. Die Einfacheit der Registrierung war mit 53% am Wenigsten wichtig, aber immer noch der Mehrheit der Umfrageteilnehmer.

Zufriedenheit vs. Wichtigkeit der Features

Die obige Abbildung zeigt die Zufriedenheit mit den Features der beiden Kreuztools Amboss und examen online der von den Umfrageteilnehmern angegebenen Wichtigkeit gegenübergestellt.

Trägt man die Wichtigkeit gegen die Zufriedenheit der einzelnen Features auf, erhält man ein so genanntes „Aktions-Portfolio“, das es ermöglicht, die Features in vier Gruppen zu unterscheiden und diesen bestimmte Aktionen zuzuordnen: Diejenigen Features, die eine hohe Wichtigkeit und eine niedrige Zufriedenheit verzeichnen (Rechteck rechts unten), sind sofort zu verbessern. Diejenigen mit niedriger Wichtigkeit und niedriger Zufriedenheit (Rechteck links unten) sind mittelfristig zu verbessern, während die Features mit hoher Wichtigkeit und hoher Zufriedenheit (Rechteck rechts oben) langfristig zu verbessern sind. Features mit niedriger Wichtigkeit aber hoher Zufriedenheit (Rechteck links oben) sind zu festigen.

Sechs der acht Features befinden sich bei Amboss (und drei bei examen online) im „guten“ Quadranten rechts oben, weisen also eine hohe Wichtigkeit bei gleichzeitig hoher Zufriedenheit auf = langfristig zu verbessern.

Bei Amboss wiesen die einfache Registrierung und die Nutzbarkeit unterwegs eine höhere Zufriedenheit als Wichtigkeit auf, ist also mittelfristig zu sichern.

Bei examen online sind die drei Features Webseite übersichtlich, Fragenkommentare und Fragen nach Fachgebieten eine höhere Wichtigkeit als Zufriedenheit auf, werden also kritisch gesehen, d.h. sollten kurzfristig verbessern werden. Dies gilt auch für die Nutzbarkeit unterwegs.

Die Einfachheit der Registrierung weist sowohl bei Amboss als auch bei examen online eine niederige Wichtigkeit als Zufriedenheit auf, gilt dementsprechend als mittelfristig zu verbessern.

Weitere Ergebnisse

Ergebnisse im Überblick

Vom 13. bis 19. Oktober lief eine Online-Umfrage unter allen Studierenden der Humanmedizin, welches Programm sie zum Kreuzen von IMPP-Prüfungsfragen bevorzugen würden. Nach der Umfrage 2012 stellte dies die zweite Gelegenheit für die Medizinstudierenden aus Münster dar, Einfluß auf das/die von der Bibliothek angebotene Kreuztool/s zu nehmen (Fragebogen).

Zur Diskussion standen die drei Programme Amboss (Miamed), Examen online (Thieme) und Mediscript (Elsevier). Examen online (bis Ende 2014) und Mediscript (bis April 2015) stehen noch etwas länger im Hochschulnetz zur Verfügung, der Trial für Amboss läuft morgen aus.

Semesterverteilung

508 Medizinstudierende haben die Umfrage bis zum 18.10. beantwortet, darunter 9,8% aus den vorklinischen und 90,2% aus den klinischen Semestern. Damit betrug der Rücklauf ca. 25%. Die meisten Antworten kamen aus dem 10. (19,7%), 9. (11,8%), 5. (11,3%) und 7. Semester (10,3%). Der Anteil der vollständig ausgefüllten Fragebögen war 86% oder 437 von 508. Diese 437 Fragebögen wurden in die nachfolgend dargestellte Auswertung aufgenommen.

Examen online war das meistverbreitete Kreuztool in Münster

Wie die obige Abbildung zeigt, hatten 60,5% nahezu immer bzw. oft mit Thieme’s Examen online gelernt, 46,0% mit Miamed’s Amboss und 5,4% mit Elsevier’s Mediscript.

Am zufriedensten waren die Studierenden in Münster mit Amboss

Bei der Frage nach „Wie zufrieden waren Sie insgesamt mit den drei Kreuztools?“ schnitt Amboss mit 1,22 (Notenskala 1-5, 1 = sehr zufrieden, 5 = sehr unzufrieden) am besten ab, gefolgt von Examen online mit 2,18 und Mediscript mit 3,11.

Wurden nur starke Nutzer (nahezu immer / oft) der einzelnen Kreuztools ausgewertet, ergaben sich folgende Zufriedenheitswerte: starke Amboss-Nutzer (Amboss : Examen online : Mediscript: 1,10:2,71:3,24; n=185-192), starke Examen online-Nutzer (1,29:1,98:3,33; n=252-260); starke Mediscript-Nutzer (1,27:2,58:2,25; n=21-22).

Bevorzugtes Kreuztool für das Physikum

Bei der Frage „Welches Kreuztool für das Physikum würden Sie sich (auch für die Jahrgänge nach Ihnen) als Campuslizenz wünschen?“ entschieden sich 89,6% für Examen online und 13,5% für Mediscript (Amboss wurde hier nicht abgefragt, weil es keinen Vorklinik-Teil anbietet). Abb. siehe oben.

Bevorzugtes Kreuztool für das Hammerexamen

Bei der Frage „Welches Kreuztool für das Hammerexamen würden Sie sich (auch für die Jahrgänge nach Ihnen) als Campuslizenz wünschen?“ entschieden sich als erste Wahl 70,8% für Amboss, 34,2% für Examen online und 2,4% für Mediscript. Abb. siehe oben. Als zweite Wahl entschieden sich 11,8% für Amboss, 55,3% für Examen online und 30,9% für Mediscript.

Weitere Ergebnisse der Umfrage

Ergebnisse im Überblick

Die Online-Umfrage (Surveymonkey, PDF) wurde per Semesterverteiler unter den 257 Studierenden des Florence Nightingale-Semesters (die das Physikum gerade hinter sich hatten) und denen des Franklin-Semester (die das Hammerexamen gerade hinter sich hatten) gestreut.

134 Medizinstudierende haben die Umfrage beantwortet, darunter 69 aus dem Florence Nightingale-Semester (51,5%), 49 aus dem Franklin-Semester (36,6%) und 16 aus anderen Semestern (11,9%).

Der Rücklauf betrug damit 52% (Florence Nightingale-Semester) resp. 39% (Franklin-Semester).

Wie die obige Abbildung zeigt, hatten 62% mit Thieme’s examen online gelernt, 27% mit Elsevier’s mediscript, 4% mit der mediscript CD und 7% mit der kostenfreien iPhysikum-App von medilearn. Aufgrund von Doppelnutzungen ist die Summe größer als 100%. Keiner gab an, mit der mediscript-App gelernt zu haben, die z.B. auf den Bibliotheks-iPad kostenfrei zur Verfügung gestanden hätte.

Untergliedert nach Semestern zeigt sich, dass das Physikums-Semester Florence Nightingale hauptsächlich mit examen online gelernt hatte (93% examen online vs. 11% mediscript) während es bei dem Hammerexamen-Semester Franklin eine Mehrheit für mediscript gegeben hatte (49% examen online vs. 63% mediscript) – vermutlich wegen erschöpfter Lizenzen für examen online klinik. Die „anderen Semester“ lagen mit 69% vs. 31% zemlich genau im Durchschnitt.

Die obige Abbildung zeigt die Überlappung zwischen examen online- und mediscript-Nutzern. 99 Nutzer haben examen online benutzt, davon 79 ausschließlich, 11 haben gleichzeitig noch iPhysikum bzw. die mediscript-CD benutzt, 8 haben es zusammen mit mediscript online benutzt und einer hat alle drei Tools benutzt. Von den 43 mediscript online-Nutzern haben 9 auch examen online benutzt und 5 iPhysikum bzw. die mediscript-CD. Lediglich ein einziger Nutzer (ganz unten rechts) hat weder examen online noch mediscript benutzt (sondern iPhysikum).

Die obige Abbildung zeigt die Zufriedenheit der Studierenden mit den beiden meistgenutzten Prüfungstools im Vergleich. Bei der Verlinkung zu Onlinebüchern und dem Lernplaner schneidet mediscript besser ab, bei den übrigen neun Eigenschaften examen online. Examen online wurde insbesondere bei den Features „Eigene Notizen und Markierungen“ (2,4 vs. 2,95 auf einer Notenskala von 1 bis 5), „Übersichtlichkeit der Webseite“ (1,6 vs. 2,05), „Angebot neuer Examina“ (1,4 vs. 1,85) sowie „Einfachheit des Kreuzens“ (1,3 vs. 1,9) deutlich besser bewertet als mediscript.

Die obige Abbildung zeigt die eben erwähnte Zufriedenheit mit den einzelnen Eigenschaften von examen online der jeweiligen, von den Studierenden angegebenen Wichtigkeit der Eigenschaft gegenübergestellt. Die „Einfachheit des Kreuzens“ besitzt für die Studierenden eine hohe Wichtigkeit, wird aber auch sehr gut bewertet, so dass hier kein unmittelbarer Handlungs- bzw. Verbesserungsbedarf besteht. Ähnlich sieht es mit den übrigen Eigenschaften aus: Was besonders wichtig ist, stieß auch in der Regel bei den Studierenden auf eine grosse Zufriedenheit. Die Einarbeitung neuer Examina und der Prüfungssimulation liegen beide oberhalb einer gedachten Diagonale durch das Diagramm: Diese beiden Eigenschaften wurden also zufriedener bewertet als es ihrer Wichtigkeit „zukam“. Fazit: Thieme hat wohl seine Hausaufgaben gemacht, alle wichtigen Eigenschaften des Prüfungstools wurden zufriedenstellend umgesetzt. Die blau hervorgehobenen Punkte stießen auf keine sonderlich hohe Zufriedenheit, waren allerdings für die Studierenden auch ziemlich unwichtig.

Für Elsevier’s mediscript trifft dies im Prinzip genauso zu. Wie die obige Abbildung zeigt, sind lediglich die Noten aller grün markierten, also besonders wichtigen Eigenschaften ins Negative hinein verschoben (parallel zur X-Achse). Am weitesten weg von der gedachten Diagonale (die signalisiert „alles im grünen Bereich“) ist die Eigenschaft „Einfachheit des Kreuzens“. Auch wenn nicht klar ist, warum dies abgewertet wurde, ist die Botschaft eindeutig: Das Kreuzen ist – neben der Vollständigkeit der Fragen – die mit Abstand wichtigste Eigenschaft eines jeden Prüfungstools. Hier sollte Elsevier dringend nachbessern.

Insgesamt betrug die Zufriedenheit der Befragten mit examen online 1,47 und für mediscript 2,00 auf einer Notenskala von 1-5.

Die Gesamtzufriedenheit verbesserte sich auf 1,36 für examen online bzw. 1,77 für mediscript, wenn man nur die Nutzer betrachtete, die angaben, das jeweilige Tool (nicht nur zum allgemeinen Lernen sondern auch) speziell für das gerade überstandene Examen genutzt zu haben.

Bei der Frage nach der Wichtigkeit der aus Studienbeiträgen finanzierten Bibliotheksmassnahmen für eine bessere studentische Lehre (Abbildung oben), wurden Öffnungszeiten und Einzelarbeitskabinen von 37% bzw. 29% der Befragten als (sehr) wichtig angesehen. Der niedrige Wert erklärt sich damit, dass nicht alle Befragten regelmässig in die Bibliothek kommen. Mit 69% hielten wesentlich mehr Studierende die Online-Lehrbücher für (sehr) wichtig, umso erstaunlicher, dass eine Förderung aus Studienbeiträgen oder QVM immer wieder auf Widerstand stößt. Fast alle Umfrageteilnehmer (97%) bewerteten die Prüfungstools als wichtig bzw. sehr wichtig – ein deutlicher Hinweis auf ein kleines Bias bei der Umfrage. Vermutlich hat das Anschreiben gerade diejenigen Personen zur Teilnahme ermutigt, die ihre Unterstützung für die Bezahlung eines Prüfungstools aus QVM-Mitteln demonstrieren wollten.

Um einen Vergleich zu haben und die Bibliotheksmassnahmen wertemässig einordnen zu können, wurde auch nach anderen Massnahmen gefragt, die aus Studienbeiträgen bezahlt wurden, wie z.B. das Studienhospital. Unter den Antwortenden schätzten 76% das Studienhospital als eine (sehr) wichtige Massnahme ein – weniger als bei den Prüfungstools aber mehr als bei den Öffnungszeiten und Einzelarbeitskabinen. Die E-Books liegen nahezu gleichauf.

Danach gefragt, ob den Studierenden auch weiterhin ein Prüfungstool zur Verfügung stehen sollte, das aus Qualitätsverbesserungsmitteln (Nachfolge der Studienbeiträge) bezahlt wird, antworteten über 98% der Umfrageteilnehmer mit einem klaren Ja.