Für den Monat März 2024 geht das „Paper of the Month“ der Medizinischen Fakultät der Universität Münster an PD Dr. Sarah Sandmann, Sarah Riepenhausen, Lucas Plagwitz und Univ.-Prof. Dr. Julian Varghese vom Institut für Medizinische Informatik für die Publikation: Systematic analysis of ChatGPT, Google search and Llama 2 for clinical decision. Nature Communications. 15(1).2024: 2050 [Volltext]

Die jüngsten Entwicklungen auf dem Gebiet der Large-Language-Models (LLM) haben die Wahrnehmung von Künstlicher Intelligenz in der Bevölkerung erheblich gesteigert, allen voran ChatGPT. Während die Anwendung im medizinischen Kontext verlockend erscheint, fehlt eine systematische Analyse der Modelle zur klinischen Entscheidungsunterstützung. Weiterhin ist die Performanz im Vergleich zu Open-Source-Modellen oder der üblichen Google-Suche unklar.

Eine systematische Analyse der Performanz von GPT-3.5, GPT-4 versus naive Google-Suche wurde für drei Aufgaben zur klinischen Entscheidungsunterstützung durchgeführt: Erstdiagnose, Untersuchung und Behandlung. In einer Substudie wurden zusätzlich zwei eigens konfigurierte Open-Source-LLM Llama 2 betrachtet. Die Analyse von 110 medizinischen Fällen unterschiedlichster Entitäten und Inzidenzen zeigte eine deutliche Leistungssteigerung von GPT-4 im Vergleich zu seinem Vorgänger GPT-3.5 sowie der Google-Suche. Unsere Substudie zeigte eine geringfügig schlechtere Leistung der beiden Llama-2-Modelle. Beim Stellen der Erstdiagnose wiesen alle Modelle die schlechtesten Ergebnisse auf. Insbesondere bei seltenen Erkrankungen konnte eine schlechtere Performanz beobachtet werden.

Die Ergebnisse zeigen das wachsende Potenzial von LLM bei medizinischen Fragestellungen. Ihre Schwächen unterstreichen jedoch den Bedarf an robusten und regulierten KI-Modellen in der Gesundheitsversorgung. Open-Source-LLM können eine Option sein, um Datenschutzanforderungen zu erfüllen und ein transparenteres Training zu ermöglichen.

Eine Liste aller bisherigen Gewinner der Paper of the Month-Auszeichnung finden Sie hier.

Foto: MFM/Christian Albiker