FDA-KI-Tool Elsa sorgt für Sicherheitsbedenken

Das KI-Tool Elsa der FDA wirft Sicherheitsbedenken auf, nachdem es gefälschte medizinische Forschung während der Arzneimittelzulassungstests erstellt hat. Experten warnen, dass solche Fehler die Patientensicherheit gefährden und das Vertrauen in KI im Gesundheitswesen untergraben könnten.

Warum Experten besorgt sind

Brooke Hartley Moy, CEO der KI-Faktenprüfungsplattform Infactory, erklärte, dass der Vorfall nicht überraschend sei. Sie wies darauf hin, dass generative KI häufig halluziniert, Nuancen übermäßig vereinfacht und selbstsicher, aber ungenaue Aussagen liefert.

Was mit Elsa passiert ist

Elsa, entwickelt, um den Zulassungsprozess für Medikamente zu beschleunigen, soll nicht existierende medizinische Studien erfunden und Forschungsergebnisse falsch dargestellt haben. Laut FDA-Quellen waren die Empfehlungen des Tools aufgrund häufiger Faktenfehler unzuverlässig. Eine Insiderquelle warnte, dass nicht verifizierte KI-Ausgaben in kritischen Prozessen gefährlich irreführend sein können.

Risiken im Gesundheitswesen

Moy betonte, dass selbst kleine Fehler im Gesundheitswesen lebensbedrohliche Folgen haben können. Sie erklärte, dass KI große Datenmengen schnell verarbeiten könne, jedoch nur zur Unterstützung und nicht als Ersatz für menschliche Entscheidungen eingesetzt werden dürfe.

Missverständnisse über große Sprachmodelle

Moy sagte, viele Organisationen würden die Grenzen großer Sprachmodelle missverstehen. Sie hob hervor, dass diese Modelle für Aufgaben, die hohe Präzision, Genauigkeit und Vertrauen erfordern, schlecht geeignet seien. Dieses Missverständnis habe laut ihr zur übermäßigen Abhängigkeit der FDA von Elsa beigetragen.

Notwendigkeit von Sicherheitsmechanismen

Sie forderte strengere Verifizierungsprozesse und deterministischere Ansätze bei KI-gestützten Gesundheitstools. Moy fügte hinzu, dass die faktische Genauigkeit immer Vorrang vor Geschwindigkeit haben müsse.

Fazit

Das KI-Tool Elsa der FDA wirft Sicherheitsbedenken auf und verdeutlicht die Grenzen generativer KI in kritischen Bereichen. Menschliche Aufsicht, umfassende Tests und klare Sicherheitsmechanismen sind entscheidend, um gefährliche Fehler zu verhindern und das öffentliche Vertrauen zu erhalten.