FDA:s AI-verktyg Elsa väcker säkerhetsoro

FDA:s AI-verktyg Elsa väcker säkerhetsoro efter att ha producerat falsk medicinsk forskning under tester för läkemedelsgodkännande. Experter varnar för att sådana fel kan hota patientsäkerheten och allmänhetens förtroende för AI inom vården.

Varför experter är oroade

Brooke Hartley Moy, VD för AI-faktagranskningsplattformen Infactory, säger att händelsen inte är förvånande. Hon påpekar att generativ AI ofta hallucinerar, förenklar nyanser och producerar självsäkra men felaktiga påståenden.

Vad som hände med Elsa

Elsa, som är utformad för att påskynda läkemedelsgodkännanden, påstås ha fabricerat icke-existerande medicinska studier och misstolkat forskning. Enligt källor inom FDA var verktygets rekommendationer opålitliga på grund av frekventa faktamässiga fel. En insider varnade för att overifierad AI-utdata kan vara farligt vilseledande när den används i kritiska processer.

Risker inom vården

Moy betonade att även små fel i vården kan få livshotande konsekvenser. Hon förklarade att AI kan behandla stora datamängder snabbt men endast bör användas som stöd, inte ersättning, för mänskligt beslutsfattande.

Missförstånd om stora språkmodeller

Moy menade att många organisationer missförstår begränsningarna hos stora språkmodeller. Hon underströk att dessa modeller är dåligt lämpade för uppgifter som kräver hög precision, noggrannhet och tillit. Detta missförstånd bidrog, enligt henne, till FDA:s överdrivna beroende av Elsa.

Behovet av säkerhetsmekanismer

Hon uppmanade till striktare verifieringsprocesser och mer deterministiska tillvägagångssätt i AI-stödda vårdverktyg. Moy tillade att faktamässig noggrannhet alltid måste prioriteras framför hastighet.

Slutsats

FDA:s AI-verktyg Elsa väcker säkerhetsoro som belyser begränsningarna med generativ AI inom kritiska sektorer. Mänsklig övervakning, rigorösa tester och tydliga säkerhetsmekanismer är avgörande för att förhindra farliga misstag och bevara allmänhetens förtroende.