FDA’s AI-værktøj Elsa vækker sikkerhedsbekymringer

FDA’s AI-værktøj Elsa vækker bekymring for sikkerheden efter at have produceret falsk medicinsk forskning under godkendelsestest af lægemidler. Eksperter advarer om, at sådanne fejl kan true patientsikkerheden og undergrave tilliden til AI i sundhedssektoren.

Hvorfor eksperterne er bekymrede

Brooke Hartley Moy, administrerende direktør for AI-faktatjekplatformen Infactory, siger, at hændelsen ikke er overraskende. Hun påpeger, at generativ AI ofte hallucinerer, forenkler nuancer og leverer selvsikre, men unøjagtige udsagn.

Hvad der skete med Elsa

Elsa, der er udviklet til at fremskynde godkendelsen af lægemidler, skal have fabrikeret ikke-eksisterende medicinske studier og fejlfremstillet forskning. Ifølge kilder i FDA var værktøjets anbefalinger upålidelige på grund af hyppige faktuelle fejl. En insider advarede om, at uverificeret AI-output kan være farligt vildledende, når det bruges i kritiske processer.

Risici i sundhedssektoren

Moy understregede, at selv små fejl i sundhedssektoren kan få livstruende konsekvenser. Hun forklarede, at AI kan behandle store datamængder hurtigt, men kun bør anvendes som støtte, ikke erstatning, for menneskelig beslutningstagning.

Misforståelser om store sprogmodeller

Moy udtalte, at mange organisationer misforstår begrænsningerne ved store sprogmodeller. Hun fremhævede, at disse modeller er dårligt egnede til opgaver, der kræver høj præcision, nøjagtighed og tillid. Ifølge hende bidrog denne misforståelse til FDA’s overdrevne afhængighed af Elsa.

Behovet for sikkerhedsmekanismer

Hun opfordrede til strengere verifikationsprocesser og mere deterministiske metoder i AI-understøttede sundhedsværktøjer. Moy tilføjede, at faktuel nøjagtighed altid skal prioriteres over hastighed.

Konklusion

FDA’s AI-værktøj Elsa vækker bekymring for sikkerheden og understreger begrænsningerne ved generativ AI i kritiske sektorer. Menneskelig kontrol, grundig testning og klare sikkerhedsmekanismer er afgørende for at forhindre farlige fejl og bevare offentlighedens tillid.