FDA AI-hallucinationer afslører sundhedsrisici

FDAs AI-hallucinationer skabte en alvorlig sikkerhedsrisiko. Eksperter påpegede Elsas opdigtede medicinske studier lige efter lanceringen. Ledere understreger behovet for menneskelig overvågning og robuste sikkerhedsforanstaltninger for at undgå at bringe patienter i fare.

Elsas hallucinationsproblem

Brooke Hartley Moy, medstifter og administrerende direktør for Infactory, siger, at hun ikke var overrasket, da Elsa begyndte at opfinde falske forskningsdata i sine anbefalinger til godkendelse af lægemidler. Dette værktøj, der skulle fremskynde godkendelsesprocessen, fejlede spektakulært på grund af ”selvsikkert vrøvl” fra AI-hallucinationer.
Insidere i FDA bekræftede, at Elsa fejlagtigt gengav forskning, hvilket gjorde den uegnet til klinisk brug på grund af hyppige fejlfortolkninger.

AI’s grundlæggende begrænsninger

AI-modeller hallucinerer stadig fakta, forenkler komplekse nuancer og fremsætter usande påstande som sandheder. ”LLM’er er utroligt dårligt egnede til opgaver, der kræver høj præcision, nøjagtighed og tillid,” siger Hartley Moy og fremhæver teknologiens nuværende uegnethed til kritiske opgaver.

Store konsekvenser for sundhedssektoren

I sundhedssektoren kan selv små AI-genererede fejl have livstruende konsekvenser. Hartley Moy understreger, at AI kun bør bruges til at støtte menneskelig ekspertise – ikke erstatte den. Hun advarer om, at ukontrolleret implementering kan true den offentlige sikkerhed og underminere tilliden.

Menneskelig overvågning – stadig afgørende

Elsa kan behandle store datamængder hurtigt, men menneskelig gennemgang er fortsat afgørende. Hartley Moy peger på tre hovedårsager til fejl i AI-projekter: overdreven tillid til AI, mangel på fageksperter og et kapløb om at implementere uden passende sikkerhedsforanstaltninger.
Hun opfordrer til at indføre deterministiske processer, faktatjekprotokoller og forsigtige pilotprojekter for at sikre, at AI-resultater forbliver faktabaserede og pålidelige.

Kompetencemangel og offentlige udfordringer

Specialister med AI-kompetencer er sjældne og kræver ofte højere løn, end offentlige myndigheder kan tilbyde. Moy påpeger, at uden tilstrækkeligt mange interne AI-eksperter kan offentlige institutioner som FDA stå over for stigende risici ved at implementere disse værktøjer.

Genskabelse af tillid gennem forsigtighed

Moy opfordrer FDA til at genopbygge den offentlige tillid ved at anvende en konservativ og gradvis tilgang – fremfor at markedsføre AI som en mirakelløsning. Denne tilgang fremmer gennemsigtighed, ansvarlighed og sikkerhed i stærkt regulerede sektorer.

Konklusion

FDAs AI-hallucinationer afslører betydelige mangler ved brugen af generativ AI i følsomme områder. Elsas opdigtede data, kombineret med systemiske begrænsninger, understreger behovet for menneskelig overvågning, robuste sikkerhedsmekanismer og kontrolleret implementering – især i sundhedssektoren.