FDA AI-hallusinasjoner avslører helserisikoer

FDAs AI-hallusinasjoner skapte en alvorlig sikkerhetsrisiko. Eksperter påpekte Elsas oppdiktede medisinske studier rett etter lanseringen. Ledere understreker menneskelig tilsyn og robuste sikkerhetstiltak for å unngå å sette pasienter i fare.

Elsas hallusinasjonsproblem

Brooke Hartley Moy, medgründer og administrerende direktør i Infactory, sier hun ikke ble overrasket da Elsa begynte å finne på falske forskningsdata i sine anbefalinger for legemiddelgodkjenning. Dette verktøyet, som skulle fremskynde godkjenninger, feilet spektakulært på grunn av «selvsikkert nonsens» fra AI-hallusinasjoner.
Insidere i FDA bekreftet at Elsa feiltolket forskning, noe som gjorde den uegnet til klinisk bruk på grunn av hyppige feiltolkninger.

AI sine grunnleggende begrensninger

AI-modeller hallusinerer fortsatt fakta, forenkler komplekse nyanser og fremsetter falske påstander som sannheter. «LLM-er er utrolig dårlig egnet til oppgaver som krever høy grad av presisjon, nøyaktighet og tillit», sier Hartley Moy, og fremhever teknologiens nåværende uegnethet for kritiske oppgaver.

Store konsekvenser for helsesektoren

I helsesektoren kan selv små AI-genererte feil få livstruende konsekvenser. Hartley Moy understreker at AI kun bør styrke menneskelig ekspertise – ikke erstatte den. Hun advarer om at ukontrollert bruk kan true offentlig sikkerhet og undergrave tilliten.

Menneskelig tilsyn – fortsatt avgjørende

Elsa kan behandle store datamengder raskt, men menneskelig gjennomgang er fortsatt avgjørende. Hartley Moy peker på tre hovedårsaker til feil i AI-prosjekter: overdreven tillit til AI, mangel på fageksperter og et kappløp om å implementere uten riktige sikkerhetstiltak.
Hun oppfordrer til å innføre deterministiske prosesser, faktasjekkprotokoller og forsiktige pilotprosjekter for å sikre at AI-resultater er forankret og pålitelige.

Kompetansemangel og offentlige utfordringer

Spesialister med AI-kompetanse er sjeldne og har ofte høyere lønn enn det offentlige etater kan tilby. Moy påpeker at uten nok interne AI-eksperter kan offentlige institusjoner som FDA stå overfor økende risiko ved innføring av slike verktøy.

Gjenoppbygging av tillit gjennom forsiktighet

Moy oppfordrer FDA til å gjenopprette offentlig tillit ved å ta en konservativ og gradvis tilnærming – i stedet for å fremstille AI som en mirakelløsning. Denne tilnærmingen fremmer åpenhet, ansvarlighet og sikkerhet i sterkt regulerte sektorer.

Konklusjon

FDAs AI-hallusinasjoner avdekker betydelige svakheter i bruken av generativ AI i sensitive områder. Elsas oppdiktede data, kombinert med systemiske begrensninger, understreker behovet for menneskelig tilsyn, robuste sikkerhetsmekanismer og kontrollert innføring – spesielt i helsesektoren.