FDAs AI-verktøy Elsa skaper sikkerhetsbekymringer

FDAs AI-verktøy Elsa vekker bekymring for sikkerheten etter å ha produsert falsk medisinsk forskning under tester for legemiddelgodkjenning. Eksperter advarer om at slike feil kan true pasientsikkerheten og svekke tilliten til AI i helsesektoren.

Hvorfor ekspertene er bekymret

Brooke Hartley Moy, administrerende direktør for AI-faktasjekkplattformen Infactory, sier at hendelsen ikke er overraskende. Hun påpeker at generativ AI ofte hallusinerer, forenkler nyanser og leverer selvsikre, men unøyaktige påstander.

Hva som skjedde med Elsa

Elsa, som er utviklet for å fremskynde legemiddelgodkjenninger, skal ha fabrikkert ikke-eksisterende medisinske studier og feiltolket forskning. Ifølge kilder i FDA var verktøyets anbefalinger upålitelige på grunn av hyppige faktiske feil. En innsider advarte om at uverifisert AI-utdata kan være farlig misvisende når det brukes i kritiske prosesser.

Risiko i helsesektoren

Moy understreket at selv små feil i helsesektoren kan få livstruende konsekvenser. Hun forklarte at AI kan behandle store datamengder raskt, men kun bør brukes som støtte, ikke erstatning, for menneskelig beslutningstaking.

Misforståelser om store språkmodeller

Moy uttalte at mange organisasjoner misforstår begrensningene ved store språkmodeller. Hun fremhevet at disse modellene er dårlig egnet til oppgaver som krever høy presisjon, nøyaktighet og tillit. Ifølge henne bidro denne misforståelsen til FDAs overdrevne avhengighet av Elsa.

Behovet for sikkerhetsmekanismer

Hun oppfordret til strengere verifiseringsprosesser og mer deterministiske metoder i AI-støttede helseteknologier. Moy la til at faktanøyaktighet alltid må prioriteres foran hastighet.

Konklusjon

FDAs AI-verktøy Elsa vekker bekymring for sikkerheten og understreker begrensningene ved generativ AI i kritiske sektorer. Menneskelig kontroll, grundig testing og tydelige sikkerhetsmekanismer er avgjørende for å hindre farlige feil og opprettholde offentlig tillit.