En ny AI-sikkerhetsrapport fra Cisco Talos har skapt bekymring rundt påliteligheten til AI-generert cybersikkerhetsanalyse. Forskere oppdaget at store språkmodeller ofte produserte inkonsekvente funn, fabrikerte tekniske detaljer og upålitelige anbefalinger under rapporteringsoppgaver.
Rapporten fremhever økende risiko etter hvert som organisasjoner blir mer avhengige av generativ AI i sikkerhetsarbeid. Forskerne advarte om at polerte AI-genererte rapporter kan fremstå som korrekte selv når den tekniske analysen inneholder alvorlige feil.
Cisco Talos testet AI-genererte sikkerhetsrapporter
Forskere hos Cisco Talos evaluerte hvordan generative AI-systemer håndterte cybersikkerhetsrapportering basert på notater fra hendelseshåndtering og data fra tabletop-øvelser.
Ifølge rapporten produserte flere AI-modeller ulike konklusjoner fra identisk kildemateriale. Enkelte systemer anbefalte omfattende tiltak, mens andre foreslo begrensede responser for det samme scenarioet. Forskerne sa at inkonsekvensen skapte pålitelighetsproblemer for virkelige sikkerhetsarbeidsflyter.
Testingen avdekket flere gjentakende problemer, blant annet:
- Hallusinerte funn
- Motstridende anbefalinger
- Inkonsekvente sammendrag
- Fabrikkerte tekniske detaljer
- Kontekstforflytning mellom rapporter
- Ustabile grammatikkorrigeringer
Forskerne forklarte at store språkmodeller genererer probabilistiske resultater. På grunn av denne oppførselen kan identiske prompts fortsatt produsere ulike svar.
Forskere advarte om AI-hallusinasjoner
AI-sikkerhetsrapporten identifiserte hallusinasjoner som en av de største operative risikoene knyttet til AI-assisterte cybersikkerhetsarbeidsflyter. Forskerne fant at enkelte modeller genererte unøyaktige anbefalinger eller la til udokumenterte påstander i tekniske rapporter.
Cisco Talos oppdaget også problemer knyttet til lange AI-økter. Under utvidede arbeidsflyter blandet enkelte systemer detaljer fra urelaterte hendelser inn i aktive rapporter. Forskerne sa at isolerte økter bidro til å redusere problemet og forbedret rapportkonsistensen.
Rapporten fremhevet også problemer med AI-verktøy for grammatikkgjennomgang. Enkelte systemer markerte korrekt teknisk språk som feil samtidig som de overså faktiske skrivefeil. Forskerne bemerket at gjentatte tester ofte produserte inkonsekvente redigeringsresultater fra det samme kildematerialet.
AI forbedret fortsatt rapporteringshastigheten
Til tross for problemene sa forskerne hos Cisco Talos at AI fortsatt forbedret effektiviteten i cybersikkerhetsrapportering. Testing viste at AI-assisterte arbeidsflyter reduserte skrivetiden betydelig og hjalp analytikere med å organisere informasjon raskere.
Forskerne oppdaget også at AI enkelte ganger identifiserte anbefalinger som menneskelige analytikere opprinnelig overså under tabletop-øvelser. I noen tilfeller virket de genererte rapportene profesjonelle nok til å passere interne gjennomganger uten at granskere oppdaget AI-bruken.
Forskerne understreket imidlertid at menneskelig tilsyn fortsatt er avgjørende. De advarte om at overdreven avhengighet av AI-generert analyse kan introdusere feilaktige konklusjoner i hendelseshåndtering og sikkerhetsundersøkelser.
AI-relaterte sikkerhetsrisikoer fortsetter å vokse
Funnene kommer samtidig som sikkerhetsforskere fortsetter å advare om bredere AI-relaterte cybersikkerhetsrisikoer. Bransjeeksperter har uttrykt bekymring rundt usikre AI-integrasjoner, upålitelig automatisert analyse og den økende bruken av AI i cyberangrep.
Forskere advarer stadig oftere om at AI-systemer kan produsere overbevisende tekniske rapporter som fortsatt inneholder feilaktig informasjon. Denne kombinasjonen skaper store risikoer for sikkerhetsteam som er avhengige av rask og nøyaktig trusselanalyse.
Konklusjon
Cisco Talos sin AI-sikkerhetsrapport viser at generativ AI fortsatt sliter med konsistens, nøyaktighet og pålitelighet innen cybersikkerhetsanalyse. Forskerne fant at AI-genererte rapporter ofte inneholdt hallusinasjoner, motstridende anbefalinger og ustabile konklusjoner selv når systemene jobbet med identisk kildemateriale.
Selv om AI kan forbedre rapporteringshastighet og effektivitet i arbeidsflyter, gjør rapporten det klart at organisasjoner ikke fullt ut kan stole på AI-generert cybersikkerhetsanalyse uten menneskelig validering. Etter hvert som AI-bruken vokser innen sikkerhetsarbeid, vil nøye overvåking forbli avgjørende.
0 responses to “AI-sikkerhetsrapport avslører svakheter i AI-drevet cyberanalyse”