En ny AI-sikkerhedsrapport fra Cisco Talos har skabt bekymring omkring pålideligheden af AI-genereret cybersikkerhedsanalyse. Forskere opdagede, at store sprogmodeller ofte producerede inkonsistente resultater, fabrikerede tekniske detaljer og upålidelige anbefalinger under rapporteringsopgaver.
Rapporten fremhæver voksende risici, efterhånden som organisationer bliver mere afhængige af generativ AI i sikkerhedsarbejde. Forskerne advarede om, at polerede AI-genererede rapporter kan fremstå korrekte, selv når den tekniske analyse indeholder alvorlige fejl.
Cisco Talos testede AI-genererede sikkerhedsrapporter
Forskere hos Cisco Talos evaluerede, hvordan generative AI-systemer håndterede cybersikkerhedsrapportering baseret på noter fra hændelseshåndtering og data fra tabletop-øvelser.
Ifølge rapporten producerede flere AI-modeller forskellige konklusioner ud fra identisk kildemateriale. Nogle systemer anbefalede omfattende afhjælpningstiltag, mens andre foreslog begrænsede svar på det samme scenarie. Forskerne sagde, at inkonsistensen skabte pålidelighedsproblemer for virkelige sikkerhedsarbejdsgange.
Testene afslørede flere tilbagevendende problemer, herunder:
- Hallucinerede resultater
- Modstridende anbefalinger
- Inkonsistente opsummeringer
- Fabrikerede tekniske detaljer
- Kontekstskift mellem rapporter
- Ustabile grammatiske rettelser
Forskerne forklarede, at store sprogmodeller genererer probabilistiske resultater. På grund af denne adfærd kan identiske prompts stadig producere forskellige svar.
Forskere advarede om AI-hallucinationer
AI-sikkerhedsrapporten identificerede hallucinationer som en af de største operationelle risici forbundet med AI-assisterede cybersikkerhedsarbejdsgange. Forskerne fandt, at nogle modeller genererede unøjagtige anbefalinger eller indsatte udokumenterede påstande i tekniske rapporter.
Cisco Talos opdagede også problemer relateret til lange AI-sessioner. Under længere arbejdsgange blandede nogle systemer detaljer fra urelaterede hændelser ind i aktive rapporter. Forskerne sagde, at isolerede sessioner hjalp med at reducere problemet og forbedrede rapporternes konsistens.
Rapporten fremhævede også problemer med AI-værktøjer til grammatikkontrol. Nogle systemer markerede korrekt teknisk sprog som forkert, samtidig med at de overså reelle skrivefejl. Forskerne bemærkede, at gentagne tests ofte producerede inkonsistente redigeringsresultater fra det samme kildemateriale.
AI forbedrede stadig rapporteringshastigheden
På trods af problemerne sagde forskerne hos Cisco Talos, at AI stadig forbedrede effektiviteten i cybersikkerhedsrapportering. Test viste, at AI-assisterede arbejdsgange reducerede skriveprocessen betydeligt og hjalp analytikere med at organisere information hurtigere.
Forskerne fandt også, at AI lejlighedsvis identificerede anbefalinger, som menneskelige analytikere oprindeligt overså under tabletop-øvelser. I nogle tilfælde fremstod de genererede rapporter professionelle nok til at bestå interne gennemgange uden, at anmeldere opdagede AI-brugen.
Forskerne understregede dog, at menneskeligt tilsyn fortsat er afgørende. De advarede om, at overdreven afhængighed af AI-genereret analyse kan føre til fejlagtige konklusioner i hændelseshåndtering og sikkerhedsundersøgelser.
AI-relaterede sikkerhedsrisici fortsætter med at vokse
Resultaterne kommer samtidig med, at sikkerhedsforskere fortsætter med at advare om bredere AI-relaterede cybersikkerhedsrisici. Brancheeksperter har rejst bekymringer omkring usikre AI-integrationer, upålidelig automatiseret analyse og den voksende brug af AI i cyberangreb.
Forskere advarer i stigende grad om, at AI-systemer kan producere overbevisende tekniske rapporter, som stadig indeholder unøjagtig information. Den kombination skaber store risici for sikkerhedsteams, der er afhængige af hurtig og præcis trusselsanalyse.
Konklusion
Cisco Talos’ AI-sikkerhedsrapport viser, at generativ AI stadig kæmper med konsistens, nøjagtighed og pålidelighed inden for cybersikkerhedsanalyse. Forskerne fandt, at AI-genererede rapporter ofte indeholdt hallucinationer, modstridende anbefalinger og ustabile konklusioner, selv når systemerne arbejdede med identisk kildemateriale.
Selvom AI kan forbedre rapporteringshastighed og effektivitet i arbejdsgange, gør rapporten det klart, at organisationer ikke fuldt ud kan stole på AI-genereret cybersikkerhedsanalyse uden menneskelig validering. Efterhånden som AI-brugen vokser inden for sikkerhedsarbejde, vil grundig overvågning fortsat være afgørende.
0 svar til “AI-sikkerhedsrapport afslører fejl i AI-drevet cyberanalyse”