En ny AI-säkerhetsrapport från Cisco Talos har väckt oro kring tillförlitligheten hos AI-genererad cybersäkerhetsanalys. Forskare upptäckte att stora språkmodeller ofta producerade inkonsekventa resultat, fabricerade tekniska detaljer och opålitliga rekommendationer under rapporteringsuppgifter.
Rapporten lyfter fram växande risker i takt med att organisationer förlitar sig allt mer på generativ AI inom säkerhetsarbete. Forskarna varnade för att välformulerade AI-genererade rapporter kan framstå som korrekta även när den tekniska analysen innehåller allvarliga fel.
Cisco Talos testade AI-genererade säkerhetsrapporter
Forskare hos Cisco Talos utvärderade hur generativa AI-system hanterade cybersäkerhetsrapportering baserad på anteckningar från incidenthantering och data från tabletop-övningar.
Enligt rapporten drog flera AI-modeller olika slutsatser från identiskt källmaterial. Vissa system rekommenderade omfattande åtgärder, medan andra föreslog begränsade svar på samma scenario. Forskarna sade att inkonsekvensen skapade tillförlitlighetsproblem för verkliga säkerhetsarbetsflöden.
Testerna avslöjade flera återkommande problem, bland annat:
- Hallucinerade resultat
- Motstridiga rekommendationer
- Inkonsekventa sammanfattningar
- Fabricerade tekniska detaljer
- Kontextförskjutning mellan rapporter
- Instabila grammatiska korrigeringar
Forskarna förklarade att stora språkmodeller genererar probabilistiska resultat. På grund av det beteendet kan identiska prompts fortfarande ge olika svar.
Forskare varnade för AI-hallucinationer
AI-säkerhetsrapporten identifierade hallucinationer som en av de största operativa riskerna kopplade till AI-assisterade cybersäkerhetsarbetsflöden. Forskarna upptäckte att vissa modeller genererade felaktiga åtgärdsrekommendationer eller lade till obekräftade påståenden i tekniska rapporter.
Cisco Talos upptäckte också problem kopplade till långa AI-sessioner. Under längre arbetsflöden blandade vissa system detaljer från orelaterade incidenter i aktiva rapporter. Forskarna sade att separata sessioner hjälpte till att minska problemet och förbättrade rapporternas konsekvens.
Rapporten lyfte även fram problem med AI-verktyg för grammatikkontroll. Vissa system markerade korrekt tekniskt språk som felaktigt samtidigt som de missade verkliga skrivfel. Forskarna noterade att upprepade tester ofta gav inkonsekventa redigeringsresultat från samma källmaterial.
AI förbättrade fortfarande rapporteringshastigheten
Trots problemen sade forskarna hos Cisco Talos att AI fortfarande förbättrade effektiviteten vid cybersäkerhetsrapportering. Tester visade att AI-assisterade arbetsflöden minskade skrivtiden avsevärt och hjälpte analytiker att organisera information snabbare.
Forskarna upptäckte också att AI ibland identifierade rekommendationer som mänskliga analytiker initialt missade under tabletop-övningar. I vissa fall såg de genererade rapporterna tillräckligt professionella ut för att passera interna granskningar utan att granskare märkte att AI hade använts.
Forskarna betonade dock att mänsklig övervakning fortfarande är avgörande. De varnade för att överdrivet beroende av AI-genererad analys kan leda till felaktiga slutsatser i incidenthantering och säkerhetsutredningar.
AI-relaterade säkerhetsrisker fortsätter att växa
Resultaten kommer samtidigt som säkerhetsforskare fortsätter att varna för bredare AI-relaterade cybersäkerhetsrisker. Branschexperter har uttryckt oro över osäkra AI-integrationer, opålitlig automatiserad analys och den ökande användningen av AI i cyberattacker.
Forskare varnar allt oftare för att AI-system kan producera övertygande tekniska rapporter som fortfarande innehåller felaktig information. Den kombinationen skapar stora risker för säkerhetsteam som är beroende av snabb och korrekt hotanalys.
Slutsats
Cisco Talos AI-säkerhetsrapport visar att generativ AI fortfarande har problem med konsekvens, noggrannhet och tillförlitlighet inom cybersäkerhetsanalys. Forskarna upptäckte att AI-genererade rapporter ofta innehöll hallucinationer, motstridiga rekommendationer och instabila slutsatser även när systemen arbetade med identiskt källmaterial.
Även om AI kan förbättra rapporteringshastighet och arbetsflödeseffektivitet gör rapporten tydligt att organisationer inte fullt ut kan lita på AI-genererad cybersäkerhetsanalys utan mänsklig validering. I takt med att AI-användningen växer inom säkerhetsarbete kommer noggrann övervakning att förbli avgörande.
0 svar till ”AI-säkerhetsrapport avslöjar brister i AI-driven cyberanalys”