Fel i Discords AI-moderering ledde till att 8 000 användare felaktigt stängdes av

Ett fel i Discords AI-moderering ledde till att över 8 000 användare felaktigt stängdes av efter att plattformen av misstag klassade harmlösa bilduppladdningar som skadligt innehåll.

Problemet påverkade användare under de senaste två månaderna. Discord uppger att företagets ingenjörer har åtgärdat felet och återställer de berörda kontona. Omkring 200 ytterligare användare stängdes också felaktigt av innan företaget identifierade problemet under helgen.

Programvarufel utlöste automatiska avstängningar

Discord förklarar att modereringssystemet jämför uppladdade bilder med databaser över känt skadligt material innan misstänkt innehåll skickas vidare för manuell granskning.

Ett programvarufel störde den processen. I stället för att invänta en mänsklig granskning stängde systemet omedelbart av de berörda kontona.

Enligt Discord har företaget nu rättat felet. Dessutom planerar man att införa fler skyddsåtgärder för att förhindra liknande händelser i framtiden.

Harmlösa bilder lurade AI-systemet

Felet klassade felaktigt flera typer av vanliga bilder som förbjudet innehåll.

Användare rapporterade avstängningar efter att ha laddat upp kalkylblad, schackbräden, speltexturer, transparenta bilder och annan grafik med rut- eller rutnätsliknande mönster.

Många användare på sociala medier spekulerade i att AI-systemet kan ha misstagit dessa mönster för tekniker som ibland används för att dölja skadliga bilder. Discord har dock inte bekräftat den exakta orsaken till de felaktiga klassificeringarna.

Användare riktar ny kritik mot AI-moderering

Händelsen har väckt ny kritik mot automatiserade modereringssystem.

Många användare anser att AI inte bör fatta beslut om kontoavstängningar utan mänsklig granskning. Andra uppmanar Discord att förlita sig mer på manuella kontroller innan permanenta åtgärder införs.

Vissa användare rekommenderade till och med andra att undvika att ladda upp bilder tills Discord hade löst problemet.

Felaktiga avstängningar kan få allvarliga följder

Felet drabbade inte bara vanliga användare.

En speldirektör berättade att avstängningen även störde arbetsrelaterad kommunikation eftersom Discord är en viktig plattform för professionellt samarbete inom spelbranschen.

Händelsen visar hur felaktiga beslut från AI-baserad moderering kan påverka både privatpersoner och yrkesverksamma.

Discord utökar AI och identitetskontroller

Incidenten med Discords AI-moderering inträffade kort efter att företaget infört selfie- och ID-verifiering för ålderskontroller.

Den satsningen mötte också kritik från integritetsförespråkare, som ifrågasatte användningen av biometrisk verifiering.

Det senaste misslyckandet inom modereringen lär bidra till den bredare debatten om hur stort ansvar företag bör ge AI-system när de fattar beslut som direkt påverkar användarkonton.