En fejl i Discords AI-moderering førte til, at over 8.000 brugere fejlagtigt blev udelukket, efter at platformen ved en fejl klassificerede harmløse billeduploads som skadeligt indhold.
Problemet ramte brugere i løbet af de seneste to måneder. Discord oplyser, at virksomhedens ingeniører har rettet fejlen og er i gang med at gendanne de berørte konti. Omkring 200 yderligere brugere blev også fejlagtigt udelukket, før virksomheden identificerede problemet i weekenden.
Softwarefejl udløste automatiske udelukkelser
Discord forklarer, at modereringssystemet sammenligner uploadede billeder med databaser over kendt skadeligt materiale, før mistænkeligt indhold sendes videre til manuel gennemgang.
En softwarefejl forstyrrede denne proces. I stedet for at afvente en menneskelig vurdering udelukkede systemet de berørte konti med det samme.
Ifølge Discord har virksomheden nu rettet fejlen. Samtidig planlægger den at indføre yderligere sikkerhedsforanstaltninger for at forhindre lignende hændelser i fremtiden.
Harmløse billeder narrede AI-systemet
Fejlen klassificerede fejlagtigt flere typer almindelige billeder som forbudt indhold.
Brugere rapporterede om udelukkelser efter at have uploadet regneark, skakbrætter, spilteksturer, gennemsigtige billeder og anden grafik med kvadratiske eller gitterlignende mønstre.
Mange brugere på sociale medier spekulerede i, at AI-systemet kan have forvekslet disse mønstre med teknikker, som nogle gange bruges til at skjule skadelige billeder. Discord har dog ikke bekræftet den præcise årsag til de fejlagtige klassificeringer.
Brugere retter ny kritik mod AI-moderering
Hændelsen har udløst ny kritik af automatiserede modereringssystemer.
Mange brugere mener, at AI ikke bør træffe beslutninger om kontoudelukkelser uden menneskelig kontrol. Andre opfordrer Discord til i højere grad at benytte manuel gennemgang, før permanente sanktioner bliver iværksat.
Nogle brugere anbefalede endda andre at undgå at uploade billeder, indtil Discord havde løst problemet.
Fejlagtige udelukkelser kan få alvorlige konsekvenser
Fejlen ramte ikke kun almindelige brugere.
En spildirektør fortalte, at udelukkelsen også forstyrrede arbejdsrelateret kommunikation, fordi Discord er en vigtig platform for professionelt samarbejde i spilbranchen.
Hændelsen viser, hvordan fejlagtige beslutninger fra AI-baseret moderering kan påvirke både privatpersoner og professionelle.
Discord udvider AI og identitetskontrol
Hændelsen med Discords AI-moderering kom kort efter, at virksomheden indførte selfie- og ID-verifikation til alderskontrol.
Denne løsning blev også mødt med kritik fra fortalere for privatliv, som satte spørgsmålstegn ved brugen af biometrisk verifikation.
Den seneste fejl i modereringssystemet vil sandsynligvis bidrage til den bredere debat om, hvor stort et ansvar virksomheder bør overlade til AI-systemer, når de træffer beslutninger, der direkte påvirker brugerkonti.
0 svar til “Fejl i Discords AI-moderering førte til, at 8.000 brugere blev uretmæssigt udelukket”