En feil i Discords AI-moderering førte til at over 8 000 brukere ble feilaktig utestengt etter at plattformen feilaktig klassifiserte harmløse bildeopplastinger som skadelig innhold.
Problemet rammet brukere i løpet av de siste to månedene. Discord opplyser at selskapets ingeniører har rettet feilen og gjenoppretter de berørte kontoene. Omtrent 200 ytterligere brukere ble også feilaktig utestengt før selskapet identifiserte problemet i helgen.
Programvarefeil utløste automatiske utestengelser
Discord forklarer at modereringssystemet sammenligner opplastede bilder med databaser over kjent skadelig materiale før mistenkelig innhold sendes videre til manuell gjennomgang.
En programvarefeil forstyrret denne prosessen. I stedet for å vente på en menneskelig vurdering utestengte systemet de berørte kontoene umiddelbart.
Ifølge Discord har selskapet nå rettet feilen. Samtidig planlegger det å innføre flere sikkerhetstiltak for å forhindre lignende hendelser i fremtiden.
Harmløse bilder lurte AI-systemet
Feilen klassifiserte feilaktig flere typer vanlige bilder som forbudt innhold.
Brukere rapporterte om utestengelser etter å ha lastet opp regneark, sjakkbrett, spillteksturer, gjennomsiktige bilder og annen grafikk med rute- eller rutenettmønstre.
Mange brukere på sosiale medier spekulerte i at AI-systemet kan ha forvekslet disse mønstrene med teknikker som av og til brukes for å skjule skadelige bilder. Discord har imidlertid ikke bekreftet den nøyaktige årsaken til feilklassifiseringene.
Brukere retter ny kritikk mot AI-moderering
Hendelsen har utløst ny kritikk mot automatiserte modereringssystemer.
Mange brukere mener at AI ikke bør ta beslutninger om kontoutestengelser uten menneskelig kontroll. Andre oppfordrer Discord til å stole mer på manuell gjennomgang før permanente tiltak blir iverksatt.
Noen brukere anbefalte til og med andre å unngå å laste opp bilder til Discord inntil problemet var løst.
Feilaktige utestengelser kan få alvorlige konsekvenser
Feilen rammet ikke bare vanlige brukere.
En spilldirektør fortalte at utestengelsen også forstyrret arbeidsrelatert kommunikasjon fordi Discord er en viktig plattform for profesjonelt samarbeid i spillbransjen.
Hendelsen viser hvordan feilaktige avgjørelser fra AI-basert moderering kan påvirke både privatpersoner og yrkesaktive.
Discord utvider AI og identitetskontroller
Hendelsen med Discords AI-moderering kom kort tid etter at selskapet innførte selfie- og ID-verifisering for alderskontroll.
Denne løsningen møtte også kritikk fra personvernforkjempere, som stilte spørsmål ved bruken av biometrisk verifisering.
Den siste feilen i modereringssystemet vil trolig bidra til den bredere debatten om hvor mye ansvar selskaper bør gi AI-systemer når de tar beslutninger som direkte påvirker brukerkontoer.
0 responses to “Feil i Discords AI-moderering førte til at 8 000 brukere ble feilaktig utestengt”