Fehler in der KI-Moderation von Discord führte zur fälschlichen Sperrung von 8.000 Nutzern

Ein Fehler in der KI-Moderation von Discord führte dazu, dass mehr als 8.000 Nutzer fälschlicherweise gesperrt wurden, nachdem die Plattform harmlose Bild-Uploads irrtümlich als schädliche Inhalte eingestuft hatte.

Das Problem betraf Nutzer in den vergangenen zwei Monaten. Discord erklärt, dass die Ingenieure den Fehler inzwischen behoben haben und die betroffenen Konten wiederherstellen. Rund 200 weitere Nutzer wurden ebenfalls fälschlicherweise gesperrt, bevor das Unternehmen das Problem am Wochenende erkannte.

Softwarefehler löste automatische Sperrungen aus

Discord erklärt, dass das Moderationssystem hochgeladene Bilder mit Datenbanken bekannter schädlicher Inhalte vergleicht, bevor verdächtige Inhalte zur manuellen Überprüfung weitergeleitet werden.

Ein Softwarefehler störte diesen Ablauf. Anstatt auf eine menschliche Überprüfung zu warten, sperrte das System die betroffenen Konten sofort.

Nach Angaben von Discord wurde der Fehler inzwischen behoben. Das Unternehmen plant außerdem zusätzliche Schutzmaßnahmen, um ähnliche Vorfälle künftig zu verhindern.

Harmlose Bilder täuschten das KI-System

Der Fehler stufte verschiedene Arten gewöhnlicher Bilder fälschlicherweise als verbotene Inhalte ein.

Nutzer berichteten von Sperrungen, nachdem sie Tabellenkalkulationen, Schachbretter, Spieltexturen, transparente Bilder und andere Grafiken mit quadratischen oder gitterartigen Mustern hochgeladen hatten.

Viele Nutzer in sozialen Medien vermuteten, dass die KI diese Muster mit Techniken verwechselt haben könnte, die gelegentlich zum Verschleiern schädlicher Bilder eingesetzt werden. Discord hat die genaue Ursache der fehlerhaften Erkennung jedoch bislang nicht bestätigt.

Nutzer erneuern ihre Kritik an KI-Moderation

Der Vorfall hat neue Kritik an automatisierten Moderationssystemen ausgelöst.

Viele Nutzer sind der Ansicht, dass KI nicht ohne menschliche Kontrolle über Kontosperrungen entscheiden sollte. Andere forderten Discord auf, sich stärker auf manuelle Überprüfungen zu verlassen, bevor dauerhafte Maßnahmen ergriffen werden.

Einige Nutzer rieten sogar dazu, vorerst keine Bilder hochzuladen, bis Discord das Problem vollständig behoben hatte.

Fehlersperrungen können schwerwiegende Folgen haben

Der Fehler betraf nicht nur gewöhnliche Nutzer.

Ein Game Director erklärte, dass die Sperrung auch die berufliche Kommunikation beeinträchtigte, da Discord eine wichtige Plattform für die Zusammenarbeit in der Spielebranche ist.

Der Vorfall zeigt, wie fehlerhafte Entscheidungen einer KI-gestützten Moderation sowohl private als auch berufliche Aktivitäten beeinträchtigen können.

Discord erweitert KI- und Identitätsprüfungen

Der Vorfall mit der KI-Moderation von Discord ereignete sich kurz nachdem das Unternehmen Selfie- und Ausweisprüfungen zur Altersverifikation eingeführt hatte.

Auch diese Maßnahme stieß bei Datenschützern auf Kritik, die den Einsatz biometrischer Verfahren infrage stellten.

Der jüngste Fehler im Moderationssystem dürfte die umfassendere Debatte darüber weiter anheizen, wie viel Verantwortung Unternehmen KI-Systemen bei Entscheidungen übertragen sollten, die sich unmittelbar auf Nutzerkonten auswirken.