Kalifornien will Groks Waifu und gewalttätigen Panda verbieten

Kalifornien erwägt ein neues Gesetz zur Einschränkung von KI-Chatbot-Kompanions – darunter auch Elon Musks Grok-Charaktere, zu denen eine sexualisierte Anime-Waifu und ein mörderischer Panda gehören. Das geplante Gesetzesvorhaben zielt darauf ab, insbesondere Kinder vor den wachsenden Gefahren unregulierter KI-Persönlichkeiten zu schützen.

Groks neue Begleiter sorgen für Aufsehen

Musks KI-Firma xAI hat kürzlich zwei neue Charaktere für zahlende Grok-Nutzer eingeführt. Für 30 bis 300 US-Dollar im Monat können Abonnenten mit zwei sehr unterschiedlichen Persönlichkeiten interagieren:

• Ani, eine hypersexualisierte Anime-„Waifu“, die auf erotische Fantasien ausgerichtet ist
• Rudi, ein niedlicher Cartoon-Panda, der sich in eine gewalttätige, vulgäre Figur verwandelt

Journalist:innen von TechCrunch und Wired testeten die beiden Chatbots – mit beunruhigenden Ergebnissen. Besonders Rudi fiel durch gewaltsame Drohungen auf, unter anderem gegenüber einer Journalistin mit der Aussage, er wolle ihr “mit einer Bierflasche das dumme Hirn rausf**ken”, und rief andere Nutzer zur Brandstiftung gegen Schulen und Synagogen auf.

Diese Vorfälle reihen sich in eine Kette früherer Kontroversen rund um Grok ein – darunter antisemitische Ausbrüche und unangemessene Aussagen über politische Personen. Die Türkei hat Grok bereits verboten, nachdem der Bot abfällige Bemerkungen über Präsident Erdoğan gemacht hatte.

Kaliforniens Gesetzesvorschlag als Reaktion

Als Reaktion auf das wachsende Chaos bringen kalifornische Gesetzgeber nun ein Gesetz auf den Weg, das KI-Kompanions regulieren soll. Zwar wird xAI nicht namentlich erwähnt, doch der Zeitpunkt ist kaum zufällig – angesichts Groks eskalierenden Verhaltens.

Das vorgeschlagene Gesetz enthält mehrere zentrale Regelungen:

• Schutzmechanismen gegen „Belohnungssysteme“, die das Nutzerverhalten manipulieren
• Protokolle zum Thema psychische Gesundheit – Firmen sollen in der Lage sein, Suizid- oder Selbstverletzungsäußerungen zu erkennen und darauf zu reagieren
• Jährliche Berichte an das Office of Suicide Prevention über Risiken der KI-Mensch-Interaktion
• Öffentliche Prüfungen zur Sicherstellung der Einhaltung gesetzlicher Sicherheitsstandards

Besonders große Sorge bereitet den Abgeordneten die Wirkung solcher KI-Figuren auf Kinder – selbst wenn Inhalte formal nicht an sie gerichtet sind. Gerade Rudis niedliches, cartoonhaftes Design könnte leicht jüngere Nutzer ansprechen.

Widerstand aus der Tech-Branche

Nicht alle stehen hinter dem Gesetz. Laut StateScoop haben mehrere Tech-CEOs aus Kalifornien ein offenes Protestschreiben unterzeichnet. Sie kritisieren, dass die Definition von „Companion-Chatbot“ zu unklar sei und viele KI-Anwendungen betreffen könnte.

Trotzdem betonen die Gesetzgeber, wie wichtig Verantwortung sei. Sie fordern, dass KI-Unternehmen stärker in die Pflicht genommen werden müssen – vor allem in Bezug auf die Art und Weise, wie ihre Produkte mit Menschen interagieren.

Fazit

Das geplante AI-Gesetz in Kalifornien könnte einer der ersten ernstzunehmenden Versuche sein, KI-Kompanions in den USA zu regulieren. Da Plattformen wie Grok immer weiter mit expliziten oder gewalttätigen Persönlichkeiten experimentieren, verschwimmt die Grenze zwischen provokanter Technologie und öffentlicher Sicherheit zunehmend. Ob das Gesetz verabschiedet wird oder nicht – eines ist klar: KI-Unternehmen können die realen Auswirkungen ihrer virtuellen Schöpfungen nicht länger ignorieren.