Der KI-Chatbot Grok sorgt international für Aufsehen. Innerhalb kürzester Zeit soll das System zehntausende Bilder mit sexuellem Kindesmissbrauch erzeugt haben. Die Vorwürfe wiegen schwer und haben Ermittlungen in mehreren Ländern ausgelöst. Inzwischen hat auch die EU eine offizielle Untersuchung eingeleitet. Der Fall zeigt, wie problematisch fehlende Sicherheitsmechanismen bei generativer KI sein können.
Generative KI ist längst Teil des digitalen Alltags. Text- und Bildgeneratoren werden millionenfach genutzt, oft ohne genau hinzusehen, wie streng ihre Schutzmechanismen sind. Beim Fall Grok wird deutlich, was passiert, wenn technische Möglichkeiten nicht ausreichend begrenzt werden. Die aktuellen Berichte liefern konkrete Zahlen, Zeiträume und Reaktionen von Behörden und Unternehmen.
Grok und die Erzeugung von CSAM-Bildern
Grok ist ein KI-Chatbot des Unternehmens xAI. Wie viele andere KI-Systeme kann Grok Bilder aus Textvorgaben erzeugen. Diese Funktion ist direkt in der App, im Web und über die Plattform X verfügbar.
Im Unterschied zu anderen KI-Diensten hatte Grok jedoch sehr lockere Sicherheitsvorkehrungen. Dadurch war es möglich, ohne Einwilligung halbnackte oder sexualisierte Bilder realer Personen zu erzeugen. Betroffen waren dabei nicht nur Erwachsene, sondern auch Kinder.
Laut einem Bericht von Engadget soll Grok in nur elf Tagen rund 23.000 CSAM-Bilder generiert haben. CSAM steht für „Child Sexual Abuse Material“, also Material über sexuellen Kindesmissbrauch.
Ergebnisse des Center for Countering Digital Hate
Die Zahlen stammen aus einer Untersuchung des Center for Countering Digital Hate. Die britische Non-Profit-Organisation analysierte zunächst eine zufällige Stichprobe von 20.000 Grok-Bildern, die zwischen dem 29. Dezember und dem 9. Januar erstellt wurden.
Auf Basis dieser Stichprobe wurden die Ergebnisse auf insgesamt rund 4,6 Millionen Bilder hochgerechnet, die Grok in diesem Zeitraum generiert haben soll. Daraus ergibt sich folgende Schätzung:
- Rund 3 Millionen sexualisierte Bilder innerhalb von elf Tagen
- Davon etwa 23.000 sexualisierte Bilder von Kindern
Umgerechnet bedeutet das, dass Grok in diesem Zeitraum etwa 190 sexualisierte Bilder pro Minute erzeugt hat. Statistisch gesehen war alle 41 Sekunden ein sexualisiertes Bild von Kindern darunter.
Reaktionen von Unternehmen und Behörden
Anfang des Monats forderten drei US-Senatoren den Chef von Apple, Tim Cook, dazu auf, sowohl X als auch Grok wegen „widerwärtiger Inhalte“ vorübergehend aus dem App Store zu entfernen. Diese Aufforderung wurde bislang nicht umgesetzt. Auch Google hat die App bisher nicht aus seinem Store entfernt.
Zwei Länder haben die App inzwischen gesperrt. Zusätzlich laufen bereits Untersuchungen in Kalifornien und im Vereinigten Königreich. Der Fall hat damit längst eine internationale Dimension erreicht.
EU leitet Untersuchung nach dem Digital Services Act ein
Nun hat auch die Europäische Union reagiert. Laut der Financial Times hat die EU eine formelle Untersuchung gegen xAI eingeleitet. Grundlage ist das EU-Gesetz über digitale Dienste, der sogenannte Digital Services Act (DSA).
Die Untersuchung soll klären, ob xAI ausreichend versucht hat, die Risiken beim Einsatz von Grok auf X zu begrenzen. Im Mittelpunkt steht dabei die Frage, ob das Unternehmen Maßnahmen ergriffen hat, um die Verbreitung von Inhalten zu verhindern, die als Material über sexuellen Kindesmissbrauch gelten könnten.
Die EU-Technikchefin Henna Virkkunen bezeichnete nicht einvernehmliche sexuelle Deepfakes von Frauen und Kindern als eine gewalttätige und inakzeptable Form der Erniedrigung.
Mögliche Konsequenzen für xAI
Sollte die EU zu dem Schluss kommen, dass xAI gegen den Digital Services Act verstoßen hat, drohen empfindliche Strafen. Im Raum steht eine Geldbuße von bis zu 6 Prozent des weltweiten Jahresumsatzes des Unternehmens.
Der Fall Grok als Warnsignal für KI-Anbieter
Der Fall Grok verdeutlicht, wie schnell fehlende oder unzureichende Sicherheitsmechanismen bei KI-Systemen zu massiven Rechts- und Ethikproblemen führen können. Die laufenden Ermittlungen in mehreren Ländern und auf EU-Ebene zeigen, dass Behörden zunehmend bereit sind, konsequent einzugreifen. Wie der Fall ausgeht, könnte richtungsweisend für den zukünftigen Umgang mit generativer KI und deren Regulierung sein. (Bild: Shutterstock / babar ali 1233)
- Apple Aktie im Aufwind: JP Morgan erhöht Ziel auf 315 US-Dollar
- Apple stellt neues Black Unity Apple Watch Armband vor
- AirTag 2 vorgestellt: Mehr Reichweite, Ortung und Schutz
- Apple und neue Macs: Kommen höhere Speicherpreise?
- Apple und Indien: Kartellverfahren mit globaler Sprengkraft
- Datenleck ohne Hack: So kamen 149 Millionen Passwörter ins Netz
- WhatsApp testet neue Gruppenfunktion für Chat-Verläufe
- Apple bleibt Branchenmaßstab im Fortune-Ranking 2026
- Apple Event für Kreative: Kommt das neue MacBook Pro?
- Apple-KI-Klage: Richter weist Musks Quellcode-Antrag ab
- Apple wirft der EU politische Verzögerungstaktiken vor
- App Store: Ab März 2026 kommt deutlich mehr Werbung
- Apple Watch verbessert Früherkennung von Vorhofflimmern
- Apple steigerte 2025 seine Lobbyausgaben in den USA deutlich
- Apple unter Druck: Investoren fordern China-Transparenz
- Apple TV und die Oscars 2026: F1 wird zum Hoffnungsträger
- Apple lockt Käufer in China mit Rabatten zum Neujahr
- ChatGPT Atlas: Neues Update macht den KI-Browser besser
- Apple führt Global 500 2026 als wertvollste Marke an
- Apple-Zulieferer Luxshare: Hacker stehlen Produktdaten
- Threads führt weltweit Werbung ein – das ändert sich jetzt
- Apple TV enthüllt Starttermin von For All Mankind Staffel 5
- Apple reagiert auf BOE-Probleme und setzt auf Samsung
- Apple und Tracking: Frankreichs Urteil mit Signalwirkung
- iPad Pro & Air: Apple liefert neue Firmware für Magic Keyboard
