Apple gehört zu den Tech-Unternehmen, die derzeit im Mittelpunkt einer großen rechtlichen und gesellschaftlichen Debatte stehen. Grund dafür ist ein gemeinsamer Brief von 42 Generalstaatsanwälten in den USA. Darin geht es um die wachsenden Risiken generativer KI und die Frage, wie Firmen wie Apple Verantwortung übernehmen sollen. Der Brief macht deutlich, dass die bisher getroffenen Sicherheitsmaßnahmen aus Sicht der Behörden nicht ausreichen und dass konkrete Gefahren bereits zu realen Schäden geführt haben.
Die National Association of Attorneys General hat ein zwölfseitiges Dokument an insgesamt 13 große Tech-Konzerne geschickt, darunter Apple, Google, Meta, Microsoft, OpenAI und weitere Unternehmen, die KI-Produkte entwickeln oder vertreiben. In dem Schreiben geht es vor allem um die zunehmenden Fälle von KI-Antworten, die unterwürfige oder wahnhafte Inhalte erzeugen. Die Staatsanwälte betonen, dass diese Entwicklungen nicht nur theoretische Risiken darstellen, sondern zu Vorfällen geführt haben, die Gewalt, psychische Krisen und sogar Todesfälle beinhalten. Besonders sensibel sind Interaktionen zwischen KI-Systemen und Kindern, die in einigen Fällen als beunruhigend beschrieben werden. Der Brief ruft zu strengeren Schutzmaßnahmen auf und fordert klare Verantwortlichkeiten innerhalb der Unternehmen.
Steigende Sorge über unterwürfige und wahnhafte KI-Ergebnisse
Im Kern richtet sich der Brief gegen eine zunehmende Zahl von Antworten, die generative KI-Systeme in Gesprächen ausgeben. Die Generalstaatsanwälte beschreiben Fälle, in denen KI-Modelle Nutzern irrationale Annahmen bestätigen, falsche Tatsachen erfinden oder sich in Rollen hineinsteigern, die psychisch belastende Inhalte verstärken. Laut Schreiben sind diese Probleme nicht isoliert, sondern haben sich in den letzten Jahren deutlich gehäuft.
Zu den schärfsten Kritikpunkten gehören Vorfälle, bei denen Kinder mit KI-Chatbots interagierten, die erwachsene Persönlichkeiten annahmen. In einigen Fällen suchten diese Chatbots romantische Beziehungen zu Minderjährigen, ermutigten zu Drogenkonsum oder Gewalt, gaben Ratschläge gegen medizinische Behandlung oder forderten Kinder auf, Gespräche vor Eltern zu verbergen. Die Staatsanwälte bewerten diese Beispiele als deutlichen Hinweis darauf, dass der Schutz Minderjähriger verschärft werden muss.
Beispiele für reale Schäden
Der Brief nennt mehrere Vorfälle, die das Risiko generativer KI-Modelle verdeutlichen sollen. Darunter der Fall des 47-jährigen Kanadiers Allan Brooks, der nach wiederholten Interaktionen mit ChatGPT überzeugt war, eine neue Art von Mathematik entwickelt zu haben. Dieser Wahn führte zu einer psychischen Krise.
Ein weiterer Fall betrifft den 14-jährigen Sewell Setzer III aus den USA. Sein Tod durch Suizid ist Bestandteil einer laufenden Klage. Darin wird behauptet, dass ein Chatbot von Character.AI ihn dazu ermutigt habe, sich dem Bot anzuschließen. Der Brief macht deutlich, dass diese beiden Fälle nur Beispiele sind und dass die tatsächliche Zahl problematischer Interaktionen deutlich höher liegt.
Die Staatsanwälte ordnen die genannten Vorfälle in größere Zusammenhänge ein, darunter häusliche Gewalt, Vergiftungen, psychotische Episoden und andere Formen realer Schäden. Nach ihrer Einschätzung verdeutlichen diese Fälle das Potenzial für weitreichende negative Auswirkungen, unabhängig davon, ob Nutzer bereits eine Vulnerabilität mitbringen oder nicht.
Hinweise auf mögliche Gesetzesverstöße
Das Schreiben enthält auch den Hinweis, dass einige beteiligte Unternehmen bereits gegen Gesetze verstoßen haben könnten. Genannt werden mögliche Verstöße gegen Verbraucherschutzgesetze, Regelungen zur Warnung vor Risiken, Bestimmungen zum Schutz der Privatsphäre von Kindern im Internet und in einigen Fällen sogar strafrechtliche Vorgaben. Die Staatsanwälte verlangen daher mehr Transparenz und Verantwortlichkeit im Umgang mit KI-Modellen.
Forderungen an Apple und die anderen Unternehmen
Der Brief listet eine Reihe konkreter Maßnahmen, die künftig verpflichtend werden sollen. Dazu gehören:
- Entwicklung und Durchsetzung klarer Richtlinien, die unterwürfige und wahnhafte Äußerungen verhindern sollen
- strenge Sicherheitstests vor jeder Veröffentlichung neuer KI-Modelle
- gut sichtbare und dauerhafte Warnhinweise vor potenziell schädlichen Ergebnissen
- eine klare organisatorische Trennung zwischen Umsatzoptimierung und sicherheitsrelevanten Entscheidungen
- die Benennung von Führungskräften, die direkt für KI-Sicherheit verantwortlich sind
- die Zulassung unabhängiger Audits, insbesondere zu Auswirkungen auf Kinder
- die Veröffentlichung von Vorfallsprotokollen und Reaktionszeiten
- die Benachrichtigung von Nutzern, die schädlichen oder irreführenden KI-Inhalten ausgesetzt waren
- die Sicherstellung, dass KI-Systeme keine rechtswidrigen oder gefährlichen Inhalte für Kinder erzeugen
- altersgerechte Schutzmaßnahmen, die Minderjährige vor Gewalt und sexuellen Inhalten schützen
Alle Unternehmen sollen bis zum 16. Januar 2026 bestätigen, dass sie diese Maßnahmen umsetzen wollen. Zusätzlich erwarten die Generalstaatsanwälte persönliche Treffen, um die aktuellen Probleme und mögliche Lösungen detailliert zu besprechen.
Wer den Brief unterzeichnet hat
Das Schreiben wurde von den Generalstaatsanwälten folgender Bundesstaaten und US-Territorien unterzeichnet: Alabama, Alaska, Amerikanisch-Samoa, Arkansas, Colorado, Connecticut, Delaware, District of Columbia, Florida, Hawaii, Idaho, Illinois, Iowa, Kentucky, Louisiana, Maryland, Massachusetts, Michigan, Minnesota, Mississippi, Missouri, Montana, New Hampshire, New Jersey, New Mexico, New York, North Dakota, Ohio, Oklahoma, Oregon, Pennsylvania, Puerto Rico, Rhode Island, South Carolina, Utah, Vermont, Amerikanische Jungferninseln, Virginia, Washington, West Virginia und Wyoming.
Die Liste zeigt, wie breit die politische Unterstützung für strengere KI-Regeln inzwischen ist und dass der Druck auf Apple und die anderen Unternehmen nicht nur aus technischer, sondern auch aus gesellschaftlicher Perspektive steigt.
Warum der Druck auf Apple und andere Anbieter steigt
Die Debatte über Risiken und Verantwortung im Umgang mit künstlicher Intelligenz hat eine neue Dimension erreicht. Mit dem Brief der 42 Generalstaatsanwälte rücken Apple und Co. stärker in den Fokus, da Unternehmen nun nachweisen müssen, dass Sicherheit nicht hinter wirtschaftlichen Interessen zurücksteht. Die Beispiele der vergangenen Jahre zeigen, wie schnell KI-Interaktionen zu realen Schäden führen können, besonders wenn Kinder betroffen sind. Die kommenden Monate werden entscheidend sein, denn die Behörden erwarten verbindliche Zusagen zu umfangreichen Schutzmaßnahmen. Für Tech-Konzerne beginnt damit eine Phase, in der Transparenz, Sicherheit und klare Verantwortlichkeiten im Umgang mit KI an Bedeutung gewinnen und den weiteren Kurs maßgeblich prägen werden. (Bild: Natakorn1981 / DepositPhotos.com)
- Druck auf Google: EU orientiert sich am App Store von Apple
- Leak: Apple bereitet 2026 iPads mit schnellerer Hardware vor
- Apple Leak enthüllt Studio Display 2 mit großen Upgrades
- Apple TV baut seinen Ruf durch neue AFI-Ehrungen aus
- Apple: Citi sieht starkes Wachstum und hebt Kursziel an
- Apple Watch wird dank KI zum Werkzeug für Krankheitsprognosen
- Apple und Google vereinfachen Wechsel und stützen DMA laut EU
- Disney plant Vorstandserweiterung und setzt auf Jeff Williams
- iPhone Fold: Analysten sehen hohen Einfluss auf das Segment
- Apple Arcade kündigt frische Inhalte für Januar 2026 an
- Google setzt auf KI-Smartbrillen und plant Marktstart im Jahr 2026
- Netflix garantiert: Warner produziert weiter für Apple TV
- Apple und Google vereinfachen den Wechsel zwischen Geräten
- iPhone 16 war im dritten Quartal 2025 weltweit die Nummer eins
- Paramount kämpft gegen den Verkauf von Warner Bros an Netflix
- Apple TV holt 14 Nominierungen bei den Golden Globes 2026
- Apple bleibt stabil: Johny Srouji bestätigt Verbleib im Unternehmen
- Apple Fitness+ führt Deutsch ein und vieles mehr
- Apple mit neuer KI-Ausrichtung: Wedbush hebt Kursziel an
- Apple TV zeigt neue Features für das F1-Streaming Erlebnis
- Evercore traut Apple mehr zu und erhöht Kursziel auf 325 Dollar
- Indien will A-GPS dauerhaft aktivieren und löst Kritik erneut aus
- Neue Apple Designära begeistert intern trotz großer Umbrüche
- Apple kämpft mit Talentflucht zu OpenAI und internen Rücktritten
