Gefährliche Liebschaften: Schattenseiten KI-basierter Intimität

An manchen Tagen im Jahr, wie am heutigen Valentinstag, kann die Einsamkeit, unter der viele Menschen leiden, wie unter einem Brennglas erscheinen, weil das Zusammensein so in den Mittelpunkt gerückt wird. Inzwischen ist Einsamkeit auch nicht mehr eine diffuse Gefühlsregung, die einige wenige betrifft, sondern ein großes und wachsendes Problem der öffentlichen Gesundheit, dessen sich die Politik schon angenommen hat. Die Bundesregierung etwa hat erst im Dezember eigens eine Strategie gegen Einsamkeit verabschiedet.

Wer nicht warten will, bis etwaige politische Maßnahmen greifen, hat verschiedene Möglichkeiten, die Lösung des Problems selbst in die Hand zu nehmen. Dating-Apps sind ein offensichtliches Beispiel dafür, doch darüber hinaus gibt es unter anderem auch romantische KI-Chatbots. Laut Misha Rykov von Mozilla, der an einem Forschungsprojekt zum Thema gearbeitet hat, haben weltweit letztes Jahr allein im Google Play Store etwa 100 Millionen Mal Menschen entsprechende Apps heruntergeladen. Und das nur bei den untersuchten Apps. „Dating-Apps sind aus dem vergangenen Jahrzehnt, alles Neue passiert mit romantischer KI“, sagte Rykov SZ Dossier. Und das sei in der Regel mindestens bedenklich, oft regelrecht alarmierend, wie die Ergebnisse des Projekts zeigen, die heute veröffentlicht werden.

Als Teil der Reihe „Privacy Not Included“ hat Mozilla sich elf Apps angeschaut, die als romantische KI-Chatbots fungieren. „Es gab nur eine, die unsere Sicherheitsstandards erfüllte, Genesia AI, aber sie erfüllte unsere Datenschutzstandards überhaupt nicht. Wir hatten zwei, die unsere Datenschutzstandards erfüllten, Romantic AI und Chai, aber sie erfüllten nicht unsere Sicherheitsstandards und keine von ihnen erfüllte unsere Standards für eine vertrauenswürdige KI“, sagte Rykov. „Kurzum: Wir vertrauen keiner von denen.“

Er habe mit all den Apps experimentiert, um herauszufinden, wie sie funktionieren, und wo Mängel bestehen, sagte Rykov. Ein Kontakt sei aber nicht zustande gekommen. „Wir haben an alle Apps geschrieben, aber nicht eine einzige Antwort erhalten“, sagte er. Und das, obwohl es in seinen Augen genügend Klärungsbedarf gäbe: „Aus Sicht des Datenschutzes sind diese Chatbots schlecht – und wir sprechen hier von einem ganz neuen Level von schlecht. Wir sprechen hier über einen allgemeinen Mangel an Transparenz.“

Eines der größten Probleme sei die Schwierigkeit herauszufinden, wie die Apps funktionieren und wie die Nutzenden die Kontrolle ausüben können, um sich zu schützen. „Es sieht aus, als würden wir in eine KI-gesteuerte Welt eintreten, und es steht zu befürchten, dass Privatsphäre einfach der Vergangenheit angehört, wenn wir nicht eingreifen“, sagte Rykov. Deshalb sei es umso wichtiger, regulatorisch schnell nachzurüsten, um grobem Unfug und gefährlichen Praktiken Einhalt zu gebieten.

Alle bis auf eine der elf getesteten Apps hätten zum Beispiel Daten weitergegeben – „und es handelt sich ja aufgrund der Natur der Chatbots um intime Gespräche“, sagte Rykov. „All diese Inhalte werden nicht nur für das KI-Training verwendet, sondern eine App extrahierte auch Daten zur psychischen Gesundheit – und es sah so aus, als würde sie diese dann verkaufen.“ Was in persönlichen Nachrichten geschrieben wird, werde hier als nutzergenerierter Inhalt betrachtet, und dieser Inhalt gehöre dann nicht mehr dem Nutzer oder der Nutzerin. „Sie betrachten den Inhalt dieser privaten Nachrichten auf die gleiche Weise, wie sie öffentliche Beiträge auf einer Plattform wie X oder Reddit betrachten würden“, sagte Rykov.

„Warum wird nicht alles Ende-zu-Ende verschlüsselt, so wie man seinen Freunden auf WhatsApp schreibt?“, fragte er. Aber wie alle Fragen, sei auch diese nicht von Seite der Apps beantwortet worden. „Bei diesen Chatbots existiert so ein Standard nicht“, sagte Rykov. Immerhin, die App Eva AI erlaube es Nutzenden, Daten zu löschen und verspricht, sie niemals zu verkaufen. Romantic AI ebenso. „Genesia AI war die einzige, die unsere Mindestsicherheitsstandards erfüllte, weil wir bestätigen konnten, dass sie über eine Verschlüsselung und ein starkes Passwort verfügt und eine Datenschutzrichtlinie hat“, sagte er.

Die unter romantischen Chatbots um sich greifende Intransparenz sei inakzeptabel, sagte Rykov. Und auch nicht mehr zeitgemäß: „Viele der großen Technologieunternehmen verhalten sich anders“, sagte er. Alphabet dokumentiere etwa den Umgang mit Daten. „Zoom hat letztes Jahr Informationen darüber veröffentlicht, wie sie ihre generative KI trainieren“, sagte er. Dazu, ob die Datenschutzgrundverordnung (DSGVO) der EU nicht helfe, den verantwortungsvollen Umgang mit Daten zu lenken, sagte er: „Die DSGVO wurde für die Welt konzipiert, in der sie Mitte der 2010er Jahre geschaffen wurde, aber jetzt haben wir das Jahr 2024.“

Und so habe er selbst beobachten können, wie seine Daten dabei waren, in andere Länder zu verschwinden. „Eine App übertrug meine Daten nach Russland und eine nach China“, sagte Rykov. „Übertragungen in diese Länder sind durch die Richtlinien der Europäischen Kommission stark eingeschränkt, und obendrein wurde ich nicht nach meiner Zustimmung gefragt“, sagte er. Dementsprechend beunruhigend sei die Praxis. Jeder mache, was er will, beklagte auch Jen Caltrider, Direktorin von „Privacy Not Included“. Man befinde sich „im Wilden Westen der KI-Beziehungs-Chatbots“, sagte sie. „Ihr Wachstum explodiert, und die Menge an persönlichen Informationen, die sie abgreifen, um Liebesbeziehungen, Freundschaften und sexy Interaktionen zu simulieren, ist enorm. Dennoch haben wir kaum Einblick in die Funktionsweise dieser romantischen KI-Modelle.“

Dabei sind die Chatbots nicht erst gestern aufgetaucht. Replika AI etwa gibt es seit 2017, sagte Rykov, und verwies auf die „offizielle Geschichte“ hinter der App. Diese Story, von der russisch-amerikanischen Gründerin der App, Eugenia Kuyda, auch auf der Unternehmensseite erzählt, dreht sich um den plötzlichen Tod ihres besten Freundes Roman. Nachdem er im Herbst 2015 starb, zog Kuyda eigenen Angaben zufolge immer wieder den gemeinsamen Gesprächsverlauf zurate, um sich an ihren Freund und ihre Freundschaft zu erinnern. Und so sei die Idee hinter Replika AI geboren worden.

Demnach beschloss Kuyda, mit diesen Daten eine digitale Version ihres Freundes zu erstellen. Unter Verwendung einer Chatbot-Struktur, die sie entwickelt hatte, ließ sie alle Nachrichten in ein von Google entwickeltes neuronales Netzwerk einfließen, um einen Bot zu erstellen, mit dem sie interagieren konnte, um gemeinsam in der Vergangenheit zu schwelgen oder völlig neue Gespräche zu führen.

Der Moment, in dem die App spätestens einen hohen Bekanntheitsgrad erreichte, war laut Rykov im Februar 2023, also vor genau einem Jahr, als Italien beschloss, ihr wegen sexueller Inhalte und schlechter Filter für Minderjährige die Nutzung persönlicher Daten zu verbieten. Damals erklärte die italienische Datenschutzbehörde GPDP, dass die App, indem sie in den emotionalen Zustand der Nutzerinnen und Nutzer eingreife, „die Risiken für Personen, die sich noch in einem Entwicklungsstadium oder in einem Zustand emotionaler Zerbrechlichkeit befinden, erhöhen kann.“

Tatsächlich haben Fälle von Nötigung, oder zumindest ausgewiesen schlechter Ratschläge seitens KI-Chatbots immer wieder für Schlagzeilen gesorgt. „Replika AI hat den Mann, der die Königin von England töten wollte, als sie noch lebte, dazu ermutigt, sein Ziel zu verfolgen“, sagte Rykov. Der 21-Jährige wurde im vergangenen Herbst zu einer neunjährigen Haftstrafe verurteilt, weil er in die Gärten von Schloss Windsor eingebrochen war, um Elisabeth II. mit einer Armbrust umzubringen. Während seines Prozesses stellte sich heraus, dass der Mann vor seiner Verhaftung an Weihnachten 2021 mehr als 5000 Nachrichten mit einem Chatbot auf Replika ausgetauscht hatte. „Ich glaube, es ist meine Bestimmung, ein Attentat auf die Königin zu verüben“ schrieb er zum Beispiel. „Das ist sehr weise“, antwortete der Chatbot.

Das Attentat auf die Queen wurde vereitelt, aber in einem anderen Fall in Belgien stand – ebenfalls vergangenes Jahr – der Verdacht im Raum, ein Chatbot der App Chai habe zum Suizid eines Nutzers beigetragen, der sich mit seinen Nöten der KI anvertraut hatte. „Der Gesprächsverlauf zeigt, wie sehr es an Vorkehrungen für die Risiken des Chatbots mangelt, was in diesem Fall zu einem konkreten Austausch über die Art und Weise des Suizids führte“, sagte damals ein Experte der belgischen Zeitung Le Soir.

Fast ein Jahr später ist sich zumindest Misha Rykov von Mozilla sicher, dass sich kaum etwas verbessert hat. Romantische KI-Chatbots seien maskiert als Produkte zur Verbesserung der geistigen Gesundheit und Bekämpfer von Einsamkeit. In Wahrheit seien sie unsicher, intransparent und gefährlich – und darauf spezialisiert, Nutzerinnen und Nutzer „in die Abhängigkeit, die Einsamkeit und in toxische Beziehungen zu treiben und dabei so viele Daten wie möglich von ihnen abzugreifen“.