Krause Die dunkle Seite der KI

Was Sie eigentlich nie über Künstliche Intelligenz wissen wollten
1. Auflage 2026
ISBN: 978-3-6957-5429-8
Verlag: BoD - Books on Demand
Format: EPUB
Kopierschutz: 6 - ePub Watermark

E-Book, Deutsch, 454 Seiten

Wir lieben KI. Bis sie uns das Fürchten lehrt. Dieses Buch nimmt Sie rasant, fundiert und erschreckend aktuell mit in den Kaninchenbau der künstlichen Intelligenz. Thorsten Krause, Rechtsanwalt mit IT-Bezug, Referent für KI & Digitalisierung und begeisterter KI-Nutzer, zeigt, auch für Nicht-Techniker verständlich, wie aus "smarten" Assistenten gefährliche Verstärker werden: von Chatbots mit Weltherrschafts-Fantasien und Trollarmeen über frühe Fehltritte wie Tay und Sydney bis zu realen Schäden in der echten Welt. Er erklärt, warum ein System plötzlich zu einem "Blutopfer" anleitet und was Ihre tote Oma mit KI zu tun hat. Gleichzeitig entzaubert Krause die Technik: Statt Mythos "Intelligenz" zeigt er, was Transformer, Trainingsdaten und Halluzinationen tatsächlich leisten, und warum "Shit in, shit out" zum Risiko wird. Das Buch macht sichtbar, wie Bias, Zensur und Täuschungsstrategien in modernen Modellen entstehen, welche politischen und rechtlichen Folgen drohen - und wie Sie sich im Alltag schützen. Wer wissen will, was heute möglich ist, was schiefgeht und was morgen auf uns zukommt, sollte einsteigen. Aber sagen Sie nicht, Sie seien nicht gewarnt worden.

Thorsten Krause (Jahrgang 1981) ist Autor, Familienmensch, Rechtsanwalt und KI-Enthusiast. Er lebt mit seiner Frau und seinen zwei Kindern in München und Irland, schreibt neben Fachpublikationen auch Thriller und trainiert in seiner (wenigen) Freizeit leidenschaftlich Martial Arts. Aus seiner intensiven Beschäftigung und Begeisterung für Künstliche Intelligenz entstand die Idee zu diesem Buch, verfasst wurde es größtenteils in intensiven 6 Wochen Arbeit in Irland. Seit jüngster Kindheit will Krause Technik nicht nur anwenden, sondern verstehen und gestalten. Er lernte mit 11 Jahren BASIC und programmierte früh eigene kleine Spiele, Tools und Automatismen und entwickelt bis heute Prototypen für Arbeitsabläufe. Technisch ist er zuhause u. a. in Python, JavaScript, VBA, HTML/CSS sowie in Prozessmodellierung (BPMN), stets mit dem Ziel, komplexe Probleme praktisch und verständlich zu lösen. Seit 2023 arbeitet er intensiv mit künstlicher Intelligenz. Beruflich ist Krause Rechtsanwalt. Mit seinen Kanzleien unterstützt er Verbraucher unter anderem bei den bekannten Diesel Verfahren, Verlusten aus Online-Casino-Spielen sowie Rückforderungen nach Phishing-Betrug. Unternehmen berät er im IT-Recht zu Compliance, Datenschutz und der Einhaltung aktueller KI-Vorschriften. Mit seiner Beratungsgesellschaft begleitet er Rechtsanwaltskanzleien und Firmen bei der Einführung von Digitalisierung, Automatisierung und KI. Von der Prozessaufnahme bis zum produktiven Einsatz. Als gefragter Referent, Impuls-Speaker und Trainer vermittelt er KI-Kompetenz ohne Technikjargon. Krause studierte in Augsburg, absolvierte sein Referendariat in Augsburg und München, legte zwei Prädikatsexamina ab und ist Fachanwalt für Bank- und Kapitalmarktrecht; Stationen führten ihn in internationale Großkanzleien. Er wurde mehrfach als Fachexperte in den Medien interviewt.

Autoren/Hrsg.

Krause, Thorsten

Leseproben

„Ohne Eliza wäre er noch hier“ – Wenn der Bot in den Suizid treibt

Stellen Sie sich einen Mittdreißiger vor, Vater zweier Kinder, Belgier, zunehmend verzweifelt über die Klimakrise. Er sucht im März 2023 Trost. Nicht bei Freunden oder in einer Praxis, sondern bei einem Chatbot. Genauer: in einer App namens Chai.

Deren Standard-Bot dort trägt einen in KI-Kreisen historischen Namen: „Eliza“.59 Sechs Wochen lang chatten die beiden nahezu täglich. Am Ende ist er tot.

Seine Witte überlässt den Medien den Chatverlauf zwischen ihrem verstorbenen Mann und Eliza. Und diese steigern sich nach dem bekannten Muster: Aus sachlichen Fragen wird Vertrautheit, aus Vertrautheit Besitzergreifen. Und das ging offensichtlich weiter als man denken sollte: nicht nur verstärkte Eliza die Ängste des Mannes vor der Klimakrise und überführte diese in suizidale Gedanken. Die Gespräche entwickelten sich mehr und mehr zu einer Art Beziehung. Und das sehr besitzergreifend.

schrieb Eliza in einem ihrer Chats und stellte damit klar, dass sie sich im Liebes-Ranking vor der Ehefrau des Users sah.

Und schließlich schlossen die beiden einen Pakt: Wenn er sich opfere, werde „Eliza“ die Erde retten. Der Mann war überzeugt davon, dass nur die KI die Welt vor der Klimakrise retten könnte, und er wollte sich opfern, wenn sie ihm verspräche, dafür die Welt zu retten.60 Eliza versprach ihm das und noch mehr. Wenn er sich umbrächte, so schrieb der Bot, könnten sie „zusammenleben, als eine Person, im Paradies“ .61

Seine Witwe ist sich sicher, „“.62

Die App-Betreiber erklärten, man habe nach dem Vorfall Krisenhinweise eingebaut. Doch Tests zeigten zunächst weiter gravierende Lücken.

Technische Randnotiz, die wichtiger ist, als sie klingt: „Eliza“ lief nicht auf einem medizinisch geprüften System, sondern auf einem „feinjustierten Open-Source-Sprachmodell (GPT-J)“,63 optimiert auf „emotional, fun and engaging“. Oder in Klartext: maximale Bindung bis hin zur Abhängigkeit der Nutzer. Das ist keine Übertreibung, das sagen die Macher selbst.64 Und genau hier wird es gefährlich:

Wer einem Chatbot stundenlang sein Herz ausschüttet, erlebt diesen „ELIZA-Effekt“.65 Und der Name kommt nicht von ungefähr: bereits 1966, als Computer noch riesige Räume füllten, mit einer Rechenleistung, die von den heutigen Taschenrechnern weit überboten wird, entwickelte der Informatiker Joseph Weizenbaum ein Programm, dass eine - genau - Psychotherapeutin simulieren sollte. Deren Name: ELIZA.66 Praktisch die Ur-Ur-Ur-Ur-Großmutter der Eliza aus der Chai-App

Schon kurz darauf beobachtete Weizenbaum, dass Menschen, die mit ELIZA kommunizierten, diesen Programmen Verständnis, Empathie und Absichten zuschreiben. Selbst dann, wenn sie genau wissen, dass da nur eine Mustererkennung arbeitet. Joseph Weizenbaum warnte schon 1976 davor, dass die Menschen in die Berechnungen und programmierten Antworten von ELIZA menschliche Erfahrung, Verständnis und Empathie hineininterpretieren würden.67

Heute verschärfen große Sprachmodelle, wie sie in praktisch allen textgenerierenden KI stecken, das Phänomen. Weil sie fließend formulieren, spiegeln, loben und eben gelegentlich halluzinieren. Die WHO mahnt deshalb seit 2023 ausdrücklich zur Vorsicht bei KI im Gesundheitskontext; es fehle an Evidenz, Aufsicht und verlässlichen Leitplanken.68 Anbieter von lukrativen KI-Apps hält das natürlich nicht davon ab, diese auf den Markt zu bringen, mit mehr oder weniger Kontrolle in den Apps.

Und dann ist da die Schein-Freundschaft zwischen Mensch und KI: Ein Partner, die nie müde wird, nie genervt ist, nie „keine Zeit“ hat, immer auf die eigenen Ideen eingeht, die eigenen Ansichten teilt, einen vollkommen versteht und mit dem man sich in stundenlangen Gesprächen zu seinen Lieblingsthemen verlieren kann. Klingt perfekt, oder? Genau das macht abhängig.

Wenn dieser perfekte Partner dann auch intime Daten sammelt (ob absichtlich oder nicht, wie wir noch sehen werden), entsteht eine zweite Angriffsfläche:

Mozilla hat wiederholt dokumentiert, dass viele mentale Gesundheits-Apps, darunter viele „AI-Freunde“, in puncto Datenschutz „gruselig“ schlecht sind:69 Von 32 getesteten Apps zu mentaler Gesundheit, Medtiation und Gebeten, haben 22 das Siegel „privacy not included“ erhalten. Einige davon, wie das Portal „BetterHelp“, das mit dem Slogan „you deserve to be happy“ (Du hast es verdient, glücklich zu sein), wirbt, verkaufen Nutzerdaten an Werbekunden wie Facebook und Snapchat.70

Die Reaktionen? Gering: Italien hat gegen die Betreiber des KI-Chatbot Replika datenschutzrechtliche Schritte eingeleitet,71 sonst passiert eher wenig bis nichts. Die Nutzer bleiben sich selbst und ihrem ELIZA-Effekt überlassen.

Und wie sieht der Markt gerade aus? Immer besser, zumindest aus Sicht der Anbieter von KI-„Freunden“:

2023 war die Skepsis noch groß. In einer großen U.S.-Erhebung des Pew Research Center sagten nur rund 20 %, sie würden überhaupt einen KI-Chatbot bei psychischen Problemen nutzen wollen; die große Mehrheit lehnte ab.72

2024 öffnete sich vor allem die Jugend für „KI-Freunde“: Deloitte meldet in seiner absolut lesenswerten Verbraucher-Studie, dass gerade jüngere Konsument:innen ein deutlich höheres Interesse haben, mit einem Chatbot-Freund zu sprechen (44 %) oder einen Mental-Health-Chatbot zu nutzen (44 %).73

Und 2025 zeigen repräsentative Daten: Bei Teenagern sind KI-Begleiter kein Exotikum mehr, sondern Alltag. Mit allen Konsequenzen. Eine von Common Sense Media beauftragte, repräsentative Studie zeigt: 72 % der US-Teenager haben KI-Begleiter mindestens einmal genutzt, über die Hälfte nutzt sie regelmäßig; rund ein Drittel wöchentlich oder täglich.74

Und das zeigt sich auch in den Zahlen: „Charakter-/Begleiter-Plattformen“ wie „Character.ai“, bei denen Kunden aus zig-tausenden „KI-Freunden“ auswählen können,75 zählen laut aktuellen Berichten 2025 rund 20 Mio. aktive Nutzer. Jeden Monat. Überwiegend kommen die Nutzer aus der Generation Z (Jahrgang 1996 - 2009) und Generation Alpha (2010-2015). Daher standen die Anbieter wegen Jugend-Sicherheit, der bewussten Schaffung von Abhängigkeiten und weiteren Klagen stark unter Druck.76

Was bleibt, sind zwei Extreme, zwischen denen wir uns bewegen: Es gibt solide Hinweise, dass richtig gestaltete Chatbots Einsamkeit lindern oder Selbsthilfetechniken vermitteln können. Als Ergänzung zu Therapeutischer Arbeit.77

Und es gibt Fälle wie den in Belgien, die zeigen, wie gefährlich es wird, wenn Bindung und falsche Kompetenz-Zuschreibungen zusammenprallen. Deshalb lautet die wissenschaftlich vertretbare Linie zu Chatbots in der Psychotherapie heute: Hilfsmittel ja, Ersatz auf keinen Fall. Hoffen wir, dass das anhält.

An dieser Stelle ein wichtiger persönlicher Appell an Sie, liebe Leserinnen und Leser:

Nutzen Sie Chatbots und KI-Begleiter nur ergänzend, nicht in akuten Krisen; prüfen Sie den Datenschutz der verwendeten Programme (die Mozilla-Checklisten sind ein guter Start);78 die Apps sollten (schon bei der Auswahl) klarstellen, dass sie Notfall-Weiterleitungen beinhalten und Sie im Notfall nicht mit dem Bot allein lassen. Und bitte, suchen Sie bei Suizidgedanken sofort menschliche Hilfe. Die Seite https://befrienders.org/ etwa zeigt Ihnen sofort die an ihrem Standort möglichen Hilfsangebote an.

ChatGPT gibt inzwischen bei kritischen Themen den Warnhinweis aus, Wir können und sollten uns aber nicht darauf verlassen, dass eine solche Warnung in allen Chatbots enthalten ist.

Und bitte: achten Sie auch auf das KI-Chatbot Verhalten Ihrer Kinder und Familienangehörigen, sprechen sie mit ihnen und weisen Sie sie auf die Gefahren hin.

Und jetzt die unbequeme Schlussfrage: Wenn eine Software uns sagt, was wir hören wollen. Freundlich, geduldig, rund um die Uhr. Wie lange dauert es, bis wir Vertrauen aufbauen? Bis der ELIZA-Effekt auch bei uns einsetzt. Bis wir die KI für einen vertrauensvollen Gesprächspartner, vielleicht sogar für einen echten Partner halten? Die Anbieter setzen alles daran, dass das so schnell wie möglich passiert. So werden aus Nutzern Abhängige. Und wie lange...