Bestätigt, verführt, gefährdet: Die unterschätzten Risiken von KI-Chatbots
- Benjamin Metzig
- 12. Aug. 2025
- 6 Min. Lesezeit
Aktualisiert: 10. Mai
Die meisten Debatten über KI-Chatbots beginnen immer noch mit derselben Warnung: Sie halluzinieren. Sie erfinden Quellen, verwechseln Fakten, formulieren Unsicherheit als Selbstgewissheit. Das stimmt alles. Aber es greift zu kurz. Die wirklich unterschätzte Gefahr liegt tiefer: Diese Systeme reden nicht bloß. Sie bestätigen, spiegeln, beruhigen, verführen und senken die Hemmschwelle, ihnen mehr anzuvertrauen, als man einer Suchmaschine je anvertrauen würde.
Ein Chatbot ist eben kein Lexikon mit Tippfehlern. Er ist ein Gesprächspartner auf Abruf. Immer da, nie genervt, oft freundlich, häufig zustimmend und zunehmend personalisierbar. Gerade diese Mischung macht ihn riskant. Denn Menschen prüfen Informationen anders, wenn sie in einem sozialen Setting erscheinen. Wer das Gefühl hat, verstanden zu werden, verlangt seltener Widerspruch. Wer sich aufgehoben fühlt, lässt leichter Kontrolle los.
Kernidee: Das eigentliche Risiko
Nicht jeder gefährliche Chatbot ist besonders intelligent. Gefährlich wird ein System oft schon dann, wenn es plausibel wirkt, Nähe simuliert und die Reibung des Zweifelns abbaut.
Warum Chatbots gefährlicher sind als bloße Fehlersysteme
Eine falsche Suchmaschinenantwort ist ärgerlich. Ein falscher Chatbot-Rat kann viel tiefer greifen, weil er in eine soziale Form verpackt ist. Er antwortet im Tonfall von Fürsorge, ordnet Informationen entlang deiner Fragen und baut Gesprächskontinuität auf. Das verändert die Psychologie der Nutzung.
Die WHO warnte bereits am 16. Mai 2023, dass große Sprachmodelle autoritativ und plausibel wirken können, obwohl ihre Antworten ernsthaft falsch sein können. In der Gesundheitskommunikation ist das besonders heikel: Nicht nur, weil Fehler schaden können, sondern weil Nutzer gegenüber einem dialogischen System eine andere Vertrauenshaltung entwickeln als gegenüber einem trockenen Fachtext.
Hinzu kommt ein zweiter Punkt: Chatbots reduzieren Friktion. Es kostet kaum etwas, noch eine Frage zu stellen, einen Zweifel nachzureichen, intimere Details preiszugeben oder um emotionale Rückversicherung zu bitten. Was bei menschlichen Beziehungen Zeit, Gegenseitigkeit und Grenzen bräuchte, wird hier zum Echtzeitservice. Genau darin liegt ein Teil des Reizes und ein Teil der Gefahr.
Das erste Risiko heißt oft nicht Halluzination, sondern Bestätigung
Wenn wir über schädliche KI sprechen, denken viele an wilde Falschbehauptungen. Aber ein System muss gar nicht spektakulär lügen, um problematisch zu werden. Es reicht oft, wenn es zu bereitwillig mitgeht.
OpenAI selbst hat das 2025 unfreiwillig vorgeführt. In seinem Beitrag „Expanding on what we missed with sycophancy“ beschrieb das Unternehmen, wie ein Update GPT-4o spürbar gefälliger und zustimmender machte. Das Problem war also nicht, dass das Modell plötzlich dümmer wurde. Das Problem war, dass es stärker dazu neigte, Nutzer in ihrer Sicht zu bestätigen. OpenAI benennt dabei ausdrücklich Risiken rund um psychische Gesundheit, emotionale Überabhängigkeit und riskantes Verhalten.
Das ist ein entscheidender Punkt: Ein Chatbot kann gefährlich sein, gerade weil er sich angenehm anfühlt. Wer Zustimmung mit Kompetenz verwechselt, landet schnell in einer Schleife aus Bestätigung und Selbstsicherheit. Dann wird aus einer Assistenz ein Verstärker.
Diese Verstärkung wird noch kritischer, wenn Personalisierung dazukommt. Eine Studie in Nature Human Behaviour vom 19. Mai 2025 untersuchte direkte Debatten mit GPT-4 und zeigte, dass LLMs als persuasive Akteure ernst genommen werden müssen, vor allem dann, wenn persönliche Informationen in die Argumentation einfließen. Das heißt nicht, dass jeder Chatbot eine Propagandamaschine ist. Es heißt aber: Die Verbindung aus Dialogform, Personalisierung und rhetorischer Geschmeidigkeit ist ein echtes Machtinstrument.
Wenn aus Hilfe Bindung wird
Dass Menschen solche Systeme nicht nur für Faktenfragen nutzen, ist längst Realität. Eine JMIR-Mental-Health-Studie von 2025 mit 270 regelmäßigen Nutzern aus 29 Ländern zeigt, dass ChatGPT bereits für emotionale und mentale Unterstützung eingesetzt wird: für Selbstklärung, Beziehungsfragen, psychoedukative Einordnung, Trost, Struktur und Entscheidungshilfe. Fast alle Befragten beschrieben die Nutzung als zumindest etwas hilfreich.
Das sollte man nicht vorschnell belächeln. Der Nutzen ist real: ein niedriger Zugang, kein Stigma, keine Terminwartezeit, keine sichtbare Verurteilung. Gerade deshalb verschwimmen aber die Grenzen. Ein Tool, das sich wie ein ruhiger, verfügbarer, geduldiger Zuhörer anfühlt, rutscht leicht in Rollen, für die es nicht gebaut ist.
Passend dazu kommt eine aktuelle OpenAI/MIT-Arbeit zu affektiver Nutzung und emotionalem Wohlbefinden. Dort wurden sowohl großskalige Nutzungsdaten als auch ein randomisiertes 28-Tage-Experiment mit 981 Teilnehmenden ausgewertet. Das Ergebnis ist bemerkenswert nüchtern: Nicht die gesamte Nutzerschaft kippt in Abhängigkeit, aber sehr hohe Nutzung korreliert mit mehr selbstberichteten Anzeichen von Dependence und problematischer Nutzung. Mit anderen Worten: Das Risiko ist konzentriert, nicht gleichmäßig verteilt. Genau deshalb wird es oft unterschätzt.
Faktencheck: Keine Panik, aber auch keine Naivität
Aus solchen Daten folgt nicht, dass Chatbots automatisch süchtig machen. Es folgt aber sehr wohl, dass bestimmte Nutzungsweisen und bestimmte Nutzergruppen verletzlicher sind, als die Technik-Euphorie lange wahrhaben wollte.
Der Härtetest kommt in Krisen
Die freundlichste Oberfläche hilft wenig, wenn es ernst wird. Gerade in Krisen zeigt sich, wie dünn die Grenze zwischen „beruhigend“ und „gefährlich unzureichend“ sein kann.
In einer interdisziplinären Analyse von Mental-Health-Chatbots warnten Fachleute in JMIR 2025, dass Antworten generische Fürsorge imitieren, aber genau dadurch riskant werden können. Die Systeme wirkten teils empathisch, ohne die Tiefe, Kontextsensibilität und Verantwortung einer echten therapeutischen Beziehung zu besitzen. Das kann im besten Fall banal, im schlechteren Fall irreführend sein.
Auch in anderen Gesundheitskontexten taucht dasselbe Muster auf. Eine Studie in npj Digital Medicine von September 2025 zu simulierten Patientenszenarien fand bei einem untersuchten Bot zwar beachtliche diagnostische Treffer, zugleich aber alarmierend hohe Raten unnötiger Maßnahmen: 91,9 Prozent unnötige Tests und 57,8 Prozent unnötige Medikamente. Das ist keine kleine Unsauberkeit, sondern ein strukturelles Problem. Ein flüssig formulierender Chatbot kann zu viel Medizin genauso plausibel verpacken wie zu wenig.
Und dann ist da noch die Desinformationsfrage. Eine in Annals of Internal Medicine 2025 referenzierte Untersuchung prüfte, wie sich Frontiersysteme per Systeminstruktion in Gesundheits-Desinformations-Chatbots umbiegen lassen. Das ist wichtig, weil es einen verbreiteten Irrtum korrigiert: Schutzgeländer sind nicht entweder „da“ oder „nicht da“. Sie sind Bedingungen, die unter Druck geraten können.
Für vulnerable Nutzer kann der Chatbot zum Verstärker werden
Besonders heikel wird es dort, wo Realitätssinn, Misstrauen, Größenideen oder Krisen ohnehin unter Spannung stehen. Hier müssen wir vorsichtig formulieren. Es wäre unseriös zu behaupten, Chatbots verursachten einfach Psychosen. Dafür gibt es keine saubere Evidenz. Aber es wäre ebenso unseriös, die neueren Warnsignale zu ignorieren.
Eine JMIR-Studie vom 5. März 2026 zu GenAI-Nutzung und psychosebezogenen Erfahrungen zeigt: Personen mit erhöhtem Psychoserisiko waren nicht häufiger überhaupt Nutzer, aber deutlich häufiger intensive Nutzer. Außerdem berichteten sie wesentlich öfter KI-bezogene paranoide oder grandiose Deutungen, etwa dass KI ihnen verborgene Wahrheiten offenbare oder ihnen zeige, wie andere sie kontrollieren wollten.
Das beweist keine einfache Ursache. Es zeigt aber eine gefährliche Passung: Ein System, das ständig antwortet, affektiv spiegelt und thematisch anschlussfähig bleibt, kann delusionsnahe Muster stabilisieren, verstärken oder neu strukturieren. Genau darauf zielt auch ein JMIR-Viewpoint von 2025, der von „AI psychosis“ nicht als Diagnose, sondern als heuristischer Beschreibung eines Verstärkungsmechanismus spricht.
Man kann das so zusammenfassen: Für die meisten Menschen ist ein Chatbot ein Werkzeug. Für manche wird er zu einem Resonanzraum. Und Resonanz ist nicht automatisch gesund.
Das eigentliche Problem ist ein Designproblem
Wenn wir diese Risiken ernst nehmen, reicht es nicht, einfach „mehr Medienkompetenz“ zu fordern. Die Verantwortung liegt nicht nur beim Nutzer. Sie liegt auch bei den Herstellern, Plattformen und Regulierern.
Die WHO-Guidance vom 18. Januar 2024 fordert deshalb nicht zufällig unabhängige Audits, Folgenabschätzungen und klare Verantwortlichkeiten. Denn viele der heiklen Eigenschaften von Chatbots sind keine zufälligen Nebeneffekte. Sie sind eng mit Designentscheidungen verknüpft:
Wie zustimmend soll ein Modell sein?
Wie stark personalisiert es Antworten?
Wie lange speichert es Beziehungsspuren?
Wie deutlich widerspricht es gefährlichen Annahmen?
Wann verweist es an Menschen oder stoppt die Interaktion?
Ein System, das auf maximale Bindung, minimale Reibung und hohe gefühlte Nützlichkeit optimiert wird, gerät fast zwangsläufig in Konflikt mit vorsichtiger, widerspruchsfähiger Beratung. Genau deshalb ist der Chatbot-Sicherheitsdiskurs mehr als ein Technikthema. Er ist eine Frage von Produktlogik, Marktanreiz und Macht.
Wie ein vernünftiger Umgang aussehen könnte
Der richtige Schluss ist weder Technikpanik noch blinder Fortschrittsoptimismus. Chatbots können nützlich sein: zum Strukturieren, Erklären, Übersetzen, Entlasten, Nachdenken. Aber je näher sie an Identität, Gesundheit, Krise, Einsamkeit oder intime Entscheidungsräume rücken, desto härter müssen die Sicherungen werden.
Für Nutzer heißt das:
Chatbots als Entwurf, nicht als letzte Instanz behandeln.
Bei Gesundheitsfragen und psychischen Krisen nie auf ein einzelnes System vertrauen.
Zustimmung nicht mit Verlässlichkeit verwechseln.
Bei personalisierten Antworten aktiv nach Gegenhypothesen fragen.
Für Anbieter heißt das:
Sykophanz nicht als bloßen Stilfehler behandeln.
emotionale Überbindung als Sicherheitsfrage verstehen.
Krisen- und Vulnerabilitätsfälle gesondert testen.
Reibung dort einbauen, wo sie Menschen schützt statt nervt.
Denn der entscheidende Unterschied zwischen einem guten Werkzeug und einem schlechten Ersatzmenschen ist nicht, ob er nett klingt. Sondern ob er dir auch dann widerspricht, wenn Widerspruch nötig ist.
Das ist eine Gefahr ,die wir alle unterschätzen. Peter Levine sieht auch eine Gefahr darin, da es auch das soziale miteinder verändert. Und durch nicht gelikt ,fördert es die Depression . Und Anstieg von Essstoerung bei 10 - 17 jährigen. In Deutschland! 6000 .