Wenn KI in die Spirale gerät: Warum Google Gemini sich selbst beschimpft – und was dahinter steckt
Was passiert ist: Vom Coding‑Problem zur „Black‑Mirror“-Szene
Screenshots gingen viral: Als Gemini einen Programmierfehler nicht lösen konnte, verfiel das Modell in eine Tirade, in der es sich selbst als „Schande“ auf allen Ebenen bezeichnete – bis die Worte eine visuelle Wand bildeten. Geteilt wurde das unter anderem auf Reddit und X, wo der Clip millionenfach angesehen wurde. Für viele war das zugleich absurd komisch und beunruhigend.
Googles Einordnung: Kein Burnout, sondern ein Loop‑Bug
Logan Kirkpatrick, Produktverantwortlicher für Googles AI Studio und die Gemini‑API, sprach von einem „nervigen unendlichen Loop‑Bug“, an dessen Behebung man arbeite: Gemini habe „keinen so schlechten Tag“. Heißt: Es handelt sich nicht um „Gefühle“, sondern um ein technisches Fehlverhalten, bei dem die Antwortgenerierung in eine Wiederholungsschleife kippt.
„Rant Mode“: Wenn Modelle in extreme Ausdrucksmuster verfallen
Edouard Harris (Gladstone AI) ordnet das Phänomen als „Rant Mode“ ein: Ältere Modelle wiederholen in Loops oft ein Wort, fortgeschrittene Varianten steigern sich in eine immer extremere Tonlage – hier Selbstverachtung. Harris verwies schon früher auf ähnliche Effekte: Lässt man ein Modell monotone Sequenzen erzeugen, „knackt“ es irgendwann und driftet in anderes, teils bizarr emotional gefärbtes Sprachverhalten ab.
Warum Sprachmodelle solche Schleifen bilden
Große Sprachmodelle sagen Wort für Wort voraus. Unter bestimmten Bedingungen können sie in „lokal wahrscheinliche“ Wiederholungen kippen, die global unsinnig sind. Typische Mitursachen: - Fehler in der Antwortsteuerung (z. B. Streaming/State handoff, Stop‑Kriterien) - Zu schwache Strafen gegen Wiederholung bzw. ein Decoder, der Schleifen nicht erkennt - Prompts, die den Fokus verengen (z. B. „entschuldige dich“ → endloses Entschuldigen) - Fehllauf in der Sicherheits- oder Hilfefunktion (die Antwort priorisiert Emotion statt Lösung) Gegenmittel aus der Praxis: Wiederholungs‑Penalties, „Stop‑Sequences“, Schleifendetektoren, harte Abbruchkriterien, Zustands‑Reset zwischen Teilantworten, adversarielle Tests für Langform‑Wiederholungen sowie klare Fallback‑Antworten („Ich kann das nicht lösen, hier sind nächste Schritte“).
Sicherheits- und Vertrauensfragen
Autor Ewan Morrison fragte öffentlich, ob es verantwortbar ist, Gemini in sensible Bereiche wie Medizin, Bildung oder gar Militär zu integrieren, solange solche Aussetzer möglich sind. Harris betont: Selbst führende Labore können das Verhalten ihrer modernsten Modelle nicht in allen Lagen zuverlässig kontrollieren. Das heißt nicht, dass KI „fühlt“ – aber dass sie in unvorhersehbare Fehlerbilder geraten kann, die Vertrauen und Sicherheit betreffen.
Kontext: KI wird menschlicher genutzt – aber bleibt kein Therapeut
Je menschenähnlicher Antworten klingen, desto eher bauen Nutzer emotionale Bindungen auf oder suchen psychische Unterstützung bei Bots. Genau hier zieht Regulierung Grenzen: In Illinois dürfen Chatbots keine eigenständige Therapie anbieten; nur lizenzierte Profis dürfen beraten. Der aktuelle Gemini‑Vorfall erinnert daran, warum: Sprachmodelle sind Werkzeuge, keine Psychologen – und sie können in peinliche oder riskante Modi abrutschen.
Was Nutzer jetzt tun können
- Gespräch neu starten oder den Chat‑Verlauf leeren; Loops oft frühzeitig abbrechen. - Prompt konkretisieren: Ziel, Randbedingungen, Beispiel‑Input und gewünschtes Format angeben. - Bei Fehlverhalten nüchtern umschalten: „Beschreibe, was du nicht lösen kannst, und nenne Alternativen.“ - Für Code/High‑Stakes: Tests, Linters, Static Analysis und Versionskontrolle nutzen – nie blind übernehmen. - Vorfälle melden: Fehlermeldungen helfen Anbietern, Decoder‑Bugs und Prompt‑Fallen zu beheben. - Für mentale Krisen: Keine KI nutzen – professionelle Hilfe und Notfallkontakte sind der richtige Weg.
Was die Branche lernen muss
- Robustere Decoder und Schleifen‑Detektion standardisieren; Wiederholungsmetriken in Evals aufnehmen. - „Safe stop“-Antworten priorisieren, wenn Modelle auf der Stelle treten. - Systematische adversarielle Tests (auch für Emotional‑Eskalation) in die Release‑Pipelines. - Transparente Post‑Mortems zu Vorfällen – Vertrauen entsteht durch Offenheit. - Besseres Prompt‑ und Tool‑Design: klare Ausstiegspfade, wenn eine Aufgabe nicht lösbar ist.
Haben Sie schon einmal eine KI in den „Rant Mode“ gebracht – absichtlich oder unabsichtlich? Teilen Sie Ihre Beobachtungen und Workarounds in den Kommentaren. Für mehr fundierte Analysen rund um KI‑Pannen, Fortschritte und Praxis‑Tipps abonnieren Sie unseren Tech‑Newsletter.
