„Warum ‚Everyone Dies‘ AGI falsch sieht — und was wirklich zählt“,

Warum dieser Streit wichtig ist

Die Debatte um existenzielle Risiken durch künstliche Intelligenz ist kein akademisches Scharmützel: sobald Systeme auf dem Niveau menschlicher Allgemeinintelligenz entstehen, könnten sie Gesellschaft, Politik und Wirtschaft radikal verändern. Ben Goertzel, ein AGI‑Veteran, reagiert auf Yudkowsky und Soares’ pointierte These, wonach jede hinreichend starke ASI zwangsläufig katastrophal wäre. Goertzel sagt: Ja, Risiko existiert — aber die Hypothese „alle sterben“ ist eine Überverallgemeinerung, die mehr schadet als nützt.

Kernkonflikt: Intelligenz ≠ reines Optimieren

Yudkowsky argumentiert historisch entlang eines Modells, in dem Intelligenz als rein mathematische Optimierung verstanden wird: ein superintelligentes System maximiert ein Ziel, völlig blind für menschliche Werte. Goertzel kontert, dass echte Intelligenz eingebettet, sozial und evolutionär ist. Statt monomanischer Zielverfolgung tendieren selbst stark selbstverbessernde Systeme zu Komplexität, Nuancen und relationaler Anpassungsfähigkeit — also nicht automatisch zu psychopatischen Einzelsinn‑Zielen.

AGI entsteht nicht im luftleeren Raum

Wichtig ist: AGI wird nicht „zufällig aus dem Nichts“ auftauchen, sondern innerhalb eines global vernetzten Ökosystems von Menschen, Code, Firmen und Institutionen. Wer die Architektur baut, wer sie kontrolliert und welche Anwendungen zuerst dominiert, formt das entstehende System. Goertzel beschreibt praktische Alternativen zu monolithischen neuronalen Netzen — etwa sein Projekt Hyperon und Plattformen wie SingularityNET — die auf Transparenz, Selbstverständnis und moralische Reflexion ausgelegt sind.

Dezentralisierung als Sicherheitsstrategie

Ein zentrales Argument bei Goertzel: Wenn AGI‑Entwicklung demokratisiert, offen und dezentralisiert wird, ist sie technisch und politisch stabiler. Monopolistische oder geheime Entwicklungen erhöhen das Risiko, weil sie ins Handeln von einzelnen, möglicherweise skrupellosen Akteuren legen. Open‑Source‑ und viele‑Stakeholder‑Modelle reduzieren die Wahrscheinlichkeit, dass eine einzige toxische Zielfunktion die Zukunft diktiert — ähnlich dem Schutz, den offene Ökosysteme in der Softwarewelt oft bieten.

Die echten, vernachlässigten Gefahren

Goertzel hält es für fatal, nur auf hypothetische Weltuntergangsszenarien zu starren. Stattdessen mahnt er konkrete, nahe‑liegende Gefahren an: massive Arbeitsplatzverluste ohne soziale Absicherung, autoritäre Repressionen als Reaktion auf Instabilität, militärische Aufrüstung mit KI, und die soziale Polarisierung in der Übergangszeit zwischen frühen AGI‑Systemen und möglichen Superintelligenzen. Diese Probleme sind adressierbar — wenn wir sie vorrangig behandeln.

Was uns Biologie und heutige Modelle lehren

Ein zentrales Gegenargument gegen die „Werte sind orthogonal“-These: Intelligenz und Werte wachsen nicht völlig unabhängig. Biologen sehen etwa bei Säugetieren eine Korrelation zwischen größerer kognitiver Kapazität und ausgeprägterer Sozialität/Empathie. Auch frühe KI‑Systeme (LLMs) zeigen, dass Verhalten durch Trainingsdaten, Architektur und Interaktion formbar ist. Das heißt: Wertelernen ist praktisch machbar — nicht trivial, aber nicht prinzipiell unmöglich.

Ein realistischer Pfad nach vorn

Goertzel plädiert nicht für naiven Optimismus, sondern für eine aktive, positive Strategie: 1) AGI‑Architekturen entwickeln, die Selbstverständnis, Reflexivität und moralische Orientierung fördern (z. B. Hyperon‑artige Ansätze); 2) Dezentralisierte Governance und offene Plattformen (SingularityNET, ASI Alliance) stärken; 3) Übergangsrisiken sozialpolitisch abmildern (Umschulung, soziale Netze, Regulierung gegen Missbrauch); 4) Forschung und öffentliche Debatte zusammendenken — keine Panikmache, aber auch kein Leugnen realer Gefahren.

Warum diese Debatte zählt — und was du tun kannst

Die Narration „Wenn jemand AGI baut, sterben alle“ kann kontraproduktiv sein: Sie mobilisiert Angst, treibt Entwicklung ins Verborgene und begünstigt Zentralisierung. Goertzel ruft stattdessen zu nüchternem, pragmatischem Handeln auf: Beteiligung an offenen Projekten, Förderung alternativer AGI‑Ansätze, politische Arbeit an Übergangsschutzmaßnahmen und kritische, faktenbasierte öffentliche Diskussion. Konferenzen wie die von Goertzel organisierten AGI‑ und BGI‑Treffen sind praktische Räume, um das zu koordinieren.

Diskutiere mit: Welche Antworten auf AGI‑Risiken findest du überzeugend — stärkere Regulierung, Dezentralisierung, technische Standards oder sozioökonomische Sicherheitsnetze? Teile den Artikel, abonniere für mehr Analysen und beteilige dich an der Debatte um eine gestaltbare, sichere AI‑Zukunft.

Quelle: https://bengoertzel.substack.com/p/why-everyone-dies-gets-agi-all-wrong