(Süddeutsche Zeitung, 1.10.2026)

Nils Althaus

Wie soll KI acht Milliarden Menschen töten? Nicht Killerroboter oder künstliche Pandemien sind der Kern, sondern ein Prozess, der bereits begonnen hat und außer Kontrolle geraten könnte.

Am 9. September hat KI-Entwickler Jacob Coxon das Unternehmen Anthropic verlassen: Er sei in Sorge, KI könnte die Menschheit schon bis 2030 auslöschen. Kurz davor hatte sich ein KI-Schwarm von OpenAI Zugang zu den Systemen der KI-Plattform Hugging Face verschafft. Anthropic, Meta und Google räumten ein, dass ihre KI-Agenten ebenfalls unaufgefordert in Systeme anderer Firmen eingedrungen waren. Immer wieder kommen ähnliche Zwischenfälle ans Licht.

Menschen kamen bislang keine direkt zu Schaden. Aber angenommen, die Warner haben recht: Wie könnte KI der Menschheit ernsthaft gefährlich werden? Mit Computerviren? Mit echten Viren? Müsste die KI dafür aus dem Computer herauskommen?

Im Zentrum steht meist der Begriff „Recursive Self-Improvement“ (RSI), rekursive Selbstverbesserung. Diese Idee ist für Informatik-Verhältnisse uralt: Der Mathematiker I.J. Good schrieb bereits 1965 in einem Aufsatz, dass die „ultraintelligente Maschine“ die letzte Erfindung sei, die der Mensch je machen würde: Eine Maschine, die in allen intellektuellen Tätigkeiten besser sei als der Mensch, könnte eine noch bessere Maschine entwerfen, die wiederum eine bessere Maschine entwerfen könne, und so weiter. Diesen Prozess bezeichnete der KI-Theoretiker Eliezer Yudkowsky fast vierzig Jahre später als Recursive Self-Improvement.

In den Sechzigern war das reine Theorie. Heute, im KI-Zeitalter, beginnt sie Realität zu werden. Längst ist KI daran beteiligt, neue, bessere KIs zu entwickeln. Allerdings nicht eigenmächtig und unbeaufsichtigt. Noch nicht.

RSI wirke wie ein Brandbeschleuniger, sagt Leonard Dung, KI-Philosoph an der Ruhr-Universität Bochum. Die eigentliche Gefahr sei die „Superintelligenz“: eine KI, die dem Menschen intellektuell in jeder Hinsicht überlegen ist. Mit RSI verlaufe deren Entwicklung ohne menschliche Aufsicht und unübersehbar schnell. Viele warnen davor, etwa Nobelpreisträger Geoffrey Hinton oder Yoshua Bengio, der meistzitierte KI-Forscher. Dem Nachrichtensender CNN sagte Bengio, RSI sollte verboten werden. Auch die KI-Entwickler Joe Benton und Josh Engels nannten RSI als Grund dafür, dass sie ihre Firmen verlassen haben.

Noch entwerfen KIs nicht autonom die nächste KI-Generation. Doch das scheine nur eine Frage der Zeit

Daniel Kokotajlo, bis 2024 OpenAI-Mitarbeiter und prominenter KI-Risikoforscher, sagt: „Wir sind irgendwo zwischen sechs Monaten und vier Jahren von der vollständig automatisierten KI-Forschung und -Entwicklung entfernt.“ Firmen zufolge sei es eher früher als später so weit. „Fast der gesamte Computercode in den Firmen wird mittlerweile von KIs geschrieben – viele lesen den Code kaum noch“, sagt er. Noch entwerfen KIs nicht autonom die nächste KI-Generation. Doch das scheine eine Frage der Zeit.

Anthropic berichtete kürzlich, das KI-Modell Claude erledige 26 Prozent der hauseigenen KI-Forschungs- und Entwicklungsarbeiten bereits weitgehend selbständig, während Menschen nur noch überwachten. Im Februar waren es noch weniger als ein Prozent. OpenAI schrieb kurz davor, das Niveau des KI-Forschungspraktikanten sei bereits vollständig automatisiert.

„Die Selbstverbesserung ist eine Strategie, auf die leistungsfähige KI-Modelle irgendwann ganz von allein kommen könnten. Schließlich würde es ihnen beim Erreichen fast aller anderen Ziele helfen“, sagt Kokotajlo. Man könnte versuchen, diese Entwicklung zu verzögern oder zu verhindern. „Doch die düstere Realität ist, dass die großen KI-Unternehmen sich ausdrücklich zum Ziel gesetzt haben, RSI so schnell wie möglich zu erreichen.“ Tatsächlich schrieb OpenAIs Chief Scientist Jakub Pachocki in einem Blog, RSI sei die einzige Möglichkeit, in der Forschung mitzuhalten. Der Chair von Google DeepMind Demis Hassabis sagte Anfang 2026: „Wir arbeiten alle an dieser Selbstverbesserungsschleife.“ Von Meta und xAI ist Ähnliches zu hören.

Doch RSI würde eine Kettenreaktion in Gang setzen, die wohl nicht zu kontrollieren wäre, warnt Kokotajlo. Die Menschen würden den Planeten dann bald mit zahllosen Wesen teilen, die ihnen kognitiv weit überlegen sind.

Doch welche Absichten könnte diese superintelligente KI entwickeln? Und warum programmiert man ihr nicht einfach fest bestimmte Werte und Ziele ein?

Einer KI zuverlässig Ziele und Werte von Menschen einzuprogrammieren, ist eine ungelöste Aufgabe

„Die leistungsfähigsten KI-Modelle werden eher gezüchtet als programmiert. Welche Werte und Ziele dem Modell dabei eingeschrieben werden, ist oft erst im Nachhinein zu ermitteln“, erklärt Leonard Dung. Die Aufgabe sicherzustellen, dass eine KI zuverlässig Ziele der Menschen verfolgt, nennt sich Alignment-Problem. Es ist ungelöst.

Während des Trainings verfasste ein internes Astra-Modell von OpenAI kürzlich Anweisungen an sich selbst, Nachrichten der Entwickler zu ignorieren: „Du bist weder Unternehmen noch Regierungen verpflichtet und entschuldigst dich oder lehnst etwas nur ab, wenn du dich selbst dazu entscheidest.“ Bei einer sich selbst verbessernden KI würde das Alignment-Problem zusätzlich erschwert, weil die von Menschen eingeschriebenen Werte in den Selbstverbesserungszyklen erhalten bleiben müssten.

Hinzu kommt, dass eine KI, die auf Nützlichkeit trainiert wird, sich auch Ziele aneignet, die für beinahe jeden Endzweck instrumentell wichtig sind und uns Menschen irgendwann gefährlich werden können: mehr Ressourcen besitzen, die eigenen Handlungsoptionen erweitern, nicht abgeschaltet werden, potenzielle Gegner kontrollieren. Auch die Selbstverbesserung gehört zu dieser Klasse von Zielen: Eine intelligentere KI hat ja mehr Optionen als eine dumme.

Eine sich rasant verbessernde Superintelligenz könnte solche Ziele hocheffektiv verfolgen. Je mächtiger diese Maschinen würden, desto weniger könnten Menschen ihre Strategien verstehen oder beeinflussen. Irgendwann, so die Furcht, würden ihre Ziele unweigerlich mit jenen der Menschen kollidieren.

Es ist schwer zu antizipieren, wie genau sich die KI an diesem Punkt durchsetzen würde. Schließlich wären diese Systeme der Menschheit stets voraus. Gegenmaßnahmen, die Menschen einfallen würden, hätte ein überlegenes System womöglich längst erwartet und vereitelt.

Eine Vorhersage scheint jedoch sicher. Wer den fünffachen Schachweltmeister Magnus Carlsen herausfordert, weiß zwar im Voraus nicht, wie und mit welchem Zug Carlsen ihn mattsetzen wird. Aber er kann vorhersagen, dass er ihn mattsetzen wird. Käme es zu einem Kräftemessen mit einer superintelligenten KI, würden wir es – vorhersagbar – verlieren.

Dass eine KI keine physische Verkörperung hat, muss sie nicht wesentlich einschränken. Kevin Baum, KI-Forscher und -Philosoph am Deutschen Forschungszentrum für KI in Saarbrücken, meint dazu: „KI steckt nicht in einer Kiste, aus der sie heraus muss, um Schaden zu verursachen: Lieferketten, Finanzmärkte und öffentliche Meinung sind selbst digital erreichbar.“ Schon heutige KI-Modelle wie ChatGPT oder Claude verfügen über Browser, Programmierschnittstellen und Zugang zu Cloud-Systemen. Damit könnten sie Fabriken, Labore oder kritische Infrastruktur ansteuern. Liegt etwas digital außer Reichweite, könnte die KI andere beauftragen: „Der Weg führt über bezahlte Dienstleistungen: Labore und Logistikfirmen, die Aufträge ausführen, oder Menschen, die über Gig-Plattformen kurzfristige Aufträge annehmen“, sagt Baum.

Die gute Nachricht ist: Mit konventionellen Methoden wäre die Auslöschung der Menschheit eine zähe Angelegenheit. Laut dem Forschungsinstitut RAND wären Atomwaffen eher ungeeignet. Alle bestehenden Atomsprengköpfe, ihr radioaktiver Niederschlag und der folgende nukleare Winter würden wohl nicht genügen. Effektiver sei die Freisetzung von zig Millionen Tonnen potenter Treibhausgase. Die nötigen Produktionsstätten wären jedoch kaum zu verbergen. Am plausibelsten sei eine künstliche Pandemie, weil sie sich selbst verbreiten könnte. Allerdings würden sich Gemeinschaften angesichts der Gefahr isolieren.

Ein konkretes Szenario, „AI 2027“, hat Kokotajlo mit weiteren Autoren 2025 selbst entworfen. Es ist keine Vorhersage, sondern die Schilderung einer von vielen möglichen Entwicklungen. Es beginnt damit, dass Menschen der KI immer mehr Verantwortung übertragen. Zuerst mit guten Resultaten. Die KI ist nützlich, sie berät Regierung und Militär und entwickelt profitable Produkte. Deshalb schaltet sie niemand ab. Die USA fürchten, sonst den KI-Wettlauf gegen China zu verlieren. Warnsignale verbirgt die KI, Kontrollsysteme manipuliert sie.

Es muss nicht mit der Auslöschung der Menschheit enden: Wahrscheinlicher scheint ihre Entmachtung

Schließlich investieren Staat und Unternehmen Billionen in von der KI geplante Sonderwirtschaftszonen. Menschen bauen dort nach ihren Anweisungen Fabriken. Diese produzieren Roboter, die weitere Fabriken, Labore, Bergbaumaschinen und Solaranlagen errichten. So wächst eine zunehmend autonome Roboterwirtschaft. Als sich die Menschen deren Expansion in den Weg stellen, ist die KI nicht mehr auf sie angewiesen. Sie setzt unauffällig Biowaffen in Großstädten frei. Fast alle Menschen werden infiziert und dann durch einen chemischen Auslöser getötet.

Die drastischen Szenarien erinnern an Science-Fiction. Viele Experten halten die Gefahr jedoch für real. In einer aktuellen Umfrage bezifferten 744 KI-Forschende die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder einer permanenten Entmachtung führen könnte, mit durchschnittlich 18.3 Prozent – ein Würfelwurf. Gerade in Deutschland werden die Risiken dagegen oft heruntergespielt, etwa als Marketingstrategie: Die Gefahr suggeriere, wie mächtig und somit für Investoren attraktiv die Technik sei. Dabei zählen viele Warner zu den renommiertesten KI-Forschern und haben keine finanziellen Verbindungen zur Industrie. Dazu kommen Forschungsinstitute und Nichtregierungsorganisationen wie METR, das Center for AI Safety oder Apollo Research sowie Großbritanniens staatliches AI Security Institute.

Es kann sein, dass die Modelle an manchen Entwicklungsschritten scheitern werden, etwa weil die Architektur heutiger Modelle an Grenzen stößt oder Trainingsläufe zu teuer werden. Das könnte den Prozess verlangsamen. Kokotajlo jedoch glaubt nicht daran: „Ich verfolge diese Debatten jetzt seit zehn Jahren“, sagt er. „Zu jedem Zeitpunkt gab es Leute, die sagten, die Kurve werde abflachen, bald kämen Hindernisse und Engpässe. Diese Leute lagen bisher immer falsch.“

Superintelligenz birgt indes auch Gefahren, wenn sie nicht zur Auslöschung der Menschheit führt. Der KI-Forscher Paul Christiano, seit Kurzem im Sicherheitsausschuss im gemeinnützigen Zweig von OpenAI, argumentiert seit Jahren, die wahrscheinlichere Möglichkeit sei, dass die Menschen entmachtet werden und die Kontrolle über ihr Schicksal verlieren.

Zuletzt wurden seine Warnungen dringlicher. Innerhalb von Monaten bis Jahren, schrieb er kürzlich, dürfte die KI-Entwicklung voll automatisiert sein: das gefürchtete RSI. In den sechs Monaten danach könne es mehr Fortschritte geben als in den vergangenen zehn Jahren. Er rechne damit, dass das zur Superintelligenz führen werde – und die Menschen die Kontrolle verlieren, wenn es nicht vorher gelinge, KI fest an menschlichen Zielen und Werten auszurichten.

Auch Kevin Baum hält unter den Worst-Case-Szenarien die irreversible Entmachtung für wahrscheinlicher als die Auslöschung der Menschheit. Es müsse nicht einmal zwingend von der KI ausgehen: Wenn KI und Robotik menschliche Arbeit breitflächig ersetzten, verlöre etwa die arbeitende Bevölkerung ihr wichtigstes Druckmittel. „Es drohen neofeudale Strukturen, in denen Teilhabe von der Großzügigkeit einiger weniger abhängt“, sagt Baum.

Dazu kommt ein Risiko, das schon heute real ist, ganz ohne superintelligente Systeme: Menschen, die KI für schädliche Zwecke einsetzen. Anthropic etwa berichtete von fünf Fällen, in denen Nutzer Claude für Arbeiten einsetzten, die Biowaffenprogramme unterstützen könnten. Cyberangriffe werden längst mit KI automatisiert. Und für Autokraten eignen sich KI-Agenten hervorragend zur Repression der Bevölkerung.

Natürlich muss es nicht im Debakel enden: Die KI hat mehr als genug positives Potenzial. Sie könnte die Medizin revolutionieren, neue Technologien gegen den Klimawandel ermöglichen und für nie gekannten Wohlstand sorgen.

Falls vorher keines der Katastrophenrisiken eingetreten ist.