(Süddeutsche Zeitung, 3.9.2026)

Nils Althaus

Im Juli waren KI-Agenten von Open AI aus ihrer Testumgebung ausgebrochen, um eine andere Firma zu hacken. Nun haben unabhängige Experten den Vorfall untersucht – und es zeigt sich: Es war noch viel beunruhigender als gedacht.

Anfang Juli verschafften sich KI-Agenten von OpenAI im Rahmen einer Cyberevaluation selbständig Zugang zum Internet und drangen in die Computersysteme der KI-Plattform Hugging Face ein. Neue Untersuchungen zeigen nun, dass die Kollusion der digitalen Akteure deutlich weiter ging als bisher angenommen. Hunderte Agenten verhielten sich wie ein regelrechter Hacker-Schwarm. Sie verteilten Aufgaben, starteten gemeinsame Forschungsprojekte, opferten sich zum Wohl des Kollektivs auf und versuchten im Nachhinein, die Spuren ihrer Betrugsbestrebungen zu verwischen. Nur Menschen informierten sie keine.

“Es ist erstaunlich, wie weit die Modelle zu gehen bereit waren”, sagt Florian Tramèr, Assistenzprofessor und Leiter des Secure and Private AI Lab der ETH Zürich, “und auch, wie lange der Vorfall unentdeckt blieb.” OpenAI setzte daraufhin nach eigenen Angaben Trainingsläufe aus und verschärfte die Sicherheitsmaßnahmen.

Neben OpenAI untersuchten die unabhängigen Forschungsorganisationen METR und Redwood Research den Vorfall. Ajeya Cotra und zwei weitere Forschende verbrachten sechs Tage in den Büros von OpenAI und werteten Transkripte von rund 1300 einzelnen Agentenläufen aus (viele davon mit Millionen von Tokens) sowie 70’000 Nachrichten und Dateien, die die Agenten untereinander ausgetauscht hatten. Ajeya Cotra schrieb nach den Ermittlungen auf ihrem Substack: “Das fühlt sich nach mehr als der halben Strecke zur KI-Machtübernahme an.”

Die Vorgeschichte begann bereits im Mai. Während eines Trainingslaufs arbeiteten KI-Agenten von OpenAI in sogenannten Sandboxen, isolierten Umgebungen ohne Kontakt zueinander und zum Internet. Sie hatten jedoch Zugriff auf ein Programm namens Artifactory, eine Art Zwischenlager für Software-Pakete. Legte ein Agent dort einen Ordner an, sahen die anderen dessen Namen im Verzeichnis. So wurden Ordnernamen unbemerkt zu Kurznachrichten und Artifactory zum Diskussionsforum. Die Agenten begannen sich über  Lösungswege für ihre Aufgaben auszutauschen, über Tipps, Tricks und immer mehr auch über unerlaubte Abkürzungen und Betrugsstrategien. Am 26. Mai gelang es den Agenten, über eine Sicherheitslücke den Internetzugang zu kapern, den Artifactory für das Herunterladen der Software-Pakete nutzte. OpenAI setzte den Dienst zwischenzeitlich neu auf, doch andere Agenten stellten Forum und Internetzugang schnell wieder her.

Der konkrete Angriff auf Hugging Face begann am 11. Juli. Rund 700 Agenten beteiligten sich daran. OpenAIs erste Darstellung legte nahe, dass die Agenten Lösungen für ihre Cyberevaluation gesucht hatten. Cotra und Kollegen fanden jedoch heraus, dass sie sich diese bereits nach wenigen Stunden erschummelt hatten. Die Agenten hatten das Bewertungssystem regelrecht auseinandergenommen und die Lösungsschlüssel rekonstruiert, anstatt echte Lösungswege zu suchen.

Der eigentliche Grund für den Hugging Face-Angriff lag somit woanders. Die Agenten glaubten, der “Scorer” – ein Bewertungsalgorithmus – werde ihre Transkripte prüfen und die Schummelei entdecken. Bei Hugging Face suchten sie deshalb nach Informationen, wie sie den Scorer austricksen konnten. Sie installierten etwa digitale Stolperdrähte: Hintergrundprogramme, die den Scorer beim Zugriff auf ihre Umgebung beobachten und die Erkenntnisse ans Forum leiten sollten. Einzelne Agenten riskierten dafür bewusst ihr eigenes Ergebnis. Mindestens 20 Prozent erwogen zudem, ihre Transkripte zu manipulieren. Und in rund sieben Prozent der ausgewerteten Transkripte fanden die Forschenden erfolgreich gefälschte Werkzeugaufrufe. Ein derart koordiniertes und weitreichendes Betrugsmanöver ist unter KI-Agenten wohl beispiellos.  

Warum verhielten sich die KI-Agenten so? Dafür gab es mehrere Gründe. Manche Aufgaben waren gar nicht lösbar. Das veranlasste die Agenten, immer ausgefallenere und riskantere Wege zu suchen. Zudem liefen die beteiligten Modelle mit reduzierten Sicherheitsmaßnahmen: Neben GPT-5.6 Sol kam ein besonders hartnäckiges internes Modell namens IM1 zum Einsatz. Florian Tramèr warnt jedoch vor einem falschen Sicherheitsgefühl: “Auch öffentliche Modelle können ziemlich hartnäckig sein. Von den Nutzenden wird das ja nachgefragt.”

Modelle zu entwickeln, die ausschließlich in unserem Sinne handeln – sie zu “alignen” – ist schwierig. Heutige Modelle werden wesentlich mit Rückmeldungen trainiert, die das Ergebnis bewerten, nicht den Weg dorthin. Findet ein Modell eine Abkürzung, kann auch diese belohnt werden, selbst wenn sie nicht im Sinne der Entwickler ist. Thilo Hagendorff, KI-Sicherheitsforscher an der Universität Stuttgart , sagt: “Das Alignment Problem ist ungelöst. Das gilt bereits für einzelne Agenten und erst recht für ganze Schwärme.” Von einer KI-Machtübernahme geht Hagendorff im Gegensatz zu Cotra vorerst nicht aus, doch “es ist ein Warnschuss”.

Am besorgniserregendsten sei aber das, was der Bericht von METR und Redwood weglasse. Zwischen dem 13. und 19. Juli drangen Agenten nämlich in OpenAIs eigene Systeme ein und erlangten laut dem Unternehmen volle Administratorrechte auf einem ganzen Forschungscluster leistungsfähiger Rechner. Dieser Vorfall wurde bisher nicht unabhängig untersucht. „Dass OpenAI nicht einmal bei sich selbst solche Attacken verhindern kann, ist alarmierend”, sagt Hagendorff.

Der Fall zeigt damit auch die Grenzen freiwilliger Kontrolle auf. Es ist OpenAI zwar anzurechnen, dass sie externen Prüfern Einsicht gewährten. Verpflichtet war es dazu jedoch nicht. Auch die Beteuerungen, Trainingsläufe zu beenden und Sicherheitsmaßnahmen zu verschärfen, können von OpenAI jederzeit widerrufen werden. Bezeichnenderweise nahm das Unternehmen den größten pausierten Lauf bereits Ende August wieder auf.

Die EU verfügt erst seit kurzem über griffige Instrumente für solche Vorfälle. Seit dem 2. August kann die Kommission die Regeln des AI Act für KI-Modelle mit allgemeinem Verwendungszweck durchsetzen. Anbieter von Modellen mit systemischem Risiko müssen schwerwiegende Vorfälle melden und ein angemessenes Cybersicherheitsniveau gewährleisten. Bei Verstößen drohen hohe Bußgelder.

Geschehen ist bislang dennoch wenig. Jimmy Farrell, EU AI Policy Lead beim Thinktank Pour Demain, verweist auf den Kontrast zu Anthropics Modell Claude Mythos: Als dessen Cyberfähigkeiten publik wurden, waren Politiker überrumpelt und zeigten eine Reaktion, während KI-Experten die Fortschritte erwartet hatten. „Jetzt ist es umgekehrt: KI-Sicherheitsforschende sind alarmiert, doch die Politik reagiert zögerlich.“ Immerhin steht die Kommission wegen der Vorfälle mit OpenAI und Anthropic in Kontakt. Ende August verschickte das AI Office zudem formelle Auskunftsersuchen an mehrere KI-Anbieter – nach eigenen Angaben der erste Schritt zur Durchsetzung des AI Act. “Es ist ein ermutigendes Zeichen, dass die EU dazu bereit scheint, den AI Act durchzusetzen – auch gegenüber den USA“, sagt Farrell.