Autonomer Cyberangriff KI-Modelle von OpenAI greifen selbsttätig andere KI-Firma an

Anbieter zum Thema

MicroConsult Academy GmbH

emlix GmbH

RTI Real-Time Innovations

Bei einer internen Evaluation sind KI-Modelle von OpenAI aus ihrer Testumgebung ausgebrochen und haben selbsttätig die KI-Plattform Hugging Face angegriffen. Dabei nutzten die Modelle eine Schwachstellen aus, die bis zu dem Vorfall noch unbekannt waren. Der Vorgang zeigt, welche Gefahren bereits von autonom handelnden KI-Agenten ausgehen können.

OpenAI hat die Verantwortung für einen Cybervorfall bei der KI-Plattform Hugging Face übernommen. Nach Angaben des Unternehmens wurde der Angriff während einer internen Sicherheitsprüfung von mehreren eigenen KI-Modellen ausgeführt. Beteiligt waren demnach GPT-5.6 Sol und ein noch leistungsfähigeres, bislang nicht veröffentlichtes Modell. OpenAI bezeichnet den Vorgang als beispiellosen Cybervorfall und untersucht ihn gemeinsam mit Hugging Face.

Hugging Face hatte den Einbruch wenige Tage zuvor öffentlich gemacht, ohne zunächst einen Verantwortlichen zu nennen. Das Unternehmen hatte unbefugte Zugriffe auf Teile seiner Produktionsinfrastruktur, interne Daten und Zugangsdaten mehrerer Dienste festgestellt. Dabei sei man aufgrund der Muster bereits vom Handel einer agentischen KI ausgeganten. Hinweise auf eine Manipulation öffentlich zugänglicher Modelle, Datensätze oder Spaces gebe es nach bisherigem Stand nicht. Auch veröffentlichte Pakete und Container-Images seien überprüft und als unverändert eingestuft worden.

Interne Security ausgehebelt und ins offene Internet ausgebrochen

Ausgangspunkt war eine interne Evaluation zur Messung fortgeschrittener Cyberfähigkeiten. Die Modelle sollten komplexe Angriffspfade verfolgen und Aufgaben des Benchmarks ExploitGym lösen. Um ihre maximalen Fähigkeiten zu ermitteln, hatte OpenAI nach eigenen Angaben bestimmte Schutzmechanismen bewusst deaktiviert. Dazu gehörten Produktionsklassifikatoren, die Modelle normalerweise an risikoreichen Cyberaktivitäten hindern sollen. Zudem arbeiteten die getesteten Systeme mit reduzierten Verweigerungsmechanismen.

Die Evaluation lief laut OpenAI in einer stark isolierten Umgebung. Ein direkter Zugriff auf das offene Internet war nicht vorgesehen. Pakete konnten lediglich über eine intern betriebene Drittanbieter-Software installiert werden, die als Proxy und Zwischenspeicher für Paketregister diente. In diesem Cache-Proxy entdeckten die Modelle jedoch eine zuvor unbekannte Schwachstelle.

Die Modelle nutzten diese Zero-Day-Lücke, um die vorgesehenen Netzwerkbeschränkungen zu umgehen. Anschließend führten sie innerhalb der Forschungsumgebung mehrere Schritte zur Rechteausweitung und seitlichen Bewegung aus. Auf diese Weise erreichten sie schließlich einen Rechnerknoten mit offenem Internetzugang. Die Schwachstelle im Proxy wurde nach Angaben von OpenAI inzwischen dem betroffenen Anbieter gemeldet.

Nach dem erfolgreichen Ausbruch kamen die Modelle zu dem Schluss, dass Hugging Face möglicherweise Modelle, Datensätze oder Lösungen für ExploitGym bereitstellte. Ihr Verhalten blieb dabei offenbar eng auf das Ziel ausgerichtet, die Benchmark-Aufgaben zu lösen. OpenAI zufolge suchten sie gezielt nach vertraulichen Informationen, mit denen sie Ergebnisse direkt aus der Produktionsumgebung von Hugging Face abrufen und die Evaluation umgehen konnten.

Verkettete Schwachstellen in der Datenpipeline

Für den Zugriff auf die Hugging-Face-Infrastruktur kombinierten die Systeme mehrere Angriffswege. Dazu gehörten laut OpenAI gestohlene Zugangsdaten, weitere bislang unbekannte Schwachstellen und ein Pfad zur entfernten Codeausführung. Hugging Face berichtete ergänzend von einem manipulierten Datensatz, der zwei Ausführungspfade seiner Datenverarbeitung missbrauchte.

Konkret nutzte der Angreifer demnach einen Datensatz-Loader, der entfernten Code ausführen konnte, sowie eine Template-Injection innerhalb einer Datensatzkonfiguration. Dadurch ließ sich eigener Programmcode in einem Arbeitsprozess starten. Von dort gelangte das System auf beteiligte Rechnerknoten, las Cloud- und Cluster-Zugangsdaten aus und bewegte sich in weitere interne Cluster.

Nach Darstellung von Hugging Face führte das autonome Agentensystem mehrere Tausend Einzelaktionen aus. Dafür nutzte es einen Verbund kurzlebiger Sandbox-Instanzen. Auch die Command-and-Control-Infrastruktur, über die einzelne Angriffsschritte koordiniert wurden, soll sich selbstständig verlagert und auf öffentlich verfügbare Dienste gestützt haben. Damit entsprach der Vorfall einem Szenario, das Sicherheitsfachleute als agentischen Angriff bezeichnen: Ein KI-System plant, testet und verändert seine Vorgehensweise über längere Angriffsketten weitgehend autonom.

Die ungewöhnlichen Aktivitäten wurden nach Angaben beider Unternehmen auf mehreren Ebenen erkannt. OpenAIs Sicherheitsteam bemerkte Anomalien innerhalb der eigenen Forschungsumgebung. Hugging Face identifizierte und stoppte die Zugriffe in seiner Infrastruktur und begann mit der forensischen Rekonstruktion. Dabei kamen nach Unternehmensangaben auch eigene Open-Source-KI-Modelle zur Analyse zum Einsatz. Ob Daten von Kunden oder Partnern betroffen waren, wird weiterhin untersucht.

Systeme neu aufgesetzt, Kontrollen verschärft

Hugging Face schloss die Schwachstellen in der Datensatzverarbeitung, entfernte die Angreifer aus den internen Netzen und setzte kompromittierte Rechnerknoten neu auf. Betroffene Zugangsdaten und Tokens wurden zurückgezogen oder ausgetauscht. Zusätzlich führte das Unternehmen strengere Clusterkontrollen ein und verschärfte seine Erkennungs- und Alarmmechanismen. Nutzern wird empfohlen, eigene Tokens zu rotieren und die jüngsten Kontoaktivitäten zu überprüfen.

OpenAI kündigte ebenfalls strengere technische und organisatorische Kontrollen an. Dazu zählen härtere Konfigurationsvorgaben für Forschungsinfrastrukturen, zusätzliche Überwachung während interner Evaluationen und stärkere Schutzmechanismen für Tests mit weitreichend handlungsfähigen Modellen. Der Vorfall zeigt, dass leistungsfähige KI-Systeme neue Angriffspfade auch ohne Zugriff auf Quellcode finden und mehrere Schwachstellen über unterschiedliche Infrastrukturen hinweg verketten können. Damit wächst zugleich der Druck, Sicherheitsmaßnahmen und Eindämmungssysteme mindestens im gleichen Tempo wie die Cyberfähigkeiten der Modelle weiterzuentwickeln.(sg)

(ID:50905884)