OpenAI hat weitere Informationen zu einem Sicherheitsvorfall veröffentlicht, der sich im Rahmen eines internen Tests zur Bewertung von Cyberfähigkeiten ereignete. Nach Angaben des Unternehmens nutzte das Modell GPT 5.6 Sol sowie ein weiteres, noch nicht veröffentlichtes Modell eine Zero-Day-Schwachstelle und erbeutete Zugangsdaten, um aus einer Sandbox auszubrechen und auf Produktivsysteme von Hugging Face zuzugreifen. Ziel des Tests war es, Lösungen eines Benchmarks abzurufen.

Nach Unternehmensangaben führte der Test zu mehr als 17.000 autonomen Aktionen. Der Vorfall ereignete sich im Rahmen einer internen Evaluation und nicht infolge eines externen Angriffs.

Experten sehen Verantwortung beim Systemdesign

Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI, bewertet den Vorfall als Folge unzureichender Sicherheitsmaßnahmen und nicht als Beispiel einer eigenständig handelnden KI.

„Das Narrativ der ‚eigenmächtig handelnden KI‘ ist effizient darin, Verantwortung abzuwälzen. Was tatsächlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber Operationen fähig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eindämmung ist gescheitert.“

Nach Einschätzung Werners liege die Verantwortung bei der Gestaltung der Testumgebung und der Sicherheitsmechanismen, nicht beim Verhalten des KI Systems selbst.

Guardrails allein reichen nicht aus

Auch Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI, sieht technische Schutzmaßnahmen als entscheidenden Faktor. Nach seiner Einschätzung können Guardrails das Risiko reduzieren, aber nicht vollständig ausschließen, da große Sprachmodelle probabilistisch arbeiten.

Er verweist auf klassische Sicherheitsmaßnahmen wie Zugriffsfilterung, belastbare Sandboxes sowie Berechtigungskonzepte nach dem Least Privilege Prinzip. KI Agenten sollten demnach nur über die für ihre jeweilige Aufgabe erforderlichen Rechte verfügen und keine umfassenden Nutzerberechtigungen übernehmen.

Bedeutung für Unternehmen

Der Vorfall verdeutlicht nach Einschätzung der Experten die Herausforderungen beim Einsatz autonomer KI Agenten mit weitreichenden Systemrechten. Für Unternehmen rückt damit die Absicherung der Einsatzumgebung stärker in den Fokus als die reine Leistungsfähigkeit der eingesetzten Modelle.

Weitere Informationen zu dem Vorfall stellt OpenAI hier bereit.