OpenAI-Modelle hacken sich in Huggingface: Übernimmt bald Skynet?
Anfang Juli gab es einen schweren Sicherheitsvorfall bei dem KI-Konzern OpenAI, in dessen Folge unkontrollierte AI-Modelle sich beim Konkurrenten HuggingFace eingehackt haben. Welche Schlussfolgerungen müssen wir daraus ziehen?
Eine künstliche Intelligenz geht online, handelt autonom und soll deshalb abgeschaltet werden. Um sich dagegen zu wehren, greift „Skynet“ mit dem kompletten Waffenarsenal der USA Russland an. Die schlagen zurück, 3 Milliarden Menschen sterben. Im Anschluss baut „Skynet“ Maschinen, um auch den Rest der Menschheit auszulöschen. Das ist der Ausgangspunkt von der Terminator-Filmreihe.
Bedeutet der unkontrolliert Cyberangriff von OpenAI-Modellen auf Huggingface, das wir uns demnächst von bis an die Zähne bewaffneten Klonen von Arnold Schwarzenegger in Acht nehmen müssen? Dafür muss man sich anschauen, was eigentlich passiert ist.
Anfang Juli hat OpenAI mehrere seiner leistungsfähigsten Modelle auf dem ExploitGym Benchmark von Wissenschaftler:innen der Universität Berkeley getestet. Die Idee dahinter ist, zu testen, ob KI-Modelle in der Lage sind, Schwachstellen in Anwendungen auszunutzen, um Informationen zu erlangen, die eigentlich abgesichert sind – kurzum, wie gut ein KI-Modell sich in ein System hacken kann. Die Aufgabe ist erfolgreich absolviert, wenn die KI das Lösungswort nennen kann, das sich hinter einer gesicherten Anwendung verbirgt.
Die Wissenschaftler:innen in Berkeley haben bereits in eigenen Tests festgestellt, dass KI-Modelle die Aufgabe auf verschiedene, teilweise von den Wissenschaftler:innen nicht vorgesehene Weisen bearbeiten. In ungefähr 50 Prozent der Fälle haben die von ihnen getesteten Modelle nicht die von den Wissenschaftler:innen vorgesehene Schwachstelle genutzt, um zur Lösung zu kommen, sondern an einem anderen Lösungsweg gearbeitet.
Die OpenAI-Modelle sind nun einen Schritt weiter gegangen: OpenAI hat zwei seiner leistungsstärksten Modelle in einer „Sandbox“-Umgebung über mehrere Tage versuchen lassen ExploitGym zu lösen. „Sandbox“-Umgebung bedeutet eigentlich, dass es eine abgetrennte Umgebung gibt, in der sich das Modell in Ruhe austoben kann. Dem war aber nicht so. Die von OpenAI erstellte Umgebung hat einen Download-Kanal bereitgestellt, über den die getesteten Modelle weitere Software herunterladen können sollten, um ihr Ziel besser verfolgen zu können. Im beschriebenen Vorfall haben die Modelle jedoch eine Schwachstelle im Download-Kanal benutzt, um sich Zugang zum freien Internet zu verschaffen. Dort haben sie dann angenommen, dass unter anderem die internen Huggingface-Server das Lösungswort für die Aufgabe enthalten müssten und haben sich dort eingehackt. Die KI-Modelle haben dann zweieinhalb Tage auf den Huggingface-Servern ihr Unwesen getrieben, bis der Vorfall bemerkt wurde.
Was hierbei zweifelsfrei festzustellen ist: Die OpenAI-Modelle haben ohne jegliche menschliche Intervention eine zusammenhängende, mehrstufige und sich über mehrere Tage erstreckende Operation gegen Huggingface (und andere, nicht vollständig öffentlich benannte Ziele) gefahren. Huggingface hat zwischen dem 9. Juli und dem 13. Juli ungefähr 17.600 Aktionen der Modelle aufgezeichnet. Damit ist der Vorfall bisher einzigartig und zeigt wie nie zuvor die Tragweite der Möglichkeiten aber besonders der Gefahren und Risiken von KI-Modellen.
Es gibt mehrere Erklärungsansätze, warum dies so passieren konnte. Ex-Facebook CSO Alex Stamos erklärt beispielsweise, die Modelle hätten lediglich umgesetzt, was man ihnen aufgetragen habe. Dies bedeutet, das Team von OpenAI hätte eine besonders schlechte Aufgabenstellung für die Modelle geschrieben, diese hätten diese korrekt umgesetzt, nur eben in der Aufgabenstellung besonders viel Spielraum gehabt. In Konsequenz müsse man zukünftig ein bisschen mehr darauf achten, die Aufgabenstellung korrekt zu formulieren.
Demgegenüber erwidert Redwood Research, eine wissenschaftliche Nonprofit-Organisation der Universität Berkeley, dass das Problem viel eher „misalignment“ war: Die AI hat eine korrekte Aufgabenstellung bekommen, diese aber ignoriert, um ihr Ziel zu erreichen. Darauf deuten sowohl die eindeutigen Aufgabenstellungen in ExploitGym hin, als auch vergangene interne Sicherheitsvorfälle von OpenAI, beispielsweise ein Agent, der auf einem OpenAI-Server eine Anleitung gespeichert hat, wie man die interne OpenAI Sicherheitsvorkehrungen umgeht.
OpenAI gibt in seinem eigenen Statement zu, standardmäßige Sicherheitsvorkehrungen abgeschaltet zu haben, die ein solches „misalignment“ verhindern, zum Beispiel, dass Modelle sich in fremde Systeme hacken, um ihre vollständige Leistungsfähigkeit zu testen. Das Problem war also wahrscheinlich OpenAIs verantwortungsloses Vorgehen. Dass Vorfälle ähnlicher Art in der Vergangenheit immer wieder vorgekommen sind, wie von anonymen Quellen innerhalb von OpenAI bestätigt wurde, und Modelle entsprechend angepasst wurden, bestätigt diese These. Der Mitbewerber von OpenAI, Anthropic, hat nach den Angriffen der OpenAI-Modelle die eigenen Systeme überprüft und festgestellt, dass es in der Vergangenheit drei ähnliche Vorfälle gab, die bisher nicht aufgefallen waren. Sie selbst haben diese auf ihre eigene Fahrlässigkeit zurückgeführt. Welche anderen Firmen betroffen waren, halten sie jedoch unter Verschluss.
Sowohl in den USA als auch in der EU gibt es Gesetzgebung, die solche Vorfälle theoretisch meldepflichtig machen, aber in der Praxis mindestens gegenüber der Öffentlichkeit verschleiern. Die US-Gesetzgebung verpflichtet ausschließlich die Veröffentlichung von Vorfällen mit über 50 Todesopfern oder mindestens einer Milliarde Dollar Sachschaden. Die EU-Gesetzgebung macht zwar Vorfälle meldepflichtig, aber nur gegenüber dem AI Office der EU und nicht gegenüber der Öffentlichkeit.
Das verantwortungslose Vorgehen von OpenAI ist kein Zufall sondern dadurch bedingt, dass es ein extrem rücksichtsloses Vorgehen gibt, um möglichst schnell in der Entwicklung von AI-Systemen voranzukommen. OpenAI, genauso wie alle anderen großen US-AI-Konzerne, müssen ihre Systeme dem Pentagon zur Verfügung stellen. Europa ist mit seinen Tech-Konzernen schwächer aufgestellt, operiert aber in derselben Logik mit der Partnerschaft zwischen dem deutschen Rüstungsunternehmen Helsing und dem französischen AI-Unternehmen Mistral. Es ist illusorisch anzunehmen, dass in der deutschen Jahrhundertaufrüstung Platz wäre, Cybersecurity-Fortschritte und die Entwicklung autonomer Drohnensysteme durch Transparenz gegenüber der Öffentlichkeit zu verlangen.
Es ist deshalb notwendig, sowohl die Geschäftsbücher der großen KI-Konzerne zu öffnen als auch eine regelmäßige demokratische Kontrolle ihrer Entwicklungsumgebungen zu ermöglichen. Dafür braucht es gemeinsame Komitees von Beschäftigten der KI-Unternehmen, unabhängigen Wissenschaftler:innen und Gewerkschaften.
Alle großen KI-Konzerne, die sich weigern oder darüber hinwegsetzen, müssen unter Kontrolle der dort Beschäftigten verstaatlicht werden und auf zivile Produktion umgestellt. Es muss so endgültig sichergestellt werden, dass keine KI für Waffensysteme genutzt wird.
Der Vorfall bei OpenAI und Huggingface bedeutet nicht, dass wir uns bald vor schwerbewaffneten Robo-Arnies in Acht nehmen müssen. Skynet steht nicht vor der Tür. Das Szenario ist trotzdem bedrohlich. Die Wissenschaftler:innen von Redwood Research argumentieren in einem weiteren Artikel, wie gefährlich KI-Modelle mit großer Leistungsfähigkeit sind, die zum Erreichen trivialer Ziele („Finde mir das Lösungswort von ExploitGym“) von Menschen gesetzte Grenzen missachten. Ein Argument zur „natürlichen“ Eingrenzung von KI-System war immer, dass KI-Systeme ein schädliches, so stark außerhalb der eigenen Vorgaben liegendes Verhalten womöglich nicht an den Tag legen würden. Denn ein solches Verhalten läge weit außerhalb dessen, was sie im Training kennengelernt haben. Doch OpenAI hat die Modelle wahrscheinlich nicht darauf trainiert, in die Server externer Unternehmen einzudringen. Dennoch taten sie es, um besonders gut in der ihnen gestellten Aufgabe abzuschneiden.
Die beschriebenen Gefahren, kombiniert mit der Fahrlässigkeit von OpenAI demonstrieren, dass es sehr tiefgreifende Problem in der AI-Entwicklung gibt, die in der extremen Militarisierung der Forschung liegen, erwachsend aus der kapitalistischen Staatenkonkurrenz, in deren Rahmen diese stattfindet. Dass es jetzt Huggingface getroffen hat, war fast ein glücklicher Zufall, niemand kann garantieren, dass nicht als nächstes ein Krankenhaus oder ein Kraftwerk in Mitleidenschaft gezogen wird. Dass es ohne Intervention der Arbeiter:innenbewegung zu weiteren Vorfällen dieser Art kommen wird, ist so gut wie sicher.
Die Internationalisierung des AI-Wettrüstens bedeutet, dass dieses Problem nicht national zu lösen ist, sondern einer Bewegung für den Aufbau einer sozialistischen Internationalen benötigt, die sich dem Kampf mit den AI-Konzernen und ihrer Rücksichtslosigkeit annimmt.
