OpenAI Safety Fellowship Kürzung: Ein riskanter KI-Sprung

Lisa Ernst · 12.04.2026 · Künstliche Intelligenz · 11 Min.

Die sich wandelnden Sande von OpenAIs KI-Sicherheitsparadigma

Seit Jahren beobachte ich die Entwicklung der künstlichen Intelligenz und verfolge aufmerksam das Zusammenspiel zwischen schnellem technologischem Fortschritt und dem wesentlichen, oft komplexen Streben nach Sicherheit. Nirgends ist diese Spannung spürbarer als bei OpenAI, einer Organisation, die mit der Mission gegründet wurde, sicherzustellen, dass künstliche allgemeine Intelligenz (AGI) tatsächlich der gesamten Menschheit zugutekommt. Mehr über ihre Mission erfahren Sie auf der Webseite der OpenAI Foundation.

Quelle: Eine Illustration zeigt ein humanoides Robotergesicht mit leuchtenden blauen Augen, was auf eine Zukunft hindeutet, in der KI und Menschheit verschmelzen und das Streben nach sicherer AGI symbolisiert.

Kurze Zusammenfassung

• OpenAIs erklärtes Bekenntnis: OpenAI betont öffentlich die Sicherheit als Kernmission und integriert Maßnahmen von der frühen Entwicklung an sowie die Zusammenarbeit mit externen Experten und Regierungen.
• Neues Sicherheitspartnerschaftsprogramm: Ein Pilotprogramm, das im April 2026 gestartet wurde, um unabhängige KI-Sicherheitsforschung zu fördern und Stipendien und Betreuung anzubieten.
• Interne Unzufriedenheit: Berichte von *The New Yorker* und ehemaligen Mitarbeitern (Ilya Sutskever, Dario Amodei, Jan Leike) deuten auf eine Abkehr von sicherheitsorientierten Prinzipien aufgrund von kommerziellem Druck und Bedenken der Führung hin.
• Sam Altmans Haltung: CEO Sam Altman hat erklärt, dass seine "Vibes nicht mit vielen traditionellen KI-Sicherheitsthemen übereinstimmen."
• Team „Superalignment“ aufgelöst: Ein Team, das sich der Verhinderung eines "menschlichen Aussterbens" widmete, erhielt Berichten zufolge nur minimale Ressourcen und wurde später aufgelöst.
• Externe Kritik: Miles Brundage kritisierte OpenAI dafür, angeblich seine KI-Sicherheitsgeschichte "umzuschreiben".
• Breiterer Kontext: Das Feld der KI-Sicherheit wächst, mit historischen Wurzeln, staatlicher Beteiligung (NIST, UK AI Strategy) und laufenden Debatten über aktuelle und spekulative Risiken.

OpenAIs Engagement für Sicherheitsforschung

OpenAI erklärt konsequent, dass Sicherheit ein Kernbestandteil seiner Mission ist und darauf abzielt, die positiven Auswirkungen von KI zu maximieren und gleichzeitig negative zu minimieren. Ihr detaillierter Ansatz für Sicherheit und Alignment ist in ihrem Artikel über unsere Gedanken zu Sicherheit und Alignment. dargelegt. Die Organisation integriert aktiv Sicherheitsmaßnahmen von den ersten Entwicklungsphasen an, um innovative und zuverlässige KI-Systeme zu fördern.

Ihr Ansatz umfasst zehn Kernpraktiken für erhöhte Sicherheit, wie z. B. empirisches Red-Teaming und Tests vor der Veröffentlichung, wie in ihrem Sicherheitsrahmenwerk. beschrieben. So trugen beispielsweise über 70 externe Experten durch Red-Teaming-Initiativen zur Risikobewertung von GPT-4 bei, über die Sie in ihrem Sicherheitsüberblick. lesen können. OpenAI wird keine neuen Modelle freigeben, wenn sie in ihrem "Preparedness Framework" einen "mittleren" Risikoschwellenwert überschreiten, bis angemessene Sicherheitsmaßnahmen getroffen sind, eine Richtlinie, die in ihren Sicherheitsrichtlinien, detailliert ist. Dieses letztjährig eingeführte Framework bietet einen strukturierten Ansatz zur Identifizierung und Minderung potenzieller Gefahren, wie in dem Artikel.

erläutert. OpenAIs Engagement erstreckt sich auf kooperative Bemühungen. Sie haben sich den "Frontier AI Safety Commitments" angeschlossen, die sich für die sichere Entwicklung und Bereitstellung von KI-Modellen sowie den Austausch von Informationen zur Risikominderung einsetzen, wie in ihrer Sicherheitsdokumentation. zitiert. Das US AI Safety Institute und OpenAI unterzeichneten Vereinbarungen zur KI-Sicherheitsforschung. Weitere Informationen zu diesen Vereinbarungen finden Sie auf der NIST-Website. . Weltweit arbeitet OpenAI mit Regierungen zusammen, um effektive KI-Sicherheitsrichtlinien zu entwickeln, wie in ihren Sicherheitspraktiken.

Quelle: vectorseek.com

Das NIST-Logo repräsentiert die gemeinsamen Anstrengungen des US AI Safety Institute und OpenAI zur Förderung der KI-Sicherheitsforschung durch unterzeichnete Vereinbarungen.

Ein kritischer Schwerpunkt der Sicherheitsarbeit von OpenAI liegt auf dem Schutz von Kindern, mithilfe robuster Standard-Schutzmaßnahmen in ChatGPT und DALL-E, wie in ihrem Sicherheitsrahmenwerk. erläutert. Sie arbeiten mit Organisationen wie Thorn zusammen, um Materialien zum Kindesmissbrauch zu erkennen und dem National Center for Missing and Exploited Children zu melden, wie in ihrem Sicherheitsbekenntnis. detailliert. Das Unternehmen arbeitet auch mit Regierungen und Interessengruppen zusammen, um die Integrität von Wahlen zu schützen; ChatGPT leitet Nutzer in den USA und Europa zu offiziellen Informationsquellen für Wahlen weiter, wie in ihren Sicherheitsrichtlinien. dargelegt. Darüber hinaus unterstützt OpenAI den "Protect Elections from Deceptive AI Act" im US-Senat, der irreführende, KI-generierte Inhalte in politischen Werbungen verbieten würde. Den Text dieses Gesetzesentwurfs können Sie auf GovTrack.us.

Ein neues Partnerschaftsprogramm für KI-Sicherheit

Aufbauend auf diesen Bemühungen kündigte OpenAI am 6. April 2026 ein Pilotprogramm namens "Safety Fellowship" an, das darauf abzielt, unabhängige Sicherheits- und Alignment-Forschung zu fördern und neue Talente zu fördern. Dieses Programm läuft vom 14. September 2026 bis 5. Februar 2027. Die Fellows werden sich auf Sicherheitsprobleme konzentrieren, die sowohl aktuelle als auch zukünftige KI-Systeme betreffen, darunter Sicherheitsbewertung, Ethik, Robustheit, skalierbare Minderungsmaßnahmen, datenschutzfreundliche Sicherheitsmethoden, Überwachung von Agenten und Bereiche mit hohem Missbrauchsrisiko. Die Teilnehmer werden eng mit OpenAI-Mentoren zusammenarbeiten, entweder remote oder bei Constellation in Berkeley, wie auf der Constellation-Webseite. angegeben. Das Stipendium beinhaltet eine monatliche Vergütung, Rechenunterstützung und laufende Betreuung. Bewerbungen waren bis zum 3. Mai möglich, erfolgreiche Kandidaten wurden bis zum 25. Juli benachrichtigt.

Entwicklung von OpenAIs Sicherheitsparadigma

OpenAI betrachtet die Entwicklung von AGI nicht als einen einzelnen, diskontinuierlichen Sprung, sondern als eine Progression von Systemen, die zunehmende Nützlichkeit bieten, wie in ihren Sicherheitsprinzipien. dargelegt. Ihr Prinzip der iterativen Bereitstellung ermöglicht es, aus aktuellen Systemen zu lernen und die Gesellschaft an die sich entwickelnde Technologie anzupassen, was in ihrem Ansatz zur Sicherheit. weiter erläutert wird. Diese Philosophie steht im Einklang mit OpenAIs Ansatz zur Veröffentlichung von GPT-2, der laut dem ehemaligen Policy-Lead Miles Brundage vollständig mit ihrer aktuellen Philosophie der iterativen Bereitstellung übereinstimmte. Brundages Kommentare finden Sie in seinem Tweet. . Brundage versicherte, dass die Vorsicht bei der Veröffentlichung von GPT-2 gerechtfertigt war, wie in demselben Tweet.

festgehalten wurde. Trotz dieser erklärten Zusagen sind interne und externe Kritikpunkte aufgetaucht, die auf eine mögliche Abweichung von den Gründungsprinzipien der Sicherheit von OpenAI hindeuten.

Wachsende interne Unzufriedenheit

Ein Bericht des *New Yorker* im April 2026 deckte auf, wie OpenAIs ursprüngliche Mission, die Menschheit über den Profit zu stellen, angeblich unter kommerziellem Druck zerbrach. Dieser Wandel führte dazu, dass das Unternehmen zu einer gewinnorientierten Einheit wurde, viele seiner Sicherheitsteams demontierte und Vorstandsmitglieder entfernte, die sich um die Absetzung von CEO Sam Altman wegen angeblicher Täuschungen bezüglich Sicherheitsprotokollen bemühten. Der Bericht, der auf internen Dokumenten des ehemaligen Chefwissenschaftlers Ilya Sutskever und des ehemaligen Sicherheitschefs Dario Amodei (jetzt CEO von Anthropic) basiert, beleuchtete einen grundlegenden Konflikt. Amodei hatte sich beispielsweise für eine "Merge-and-Assist"-Klausel in der Charta von OpenAI eingesetzt, die das Unternehmen verpflichtete, andere KI-Firmen zu unterstützen, wenn diese zuerst eine sichere AGI erreichten. Microsoft erhielt Berichten zufolge während seiner Investition im Jahr 2019 ein Vetorecht gegen diese Klausel.

Auch Sam Altmans Führungsstil wurde hinterfragt, wobei ein Memo von Sutskever angeblich mit einer Liste begann, deren erster Punkt lautete: "Sam zeigt ein konsistentes Muster von... Lügen." Amodei schloss: "Das Problem mit OpenAI ist Sam selbst."

❝ Das Problem mit OpenAI ist Sam selbst. ❞

Dario Amodei

CEO von Anthropic

Altman selbst räumte gegenüber *The New Yorker* ein, dass seine „Vibes nicht mit vielen traditionellen KI-Sicherheitsthemen übereinstimmen."

❝ Vibes passen nicht zu vielen traditionellen KI-Sicherheitsthemen. ❞

Sam Altman

CEO von OpenAI

Quelle: stablediffusionweb.com

Sam Altman, CEO von OpenAI, stand wegen seiner Führung im Rampenlicht und räumte ein, dass seine "Vibes nicht mit vielen traditionellen KI-Sicherheitsthemen übereinstimmen."

Das im Sommer 2023 eingerichtete „Superalignment Team“ mit dem Versprechen eines Fünftels der Rechenleistung von OpenAI, um eine „menschliche Entmachtung oder sogar ein menschliches Aussterben“ zu verhindern, erhielt Berichten zufolge nur ein bis zwei Prozent der Rechenleistung der ältesten Hardware und wurde später aufgelöst. Ein Sprecher von OpenAI schien keine Kenntnis von Forschern zu haben, die sich auf existenzielle Sicherheit konzentrierten, und sagte: „Das gibt es nicht."

❝ Das gibt es nicht. ❞

OpenAI-Sprecher

Rolle unbekannt

Diese internen Berichte deuten auf eine erhebliche Abkehr vom erklärten Sicherheits-Ethos des Unternehmens hin.

Externe Bedenken und öffentliche Wahrnehmung

Ehemalige Mitarbeiter von OpenAI haben öffentlich Bedenken geäußert. Im Juli 2024 berichtete die *Washington Post* über anonyme Mitarbeiter, die behaupteten, OpenAI habe Sicherheitstests überstürzt und seine Produkte vorzeitig gefeiert. Der vollständige Bericht kann in The Washington Post. gelesen werden. Jan Leike, ein wichtiger Forscher bei OpenAI, trat zurück und behauptete, die "Sicherheitskultur und -prozesse des Unternehmens" hätten "glänzenden Produkten den Vortritt gelassen".

❝ Sicherheitskultur und -prozesse treten hinter glänzenden Produkten zurück. ❞

Jan Leike

Forscher bei OpenAI

Miles Brundage kritisierte im März 2025 OpenAI dafür, angeblich seine KI-Sicherheitsgeschichte "umgeschrieben" zu haben. Seine Kommentare sind über diesen Tweet. zugänglich. Brundage befürchtete, dass die neue Erzählung von OpenAI darauf abzielte, Bedenken als "alarmistisch" abzutun und "überwältigende Beweise für unmittelbare Gefahren" zu verlangen, was er auch in seinem Social-Media-Post.

Quelle: robots.law.miami.edu

Miles Brundage kritisierte OpenAI dafür, angeblich seine KI-Sicherheitsgeschichte "umgeschrieben" zu haben, und befürchtete, dass ihre neue Erzählung darauf abzielte, Bedenken hinsichtlich unmittelbarer Gefahren abzutun.

Trotz dieser Kritikpunkte betonte Taya Christianson, eine OpenAI-Sprecherin, den Stolz des Unternehmens auf seine Erfolgsbilanz bei der Bereitstellung leistungsfähiger und sicherer KI-Systeme.

Die breitere KI-Sicherheitslandschaft

Das Feld der KI-Sicherheit hat seit 2023 erheblich an Bedeutung gewonnen, angetrieben durch schnelle Fortschritte in der generativen KI und wachsende öffentliche Bedenken von Forschern und CEOs. Dies umfasst Diskussionen über aktuelle Risiken wie KI-Fehler, Voreingenommenheit und KI-gestützte Überwachung sowie aufkommende Bedrohungen wie Fehlinformationen und autonome Waffen. Spekulative Risiken, wie der Verlust der Kontrolle über zukünftige AGI-Agenten oder durch KI ermöglichte stabile Diktaturen, sind ebenfalls Teil dieser Diskussionen.

Historisch gesehen wurden KI-Risiken seit den Anfängen der Kybernetik diskutiert, wie Norbert Wiener 1949 feststellte. Roman Yampolskiy prägte 2011 den Begriff „KI-Sicherheitstechnik“ und prognostizierte eine Zunahme der Häufigkeit und Schwere von KI-Ausfällen. Nick Bostroms Buch „Superintelligenz“ aus dem Jahr 2014 popularisierte diese Bedenken weiter, wobei Persönlichkeiten wie Elon Musk, Bill Gates und Stephen Hawking seine Warnungen wiederholten.

Regierungs- und akademische Gremien weltweit engagieren sich aktiv für KI-Sicherheit. Die US National Security Commission on Artificial Intelligence berichtete 2021, dass KI-Systeme mit menschlichen Zielen und Werten übereinstimmen müssen, einschließlich Sicherheit und Vertrauenswürdigkeit. Das National Institute of Standards and Technology (NIST) entwickelte ein Framework zur Verwaltung von KI-Risiken. China veröffentlichte 2021 ethische Richtlinien, die menschliche Kontrolle und Verantwortlichkeit betonen, und die britische National AI Strategy von 2021 erkennt die langfristigen Risiken einer nicht abgestimmten AGI an.

Schlüsselbereiche der KI-Sicherheitsforschung

Die KI-Sicherheitsforschung umfasst im Allgemeinen mehrere kritische Bereiche:

OpenAI anerkennt mehrere Kernprinzipien für seinen Sicherheits- und Alignment-Ansatz: Akzeptanz von Unsicherheit, Eintreten für Defense-in-Depth, Entwicklung skalierbarer Sicherheitsmethoden, Aufrechterhaltung der menschlichen Kontrolle und Förderung von Kollaborationsbemühungen. Diese Prinzipien sind in ihrem Artikel How we think about safety and alignment. detailliert. Sie zielen darauf ab, Systeme zu bauen, die transparent, auditierbar und kontrollierbar sind, indem sie explizite Richtlinien und "Fallrecht" in das Modelltraining einbauen, wie weiter auf ihrer Sicherheitsseite.

Schlussfolgerung

OpenAIs Reise im Bereich der KI-Sicherheit spiegelt ein komplexes Zusammenspiel von ehrgeizigen Versprechungen, bedeutenden technischen Beiträgen und internen Herausforderungen wider. Während das Unternehmen weiterhin neue Initiativen wie die "Safety Fellowship" ankündigt und sein Engagement für sichere Entwicklung betont, werfen kritische Berichte von ehemaligen Mitarbeitern und dem *New Yorker* wichtige Fragen zur Übereinstimmung seiner Handlungen mit seiner erklärten Mission auf. Die anhaltende Debatte über die interne Kultur von OpenAI und die Priorisierung von Produkten über Sicherheit unterstreicht die inhärenten Schwierigkeiten, die schnelle Entwicklung von KI zu bewältigen und gleichzeitig ethische und Sicherheitsstandards zum Wohle aller aufrechtzuerhalten. Die Augen der KI-Community, der politischen Entscheidungsträger und der Öffentlichkeit bleiben auf OpenAI gerichtet, während es versucht, seine kommerziellen Notwendigkeiten mit seiner Gründungsvision von sicherer, nützlicher AGI in Einklang zu bringen.