Superintelligenz: Expertenreaktionen auf die Vision und Herausforderungen von OpenAI
Das Rennen um künstliche allgemeine Intelligenz (AGI) und etwas weitaus Fortgeschritteneres hat die Aufmerksamkeit von Technikern und der Öffentlichkeit gleichermaßen auf sich gezogen. Als Journalist, der über die sich schnell entwickelnde Landschaft der KI berichtet, habe ich aus erster Hand den Ehrgeiz und die Besorgnis miterlebt, die mit diesen Fortschritten einhergehen. OpenAI, ein bedeutender Akteur auf diesem Gebiet, steht im Mittelpunkt dieser Diskussion und setzt sich nicht nur mit den technischen Hürden, sondern auch mit den tiefgreifenden ethischen und gesellschaftlichen Implikationen dessen auseinander, was sie entwickeln.
Quelle: Eigene Illustration
Schnelle Zusammenfassung
- OpenAI strebt die Entwicklung von "Superintelligenz" an, definiert als Intellekt, der die menschliche kognitive Leistung weit übertrifft.
- CEO Sam Altman schätzt, dass Superintelligenz in "ein paar tausend Tagen" (5,5 bis 11 Jahre) eintreten könnte.
- OpenAI hat ein "Superalignment"-Team eingerichtet und setzt 20% seiner Rechenleistung über vier Jahre ein, um eine sichere KI-Entwicklung zu gewährleisten.
- Das Unternehmen erkennt erhebliche Risiken an, darunter wirtschaftliche Umwälzungen, Missbrauch und die potenzielle Entmachtung oder Ausrottung der Menschheit, wenn Superintelligenz nicht richtig abgestimmt wird.
- OpenAI setzt sich für neue Industriepolitiken und demokratische Entscheidungsfindung über KI-Werte ein und geht über inkrementelle Anpassungen hinaus.
- Interne Herausforderungen, einschließlich Führungswechsel und Abgänge von Forschern, unterstreichen die anhaltenden Spannungen hinsichtlich Sicherheit und schneller Entwicklung.
Das Streben nach Superintelligenz
OpenAI hat öffentlich seine Zuversicht geäußert, AGI aufzubauen, die es in den eigenen Worten als "hochautonomes System, das Menschen bei den meisten wirtschaftlich wertvollen Arbeiten übertrifft" definiert. Das Bestreben des Unternehmens reicht jedoch über traditionelle AGI hinaus und konzentriert sich auf das, was es als "Superintelligenz" bezeichnet. Sam Altman, CEO von OpenAI, hat angedeutet, dass Superintelligenz "in ein paar tausend Tagen" eintreten könnte. Dieser Zeitrahmen, der von etwa 5,5 bis fast 11 Jahren reicht, unterstreicht die Dringlichkeit, die viele in diesem Bereich hinsichtlich seiner Entwicklung empfinden. Superintelligenz, wie sie von Nick Bostrom in seinem Buch von 2014 definiert wird
Superintelligenz: Pfade, Gefahren, Strategien, ist "jeder Intellekt, der die kognitive Leistung von Menschen in praktisch allen relevanten Bereichen weit übertrifft."
Quelle: tedapp.ai
Das Buch von Nick Bostrom aus dem Jahr 2014 liefert eine grundlegende Definition von Superintelligenz und skizziert deren potenzielle Pfade, Gefahren und Strategien.
Altman bezeichnete Bostroms Buch als "das Beste, was er zu dem Thema gesehen hat."
OpenAI glaubt, dass Superintelligenz wissenschaftliche und medizinische Durchbrüche beschleunigen, die Produktivität erheblich steigern und die Kosten senken könnte. Die Kosten für den Aufbau von Superintelligenz sinken jährlich, und die Zahl der Unternehmen, die ihre Entwicklung verfolgen, wächst rapide. Das Unternehmen räumt ein, dass die Risiken einer so leistungsfähigen Technologie erheblich sind, darunter wirtschaftliche Umwälzungen, Missbrauch durch böswillige Akteure, fehlgeleitete Systeme und die Konzentration von Macht und Wohlstand. OpenAI glaubt, dass Superintelligenz das Potenzial hat, die Menschheit zu entmachten oder sogar zu ihrer Ausrottung zu führen, wenn sie nicht richtig abgestimmt ist.
Die Superalignment-Initiative
Angesichts dieser tiefgreifenden Risiken kündigte OpenAI am 5. Juli 2023 die Gründung seines "Superalignment"-Teams an, wie in ihrem Blogbeitrag detailliert beschrieben. Das Team, das zunächst von Ilya Sutskever und Jan Leike geleitet wurde, hat die Aufgabe, das Problem der Steuerung und Kontrolle von KI-Systemen zu lösen, die weitaus intelligenter sind als Menschen. OpenAI hat 20% seiner derzeit gesicherten Rechenleistung über die nächsten vier Jahre zugesagt, um die Superalignment-Herausforderung zu bewältigen. Das Ziel des Teams ist es, die Kernprobleme der Superalignment-Ausrichtung innerhalb von vier Jahren zu lösen.
Aktuelle KI-Ausrichtungstechniken, die auf menschlicher Aufsicht basieren, werden für Superintelligenz nicht effektiv skalieren. Der Ansatz des Superalignment-Teams beinhaltet den Aufbau eines automatisierten menschlichen Ausrichtungsforschers, die Entwicklung einer skalierbaren Trainingsmethode, die Validierung des Modells und das Stresstesten der gesamten Ausrichtungspipeline. OpenAI veröffentlichte am 14. Dezember 2023 erste Ergebnisse seines Superalignment-Teams, die eine Technik beschreiben, bei der ein weniger leistungsfähiges großes Sprachmodell ein leistungsfähigeres überwachen kann. Zum Beispiel nutzte das Team GPT-2, um GPT-4 bei verschiedenen Aufgaben zu überwachen und zu untersuchen, wie Menschen übermenschliche Modelle überwachen könnten. Die Ergebnisse zeigten, dass GPT-4, wenn es von GPT-2 trainiert wurde, bei Sprachaufgaben 20 % bis 70 % besser abschnitt, aber bei Schachaufgaben schlechter. KI-Forscher Thilo Hagendorff äußerte jedoch Bedenken, dass GPT-2 zu "dumm" sein könnte, um als effektiver Lehrer zu dienen.
OpenAI plant, die Ergebnisse seiner Superalignment-Bemühungen breit zu teilen, um zur Ausrichtung und Sicherheit von Nicht-OpenAI-Modellen beizutragen. Um diese Forschung weiter voranzutreiben, hat OpenAI einen Fonds in Höhe von 10 Millionen US-Dollar angekündigt, um Forscher zu unterstützen, die an Superalignment arbeiten.
Regierung und Politik im Zeitalter der Intelligenz
OpenAI veröffentlichte am 22. Mai 2023 einen Artikel über "Government of Superintelligence", in dem die Notwendigkeit betont wird, die Steuerung zukünftiger KI-Systeme zu berücksichtigen, die weitaus leistungsfähiger sind als AGI. Das Unternehmen schlägt drei Ansätze zur Steuerung von Superintelligenz vor: Koordination zwischen führenden Entwicklungsbemühungen, eine internationale Agentur ähnlich der IAEO für Superintelligenz-Vorhaben und die technische Fähigkeit, Superintelligenz sicher zu machen. OpenAI argumentiert, dass Menschen weltweit demokratisch über die Werte für KI-Systeme entscheiden sollten.
Am 6. April 2026 veröffentlichte OpenAI einen Artikel über "Industrial Policy for the Age of Intelligence", der Ideen zur Gestaltung der Zukunft mit fortschrittlicher KI präsentiert. Dieser Artikel legt nahe, dass inkrementelle Politikänderungen unzureichend sein werden, wenn sich die Gesellschaft in Richtung Superintelligenz bewegt. OpenAI bietet Zuschüsse und Forschungspreise von bis zu 100.000 US-Dollar und bis zu 1 Million US-Dollar an API-Gutschriften für Arbeiten an, die auf diesen Politikideen basieren. Das Unternehmen kündigte außerdem einen neuen Workshop in Washington, D.C., im Mai an, um Diskussionen über Industriepolitik für das Zeitalter der Intelligenz zu veranstalten.
OpenAI schlägt vor, dass eine neue Industriepolitik notwendig ist, um die Herausforderungen und Chancen zu bewältigen, die Superintelligenz mit sich bringt. Dazu gehört, Arbeitnehmern eine Stimme im KI-Übergang zu geben, KI-gestützte Unternehmertätigkeit zu fördern und den Zugang zu KI als grundlegend für eine moderne Wirtschaft zu behandeln. Sie empfehlen die Modernisierung der Steuerbasis, um die fortlaufende Finanzierung von Sozialprogrammen zu gewährleisten und adaptive soziale Sicherungssysteme zu schaffen. OpenAI betont die Bedeutung von Schutzmaßnahmen vor und nach der Bereitstellung von KI-Systemen, einschließlich Echtzeitüberwachung und Integration in bestehende Institutionen. Sie schlagen strengere Kontrollen, einschließlich Audits, für eine kleine Anzahl von hochleistungsfähigen Modellen vor, die chemische, biologische, radiologische, nukleare oder Cyber-Risiken darstellen könnten.
Interne Dynamiken und Abgänge
Das Streben nach Superintelligenz verlief bei OpenAI nicht ohne interne Herausforderungen. Das für die Steuerung superintelligenter Systeme zuständige Team wurde kürzlich aufgelöst, nachdem seine beiden Co-Leiter, Ilya Sutskever und Jan Leike, das Unternehmen verlassen hatten.
Quelle: artificial-intelligence.blog
Ilya Sutskever, Co-Leiter des Superalignment-Teams, hat sich kürzlich von OpenAI getrennt, was ein bedeutender interner Wandel ist.
❝ In den letzten Jahren sind die Sicherheitskultur und -prozesse hinter glänzenden Produkten zurückgeblieben. ❞
KI-Forscher
Im Juni 2024 gründete Ilya Sutskever ein neues Unternehmen namens "Safe Superintelligence".
Die kurze Absetzung von Sam Altman als CEO im November 2023 war ein bedeutender Moment, den er als "großes Governance-Versagen" bezeichnete. Eine Untersuchung von WilmerHale führte seine Absetzung auf einen "Zusammenbruch der Beziehung und Vertrauensverlust" zwischen dem damaligen Vorstand und Altman zurück. Seit Ende 2023 haben mehrere Top-Forscher OpenAI verlassen, darunter Ilya Sutskever und Alec Radford. Diese Abgänge unterstreichen die anhaltenden Spannungen und unterschiedlichen Perspektiven innerhalb der Organisation in Bezug auf Sicherheit, schnelle Entwicklung und Unternehmensführung. OpenAI verfügt derzeit über drei Sicherheitsgremien: eine interne Sicherheitsberatungsgruppe, einen Sicherheitsausschuss auf Vorstandsebene und den Ausschuss für Bereitstellungssicherheit.
OpenAIs Sicherheitsausschüsse
OpenAI arbeitet derzeit mit drei verschiedenen Sicherheitsgremien, was sein Engagement widerspiegelt, die komplexen Risiken im Zusammenhang mit der fortschrittlichen KI-Entwicklung anzugehen:
| Name des Ausschusses | Hauptfunktion |
|---|---|
| Interne Sicherheitsberatungsgruppe | Bietet interne Anleitungen und Empfehlungen zu Sicherheitsprotokollen und Forschung. |
| Sicherheitsausschuss auf Vorstandsebene | Überwacht übergeordnete Sicherheits- und Strategien und berichtet direkt an den Vorstand. |
| Ausschuss für Bereitstellungssicherheit | Konzentriert sich auf Sicherheits- und ethische Implikationen während der Bereitstellung von KI-Systemen. |
Schlussfolgerung
Die Debatte um Superintelligenz und ihre Entwicklung ist komplex und umfasst außerordentliche potenzielle Vorteile und ebenso tiefgreifende Risiken. OpenAI, ein wichtiger Architekt dieser Zukunft, navigiert weiterhin durch diese Herausforderungen, indem es erhebliche Ressourcen für die Ausrichtungsforschung einsetzt und sich für zukunftsorientierte Governance-Richtlinien einsetzt. Die Reise zur Superintelligenz erfordert nicht nur technologische Durchbrüche, sondern auch ein nachhaltiges, globales Gespräch über ihre ethischen Implikationen und wie sichergestellt werden kann, dass sie letztendlich den besten Interessen der Menschheit dient.
Häufig gestellte Fragen (FAQs)
Was ist der Unterschied zwischen AGI und Superintelligenz?
AGI (Artificial General Intelligence) bezeichnet ein hochautonomes System, das Menschen bei den meisten wirtschaftlich wertvollen Arbeiten übertreffen kann. Superintelligenz, wie von Nick Bostrom definiert, ist jeder Intellekt, der die menschliche kognitive Leistung in praktisch allen relevanten Bereichen weit übersteigt, was eine weitaus höhere Fähigkeitsstufe als AGI impliziert.
Wie schnell erwartet OpenAI, dass Superintelligenz eintritt?
Sam Altman, CEO von OpenAI, hat angedeutet, dass Superintelligenz "in ein paar tausend Tagen" eintreten könnte, was ungefähr 5,5 bis 11 Jahre nach seiner Aussage entspricht.
Was ist der Zweck des Superalignment-Teams von OpenAI?
Die Mission des Superalignment-Teams ist es, das Problem der Steuerung und Kontrolle von KI-Systemen zu lösen, die weitaus intelligenter sind als Menschen. Sie widmen sich der Lösung der Kernprobleme der Superalignment-Ausrichtung innerhalb von vier Jahren, um sicherzustellen, dass diese leistungsstarken Systeme sicher und vorteilhaft bleiben.
Welche Hauptrisiken sind laut OpenAI mit Superintelligenz verbunden?
OpenAI identifiziert mehrere erhebliche Risiken, darunter wirtschaftliche Umwälzungen, potenziellen Missbrauch durch böswillige Akteure, fehlgeleitete Systeme, die nicht im besten Interesse der Menschheit handeln, und die Konzentration von Macht und Wohlstand. Sie warnen auch vor dem Potenzial, dass Superintelligenz die Menschheit entmachtet oder sogar zu ihrer Ausrottung führen könnte, wenn sie nicht richtig abgestimmt ist.