Verbot superintelligenter KI: Eine Notwendigkeit?
Ein neuer Aufruf, unterzeichnet von einem breiten Bündnis aus Medienfiguren, Politikern, Forschern und Tech-Pionieren, fordert ein Verbot der Entwicklung von „Superintelligenz“, bis Sicherheit und demokratische Zustimmung gewährleistet sind. Dieser Vorstoß, der heute, am 22. Oktober 2025, weltweit die Runde macht, wirft wichtige Fragen auf und knüpft an frühere Debatten über die Regulierung von Künstlicher Intelligenz an.
Quelle: Eigene Darstellung
Einleitung
Die Debatte um die Zukunft der Künstlichen Intelligenz (KI) erreicht einen neuen Höhepunkt. Ein breites Bündnis, darunter Prinz Harry und Meghan, fordert ein Moratorium für die Entwicklung sogenannter „Superintelligenz“. Dieser Aufruf, der heute, am 22. Oktober 2025, veröffentlicht wurde, verlangt, dass die Entwicklung gestoppt wird, bis Sicherheit und demokratische Zustimmung gewährleistet sind. Die Unterzeichner, darunter auch Medienfiguren, Politiker, Forscher und Tech-Pioniere, sehen in der unkontrollierten Entwicklung übermenschlicher KI-Systeme erhebliche Risiken.
„Superintelligenz“ bezeichnet hypothetische KI-Systeme, die Menschen in praktisch allen kognitiven Aufgaben übertreffen. Dies unterscheidet sie von der Allgemeinen Künstlichen Intelligenz (AGI), die menschenähnliche Fähigkeiten besitzt, und der Künstlichen Superintelligenz (ASI), die darüber hinausgeht. Der aktuelle Vorstoß erinnert an den Pausen-Appell des Future of Life Institute (FLI) aus dem Jahr 2023, der eine Unterbrechung bei der Entwicklung sehr großer KI-Modelle forderte.
Hintergrund und Analyse
Die Organisatoren haben heute eine prägnante 30-Wörter-Erklärung veröffentlicht: „We call for a prohibition on the development of superintelligence, not lifted before there is broad scientific consensus that it will be done safely and controllably, and strong public buy-in.“ Diese Erklärung wird von AP, Reuters und dem Guardian konsistent berichtet. Zu den prominenten Unterzeichnern gehören neben Prinz Harry und Meghan auch die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, Apple-Mitgründer Steve Wozniak, Richard Branson sowie politische Stimmen wie Susan Rice. Bemerkenswert ist die politische Vielfalt der Unterstützer, die auch Steve Bannon und Glenn Beck umfasst.
Der Appell zielt ausdrücklich auf die Entwicklung von „Superintelligenz“ ab und nicht auf nützliche, begrenzte KI-Anwendungen. Die strategische Idee hinter einem „Stopp bis auf Weiteres“ ist es, ein Wettrennen um übermenschliche Systeme zu bremsen, das Anreize für Sicherheit verwässern könnte. Ein öffentlicher Bann, der an Bedingungen wie wissenschaftlichen Konsens und breite Akzeptanz geknüpft ist, soll dieses Rennen verlangsamen und die Politik in die Verantwortung nehmen. Das Future of Life Institute argumentiert seit Jahren, dass existenzielle Risiken systematisch reguliert werden müssen, ähnlich wie bei anderen Hochrisikotechnologien.
Umfragen in den USA zeigen eine wachsende öffentliche Besorgnis: Pew und Gallup berichten 2025 von einer deutlichen Sympathie für stärkere Regeln und Sicherheitstests vor der Freigabe von KI-Systemen. Dies deutet auf eine breite Unterstützung für regulatorische Maßnahmen hin.
Quelle: YouTube
Das Interview mit Geoffrey Hinton (BBC Newsnight) liefert Hintergrundinformationen, warum führende Forscher Superintelligenz als besondere Risikoklasse betrachten.
Quelle: youtube.com
Die Vision der Künstlichen Superintelligenz (ASI) – ein Konzept, das sowohl Faszination als auch Besorgnis hervorruft.
Kontroversen und Reaktionen
Der Aufruf zum Verbot von Superintelligenz ist belegt: Es gibt einen breit getragenen Aufruf, die Entwicklung von Superintelligenz zu verbieten, bis strenge Bedingungen erfüllt sind. Die 30-Wörter-Formulierung ist öffentlich dokumentiert und wird von großen Nachrichtenagenturen wie AP, Reuters und The Guardian bestätigt.
Unklar bleibt jedoch, wie nah Superintelligenz technisch tatsächlich ist. Fachleute widersprechen sich in dieser Frage; viele sehen große Unsicherheiten in den Entwicklungspfaden und Zeitplänen. Es wäre irreführend, den Aufruf als generelles „KI-Verbot“ zu interpretieren. Er adressiert vielmehr eine spezifische Zielmarke – Systeme, die Menschen in nahezu allen kognitiven Aufgaben übertreffen – und knüpft die Aufhebung explizit an Sicherheits- und Zustimmungsbedingungen.
Quelle: alamy.de
Das Verbotsschild symbolisiert die Forderungen nach einem Moratorium oder einem vollständigen Verbot der Entwicklung superintelligenter KI.
Technologiebranchen und Regierungen warnen teilweise, dass radikale Stopps Innovation und Wettbewerbsfähigkeit gefährden könnten. Reuters verweist auf Widerstand gegen Moratorien in Politik und Industrie. Andere Stimmen betonen, dass ASI möglicherweise noch fern ist und reguläre Regulierung, wie die EU-KI-Verordnung, einen ausreichenden Rahmen setzt. Die EU-KI-Verordnung definiert bereits verbotene Praktiken und regelt Hochrisiko-Anwendungen, bietet jedoch kein explizites Superintelligenz-Verbot.
Praktisch verschiebt sich die Diskussion von „Wie schnell können wir?“ zu „Unter welchen Bedingungen dürfen wir?“. Für Europa ist relevant, dass die EU-KI-Verordnung bereits verbotene Praktiken (z. B. Social Scoring) definiert und Hochrisiko-Anwendungen streng regelt – ein fertiger Mechanismus für Governance, aber kein explizites Superintelligenz-Verbot. Für die Einordnung ist es wichtig, immer den Originaltext des Appells zu prüfen und auf präzise Begriffe (AGI vs. ASI) zu achten. Seriöse Quellen für Regulierungsstände sind EU-Seiten und große Nachrichtenorganisationen.
Quelle: YouTube
Der Vortrag von Max Tegmark bietet einen guten Einstieg in Chancen, Risiken und Governance-Ideen rund um Superintelligenz.
Quelle: nexperts.ai
Die rasante Entwicklung der KI führt in eine Zukunft, deren Komplexität und Auswirkungen noch nicht vollständig absehbar sind.
Offene Fragen und Fazit
Es bleiben offene Fragen: Wer definiert operativ, ab wann eine Entwicklung „Superintelligenz“ ist? Ohne belastbare Metriken und unabhängige Audits ließe sich ein Bann kaum vollziehen. Welche Institutionen hätten Mandat und Ressourcen für die Durchsetzung – national, europäisch, global? Hier bieten existierende Regime wie die EU-KI-Verordnung Anknüpfungspunkte, aber keine fertige ASI-Spezialregel. Und schließlich: Wie groß ist der tatsächliche Abstand bis zu solchen Systemen? Die Bewertung der zeitlichen Nähe bleibt umstritten.
Der weltweite Aufruf zum Stopp von superintelligenter KI ist ein politisches Signal mit klarer Bedingung: erst Sicherheit und Zustimmung, dann Weiterentwicklung. Für euch heißt das: achtet auf präzise Begriffe, prüft Primärquellen und vergleicht Appelle mit bestehenden Rechtsrahmen wie der EU-KI-Verordnung. So bleibt ihr in der Debatte handlungsfähig – jenseits von Hype und Alarmismus, wie Reuters und The Guardian berichten.