Longread: Wird künstliche Intelligenz uns alle töten?

Das Buch „If Anyone Builds It, Everyone Dies” (Wenn irgendjemand es baut, sterben alle) möchte uns vor den Gefahren künstlicher Superintelligenz warnen. Namhafte Wissenschafts-YouTuber wie Hank Green und Kyle Hill haben es empfohlen, und der Verlag bewirbt es unter anderem mit einem lobenden Zitat des britischen Allround-Künstlers und prominenten Skeptikers Stephen Fry.
Skeptix-Mitglied Georg Kammerer hat das Buch gelesen und kommt zu anderen Schlüssen, auch als unser Wahnsinnwissen-Autor Robert von Cube.

Das Ende ist nah!?

Falls der Titel auf den ersten Blick etwas dick aufgetragen erscheinen sollte, wird gleich im Vorwort Klarheit geschaffen: Es geht buchstäblich um nichts anderes als die vollständige und unausweichliche Auslöschung der Menschheit, falls die Entwicklung Künstlicher Intelligenz weiter voranschreiten sollte. „Wir meinen das nicht als Überzeichnung. Wir übertreiben nicht für dramatischen Effekt”, erklären die Autoren Eliezer Yudkowsky und Nate Soares. Sie sind Gründer (Yudkowsky) und amtierender Präsident (Soares) des Machine Intelligence Research Institute (MIRI), einer Non-Profit Organisation, die sich seit 2001 mit Fragen zu hypothetischer maschineller Superintelligenz beschäftigt.

Führende Positionen in einem spezialisierten Forschungsinstitut verleihen den beiden Autoren eine gewisse Autorität. Das MIRI befasst sich allerdings nicht in erster Linie mit empirischer Forschung, sondern mit philosophischen Überlegungen und Gedankenexperimenten zu Künstlicher Intelligenz. Seine Veröffentlichungen haben dadurch notwendigerweise oft subjektiven und/oder spekulativen Charakter.
Ausufernd und Ermüdend

Von stilistischer Seite fällt vor allem eines auf: Yudkowsky und Soares wollen nicht durch stringente, geordnete Argumente überzeugen, sondern durch Überwältigung. Eine recht kurze Liste von Kernargumenten wird endlos wiederholt, und weil das noch nicht reicht, beginnt fast jedes Kapitel mit einer ausufernden Parabel. Das Lesen wird dadurch zur bisweilen ermüdenden Herausforderung. (Yudkowsky veröffentlichte einst seine Philosophie des Rationalismus in Form einer Harry-Potter-Fanfiction, die länger ist als die ersten vier Harry-Potter-Romane zusammen. Im Vergleich dazu scheint er seine überbordende Kreativität immerhin etwas gebändigt zu haben.)

Gut ein halbes Kapitel füllen die Autoren beispielsweise mit Überlegungen zur Entwicklung von Eiscreme und Pfauenfedern, und ob hypothetische Aliens diese hätten vorhersagen können – nur um den vergleichsweise banalen Punkt zu machen, dass in sehr komplexen Systemen zuverlässige Prognosen unmöglich sind.

Und noch weitere Amateur-Prosa müssen die Lesenden über sich ergehen lassen. Es gibt ein Dramolett über die Sorgen einer zukünftigen Mutter, Kurzgeschichten über die Steine in den Nestern von Aliens (andere Aliens als die mit der Eiscreme), mittelalterliche Alchemisten oder einen Aztekenkrieger, der die Gefahr der spanischen Kolonialmacht unterschätzt, und schließlich eine mehrere Kapitel umfassende Science-Fiction-Novelle über ein KI-Modell, das aus dem Rechenzentrum ausbricht und die Menschheit atomisiert.

Und weil das alles noch nicht reicht, finden sich am Ende der meisten Kapitel noch QR-Codes mit Links zu Online-Ressourcen – weiterführende Essays und Argumente von den Autoren des Buches. Man kann das gründlich und großzügig finden – zugleich bietet es auch eine höchst elegante Kritik-Immunisierung: Wer „If Anyone Builds it, Everyone Dies” nicht überzeugend findet, hat vermutlich nur die eine Online-Ergänzung noch nicht gelesen, in der die jeweiligen Kritikpunkte angesprochen werden …

“Gezüchtet, nicht gefertigt“ und das Problem der Ausrichtung

Heutige KI-Modelle, erklären die Autoren, würden „gezüchtet, nicht gefertigt” (grown, not crafted). Dies ist eine durchaus nützliche Analogie, um die Grenzen und Probleme von KI-Chatbots und Bildgeneratoren aufzuzeigen: Generative KI-Modelle funktionieren durch komplexe Wahrscheinlichkeits-Operationen basierend auf Unmengen von Trainingsdaten. Zwar wurden die zugrundeliegenden Prozesse von Menschen programmiert und justiert, die konkreten Eigenschaften eines bestimmten KI-Modells (seine „Gewichte”) aber entstehen in einem Prozess aus der Verarbeitung der Trainingsdaten und menschlichem Feedback für „gute” und „schlechte” Outputs.

Das heißt: der genaue Weg, wie ein bestimmtes KI-Modell zu einem konkreten Ergebnis kommt, ist für Menschen, auch für die Entwickler:innen des Modells, nicht in Gänze nachvollziehbar. Dies macht es effektiv unmöglich, exakte Aussagen über die Verlässlichkeit und Sicherheit einer solchen Künstlichen Intelligenz zu treffen. Es ist lediglich möglich, durch Korrekturen die Wahrscheinlichkeit eines erwünschten Outputs zu erhöhen. Eine verbindliche Garantie, dass die KI auch in Zukunft wie erwartet funktionieren wird, gibt es nicht.

Diese Beschränkungen führen u.a. zu den berüchtigten „Halluzinationen”: bisweilen lustige und manchmal erschreckende Falschaussagen, die KI-Modelle ausspucken können. Sie sind aber auch Grundlage für ein komplizierteres Problem, das erst relevant wird, wenn ein KI-Agent nicht nur Hausarbeiten schreiben oder Spongebob-Memes generieren soll, sondern echte Entscheidungen mit weitreichenden Folgen treffen kann: die Frage der „Ausrichtung” (Alignment).

„Alignment” beschreibt, inwieweit die Ziele und Präferenzen einer künstlichen Intelligenz mit den Zielen und Präferenzen der sie betreibenden Menschen übereinstimmen: Wenn wir einem KI-Agenten die Verantwortung über wichtige Entscheidungen (z.B. die Führung eines Unternehmens oder medizinische Triage) übertragen, ist es natürlich wünschenswert, dass dieser Agent nach den gleichen ethischen Grundsätzen und Prinzipien zur Risikobewertung handelt wie wir. Da wir über die exakte Funktionsweise eines KI-Modells nicht im Detail Bescheid wissen, gibt es auch keine Garantie, dass es sich an unsere ethischen Vorgaben halten wird.

In verschiedenen Versuchen in den letzten Jahren haben KI-Agenten ein Verhalten an den Tag gelegt, das man bei Menschen als „rücksichtslos” oder „betrügerisch” beschreiben würde. Beispiel 1, 2024; Beispiel 2, 2026 (paywalled) . Die reißerischen und alarmistischen Headlines übertreiben zwar häufig das unmittelbare Risiko, das solche Experimente implizieren. Es bleibt aber sicher bis auf Weiteres eine sehr dumme Idee, KI-Agenten ohne menschliche Aufsicht irgendwelche wichtigen Entscheidungen treffen zu lassen.

Die Ausführungen von Yudkowsky und Soares zu diesem Thema sind grundsätzlich richtig und erhellend. Aber am Ende geht es ihnen eben nicht um die Grenzen und Schwächen heutiger Chatbots, sondern um eine hypothetische Künstliche Intelligenz, die weit schlauer und mächtiger ist als heutige Modelle und um ein vielfaches mächtiger als menschliche Intelligenz: Die künstliche Superintelligenz.
Wie nah ist die allmächtige Superintelligenz?

Wenn heute von Künstlicher Intelligenz gesprochen wird, ist damit fast immer die im letzten Abschnitt beschriebene generative KI gemeint: Bildgeneratoren und Chatbots, sogenannte „Large Language Models” (LLMs). Ob sich aus heutigen Systemen und Ansätzen überhaupt ein realistischer Weg zu Superintelligenz ergeben könnte, ist unter Fachleuten höchst umstritten.

Die Autoren gestehen selbst ein: „Wir behaupten nicht, dass LLM-basierte KIs diesen Punkt erreichen könnten. Wir wissen es nicht.”

So gut wie jede Firma, die heute kommerzielle KI-Modelle entwickelt, rechnet damit, in absehbarer Zeit die Grenze zur Superintelligenz (Menschen überlegene KI) oder wenigstens AGI („Artificial General Intelligence”: Menschen ungefähr ebenbürtige KI) zu knacken – oder sie geben es zumindest vor, weil ansonsten die immensen finanziellen Investitionen und der geradezu absurde Ressourcenverbrauch von KI-Rechenzentren kaum zu rechtfertigen wären. Da die CEOs von Tech-Unternehmen nicht gerade dafür bekannt sind, mit ihren Vorhersagen und Versprechen richtig zu liegen (man denke nur an den letzten Tech-Hype zu Kryptowährungen und dem Metaverse), besteht hier schonmal Grund zur Skepsis.
Außerdem deutet sich an, dass Generative KI das scheinbar schwindelerregende Tempo, mit dem sie sich in den letzten Jahren entwickelt hat, nicht für immer durchhalten kann. Verbesserungen in neuen Modellen beruhen zu wesentlichen Teilen nicht auf verbesserter Technologie, sondern darauf, immer größere Datenmengen mit immer mehr Rechenleistung zu verarbeiten. Auch erste Anzeichen, dass die wirtschaftliche Blase um KI im Begriff ist, zu platzen, mehren sich.

Und zuletzt gibt es schlicht keinen theoretischen Rahmen – außer „mehr bringt mehr” – der beschreiben könnte, wie aus den (beeindruckenden aber begrenzten) Fähigkeiten generativer Modelle eine tatsächliche Superintelligenz entstehen sollte. Es spricht vieles dafür, dass die heutigen Paradigmen der KI-Branche in dieser Hinsicht eine Sackgasse darstellen.

Natürlich ist es nicht völlig ausgeschlossen, dass ein unerwarteter Durchbruch in der LLM-Technologie passiert, oder dass auch ganz andere Ansätze zur Entwicklung Künstlicher Intelligenz irgendwann Früchte tragen. Yudkowsky und Soares implizieren jedoch, dass ein solcher Durchbruch quasi bereits vor der Tür steht. Sie sagen „Die kommenden Monate und Jahre werden ein Test auf Leben und Tod für die gesamte Menschheit sein” und warnen, die Hoffnung auf „die Macht und den Reichtum von Göttern” sei es nicht wert, dass die Menschheit „in diesem Jahrzehnt … Selbstmord begeht”. (Hervorhebungen vom Rezensent)

Wie sie auf diese Zahlen kommen, erklären die Autoren nicht. So skeptisch sie gegenüber den Versprechen von Tech-CEOs sind, wenn es um die Sicherheit von KIs geht, so bereitwillig glauben sie an deren optimistische Zeitachsen.

Die Wege der Superintelligenz sind unergründlich

Die hypothetische Superintelligenz, die Yudkowsky und Soares beschreiben, ist nicht einfach nur etwas schlauer als die schlauesten Menschen. Sie kann alles Leben auf der Welt durch Nanomaschinen „mit der Stärke von Diamanten“ ersetzen. Sie kann „bis auf das Molekül arrangierte” Quantencomputer bauen und letztlich das Weltall kolonisieren. Ihre Fähigkeiten lassen sich als quasi gottgleich beschreiben. Und wie für verschiedenste menschliche Vorstellungen einer Gottheit gilt auch für die Superintelligenz: ein menschlicher Intellekt kann ihre (hypothetischen) Gedankengänge nicht im Ansatz nachvollziehen.

Die Autoren verwenden extrem viele Worte darauf, zu belegen, dass wir die Vorlieben und Ziele einer Superintelligenz nicht vorhersagen können, nur um kurz danach Vorhersagen über ebensolche Präferenzen zu treffen – wann immer es in ihr Narrativ von der sicheren Ausrottung der Menschheit passt. Die wackelige Rechtfertigung für diesen Widerspruch wird wie ein Mantra mehrfach in dem Buch wiederholt: „Die Wege dorthin sind schwer vorhersagbar. Aber wir können den Endpunkt [das Ende der Menschheit] vorhersagen.”

Ganz gleich welche obskuren Ziele eine Superintelligenz verfolgen würde, so Yudkowsky und Soares, restlos alle davon würden das Ende der Menschheit bedeuten: „Das Problem ist nicht, dass KI uns unterwerfen wird. Es ist, dass wir aus Atomen bestehen, die sie für etwas anderes nutzen könnte.”

Dies ist der eine Punkt, auf dem die ganze Argumentation des Buches fußt. Dass eine Superintelligenz ebensogut aus Gründen, die wir nicht vorhersehen können, die Menschheit ignorieren oder bewusst am Leben erhalten könnte, wird zwar kurz in Erwägung gezogen, aber sehr schnell als unrealistisch abgetan. Pikanterweise fällt es Yudkowsky und Soares an dieser Stelle überraschend leicht, die inneren Beweggründe einer Superintelligenz vorherzusagen.

Es ist – mit heutigem Wissen und menschlichen Fähigkeiten – schlicht vollkommen unmöglich, irgendwie vorherzusagen, welche Auswirkungen die Entwicklung einer Superintelligenz haben würde. Verschiedene plausible Szenarien legen allerdings negative bis katastrophale Folgen nahe. Und mit an Sicherheit grenzender Wahrscheinlichkeit wird eine KI-Zukunft nicht jene Utopien erfüllen, die KI-Evangelisten uns heute versprechen. All dies sind gute Gründe, sich prinzipiell weiter Gedanken über das Thema zu machen und auch die Entwicklung von neuen KI-Modellen unter diesen Gesichtspunkten zu beobachten. Auch die bloße Möglichkeit einer Katastrophe in vielleicht nicht ganz naher Zukunft ist erschreckend genug, das Risiko nicht zu ignorieren.

KI-Sicherheit ist ein wichtiges Thema und wird in absehbarer Zeit wichtig bleiben. Es setzt aber das Aushalten von Ambivalenzen voraus, und es erfordert ein Anerkennen der Grenzen des eigenen Wissens. Zwei Punkte, in denen Yudkowsky und Soares sich leider disqualifizieren.

Die Offenbarung von Yudkowsky und Soares

Weltuntergangsprophezeiungen können aus verschiedenen Gründen attraktiv sein. Einer davon ist: sie schaffen Sicherheit in einer komplizierten Welt. Die moderne Gesellschaft mit all ihren Widersprüchen und Herausforderungen kann überwältigend und erdrückend erscheinen – es überrascht nicht, dass Menschen in Versuchung kommen, das sichere Versprechen einer Katastrophe der Ungewissheit vorzuziehen.

Was die Zukunft von Künstlicher Intelligenz (und unsere Zukunft mit ihr) angeht, müssen wir uns eingestehen, was die Financial Times zuletzt ungewollt mit einem realsatirischen Diagramm illustrierte: niemand kann gerade wirklich sagen, wohin die Entwicklung geht.

Quite rare to see a chart that says quite so overtly that no one involved has the slightest clue what’s happening here

— Sharon O'Dea (@sharonodea.com) 2026-02-26T09:15:02.539Z

„KI könnte Knappheit beenden, die Menschheit beenden, oder das BIP-Wachstum um 0,2 Prozentpunkte beschleunigen”. In etwas weniger dummen Worten: Künstliche Intelligenz birgt, wie jede neue Technologie, Potenziale und Risiken. Und was auch zur Wahrheit gehört: die Auswirkungen für unsere Zukunft werden nicht allein von der technischen Entwicklung abhängen, sondern in hohem Maße auch von den gesellschaftlichen, wirtschaftlichen und politischen Prozessen, mit denen sie in ständiger Wechselwirkung steht.

Da aktuell mehrere milliardenschwere Konzerne darum wetteifern, möglichst schnell immer neue KI-Modelle auf den Markt zu werfen – ohne Rücksicht auf Nachhaltigkeit und gesellschaftliche Auswirkungen – sollten wir insbesondere die Risiken nicht ignorieren. Leider haben Yudkowsky und Soares wenig Interesse daran, die realen, heute spürbaren Auswirkungen des KI-Hypes zu mildern. Für Probleme unterhalb der totalen Apokalypse fühlen sie sich nicht zuständig. In ihrem Call-to-Action am Ende des Buches raten sie sogar explizit davon ab, sich mit anderen Risikofaktoren zu befassen, da dies von ihrem Lieblingsproblem ablenken könnte: „Wir glauben nicht, dass [eine politische Bewegung gegen Superintelligenz] mit irgendeiner anderen Position verknüpft werden sollte. Das Hinzufügen jeglicher anderer Anliegen riskiert das Aussterben der Menschheit, wenn das große Paket scheitert.” (Hervorhebung im Original)

In diesem Sinne ist „If Anyone Builds It, Everyone Dies” nicht nur ein ärgerliches Weltuntergangspamphlet, sondern birgt die Gefahr, die Lesenden für die greifbaren und dringenden Gefahren von generativer KI zu desensibilisieren. Es gibt genug Herausforderungen, Risiken und Ambivalenzen, die hier und heute einer Lösung bedürfen. Amazon Web Services, der weltweit größte Anbieter von Cloud Services hatte im vergangenen Jahr stundenlange Ausfälle zu verzeichnen, weil ein KI-Agent eigenständig entschieden hatte, Teile der digitalen Umgebung zu löschen und neu zu kreieren. Das „Department of War” der USA setzt verstärkt auf Zusammenarbeit mit KI-Unternehmen (u.a. OpenAI und Elon Musks xAI), während erst kürzlich in einer Simulation am Kings College KI-Agenten in 95 % aller Fälle nukleare Erstschläge ausführten.

Ein solches Ergebnis unter Laborbedingungen heißt selbstverständlich nicht, dass der KI-gestützte Atomkrieg unmittelbar bevorsteht. Aber es ist, wie die Ausfälle bei Amazon, eines von vielen Beispielen dafür, wie Künstliche Intelligenz – verbunden mit menschlichem Leichtsinn – im Hier und Jetzt neue Risiken erzeugt, auch ohne dass eine entfesselte Superintelligenz den Entschluss fasst, uns alle auszurotten.

Eine Geschichte von zwei Statements

Yudkowsky und Soares sind – neben vielen anderen Personen aus Politik, Wirtschaft und Forschung – Mitunterzeichner einer Erklärung des „Center for AI Safety”, in der gefordert wird, das Risiko von menschlichem Aussterben durch KI solle „eine globale Priorität neben Pandemien und nuklearem Krieg” sein. Ebenfalls unterzeichnet haben es Führungskräfte und CEOs von großen KI-Firmen wie Microsoft, Google Deepmind, OpenAI und Anthropic.

Im letzten Jahr wurde im Rahmen der 80. UN-Generalversammlung eine weitere Erklärung veröffentlicht, die „internationale rote Linien zur Verhinderung inakzeptabler KI-Risiken” fordert. Auch diese Erklärung wurde von hunderten namhaften Personen aus Politik und Forschung unterzeichnet – allerdings nicht von Yudkowsky, Soares und ebenso wenig von führenden KI-Unternehmen. Letzteres überrascht nicht, wenn man die Inhalte der beiden Veröffentlichungen vergleicht:

Die erste beschäftigt sich mit eben jenen nebulösen und hochgradig spekulativen Risiken einer potenziellen Komplett-Katastrophe, die es auch Yudkowsky und Soares angetan haben. Die zweite Erklärung warnt nicht vor einer Ausrottung der Menschheit, sondern u.a. vor der Verbreitung von Desinformation, „Manipulation von Individuen, inklusive Kindern” und systematischen Menschenrechtsverletzungen. Keine vagen Weltuntergangsszenarien sondern konkrete, heute schon sichtbare Probleme, die jetzt gerade die gesellschaftliche Stabilität gefährden und dringend zügige politische Reaktionen erfordern – Reaktionen, die sehr wahrscheinlich Einschränkungen für die Geschäftspraktiken der KI-Konzerne bedeuten werden.

Etwas polemisch könnte man spekulieren: vielleicht ist dem Führungspersonal von OpenAI und Co. zumindest in Teilen durchaus bewusst, dass sie von Superintelligenz noch deutlich weiter entfernt sind, als ihre Earnings Calls und Pressemitteilungen glauben machen wollen, und dass deshalb eine Regulierung von Superintelligenz – wenn sie überhaupt zustande käme – für sie bis auf weiteres kein Hindernis darstellen sollte.

Um die Sorgen von Yudkowsky und Soares zu teilen, muss man zunächst die spekulativen bis fantastischen – und zum Teil an Kultismus grenzenden – Versprechen der KI-Industrie glauben. Um Handlungsbedarf für eine pragmatische Regulierung von KI-Technologien zu sehen, reicht es, einfach nur die heutige Realität wahrzunehmen.

Deplatzierte Aufklärung

Um zum Abschluss einmal die Vorliebe der Autoren für ausufernde Analogien zu übernehmen:

Man stelle sich vor, mehrere große Tech-Unternehmen würden sich ein globales Wettrennen liefern, um ein über Lichtgeschwindigkeit fliegendes UFO zu bauen, das einen allmächtigen Engel aus einer anderen Dimension auf die Erde bringen soll, um die Menschheit von ihren Qualen zu erlösen.

Obwohl es weder Belege für die Existenz des Engels gibt, noch einen seriösen Plan für die Entwicklung des Antriebs, werden hunderte Milliarden in die „Angel Tech” investiert und ganze Produktionszweige auf UFO-Bauteile umgestellt. Privatpersonen fangen an, vorsorglich zu dem sagenumwobenen Engel zu beten und ihr Leben an seinen Lehren auszurichten.

Tatsächlich bringt die Forschung an dem UFO einige neue Entwicklungen in der Luft- und Raumfahrttechnik mit sich, doch diese Erfolge stehen in keinem Verhältnis zu den Ressourcen, die von der Angel-Tech-Industrie verbraucht werden.

Dann treten zwei mutige Aufklärer auf den Plan: Herr Schmudkowsky und Herr Schmoares. Sie versprechen, den Wahnsinn und die Risiken der Engelstechnologie zu entlarven. Aber statt die extreme Ressourcenverschwendung zu anzuprangern, statt zu erklären, warum das UFO vermutlich nicht funktionieren kann, statt darauf hinzuweisen, dass kein interdimensionaler Engel die Menschheit erlösen wird und statt vor den Risiken des Engelsglaubens zu warnen, sagen sie:

„Das UFO darf niemals starten. Denn der Engel existiert, aber er ist in Wirklichkeit ein Dämon, der die Menschheit nicht erlösen, sondern vernichten wird.”

Zusammenfassend bleibt festzuhalten: Skepsis und auch Sorge über die gesellschaftlichen Auswirkungen von künstlicher Intelligenz sind nicht nur vernünftig, sondern dringend nötig. Die Weltuntergangsprosa in „If Anyone Builds It, Everyone Dies” ist dabei aber wenig hilfreich. Sie lenkt den Fokus von dringenden, realen Problemen auf höchst spekulative Gedankenexperimente. Diese sind seit Jahrzehnten die Grundlage für gute Science Fiction, aber auch heute noch keine gute Grundlage für ein Sachbuch.

—-
„If Anyone Builds It, Everyone Dies” ist erschienen im Verlag Little, Brown and Company. Eine deutsche Ausgabe ist bisher nicht angekündigt.

(Der Text erschien in ähnlicher Form bereits im Skeptix-Blog)