Buch „The Intelligence Explosion“: Über die Risiken Künstlicher Intelligenz

Als Rezensent fährt man grundsätzlich gut damit, sich nicht allzu konkret auf einen anstehenden Weltuntergang festzulegen – ganz egal, wie besorgniserregend die zu besprechende These auch sein mag. Kommt das Ende nicht, hat sich wieder einmal abgeklärte Nüchternheit bewahrheitet. Kluger Mann, der Autor! Kommt das Ende wider Erwarten doch, ist es letztlich auch egal. In der Apokalypse – so ist zu vermuten – gibt es dann dringlichere Sorgen als eine weitere vergeigte Prognose.

Soweit also die Faustregel. Nach der Lektüre von James Barrats „The Intelligence Explosion. When AI Beats Humans at Everything“ wird hier nun ganz bewusst einmal damit gebrochen und die Warnung des Autors weitergereicht, bevor die Lampen ausgehen. 

Das Buch ist eine 300 Seiten lange Warnung vor der Entfesselung von Unbeherrschbarem und vor dem, was der Statistiker I. J. Good schon in den 1960er Jahren als „Explosion der Intelligenz“ bezeichnete.

Unter der Intelligenzexplosion wird dabei die theoretische Situation verstanden, „in der KI Systeme der durch rasche Selbstverbesserung eine dramatische und vielleicht unkontrollierbare Zunahme ihrer Fähigkeiten durchlaufen“. Wann und ob dieser Moment tatsächlich eintrifft, steht in den Sternen. Auch Barrat kann sich nicht festlegen. Doch klar ist: Wir scheinen auf dem Weg dorthin, denn wir erleben eine technische Revolution, die nicht nur allumfassend ist, sondern sich dabei auch stetig selbst radikalisiert. 

Droht ein Weltuntergang?

Besonders bedenklich: Diese Entwicklungen finden statt, ohne dass die Treiber der Entwicklung auch nur den Funken einer Ahnung davon haben, was eigentlich tatsächlich gerade geschieht. Es ist eine Blackbox innerhalb einer Blackbox, meint Barat, und zieht einen beängstigenden Vergleich. „Es ist, als hätte man das Manhattan-Projekt einer Bande von Kindergartenkindern anvertraut“. Macht alle mit. Die anderen tun es ohnehin!

Übertrieben? Das Wort Weltuntergang ist kein Kleines. Doch nun fällt die Niederschrift dieser Zeilen ausgerechnet in eine Woche, in der in der ganz realen Welt ebenfalls die Angst umgeht. Erstmals haben sich AI-Chatbots selbst miteinander vernetzt und – so liest man – offenbar gleich einen Komplott geschmiedet. Ein Paar Tage später kam es in den USA zum ersten Mal zu einer unerklärlichen Aggression eines AI-Algorithmus gegen einen Programmierer, der die AI kritisiert hatte und der mit Sicherheitsfragen beauftragte Chef-Wissenschaftler des AI-Konzerns Anthropic legte mit den Worten „Die Welt ist in Gefahr“ seinen Posten nieder, um sich bis zum augenscheinlich erwarteten Ende nun dem Studium der Poesie zu widmen. Ein Einzelfall?

„42 Prozent der betroffenen Manager gehen davon aus, dass KI die Menschheit in fünf bis zehn Jahren vernichten könnte“

Leider nein. Ein gutes Drittel der aktuell an KI-Entwicklung beteiligten Forscher – so zitiert Barrat den 2023 „AI Index Report“ des „Stanford Institute for Human-Centered Artificial Intelligence“ – geht davon aus, dass AI eine Katastrophe vom Ausmaß eines Atomunglücks nach sich ziehen könnte. Alles Hysteriker? Zumal der Autor zeigt: solche Zahlen sind keine Ausreißer. Eine Umfrage unter CEOs auf einem 2023 AI-Summit belegt vielmehr, dass 42 Prozent der betroffenen Manager davon ausgehen, dass KI die Menschheit in fünf bis zehn Jahren vernichten könnte. 42 Prozent! In fünf bis zehn Jahren! Eigentlich müsste man die Zahlen hier noch ein drittes und viertes Mal wiederholen.

Disruption oder mögliche Apokalypse?

Doch was genau ist das Problem? Hier unterscheidet Barrat zwischen den kurz- und langfristigen Auswirkungen – zwischen Disruption und möglicher Apokalypse, wenn man so will. Die kurzfristigen Folgen? Arbeitslosigkeit, Diskriminierung, das Ende der Privatsphäre, Massenüberwachung, Copyright-Verletzungen, enormer Energieverbrauch, usw.. 

Immer mit schwingt dabei auch die Frage nach der Zukunft der Demokratie. Sie hing historisch betrachtet stets mit der Nachfrage nach menschlicher Arbeitskraft zusammen. Der Autor geht nicht explizit selbst auf den Vergleich ein: Doch wenn die De-Industrialisierung in den vergangenen Jahren den Anstieg des Populismus von rechts befeuert hat, welche Konsequenzen wird dann die Elimination von Bildungsarbeit in Wissensgesellschaften nach sich ziehen?

Und das, wie gesagt, sind nur die kurzfristigen Herausforderungen. Die, wie der Autor mit einer Portion Galgenhumor feststellt, „manchmal übersehen werden, weil existenzielle Risiken, etwa die Zerstörung allen Lebens auf dem Planeten, ein bisschen die Aufmerksamkeit auf sich ziehen.“

Wer kontrolliert die Maschine?

Das Problem ist Alignment: Wie kann sichergestellt werden, dass die Maschine die Zielsetzung der menschlichen Programmierer auch in dem Moment beibehält, in dem sie ihre Schöpfer in Leistung, Geschwindigkeit und Analysefähigkeiten bei Weitem übertrifft? Es ist dieser Punkt der „Intelligenz-Explosion“, der die Debatte einerseits in den Bereich des Spekulativen, andererseits aber eben auch in den Bereich des Furchterregenden verlagert.

Die Verantwortlichen wissen schon, was sie tun? Dieser Naivität sollte man sich besser nicht hingeben, warnt Barrat und vergleicht erneut mit der Kernspaltung. „Es ist weitaus gefährlicher. Doch diejenigen, die sie kontrollieren, sind keine Oppenheimer. Sie sind nicht qualifiziert und nicht gewählt, um Entscheidungen dieser Bedeutung zu treffen, um frei und rücksichtslos Technologie zu entwickeln, die das Leben aller auf der Erde beenden kann. Es ist undemokratisch und falsch.“

Und: „Die Männer und Frauen von Los Alamos wussten, was sie taten. Sie wussten, dass Atombomben funktionieren, indem sie eine Kernspaltungskettenreaktion auslösen. Im Gegensatz dazu wissen die Erbauer der generativen KI nicht, wie sie funktioniert.“ Ein interessanter Gegensatz? „Ja, wenn man der Meinung ist, ein scharfer Absturz in spitze Felsen sei interessant“, meint zumindest Barrat.

Panikmache oder Realität?

Hin und wieder merkt man der Lektüre den filmischen Hintergrund des Autors an. So überrascht es nicht, dass auch im Buch Vergleiche mit dem erwartbaren Terminator sowie mit der Matrix gezogen werden. Doch dem ernsthaften Anliegen des Werks wird damit kein Bärendienst erwiesen. Was bleibt? Ist das Werk Panikmache, überzeichnet und übertrieben? Der Autor selbst bremst immer wieder ab und macht klar, dass die aktuellen sprachbasierten Modelle eher nicht den Pfad zur Superintelligenz darstellen. „Korrekt das nächstwahrscheinlichste Wort erraten“, so Barrat, ist weder der Untergang des Abendlandes noch des blauen Planeten. Schwierig ist die weitere Entwicklung.

Und hier bringt der Autor ein überzeugendes Argument. Er verweist mit Rückgriff auf die Sünden der arrivierten Silicon-Valley-Unternehmen auf deren bisherige moralische, ethische und demokratische Bilanz: mangelnde Informationstransparenz, fehlende Haftung bis hin zu absoluter unternehmerischer Verantwortungslosigkeit. Weshalb aber nun ausgerechnet ein Milieu, das Firmen wie Meta, Facebook und Google hervorgebracht hat, nun in der Goldgrube der künstlichen Intelligenz mit ruhiger Hand einen Kurs der Verantwortung fahren sollte, bleibt – wie der Autor richtig feststellt – eine tatsächlich offene Frage.

Was Politik jetzt tun muss

Die Quintessenz der Mahnung des Autors ist deshalb der Aufruf zu einem Moratorium: „Wir müssen die Entwicklung generativer KI stoppen, bis wir sie viel besser verstehen.“ Und gerade hier eröffnet sich ein Betätigungsfeld für die Politik, die die Entwicklung der KI nicht länger einfach dem Zufall überlassen darf. Denn: „Wenn wir und alle zukünftigen Generationen sterben, weil wir uns nicht vor einem Haufen Bargeld zurückhalten können, von dem die überwiegende Mehrheit von uns ohnehin nichts sehen wird, wäre das ein erbärmlicher Nachruf.“

In der Tat. Kluger Mann, der Autor!

Infor zum Buch:
James Barrat: The Intelligence Explosion: When AI Beats Humans at Everything, 2025, St. Martin’s Press, 327 Seiten