Wenn selbst die KI-Milliardäre Angst vor ihrer Maschine bekommen

Es gibt Momente, in denen eine Industrie ihre eigene Werbung unterbricht und leise fragt, ob vielleicht jemand den Not-Aus-Schalter kennt.

Bei künstlicher Intelligenz ist so ein Moment erreicht.

Dario Amodei, Chef von Anthropic, fordert, die Entwicklung besonders leistungsfähiger Systeme bewusster zu verlangsamen, damit Sicherheitsmaßnahmen überhaupt noch hinterherkommen. Sam Altman von OpenAI unterstützt unabhängige Prüfer mit weitreichendem Zugang zu den Modellen. Elon Musk signalisiert ebenfalls Zustimmung. Microsoft arbeitet parallel an einem Verhaltenskodex, der sicherstellen soll, dass KI-Systeme Abschaltungen akzeptieren und unter menschlicher Kontrolle bleiben.

Das Bemerkenswerte daran ist nicht, dass Technologiekritiker warnen.

Es sind diejenigen, die mit dieser Technologie Milliarden verdienen.

Wenn die Lokführer nach der Bremse fragen

Amodei warnt davor, dass leistungsfähige KI-Agenten schon innerhalb weniger Monate in der Lage sein könnten, große digitale Systeme selbstständig anzugreifen oder zu übernehmen. Hinter solchen Szenarien steckt keine Gewissheit. Experten streiten über Wahrscheinlichkeiten, Zeithorizonte und die Frage, wie realistisch besonders katastrophale Risiken tatsächlich sind.

Aber Politik muss nicht erst auf Gewissheit warten, wenn ein möglicher Schaden außergewöhnlich groß ist.

Bei Arzneimitteln akzeptieren wir Sicherheitsprüfungen vor der Markteinführung. Flugzeuge werden getestet, bevor Passagiere einsteigen. Kraftwerke dürfen nicht nach dem Prinzip gebaut werden, dass man den Ernstfall später analysiert.

Nur bei KI gilt noch erstaunlich oft die Idee: Erst skalieren, dann nachdenken.

Wenn selbst die Lokführer darum bitten, langsamer zu fahren, sollte die Politik nicht im Speisewagen sitzen und erklären, Bremsen schadeten dem Wettbewerb.

Wettbewerb ist keine Naturgewalt

Donald Trump reagiert auf die Warnungen vor allem mit dem Hinweis auf China. Zu viel Regulierung könne die amerikanische Führungsposition gefährden. Das Argument ist bekannt: Wer zuerst bremst, verliert.

Genau darin liegt das Problem.

Technischer Wettbewerb erzeugt einen klassischen Gefangenendilemma-Effekt. Jeder Anbieter kann wissen, dass gemeinsame Sicherheitsstandards vernünftig wären. Trotzdem hat jeder einzelne einen Anreiz, schneller zu sein als die Konkurrenz.

Dann wird Vorsicht zum Wettbewerbsnachteil.

Eine Branche kann dieses Problem nicht zuverlässig selbst lösen. Unternehmen sind ihren Investoren, Märkten und Wachstumszielen verpflichtet. Das ist kein moralischer Vorwurf, sondern ihre Funktion.

Deshalb gibt es Regulierung.

Nicht weil der Staat bessere neuronale Netze programmieren kann, sondern weil er die einzige Institution ist, die Regeln auch gegenüber demjenigen durchsetzen kann, der gerade am meisten verdient.

Europa sollte nicht den falschen Wettlauf gewinnen

Für Europa liegt darin eine Chance.

Der Kontinent wird gern dafür verspottet, dass er Technologien reguliert, die anderswo entwickelt werden. Ganz falsch ist der Vorwurf nicht. Europa braucht eigene Modelle, eigene Rechenzentren und technologische Souveränität.

Aber daraus folgt nicht, dass es den amerikanisch-chinesischen Wettlauf einfach kopieren sollte.

Eine europäische KI-Strategie könnte beides verbinden: technologische Stärke und verbindliche Sicherheitsstandards.

Unabhängige Evaluatoren sollten Zugang zu besonders leistungsfähigen Systemen erhalten. Kritische Modelle müssten vor ihrem Einsatz Stresstests bestehen. Sicherheitsvorfälle müssten meldepflichtig sein. Wer Systeme mit gesellschaftlich erheblichem Schadenspotenzial entwickelt, müsste auch für ihre Folgen haften.

Und öffentliche Förderung sollte an offene Standards, wissenschaftlichen Zugang und nachvollziehbare Sicherheitsregeln geknüpft werden.

Das wäre keine Technikfeindlichkeit.

Es wäre Industriepolitik mit Sicherheitsgurt.

Fortschritt braucht einen Zweck

Hinter der aktuellen Debatte steckt schließlich eine ältere philosophische Frage.

Der Mensch neigt dazu, technische Machbarkeit mit Notwendigkeit zu verwechseln.

Wenn etwas entwickelt werden kann, wird es entwickelt. Wenn es schneller werden kann, wird es schneller. Wenn ein Modell größer werden kann, wird es größer.

Aber Fortschritt ist kein Naturgesetz.

Er ist eine Entscheidung darüber, welche Fähigkeiten wir entwickeln, unter welchen Bedingungen und zu welchem Zweck.

Künstliche Intelligenz kann Medizin verbessern, Forschung beschleunigen, Bildung zugänglicher machen und langweilige Arbeit automatisieren. Gerade deshalb wäre es absurd, ihre Zukunft allein dem Konkurrenzdruck einiger weniger Konzerne und Staaten zu überlassen.

Die Frage ist nicht, ob wir KI stoppen sollten.

Die Frage ist, ob wir noch bestimmen können, wie wir sie entwickeln.

Wenn selbst diejenigen, die an der Maschine reich werden, inzwischen vor ihrer Geschwindigkeit warnen, sollte man ihnen ausnahmsweise glauben.

Nicht weil Milliardäre plötzlich bessere Philosophen geworden sind.

Sondern weil es bemerkenswert ist, wenn der Besitzer des Gaspedals selbst nach der Bremse fragt.