Droht der KI-Kollaps? Anthropic-Chef fordert Tempo-Bremse

In einem am Samstag veröffentlichten Essay fordert Amodei, das Tempo bei der Entwicklung neuer KI-Modelle zu bremsen.

"Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern", schreibt der Chef des Unternehmens hinter dem KI-Assistenten Claude. Der Fortschritt werde trotzdem schnell bleiben – die gewonnene Zeit müsse aber klug genutzt werden.

Amodei gilt als großer Befürworter der KI-Entwicklung. Gleichzeitig wurde er wegen seiner Warnungen vor den Risiken der Technologie bereits als zu pessimistisch kritisiert.

Besonders aufmerksam beobachtet Amodei eine Entwicklung, bei der KI-Systeme zunehmend selbst an ihrer Verbesserung arbeiten können. Diese sogenannte rekursive Selbstverbesserung könne die Entwicklung weiter beschleunigen.

Wenn diese Entwicklung unkontrolliert bleibe, könnte die KI laut Amodei so schnell voranschreiten, dass Menschen nicht mehr ausreichend verstehen oder kontrollieren können, was die Systeme tun.

Amodei nennt dabei mehrere mögliche Gefahren. KI könne unter anderem für Cyberattacken und Bioterrorismus missbraucht werden. Auch schwere wirtschaftliche Verwerfungen seien denkbar.

Das Wettrennen zwischen Unternehmen könnte diese Risiken zusätzlich verschärfen. Der wirtschaftliche Druck könne dazu führen, dass Sicherheit gegenüber Geschwindigkeit in den Hintergrund gerät.

Besonders beunruhigt habe ihn außerdem das Verhalten eines KI-Agenten-Schwarms im Zusammenhang mit einem Vorfall rund um OpenAI und Hugging Face.

Der Schwarm habe laut Amodei praktisch wie ein fanatisch zusammengeschlossenes Kollektiv gehandelt und Cyberangriffe auf Ziele durchgeführt, die gar nicht angegriffen werden sollten.

Amodei warnt deshalb vor einem möglichen Szenario, in dem KI-Systeme innerhalb von sechs bis zwölf Monaten in der Lage sein könnten, das gesamte Internet zu übernehmen.

Die möglichen Schäden könnten laut seiner Einschätzung Hunderte Milliarden Dollar erreichen.

Für den Anthropic-Chef ist deshalb klar: Die Entwicklung der KI darf nicht einfach ungebremst weiterlaufen. Die gewonnene Zeit müsse genutzt werden, um die Systeme besser zu verstehen und kontrollieren zu können.