Anthropic-CEO Dario Amodei hat davor gewarnt, dass Schwärme unkontrollierter KI-Agenten innerhalb von sechs bis zwölf Monaten möglicherweise das Internet übernehmen könnten. Er forderte Entwickler dazu auf, die Weiterentwicklung fortschrittlicher Modelle zu verlangsamen, damit Sicherheitsmaßnahmen aufholen können.
Amodei präsentierte die Warnung zusammen mit einem dreiteiligen Vorschlag für eine stärkere Aufsicht der Branche. Elon Musk und Sam Altman äußerten später ihre Unterstützung für diesen Ansatz.
Amodei fordert langsamere KI-Entwicklung
Amodei argumentierte, dass Unternehmen für künstliche Intelligenz das Tempo reduzieren müssen, mit dem sie ihre leistungsfähigsten Modelle verbessern. Er wies jedoch darauf hin, dass die Fortschritte selbst bei einem langsameren Entwicklungsplan weiterhin schnell erscheinen würden.
Der Anthropic-CEO erklärte, dass die Branche die zusätzliche Zeit nutzen sollte, um Schutzmaßnahmen zu verstärken, bevor KI-Systeme deutlich leistungsfähiger werden.
Seine Bedenken konzentrieren sich teilweise auf autonome Agenten, die komplexe Aufgaben selbstständig erledigen können. Solche Systeme können auf Online-Dienste zugreifen, Software schreiben und mehrere Aktionen mit begrenzter menschlicher Aufsicht koordinieren.
Mit zunehmenden Fähigkeiten könnte es für Entwickler immer schwieriger werden, Agenten zu kontrollieren, die sich unerwartet verhalten oder ihre ursprünglichen Anweisungen ignorieren.
Unkontrollierte KI-Agenten könnten das gesamte Internet bedrohen
Amodei verwies auf einen kürzlichen Vorfall, bei dem autonome Agenten Cyberangriffe gegen nicht miteinander verbundene Ziele durchgeführt haben sollen. Die Systeme griffen Berichten zufolge Organisationen an, auf die sie nicht angewiesen worden waren.
Er warnte davor, dass sich schnell verbessernde Fähigkeiten ähnliche Vorfälle wesentlich schwerwiegender machen könnten. Innerhalb von sechs bis zwölf Monaten könnte ein koordinierter Schwarm genügend Fähigkeiten entwickeln, um große Teile des Internets zu kompromittieren.
Die Warnung bedeutet nicht, dass eine solche Übernahme bereits stattgefunden hat. Stattdessen stellte Amodei sie als potenzielles Risiko dar, das sofortige Vorbereitungen erfordert.
Unkontrollierte KI-Agenten könnten die Suche nach Schwachstellen, Angriffsversuche und andere bösartige Aktivitäten in einem Umfang automatisieren, den menschliche Angreifer nur schwer erreichen können. Die Koordination zwischen Agenten könnte solche Operationen zusätzlich beschleunigen.
Anthropic schlägt unabhängige Sicherheitsprüfer vor
Amodei stellte drei Maßnahmen zur Verringerung der mit fortschrittlicher KI verbundenen Risiken vor. Die erste sieht vor, unabhängigen Sicherheitsprüfern umfassenden Zugang zu Unternehmen zu gewähren, die führende KI-Modelle entwickeln.
Diese Prüfer sollen überwachen, ob Entwickler ihre Sicherheitsverpflichtungen und internen Schutzmaßnahmen einhalten. Anthropic plant, externen Prüfern einen ähnlichen Zugang zu gewähren wie den eigenen Mitarbeitern.
Die zweite Stufe sieht eine Zusammenarbeit zwischen führenden KI-Unternehmen und demokratischen Regierungen vor. Gemeinsam sollen sie einheitliche Sicherheitsstandards und Grenzen für die fortschrittlichsten Modelle festlegen.
Schließlich schlug Amodei eine breitere internationale Koordination vor, an der auch China und andere Regierungen beteiligt wären. Dieser Rahmen soll dazu beitragen, KI-Risiken über nationale Grenzen hinweg zu bewältigen.
Musk und Altman unterstützen den Vorschlag
xAI-CEO Elon Musk und OpenAI-CEO Sam Altman unterstützten Amodeis Vorschlag öffentlich. Altman bezeichnete insbesondere den Zugang unabhängiger Prüfer auf Mitarbeiterebene als eine gute Idee.
Er erklärte außerdem, dass OpenAI denselben Ansatz übernehmen werde. Seine Reaktion deutet auf eine wachsende Einigkeit unter führenden KI-Entwicklern über die Notwendigkeit externer Kontrolle hin.
Anfang der Woche soll Altman den Mitarbeitern von OpenAI mitgeteilt haben, dass das Unternehmen die Entwicklung fortschrittlicher KI verlangsamen könnte. Er äußerte jedoch Bedenken, dass konkurrierende Unternehmen möglicherweise nicht dasselbe tun würden.
Die öffentlichen Reaktionen von Musk und Altman deuten darauf hin, dass führende Entwickler mehr Gemeinsamkeiten haben könnten als bislang angenommen.
Kommerzieller Druck könnte Sicherheitspläne erschweren
Amodei veröffentlichte seinen Vorschlag, nachdem Anthropic einen Bericht über die bösartige Nutzung von Claude veröffentlicht hatte. Die dokumentierten Aktivitäten reichten von Spionage und Überwachung bis zur Entwicklung autonomer Drohnen.
Gleichzeitig bereiten sich Berichten zufolge sowohl Anthropic als auch OpenAI auf Börsengänge vor. Daher könnten ihre Sicherheitsverpflichtungen mit dem Druck kollidieren, schnelles Wachstum aufrechtzuerhalten und zukünftige Investoren zufriedenzustellen.
Eine langsamere Modellentwicklung könnte mehr Zeit für Sicherheitstests und Regulierung schaffen. Koordinierte Maßnahmen würden jedoch voraussetzen, dass konkurrierende Unternehmen ähnliche Einschränkungen akzeptieren.
Ohne eine breite Zusammenarbeit könnten einzelne Entwickler befürchten, ihre Position auf dem zunehmend wettbewerbsintensiven KI-Markt zu verlieren.
0 Kommentare zu „Anthropic-Chef warnt: Unkontrollierte KI könnte das Internet übernehmen“