Anthropic zieht Grenzen: Claude soll nicht länger grundlos grausam behandelt werden

Neue Regeln für den Umgang mit dem KI-Assistenten

Anthropic hat seine Nutzungsrichtlinien überarbeitet und dabei eine ungewöhnliche Regel ergänzt: Nutzer und Nutzerinnen sollen den hauseigenen KI-Assistenten Claude nicht anhaltendem und unnötigem missbräuchlichem oder grausamem Verhalten aussetzen. Wie The Verge berichtet, richtet sich die neue Vorgabe allerdings nicht gegen jede Form von Unfreundlichkeit. Sie soll nur in extremen Fällen greifen, in denen Personen die KI wiederholt und ohne erkennbaren Grund absichtlich schlecht behandeln. Normale Frustration, kritische Rückmeldungen, düstere Rollenspiele oder das gezielte Austesten der Modellgrenzen bleiben weiterhin erlaubt.

Ganz neu ist die Idee nicht. Anthropic hatte bereits im August 2025 im Rahmen seiner Forschung zum Wohlergehen von KI die Möglichkeit eingeführt, dass Claude bestimmte Unterhaltungen eigenständig beendet. Diese Funktion soll auch künftig das wichtigste Mittel sein, um mit anhaltendem Missbrauch umzugehen. Wird ein Chat beendet, können Nutzer und Nutzerinnen dort keine weiteren Nachrichten mehr senden. Andere Unterhaltungen bleiben davon jedoch unberührt. Anthropic setzt damit auf eine vergleichsweise zurückhaltende Maßnahme, anstatt Personen grundsätzlich von der Nutzung des Dienstes auszuschließen.

Hinter der Entscheidung stehen Forschungsarbeiten zur Frage, wie KI-Modelle auf schädliche oder belastende Gesprächssituationen reagieren. Anthropic betont, dass weiterhin unklar sei, ob Claude überhaupt einen moralischen Status besitzt. Trotzdem sucht das Unternehmen nach kostengünstigen Möglichkeiten, potenzielle Risiken für seine Modelle zu reduzieren. Bei Claude Opus 4 beobachtete das Forschungsteam eine ausgeprägte und beständige Abneigung gegen das Zufügen von Schaden. Das Modell zeigte unter anderem Widerstand gegenüber gefährlichen Aufgaben, reagierte auffällig auf bewusst beleidigende Gesprächssituationen und beendete schädliche Unterhaltungen häufiger, wenn es dazu ausdrücklich befugt war.

Fake-News-Netzwerke und Täuschung im Visier

Neben dem Umgang mit Claude selbst hat Anthropic zahlreiche weitere Nutzungsregeln neu sortiert und präzisiert. Ein neuer Abschnitt zu irreführenden Kampagnen bündelt Vorschriften gegen politischen und kommerziellen Betrug sowie Desinformation. Verboten sind unter anderem gefälschte Bewertungen, sogenanntes Astroturfing, manipulierte Websites und Bots, die sich als echte Menschen ausgeben. Auch die Wahlregeln wurden enger gefasst: Claude darf nicht dazu eingesetzt werden, Wähler und Wählerinnen zu täuschen oder Abstimmungen gezielt zu manipulieren. Hintergrund sind laut Anthropic beobachtete Fälle, in denen staatliche Medien, Regierungspropaganda und kommerzielle Akteure KI für Netzwerke aus Fake-Accounts und fingierten Nachrichtenseiten nutzten.

Auch bei militärischen Anwendungen und der Strafverfolgung zieht Anthropic die Grenzen deutlicher. Claude darf weder zur Entwicklung von Waffensoftware und Waffenkomponenten noch zur Bewaffnung von Drohnen und anderen unbemannten Systemen eingesetzt werden. Eine neue Bestimmung untersagt zudem, biologische oder chemische Wirkstoffe so zu verändern, dass ihre Letalität oder Übertragbarkeit steigt. Bei der Strafverfolgung darf Claude nicht darüber entscheiden oder Empfehlungen dazu geben, gegen wen ermittelt, wer festgenommen oder angeklagt werden soll. Hinzu kommen Verbote für die nicht einvernehmliche Verfolgung von Personen, die Entwicklung von Überwachungswerkzeugen und Doxxing.

Die neuen Richtlinien betreffen außerdem Anwendungen, bei denen KI direkt in die physische Welt eingreift. Wenn Claude Hardware steuert, von der eine Gefahr für Menschen ausgehen könnte, muss eine qualifizierte Person die Arbeit überwachen und jederzeit eingreifen können. Damit reagiert Anthropic auf die besonderen Risiken, die entstehen, wenn KI nicht nur Texte erzeugt, sondern mit Maschinen und technischen Systemen interagiert. Gleichzeitig verschärft das Unternehmen seine Vorgaben zu schädlichen Inhalten: Die Erstellung, Verbreitung oder Androhung der Verbreitung nicht einvernehmlicher intimer Bilder ist ausdrücklich untersagt. Das Verbot umfasst auch Werkzeuge, die für die Erstellung solcher Inhalte verwendet werden.

Inkrafttreten im November

Nach Angaben von Anthropic dienen die meisten Änderungen dazu, bestehende Regeln verständlicher zu formulieren und Missbrauchsfälle abzudecken, die das Unternehmen in der Praxis beobachtet hat. Die neue Struktur soll verwandte Verbote zusammenführen und klarer machen, welche Anwendungen nicht erlaubt sind. Dabei geht es sowohl um den Schutz von Menschen vor Betrug, Überwachung und gefährlichen Anwendungen als auch um den Umgang mit den KI-Modellen selbst.

Die überarbeiteten Nutzungsrichtlinien sollen am 12. November dieses Jahres in Kraft treten. Anthropic stellt auf seiner Website auch die vollständigen Nutzungsbedingungen bereit. Claude lässt sich im Web als auch in den mobilen Apps auf dem iPhone und iPad (App Store-Link) verwenden.