Maximal 8 Personen, 630 Kilogramm. Das steht im Aufzug eines Hauses, in dem ich öfter Termine habe, auf einem kleinen Schild neben dem Knopf fürs Erdgeschoss. Darunter klebt eine Plakette, die verspricht, dass sich jemand die Sache angesehen hat.
Jahrelang habe ich das Schild nicht gelesen. Seit dieser Woche lese ich es jedes Mal.
Schuld ist eine Zahl aus einem ganz anderen Gebäude. In Washington hat Anthropic, die Firma hinter dem KI-Modell Claude, Abgeordneten den Entwurf für ein KI-Sicherheitsgesetz gezeigt. Vertraulich, aber Politico hat ihn bekommen, und Golem hat darüber berichtet. Danach dürfte die US-Regierung ein neues KI-Modell nur dann stoppen, wenn unmittelbar droht, dass es mehr als eine Milliarde Dollar Schaden anrichtet oder mehr als fünfzig Menschen tötet oder schwer verletzt. Und auch nur, wenn die Gefahr von einer Biowaffe kommt, von einem Cyberangriff oder von einem Modell, das sich der Kontrolle seiner Entwickler entzieht.
Fünfzig. Nicht neunundvierzig. Ich kann diese Zahl nicht lesen, ohne kurz an die Menschen dahinter zu denken.
Zurück zum Aufzug. Warum glaube ich eigentlich die 630 Kilogramm? Vermutlich, weil ich annehme, dass die Grenze jemand festgelegt hat, der nicht davon lebt, dass mehr Leute einsteigen. Wer in dem Gebäude die Prüfung des Aufzuges bezahlt, weiß ich nicht. Wahrscheinlich der Betreiber. Ich vertraue dem Schild trotzdem, weil auf der Plakette ein anderer Name steht als auf dem Typenschild.
Beim Gesetzentwurf wird genau diese Stelle interessant. Die Prüfer sollen sich beim Handelsministerium registrieren, und die Labore dürfen sie bezahlen. Fairerweise gehört dazu: Die Vergütung darf nicht vom Ergebnis abhängen, das berichten mehrere Quellen. Findet ein Prüfer eine akute Gefahr, muss er sie binnen 72 Stunden melden. Stoppen kann am Ende nur ein Bundesrichter in Washington, kein Minister und keine andere Behörde. Das lässt sich auch als Schutz lesen, vor Willkür gegen die Firmen, aber ebenso vor übereifrigen Eingriffen. Ein Sprecher nannte die Vorschläge „vernünftige Regelungen, die der Kongress umsetzen sollte“.
Ich arbeite selbst im Alltag mit KI-Werkzeugen, auch mit denen dieser Firma. Das gehört zur Wahrheit, wenn ich darüber schreibe.
Die Kritik kommt prompt. Heidy Khlaaf vom AI Now Institute nennt den Entwurf autokratisch, weil die Firma selbst festlege, ab wie viel Tod und Schaden etwas zählt, und die Schäden ausblende, die KI heute schon anrichtet. Ein US-Verband für Bürgerrechte, das Center for Democracy and Technology, warnt ähnlich: Diskriminierung im Bewerbungsverfahren, abgeflossene Daten, falsche Auskünfte erreichen nie fünfzig Opfer und treffen trotzdem Menschen. Das sind genau die Fälle, über die wir in meinen Kursen sprechen.
Es gibt andere Antworten auf dieselbe Angst. Senator Sanders will Superintelligenz verbieten, mit bis zu zwanzig Jahren Haft. Präsident Trump hat Ende September mit den Chefs der großen Firmen, darunter Anthropic, eine freiwillige Selbstverpflichtung unterschrieben, „moralisch bindend“, aber ohne Strafen. In der EU gelten für die größten Modelle schon vorab Pflichten, nicht erst, wenn etwas droht. Verbot, Versprechen, Schwelle, Vorabpflicht. Vier Antworten, und keine davon ist dumm.
Ob aus dem Entwurf je ein Gesetz wird, weiß niemand. Berichten zufolge gibt es weder eine Nummer noch einen Sponsor im Kongress, und Anthropic hat selbst schon Änderungen angekündigt.
Mir bleibt eine Frage, und sie ist kleiner als die Zahl: Wer hat sie festgelegt, und wer hat nachgesehen? Ob fünfzig richtig ist, kann ich nicht beurteilen. Die Frage kann ich stellen.
Im Aufzug stehen zwei Namen. Ich hätte gern auch bei der Zahl Fünfzig zwei.
Quellen
- Politico (16.10.2026), Erstbericht laut Golem: https://www.politico.com/news/2026/10/16/anthropic-ai-safety-01124654
- Cybernews (19.10.2026). AI must threaten to kill over 50 people for government to intervene, Anthropic proposes. Zitat Heidy Khlaaf, AI Now Institute.
https://cybernews.com/ai-news/anthropic-50-people/
- MLQ News (19.10.2026). Anthropic pitches Congress a frontier-AI bill with a $1 billion harm threshold. Details zu Prüfern, Frist, Gericht, Stand des Entwurfs, CDT-Warnung.
https://mlq.ai/news/anthropic-pitches-congress-a-frontier-ai-bill-with-a-1-billion-harm-threshold/
- Dealroom (16.10.2026). Vergütung der Prüfer nicht ergebnisabhängig, Sprecherzitat.
https://dealroom.co/news/163803-anthropic-pitches-congress-its-own-frontier-ai-bill-models-could-only-be/
- Sanders/Casar (23.09.2026). Ban Artificial Superintelligence Act. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/
- White House Accord on Super Intelligence (29.09.2026), freiwillige Selbstverpflichtung, Unterzeichner inkl. Anthropic. Einordnung: https://general.legal/blog/white-house-accord-on-super-intelligence-a-guide-for-ai-companies
