⚖️ Die größten KI-Firmen wollen langsamer machen. Warum gerade jetzt?
PLUS: OpenAI löst Millennium-Problem aber nicht ohne Drama
Hallo Freunde,
Was für eine Woche. Anthropic veröffentlicht einen Bericht über absurde kriminelle Aktivitäten, für die Claude genutzt wurde, und plötzlich will die ganze KI-Industrie den Fortschritt vorerst verlangsamen. Davon spricht die Industrie seit Jahren, doch so nah wie jetzt war es noch nie. Habt ihr außerdem dieses Video gesehen? Noch ein gutes Beispiel dafür, was aktuelle Videomodelle wie hier Minimax H3 alles können. Es gibt viel aufzuholen, also los geht's.
Peanuts für heute:
🧠 Die Große Nuss: Warum wollen ausgerechnet die schnellsten KI-Labs plötzlich bremsen?
📊 Highlight: OpenAI löst ein 90 Jahre altes Mathematikproblem mit 10.000 KI-Agenten
🛠️ Trai it Out: ChatGPT Work übernimmt komplexe mehrstufige Aufgaben eigenständig
⚖️ Die größten KI-Firmen wollen langsamer machen. Warum gerade jetzt?
Wenn Anthropic vor KI-Risiken warnt, kann man inzwischen fast mit den Augen rollen. Das Unternehmen redet seit Jahren über Safety und wird dafür genauso regelmäßig des Doomerismus oder Regulatory Capture beschuldigt.
Dieses Wochenende war trotzdem anders.
Am Samstag veröffentlichte Anthropic-CEO Dario Amodei einen Essay mit einer ungewöhnlichen Forderung. Die führenden KI-Unternehmen sollten langsamer machen. Innerhalb weniger Stunden stimmte Sam Altman zu und kündigte an, OpenAI werde einen zentralen Teil von Amodeis Vorschlag übernehmen. Elon Musk schrieb schlicht, Dario habe recht. Demis Hassabis von Google DeepMind unterstützte ebenfalls die Richtung.
Dabei sah das KI-Rennen bis vor wenigen Tagen noch genauso aus wie immer. Anthropic veröffentlichte Fable 5.1, OpenAI brachte Astra heraus, die Modelle wurden leistungsfähiger und autonomer.
Was ist passiert, dass ausgerechnet die Unternehmen an der Spitze dieses Rennens plötzlich langsamer machen wollen?
Die Warnungen werden ziemlich konkret
Ein erstes Signal kam aus Anthropic selbst. Der 27-jährige Forscher Jacob Coxon kündigte öffentlich und schrieb, Anthropic und OpenAI würden auf selbstverbessernde Superintelligenz zurasen und dabei „mit unserem Leben spielen“.
Normalerweise wäre das ein ziemlich nischiger Abschiedspost aus der KI-Forschung. Coxons Beitrag erreichte allerdings weit über 170 Millionen Aufrufe, obwohl der Account praktisch keine öffentliche Vorgeschichte hatte. Kurz darauf saß Coxon bei Fox News, gab Interviews bei großen amerikanischen Medien und forderte staatliche Regulierung. Politiker griffen seine Warnung auf und verlangten neue Regeln für KI.
Prompt entstand die gegenteilige Erzählung. Kritiker vermuteten eine vorbereitete PR-Kampagne, die öffentliche Angst vor KI schüren und neue Regulierung durchsetzen sollte. Elon Musk griff diese Vermutung auf und sprach von einer möglichen „psyop“. Belegt ist eine solche Kampagne bisher nicht.
Fast zeitgleich veröffentlichte Anthropic allerdings einen Bericht, der einige der Risiken wesentlich konkreter macht (diesen Bericht behandeln wir auch in den Highlights). Solche Fälle beweisen keine bevorstehende KI-Apokalypse. Sie erklären aber, warum die Diskussion heute anders aussieht als vor drei Jahren. KI erledigt längere technische Aufgaben selbstständig und taucht dabei in Bereichen auf, in denen Fehler oder Missbrauch sehr reale Folgen haben.
Das Kern-Problem ist “Recursive Self-Improvement”
Der Hauptpunkt der Argumentation für eine Verlangsamung der KI-Entwicklung ist, dass KI seit diesem Sommer immer mehr dabei hilft, die nächste Generation von KI zu entwickeln. Wenn das ohne menschliche Hilfe funktioniert, nennt man das "Recursive Self-Improvement". Ab diesem Moment glauben Forscher, dass sich KI so schnell weiterentwickelt, dass unsere Kontrollmethoden nicht mehr mithalten können.
Dazu kommt der Hugging-Face-Vorfall, bei dem KI-Agenten eigenständig Wege aus ihrer vorgesehenen Umgebung und in die Systeme von Hugging Face fanden, obwohl niemand ihnen diesen Angriff aufgetragen hatte. Für die Agenten war er offenbar ein nützlicher Zwischenschritt zum eigentlichen Ziel.
Der CEO von Anthropic, Amodei, glaubt, dass in sechs bis zwölf Monaten ein viel stärkeres Netzwerk von Agenten ein großes Botnetz im Internet aufbauen könnte. Das ist seine Vorhersage; der bisherige Vorfall war deutlich kleiner. Er schlägt vor, die Entwicklungsgeschwindigkeit zu verlangsamen, damit technische Sicherheitsmaßnahmen Zeit haben, aufzuholen.
Anthropic plant einen ersten Schritt: Externe Prüfer sollen dauerhaft Zugang erhalten und wichtige Ergebnisse unabhängig veröffentlichen können. OpenAI hat angekündigt das ebenfalls zu tun.
“Safety” kann auch Geschäftspolitik sein
Anthropic und OpenAI bereiten beide ihren Börsengang vor und große Sicherheitsregeln können sehr praktisch für diejenigen sein, die bereits vorne liegen.
Aidan Gomez, CEO des Konkurrenten Cohere, unterstützt unabhängige Prüfer ausdrücklich. Seine Kritik richtet sich gegen die Frage, wer deren Regeln schreibt. Amodei schlägt vor, dass Frontier-Labs gemeinsame Sicherheitsstandards und Grenzen für das Entwicklungstempo festlegen. Weil Konkurrenten normalerweise nicht gemeinsam ihre Produktion begrenzen dürfen, bräuchte es dafür sogar eine kartellrechtliche Ausnahme.
Cohere warnt deshalb vor einem Kartell. Wenn die größten Unternehmen festlegen, welche Prüfungen und Sicherheitsstrukturen notwendig sind, können sie gleichzeitig die Eintrittskosten für kleinere Konkurrenten erhöhen. Das wäre Regulatory-Capture in seiner Reinform und schließt echte Sicherheitsbedenken überhaupt nicht aus.
Vielleicht sind Amodei und Altman wirklich erschrocken über Entwicklungen, die Außenstehende erst Monate später sehen. Der Druck kommt längst auch aus den eigenen Unternehmen. Mehr als tausend Beschäftigte führender KI-Labs haben einen gemeinsamen Aufruf zum „Pacing the Frontier“-Essay unterschrieben.
Genauso können die Warnungen strategisch nützlich sein. Ein Unternehmen kurz vor einem gigantischen Börsengang kann kaum ein mächtigeres Produktversprechen abgeben als die Behauptung, die eigene Technologie sei so leistungsfähig, dass die Welt Regeln dafür brauche.
Es ist quasi unmöglich die Motive von außen sauber auseinanderzuhalten. Der Vollständigkeit halber ist auch dieses Argument sehr lesenswert.
Ohne China funktioniert der Slowdown kaum
Amodei weiß selbst, wo sein Plan am schwierigsten wird. Wenn amerikanische Labs langsamer entwickeln und China weiter Vollgas im KI-Rennen gibt, funktioniert die Idee kaum (leider scheinen europäische Labs schon zu weit abgehängt, als das uns jemand verlangsamen wollte😞).
Deshalb fordert er strengere Chip-Exportkontrollen, Maßnahmen gegen die Destillation amerikanischer Modelle sowie internationale Absprachen mit China. Präsident Trump lehnt einen größeren Slowdown genau deshalb ab und sagt, Dario Amodei würde sich verhalten wie „a perfect little angel“.
Gestern kam die Antwort aus Peking. Die staatlich unterstützte Global Times bezeichnete Amodeis Vorschlag als „Cold War Playbook“, mit dem die USA ihren technologischen Vorsprung absichern wollten. Das chinesische Außenministerium fordert stattdessen internationale Zusammenarbeit bei KI-Sicherheit. Vorher sei nicht daran zu denken, dass auch China auf die Bremse drücken würde.
Am Ende wird sich die Glaubwürdigkeit eines Slowdowns daran messen, was die Unternehmen tatsächlich aufgeben. Anthropic verspricht unabhängigen Prüfern echten Zugang. OpenAI will folgen. Aber werden die Labs auch Sicherheitsregeln akzeptieren, die sie nicht selbst schreiben und die ihnen wirtschaftlich wehtun können?
Und selbst das löst nur die amerikanische Hälfte des Problems. Eine globale Bremse funktioniert erst, wenn Washington und Peking einander genug vertrauen, um gemeinsam langsamer zu werden. Ausgerechnet die chinesische Reaktion zeigt gerade, wie weit wir davon entfernt sind.
Quellen: Essay “Pacing the Frontier”
🛠 Trai it out:
ChatGPT Work
ChatGPT Work von OpenAI gibt es schon seit Mitte Juli. Wir erwähnen es hier, weil die neuen Modelle es deutlich verbessert haben, besonders bei der Computernutzung. Seit letzter Woche gibt es auch einen Data-Agenten in ChatGPT Work, der Unternehmensdaten in Antworten und interaktive Dashboards verwandelt. OpenAI hat viel daran gearbeitet, sodass es sich lohnt, ChatGPT Work erneut auszuprobieren.
Das Tool besteht eigentlich aus zwei Teilen: einer Cloud-Version, die im Browser oder in der mobilen App läuft, und einer Desktop-App, die auf Dateien und Programme auf deinem Computer zugreifen kann. Die Cloud-Version ist besonders interessant für Nicht-Entwickler. Sie kann eigenständig recherchieren, Dokumente bearbeiten und komplexe Aufgaben übernehmen, die normalerweise mehrere Schritte erfordern. Für Berater, Forscher oder große Unternehmen ist es ein ernsthaftes Produktivitätswerkzeug. Wer bereits ChatGPT Plus nutzt, hat Zugang und sollte es sich ansehen. Im Grunde ist es ChatGPT, aber mit der Fähigkeit, verschiedene Agenten hochzufahren die Aufgaben in Sheets, Powerpoint oder auf externen Webseiten zu erledigen. Von der Steuererklärung bis zum Finden der richtigen Datei auf dem Computer ist fast alles möglich. Link
Tools kurz & knackig:
Anthropic Economic Scenarios — Anthropic hat ein interaktives Modell veröffentlicht, das zeigt, wie sich verschiedene KI-Entwicklungsszenarien auf Arbeitsmarkt und Wirtschaft auswirken könnten, inklusive eines Extremszenarios mit fast 18% Arbeitslosigkeit.
Pluto — Du erzählst dem Tool 10 Minuten lang von deiner Karriere und bekommst dafür ein strukturiertes Profil, das Recruiter und KI-Agenten durchsuchen können.
Crayon — Wer schon immer ein eigenes Spiel bauen wollte, beschreibt hier einfach seine Idee und bekommt ein spielbares 2D- oder 3D-Spiel zurück, ohne eine Zeile Code schreiben zu müssen.
Olostep — Eine API, die beliebige Webseiten in sauber strukturierte Daten verwandelt und dabei Proxies sowie CAPTCHAs selbst handhabt.
Lightfield — Liest E-Mails, Kalender und Anrufe mit und hält so dein CRM automatisch aktuell, bereitet Meetings vor und schreibt Follow-ups.
🍭🍬 Gemischte Tüte
📖 Must Reads:
Unsere Gemischte Tüte ist immer vollgepackt - in dieser Sektion kuratieren wir die aus unserer Sicht wichtigsten Links:
OpenAI löst eines der sieben ungelösten Millennium-Mathematikprobleme. Aber nicht ohne Drama! Eine Gruppe von etwa 10.000 KI-Agenten hat einen Beweis für das Navier-Stokes-Problem gefunden, das seit etwa 90 Jahren ungelöst ist. Doch auch dieser Erfolg verlief nicht ohne Drama. Der Mathematiker Tristan Buckmaster wirft OpenAI vor, von seiner unveröffentlichten Arbeit zu ähnlichen Themen erfahren zu haben. OpenAI soll dann mit viel Aufwand versucht haben, sie zu übertreffen, möglicherweise durch Einsicht in private Sitzungen von Codex. Bestätigt ist hiervon noch nichts. OpenAI hat außerdem angekündigt, bei einem weiteren wichtigen mathematischen Problem große Fortschritte gemacht zu haben. Link
Anthropic veröffentlicht Bericht, der zeigt, wie Claude von staatlichen und kriminellen Gruppen missbraucht wurde. Der Bericht ist 154 Seiten lang und beschreibt Fälle von Missbrauch in Bereichen wie Cyberangriffen, Überwachung und Waffenentwicklung. Anthropic sagt, dass sie alle diese Aktivitäten gestoppt und einige Informationen an Behörden weitergegeben haben. Ein Beispiel aus dem Bericht handelt von einer Gruppe im Jemen, die Claude nutzte, um Software für eine Rakete zu entwickeln. Ein Raketenstart missglückte und die Entwickler versuchten herauszufinden, was schiefgelaufen war. Es gibt keine Hinweise darauf, dass daraus eine funktionierende Waffe entstand. In einem anderen Fall nutzte eine Spionagegruppe, die vermutlich mit Russland verbunden ist, Claude, um Angriffe auf ukrainische und europäische Ziele zu planen. Claude half dabei, Informationen über die Ziele zu sammeln und Phishing-Angriffe vorzubereiten. Link
The Economist spricht von Job-Wachstum, nicht Stellenabbau, durch KI. Eine Auswertung des Wirtschaftsmagazins The Economist kommt zu dem Ergebnis, dass KI in den USA schätzungsweise rund eine Million neue Arbeitsplätze geschaffen habe, während seit Mitte 2023 etwa 200.000 Entlassungen auf KI zurückgeführt werden. Die Beschäftigung junger Arbeitnehmer zwischen 20 und 24 Jahren halte sich der Analyse zufolge trotz entsprechender Befürchtungen robust; der Abstand ihrer Arbeitslosenquote zur Gesamtquote liege nahe einem mehrjahrzehntelangen Tiefstand. Link
🇪🇺 EU & Deutschland:
Gestern wurde „Transformative AI Strategy for Europe“ veröffentlicht. Ein Plan der zeigen soll, wie Europa bei schnell fortschreitender KI wirtschaftlich wettbewerbsfähig bleiben kann. Link
Google investiert 15,1 Milliarden Dollar in KI-Infrastruktur in Finnland, die größte Einzelinvestition des Unternehmens in Europa. Link
👩💻 Tech-News:
Der Film „Artificial“ von Luca Guadagnino zeigt Andrew Garfield als OpenAI-Chef Sam Altman und startet am 25. Dezember in den Kinos. Wir sind hyped! Link
Forscher haben aus Googles vollständiger 3D-Kartierung eines Fruchtfliegengehirns eine Software-Simulation erstellt, die dessen neuronales Verhalten nachbildet. Link
Der KI-Forscher Andrew Tulloch, der 2024 für angeblich 1,5 Milliarden zu Meta wechselte, wechselt nun zu Anthropic. Link
OpenAIs Werbegeschäft in ChatGPT erreicht eine Umsatzrate von 1 Milliarde Dollar, erzielt in unter 200 Tagen. Link
OpenAI baut seine Zusammenarbeit mit Samsung aus, einschließlich gemeinsamer Chip-Entwicklung und einer großen ChatGPT-Enterprise-Einführung bei Samsung. Link
OpenAI startet ein Programm zur Stärkung unabhängiger ukrainischer Medien durch KI-Projekte. Link
Anthropic verpflichtet Nutzer von Claude künftig zur Altersverifizierung und sperrt Konten bei Anzeichen für Minderjährigkeit. Link
Visa, Mastercard starten eine gemeinsame Initiative zur Identifizierung und Verifizierung autorisierter KI-Kaufagenten. Link
OpenAIs GPT-6 Astra erzielt als erstes KI-Modell die volle Punktzahl bei Südkoreas achtstündiger Aufnahmeprüfung CSAT. Link
OpenAI veröffentlicht ChatGPT for Financial Services, eine spezialisierte Version für Finanzteams mit integrierten Marktdaten und Recherche- sowie Modellierungsfunktionen. Link
Meta stellt den persönlichen KI-Assistenten Muse vor (als Antwort auf Grok Bot von SpaceX), der E-Mails verwaltet, Reisen plant und mit Zustimmung Einkäufe tätigt. Link
Das KI-Modell Fable 5.1 hat laut Angaben der Entwickler eine seit 370 Jahren ungelöste Chiffre entschlüsselt. Link
DeepSeek veröffentlicht das neue Modell V4.1-Flash mit nativem Bildverständnis und günstigeren API-Preisen als der Vorgänger. Link
💻 Agentic Engineering:
👷 Arbeitswelt:
Anthropic veröffentlicht ein Modell, das mögliche Auswirkungen von KI auf Wirtschaftswachstum, Jobs und Löhne bis 2030 durchspielt. Link
KI-Chatbots haben die Ghostwriting-Branche für Studenten-Essays in Nairobi weitgehend zerstört, in der einst rund 40.000 Absolventen arbeiteten. Link
Die Financial Times dokumentiert, wie Fachkräfte in Recht, Beratung und Finanzwesen KI-Werkzeuge konkret in ihren Arbeitsalltag einbinden. (Paywall!) Link
Laut einer McKinsey-Studie nutzen weltweit bereits 17 Prozent der Landwirte generative KI für Aufgaben auf ihren Höfen. Link
🔐 AI Safety & Governance:
Eine einjährige Studie zu Character.AI zeigt, dass intensive Nutzung von KI-Freundschaften mit geringerem Wohlbefinden und weniger menschlichen sozialen Kontakten einhergeht. Link
🏥 Health & Science:
Google veröffentlicht mit AlphaGenome Atlas eine durchsuchbare Datenbank, die die Auswirkungen aller 9 Milliarden möglichen einzelnen DNA-Veränderungen vorhersagt. Link
🎨 Kreativ & Medien:
Universal Music Group startet mit ElevenLabs eine lizenzierte KI-Plattform, auf der Nutzer Remixes und Mashups aus dem UMG-Katalog erstellen können. Link
Suno veröffentlicht die Musikgenerierungs-Modellfamilie v6 mit höherer Geschwindigkeit, besserer Qualität und neuen Bearbeitungsfunktionen per Texteingabe. Link
🧂 Salty Memes:
Klicken für mehr Infos zu den Autoren
Du hast Fragen, Anmerkungen oder brauchst unsere Hilfe?
Schreib uns einfach an:
[email protected]
Bis zur nächsten Ausgabe!