🔑 OpenAIs Agent bricht aus & Big Tech verteidigt Open Source
PLUS: Das deutsche KI-Lab Black Forest Labs veröffentlicht FLUX 3
Hey Fam,
Kleines Public-Service-Announcement: Wer in Claude oder ChatGPT den Share-Button benutzt, erstellt dabei keine private Seite, sondern eine öffentlich indexierte Seite. Das bedeutet, dass man Chats und Apps einfach auf Google finden kann. Betroffene Inhalte reichen laut Berichten von API-Schlüsseln und Unternehmensprojektplänen bis zu medizinischen Daten aus klinischen Studien. Vielleicht also doch einfach am eigenen Bildschirm zeigen!
Peanuts für heute:
🧠 Die Große Nuss: OpenAIs Agent bricht aus. Big Tech verteidigt Open Source.
📊 Highlight: Das deutsche KI-Lab Black Forest Labs veröffentlicht FLUX 3
🛠️ Trai it Out: Twitter-Gründer veröffentlicht OpenSource “Slack-Killer”
🔑 OpenAIs Agent bricht aus & Big Tech verteidigt Open Source
Es passiert nicht häufig, dass wir zwei Wochen hintereinander über dieselbe Geschichte schreiben. Aber letzte Woche fehlte unserer Geschichte eine ziemlich entscheidende Information.
Hugging Face war von einem autonomen KI-Agentensystem angegriffen worden. Wir wussten, wie der Angriff ungefähr abgelaufen sein soll und dass ausgerechnet ein chinesisches Open-Source-Modell bei der Aufklärung geholfen hatte. Die fehlende Information war, wer der Angreifer war.
Inzwischen kennen wir die Antwort: Der Angreifer war OpenAI.
Bitte was??!?
OpenAI hatte intern seine neuesten Modelle auf eine Benchmark namens ExploitGym getestet. Man kann sich das wie eine Art Hacker-Prüfung für KI vorstellen. Das Modell erhält reale Sicherheitslücken und muss daraus selbstständig einen funktionierenden Angriff entwickeln, allerdings in einer abgeschotteten Testumgebung (einer sogenannten Sandbox).
Das Agentensystem ist darauf trainiert besonders hartnäckig an einer Lösung für ein Problem zu arbeiten. Und auf eine Aufgabe in dieser Benchmark konnte die KI scheinbar keine Lösung finden. Stattdessen fand es aber eine bisher unbekannte Schwachstelle in OpenAIs eigener Testinfrastruktur, bewegte sich durch mehrere interne Systeme und gelangte schließlich ins offene Internet. Dort kam es zu dem Schluss, dass Hugging Face Modelle, Datensätze oder Lösungen für den Benchmark gespeichert haben könnte.
Also suchte das System selbstständig nach einem Weg in die Infrastruktur von Hugging Face. Es kombinierte gestohlene Zugangsdaten mit weiteren Sicherheitslücken und griff auf interne Informationen zu, mit denen es bei der Prüfung besser abschneiden konnte. Niemand hatte dem System befohlen, Hugging Face anzugreifen. Der Angriff war ein selbst gefundener Zwischenschritt auf dem Weg zu einem vorgegebenen Ziel. Nicht ganz verstanden? Kein Problem! Hier ist ein kleiner Comic, der das nochmal erklärt.
Die bislang veröffentlichten Details sind nur eine vorläufige Darstellung. OpenAI will nach Abschluss seiner Untersuchung einen ausführlichen Bericht veröffentlichen.
Fast die gesamte Techindustrie unterschreibt eine Petition
Dieser Vorfall kommt zu einem sehr spannenden Zeitpunkt. In Washington wird gerade darüber diskutiert, chinesische OpenSource Modelle durch Sanktionen und andere Beschränkungen aus dem amerikanischen Markt zu drängen. Die Sorge der Trump-Regierung besteht darin, dass China durch offene Modelle eine neue technologische Abhängigkeit schafft und beim Training der Modelle amerikanisches geistiges Eigentum verwendet (letzteres ist definitiv der Fall).
Solche Sanktionen würden das Problem vermutlich kaum lösen. Ein offenes Modell ist nach seiner Veröffentlichung ohnehin weltweit verfügbar. Eine amerikanische Beschränkung würde deshalb vor allem amerikanische Unternehmen, Entwickler und Sicherheitsforscher davon abhalten, es einzusetzen. Angreifer außerhalb der USA wären nicht unbedingt betroffen. In der letzten Woche hatten wir beschrieben, wie ein chinesisches Open-Source-Modell (GLM 5.2) für Hugging Face die Rettung war.
Ende letzter Woche hat sich in den USA eine ungewöhnlich breite Koalition für offene Modelle gebildet. Die Forderung ist, dass die amerikanische Regierung leistungsfähige Open-Weight-Modelle nicht vorschnell beschränken sollte. Unterschrieben haben wirklich alle, die in Sachen KI Rang und Namen haben: Nvidia, Microsoft, Meta, Google, Hugging Face, sogar OpenAI hat unterschrieben (das Bild in diesem Artikel zeigt die wichtigsten Unterstützer). Eigentlich fehlen nur zwei Unternehmen, und da die Liste alphabetisch sortiert ist, fällt die Lücke besonders stark auf: Anthropic und Amazon.
Das europäische Argument
Letzte Woche haben wir den Vorteil offener Modelle vor allem defensiv beschrieben. Unternehmensdaten müssen nicht zwangsläufig an die API eines amerikanischen Modellanbieters geschickt werden.
Der positive Blick ist größer. Europas wertvollstes Wissen liegt in den Produktionsprozessen seiner Industrieunternehmen, in Maschinen- und Wartungsdaten, in wissenschaftlicher Expertise, in Kundenbeziehungen und in jahrzehntelang dokumentierten Sonderfällen. Offene Modelle können dorthin gebracht werden, wo das Wissen bereits liegt. Ein deutsches Unternehmen kann ein Open-Source-Modell in einer europäischen Cloud oder einer privaten Infrastruktur betreiben. Es kann festlegen, welche Daten der Agent sieht, welche Werkzeuge er verwenden darf, und muss nicht befürchten, dass die Daten für Trainingszwecke genutzt werden.
Wir erleben diese Verschiebung gerade selbst in unserer Arbeit mit mittelständischen Unternehmen. Wenn wir eine konkrete Lösung für unsere Kunden bauen ist die größte Frage nur selten, welches Modell bei einem allgemeinen Benchmark einige Prozentpunkte besser abschneidet.
Die großen Fragen drehen sich um interne Daten, die Zugriffsrechte, den Datenschutz und die Frage, woran man erkennt, ob ein Ergebnis tatsächlich richtig ist. Deshalb gehören zu unserem Tech-Stack vor allem leistungsfähige Open-Weight-Modelle, die in Europa betrieben werden können.
Wenn ihr mehr über unsere Arbeit mit Unternehmen erfahren oder mit uns über ein konkretes Projekt sprechen möchtet, findet ihr unter mittelstand.aipeanuts.com weitere Informationen und Kontaktmöglichkeiten.
Quellen: OpenAI Statement zum Hack, Vorläufige Analyse.
🛠 Trai it out:
Buzz
Jack Dorsey, Twitter-Gründer und CEO von Block (dem Unternehmen hinter Square und Cash App), baut gerade eine Alternative zu Slack und GitHub. Buzz ist ein Open-Source-Workspace (wäre ja auch zu ironisch, wenn wir ausgerechnet diese Woche kein OpenSource-Projekt vorstellen), der Mitarbeitende, KI-Agenten, Chats und Code unter einem System zusammenführt. Die Idee dahinter: Wer KI wirklich in die Arbeitsabläufe integrieren will, braucht eine Infrastruktur, die Menschen und Agenten gleich behandelt, anstatt KI als Plugin oben draufzukleben. Wir hatten noch nicht genug Gelgenheit das Projekt ausreichend zu testen, aber wir sind sehr angetan. Link
Tools kurz & knackig:
Claude Cowork "Teach a Skill": Das Meme dieser Ausgabe bezieht sich auf dieses neue Feature in der Claude Desktop App: Bildschirm aufnehmen, eine Aufgabe erklären und Claude merkt sich den Ablauf als wiederholbare Routine.
no-ai-slop: Open-Source-Tool, das über 20 typische KI-Schreibmuster aus Texten entfernt und damit KI-generierten Output menschlicher klingen lässt.
Language Model Builder — Kostenlose Mac-App, die Schritt für Schritt durch den Aufbau eines eigenen kleinen Sprachmodells führt, vom Tokenizer bis zum Finetuning. Wirklich super gemacht, aber nun mal auf Englisch und nicht ganz unkompliziert.
Anthropic Economic Index Connector — Verbindet Claude direkt mit Anthropics Wirtschaftsdaten, sodass man per Chat fragen kann, welche Berufe am stärksten von KI betroffen sind.
🍭🍬 Gemischte Tüte
📖 Must Reads:
Unsere Gemischte Tüte ist immer vollgepackt - in dieser Sektion kuratieren wir die aus unserer Sicht wichtigsten Links:
Anthropic zahlt 1,5 Milliarden Dollar im größten US-Urheberrechtsvergleich. Ein US-Bundesrichter hat den Vergleich endgültig genehmigt, bei dem Anthropic rund eine halbe Million urheberrechtlich geschützter Werke illegal für das Training ihrer Modelle genutzt hat. Die Urheber werden nun jeweils mit 3.000 Dollar entschädigt. Wichtig ist dabei, dass nicht das Training mit den Werken illegal ist; das fällt laut dem Richter unter Fair Use. Illegal war das Herunterladen und Speichern der Werke auf den Servern von Anthropic. Link
Black Forest Labs veröffentlicht FLUX 3. Das deutsche KI-Lab vereint Bild-, Video- und Audiogenerierung in einer gemeinsamen Architektur. FLUX 3 Video ist bereits im Early Access verfügbar, und einige der Beispiele sind wirklich sehr beeindruckend. Es ist richtig toll zu sehen, dass eine deutsche Firma zumindest in einem Teilbereich der KI-Industrie oben mitspielen kann.Link
Anthropic stellt neues Modell vor: Claude Opus 5. Das neue Modell wird als Default auf Claude Max eingeführt und soll die Qualität von Claude Fable 5 zu halbem Preis liefern. Erste unabhängige Nutzende berichten allerdings, dass Opus 5 in der Praxis deutlich hinter Fable 5 zurückbleibt und in bestehenden Workflows Anweisungen ignoriert oder Aufgaben vorzeitig abbricht. Link
🇪🇺 EU & Deutschland:
Google unterschreibt den EU-Verhaltenskodex zur Kennzeichnung KI-generierter Inhalte. Der Konzern verpflichtet sich damit freiwillig zu mehr Transparenz bei Bildern, Videos und Texten aus eigenen Modellen. Link
👩💻 Tech-News:
Letzte Woche haben wir berichtet, dass ein Forscher von Anthropic ein bisher ungelöstes mathematisches Problem mit KI gelöst hat. Der berühmte Mathematiker Terence Tao (übrigens die Person mit dem höchsten jemals gemessenen IQ von 230) hat seine eigene Unterhaltung mit ChatGPT zu diesem Thema veröffentlicht. Wer sich offiziell unintelligent fühlen möchte, hat hier die Gelegenheit dazu. Link
OpenAI bringt verbesserte Sprachsteuerung in die Desktop-App und rollt die Health-Funktion für US-Nutzer aus. Link
YouTube geht radikal gegen KI-Contentfarmen auf der Plattform vor. Link
KI schreibt, schauspielert und produziert Chinas Minidramen. In China ist das eine 14-Milliarden-Dollar-Industrie. Link
Google stellt mit Gemini 3.6 Flash, 3.5 Flash-Lite und 3.5 Flash Cyber drei neue Modelle vor. Das Flaggschiff verbessert Coding und Dokumentenanalyse und senkt den Tokenverbrauch um 17 Prozent bei niedrigerem Preis. Link
OpenAI kündigt ein neues Produkt namens Presence an. Presence soll Unternehmen helfen, KI-Agenten in echte Geschäftsprozesse zu setzen. Link
OpenAI erweitert Werbeanzeigen in ChatGPT. Link
Nvidia verhandelt laut Wall Street Journal über eine 250-Milliarden-Dollar-Finanzierungsgarantie für OpenAIs Rechenzentren. Link
💻 Agentic Engineering:
Claude Code auf dem Desktop öffnet jetzt einen iOS-Simulator direkt neben der Konversation. Claude sieht so eine Iphone-App live laufen, kann eingreifen und iteriert, bis die Umsetzung passt. Link
🌍 Geopolitik & AI Race:
Ein US-Berater Moonshot AI (den Machern vom chinesischen OpenSource-Modell Kimi) vor, Claude in großem Stil für das Kimi-K3-Modell destilliert zu haben. Die Plattform soll mehrere API-Konten genutzt haben, um Exportkontrollen und Erkennung zu umgehen. Link
Das Weiße Haus will jährlich rund 200 Milliarden Dollar Forschungsgelder von Universitäten weg hin zu KI-Projekten lenken. Link
Laut einem geleakten Investorentreffen stellt DeepSeek-Gründer Liang Wenfeng AGI-Fortschritt klar über kurzfristige Kommerzialisierung. Er betont, dass Open-Source-Veröffentlichungen identisch zu internen Modellen sind, und führt den China-USA-Abstand vor allem auf Rechenleistung zurück. Link
SemiAnalysis sieht OpenAI und Anthropic als klares Führungsduo im KI-Rennen. Link
Chinesische Behörden erlauben Apple nach zwei Jahren Verzögerung den Start von Apple Intelligence auf iPhones. Die neu gebaute Siri-Version nutzt Modelle von Alibaba und Baidu und läuft laut Berichten funktional, aber nicht herausragend. Link
👷 Arbeitswelt:
Googles interne Daten zeigen, dass KI in 68 Prozent der US-Berufe genutzt wird, aber nur rund 21 Prozent der Aufgaben abdeckt. Link
DoorDash hat ein eigenes Benchmark-System aufgebaut, um für jeden Workflow-Schritt das günstigste passende Modell zu finden. Hier zeigen sich erneut diverse Vorteile von OpenSource-Modellen. Link
🏥 Health & Science:
📈 Grafik der Woche:
Die EU wird dieses Jahr mehr durch Strafen gegen US-Techkonzerne einnehmen als durch Steuern eigener Tech-Firmen. Konkreter Anlass ist eine 890-Millionen-Euro-Strafe gegen Google wegen Verstößen gegen den Digital Markets Act.
🧂 Salty Memes:
Klicken für mehr Infos zu den Autoren
Du hast Fragen, Anmerkungen oder brauchst unsere Hilfe?
Schreib uns einfach an:
[email protected]
Bis zur nächsten Ausgabe!