KI in der Krise? Was tun, wenn es keine Trainingsdaten mehr gibt?

Hallo Freunde!
Ein kurzes Update - auch in der kommenden Weihnachtszeit müsst ihr nicht auf AI Peanuts verzichten. Der Newsletter wird wie gewohnt in eurer Inbox landen und euch mit ordentlich KI-Gesprächsstoff für’s Weihnachts- und Silvester Dinner versorgen. Da wir euch aber nicht allzu lange von Freunde, Familie und Geschenken abhalten wollen kommen die Ausgaben etwas gekürzt. Ohne große Nuss und mit einem schnellen Überblick in der gemischten Tüte

Ab dem 3. Januar ist alles wieder wie gewohnt und wir haben für 2025 schon einige interessante neue Formate und weitere spannende Dinge für euch geplant.

Vielen Dank fürs Lesen und jetzt erst einmal zu dem Wichtigsten aus dieser Woche!

Peanuts für heute:

• 🚀 KI in der Krise? Was tun, wenn es keine Trainingsdaten mehr gibt?

• 🆕 Neue ChatGPT & NotebookLM Features

• 🛠️ HowsThisGoing hilft Produktteams in Slack

KI im Unternehmen: Schluss mit Schatten-KI, Sicherheit geht vor!

Hast du dich schon einmal gefragt, wie du Künstliche Intelligenz sicher in deinem Unternehmen einsetzen kannst? Die rasante Entwicklung von KI-Technologien bringt nicht nur technische, sondern auch wichtige Datenschutz- und Sicherheitsfragen mit sich.

Ein oft unterschätztes Risiko: Was passiert mit den Informationen, die Mitarbeitende in KI-Tools eingeben, die privat “organisiert” wurden? Viele Anbieter nutzen diese Daten möglicherweise für das Training ihrer KI-Modelle – und das könnte sensible Firmeninformationen gefährden.

Doch es gibt Lösungen: Plattformen wie ChatGPT bieten in ihren Einstellungen die Möglichkeit, der Nutzung dieser Daten zu widersprechen.

Welche Datenschutzbestimmungen beim Einsatz von KI-Tools besonders relevant sind und worauf Unternehmen achten sollten, erfährst du ausführlich im Modul „Datenschutz & KI“ von unserem Partner Herdt. Dieses Modul ist für Unternehmen jeder Größe von Bedeutung. Wenn das für dich interessant klingt - schau doch mal rein:

🥜 Die größte Nuss:

🚀 KI in der Krise? Was tun, wenn es keine Trainingsdaten mehr gibt?

Zum Jahresende lohnt es sich, innezuhalten und darüber nachzudenken, wo KI eigentlich steht. Während einige weiterhin den Hype um Superintelligenz in wenigen Monaten oder Jahren befeuern, gibt es auch handfeste Diskussionen über die Grenzen dessen, was mit der aktuellen Technik machbar ist.

Die sogenannten Scaling Laws—das Prinzip, dass größere Modelle mit mehr Daten und Rechenleistung automatisch besser werden—stehen zunehmend infrage. In diesem Artikel wird es ein wenig technisch, aber mit Blick auf das nächste Jahr könnten diese Aspekte wichtig werden, um einschätzen zu können, wohin sich die Industrie entwickelt.

Das Problem
Die Idee, dass man Modelle einfach durch mehr Rechenzentren und Daten verbessert, hat in den letzten Jahren dominiert. Doch laut einem Vortrag des Mitgründers von OpenAI, Ilya Sutskever, vor zwei Tagen stößt dieses Paradigma nun an seine Grenzen – und viele machen sich ernsthafte Sorgen, dass KI-Modelle nun nicht mehr besser werden. Das ist die ‘Scaling Wall’ vor der die KI-Entwicklung derzeit steht.

Ob diese Hypothese stimmt, hat große Auswirkungen auf Industrie und Forschung. Auch wenn kaum jemand glaubt, dass der Fortschritt komplett zum Stillstand kommt, könnte ein Wandel hin zu mehr Rechenleistung während der Nutzung eines Modells—also bei der Beantwortung von Nutzeranfragen—statt während des Trainings die Dynamik verändern. Dieser Ansatz würde es kleineren Startups ermöglichen, mit weniger Ressourcen konkurrenzfähig zu bleiben. Also Scaling-Wall = schlecht für OpenAI, gut für Mistral.

Ilya beschreibt insbesondere Trainingsdaten als den „fossilen Brennstoff“ der KI – und genau dieser Rohstoff wird knapp. Der Wettlauf der großen Anbieter wie OpenAI, Google und Anthropic um leistungsfähigere Rechenzentren könnte damit ins Leere laufen, wenn es keine neuen Ansätze gibt.

Synthetische Daten als Hoffnungsträger
Der Hoffnungsträger für diejenigen, die sich keine Sorgen machen sind setzen häufig viel Hoffnung in den Einsatz von synthetischen Daten. Statt auf Daten aus dem Internet zurückzugreifen, könnten KI-Modelle mit KI-generierten Trainingsdaten arbeiten. Viele Kritiker zweifeln daran, dass dies ähnlich hochwertige Ergebnisse liefert wie echte Datensätze.

Doch Mustafa Suleyman, Mitgründer von DeepMind und mittlerweile Leiter der KI-Abteilung bei Microsoft, hält dagegen. In einem ausführlichen Interview betont er, dass sie bereits aus den bestehenden Daten mehr herausholen könnten, wenn sie bessere Rechenleistung einsetzen.

OpenAI O1 als Alternativansatz
Ein vielversprechender Ansatz, der derzeit an Aufmerksamkeit gewinnt, ist das sogenannte Test-Time Compute—also der Einsatz zusätzlicher Rechenleistung während der Nutzung eines Modells (statt nur während des Trainings).

Die Grundidee: Je mehr Rechenressourcen ein Modell bei der eigentlichen Anwendung zur Verfügung hat, desto präziser und fundierter können die Ergebnisse werden. Dieses Prinzip wurde unter anderem durch OpenAIs o1-Modell populär gemacht. Das Motto lautet also: das Modell einfach mal etwas nachdenken lassen. Wären IQ-Test eine gute Messgröße für KI-Modelle (was sie nicht sind), würde o1 sehr gut abschneiden.

Reasoning-Modelle wie o1 brechen komplexe Aufgaben in Zwischenschritte auf—eine sogenannte „Chain-of-Thought“ oder “Gedankenkette”—und können Fehler erkennen und korrigieren, wenn eine Zwischenschlussfolgerung unlogisch ist. Dieser Prozess ähnelt dem Lösen einer Gleichung, bei dem man einzelne Schritte nachvollzieht und bei Bedarf zurückgeht, um Fehler zu beheben.

Die Lösung
Die Diskussion über das Ende der Verbesserung von Modellen ist nichts Neues und erinnert stark an frühere Technologiedebatten, zum Beispiel rund um Moore’s Law und CPUs. Moore’s Law beschreibt die Beobachtung, dass sich die Anzahl der Transistoren auf einem Chip etwa alle zwei Jahre verdoppelt—und damit auch die Rechenleistung steigt.

Lange Zeit schien dies der unaufhaltsame Motor des Fortschritts zu sein. Doch um 2005 stieß die Industrie an eine Grenze: Die Taktgeschwindigkeit, also wie schnell ein Prozessor arbeitet, konnte nicht weiter erhöht werden, ohne dass die Chips zu heiß und ineffizient wurden. Und so hieß es für einige Jahre, dass Chips nun kaum noch verbessert werden könnten. Ist das passiert? Nein!

Es zwang die Branche, andere Wege zu gehen. Statt nur einen Core schneller zu machen, wurden mehrere Cores auf einem Prozessor integriert, die gleichzeitig arbeiten können. Parallel dazu entwickelten Ingenieure effizientere Wege, die Energie zu nutzen und die Leistung zu steigern. Der Fortschritt ging also weiter, aber anders als vorher.

Bei KI stehen wir heute vor einem ähnlichen Wendepunkt. Das einfache Prinzip „mehr Daten + mehr Rechenleistung = bessere Modelle“ gerät an seine Grenzen. Doch auch wenn eine Methode an ihre Grenzen stößt, findet man oft neue Wege, um weiterzukommen. Es ist kein Stillstand, sondern eine Verschiebung des Fokus.

🛠️ Trai it out:

HowsThisGoing für Slack — Dieser KI-Assistent für euren Slack Channel macht das Organisieren von Standups & co. ganz einfach. Man kann Workflows und Umfragen festlegen, die auf Basis eines Schedule an jeweilige Teams verschickt werden. Die Antworten können dann mit Hilfe von KI ausgewertet werden. Außerdem integriert das Tool u.a. mit GitHub. Besonders geeignet für technische Produktteams, aber auch einen Blick wert für alle anderen!

Weitere Neue Tools, Updates & Demos:

• Veo2 — Google’s KI-Video Modell kommt mit einem großen Update, das in den Benchmarks Sora hinter sich lässt. Sieht top aus, ist aber auch in der EU noch nicht offiziell nutzbar. VPN regelt 😉 Die physikalische Konsistenz ist stark!
  

• Pika 2.0 — Noch mal Video, noch mal 2.0 Auch Pika, das beliebte KI-Video Modell bringt ein neues Update, mit noch mehr Steuermöglichkeiten. Einige beeindruckende Beispiele gibt’s hier.
  

• Mentara — VC Pitch Training für Gründerinnen und Gründer
  

• Project Astra (Demo) — Google Deepmind zeigt ein neues Demo Video, u.a. für seine KI-AR Brille - Veröffentlichungsdatum steht aber, passend zum Projektnamen, noch in den Sternen
  

• Meshtron — Forschung von NVIDIA zeigt die Generierung von hochauflösenden 3D-Modellen mit KI
  

• NotebookLM Plus — Für Poweruser gibt’s NotebookLM jetzt mit deutlich erhöhten Nutzungslimits
  

🍭🍬 Gemischte Tüte

👩‍💻 Tech-News:

• OpenAI hat „Projects“ eingeführt: Damit kannst Du Deine ChatGPT-Chats besser organisieren – mit farbkodierten Ordnern, angepassten Anweisungen und der Möglichkeit, Dateien hochzuladen. Plus, Pro und Teams haben sofortigen Zugriff, für andere kommt es später. Link 
  

• NotebookLM, Googles KI-gestützte Notizen-App, hat ein Feature für die Podcast-Interaktionen gelauncht: Du kannst jetzt mit KI-Hosts während der Aufnahme chatten, nachfragen oder neue Themen vorschlagen. Link 
  

• Broadcoms Aktien stiegen um über 20 %, womit die Marktkapitalisierung auf über 1 Billion Dollar klettert. Der Grund: Die Hyperscaler könnten bis 2027 zwischen 60 und 90 Milliarden Dollar für maßgeschneiderte KI-Chips ausgeben. Es wird auch berichtet, dass Apple mit Broadcom an einem eigenen KI-Chip arbeitet. Bisher setzt Apple auf High-End-Mac-Chips, aber dedizierte Chips wären besser – und Apple will Nvidia nicht verwenden. Link
  

• Red Rabbit Robotics nimmt menschliche Formen an, um „Work as a Service“ zu verkaufen. Link
  

• Warum war ChatGPT down? Ein neues Monitoring-Tool von OpenAI führte zu dem dreistündigen Ausfall von ChatGPT. Ironischerweise sollte dieses Tool die Server überwachen, sorgte jedoch selbst für den Systemzusammenbruch. Link 
  

• Telenovela Style…Meta unterstützt Elon Musks Klage gegen die Umwandlung von OpenAI in ein gewinnorientiertes Unternehmen und schrieb hierzu einen Brief an den kalifornischen Generalstaatsanwalt. OpenAI konterte mit der Veröffentlichung von Musks früheren Kommunikationen. Link 
  

• Trotz viel Trubel glaubt der Markt, dass OpenAI weder AGI noch GPT-5 in diesem Jahr ankündigen wird. Die Wahrscheinlichkeit wird auf jeweils nur 5 % geschätzt. Link 
  

• Eine Market Map zum Thema KI-„Agenten“. Link
  

• OpenAIs Datenschutzerklärung listet einige ihrer Drittanbieter-Softwaretools auf. Link
  

• WSJ berichtet darüber, wie erst das Digitalgeschäft und jetzt KI das alte Modell von Werbeagenturen und Holdinggesellschaften komplett umwälzen. Link
  

• Ein bisschen Nicht-News! Apple hat die nächste Runde von „Apple Intelligence“-Funktionen veröffentlicht, inklusive ChatGPT- und Google-Lens-Integration – allerdings nicht in der EU und noch keine neue Siri. Link

👷 Work & Future of Work:

• Klarna-CEO sagt, das Unternehmen habe vor einem Jahr aufgehört, neue Mitarbeiter einzustellen, weil KI bereits viele Aufgaben übernehmen kann. Link 
  

• Neuer Vorschlag zur US-Steuerpolitik soll Jobs vor KI sichern: Das „Corporate Income Tax Reinvestment Act“ (CITRA) erlaubt es Unternehmen, Steuern durch erhöhte Ausgaben für ihre Mitarbeitenden statt durch Geldzahlungen an die Regierung zu begleichen. So wird das Investieren in Arbeitskräfte attraktiver, statt sie durch Automatisierung zu ersetzen. Link 

🆕 Neue Anwendungsfelder:

• Das Pentagon eröffnet ein neues KI-Büro, um den Einsatz künstlicher Intelligenz im Militär für strategische Vorteile zu stärken. Link 
  

• Es wird immer absurder! Liquid AI, ein KI-Startup inspiriert von der Struktur von Wurmgehirnen (ja…Würmer!), hat 250 Millionen Dollar Finanzierung von AMD erhalten. Ziel ist die Entwicklung sogenannter "liquid foundation models", die traditionelle Modelle übertreffen könnten. Link 
  

• Forscher haben eine KI entwickelt, die Videos schauen kann, indem sie das Verhalten eines menschlichen Gehirns imitiert. Link 
  

• Die Reisebranche steht vor einer Revolution durch KI-Reiseassistenten. Tools, die Vorlieben analysieren und Buchungen übernehmen, könnten bald Realität werden. Aber aufgepasst: KI-Genauigkeit muss weiter verbessert werden, um Pannen wie falsche Flugbuchungen zu vermeiden. Link 

🔐 Cybersecurity & AI Safety:

• ETO AGORA – eine Datenbank für KI-Regulierungen. Link
  

• Führende KI-Unternehmen bekommen miese Noten bei Sicherheit und Transparenz, wie ein Bericht von IEEE Spectrum zeigt. Der Bericht kritisiert besonders das Fehlen klarer Sicherheitsprotokolle und die unzureichende Kommunikation über Risiken. Link 
  

• Telegram hat in diesem Jahr über 15 Millionen schädliche Gruppen und Kanäle mit KI entfernt. Ein großer Schritt zur Bekämpfung von Betrug und Terrorismus – kommt allerdings nach heftiger Kritik an der Plattform und einer Verhaftung ihres Gründers. Link 
  

• Zu wenig Infos um auf Verschwörungstheorien zu verweisen. Aber ein Whistleblower von OpenAI, Suchir Balaji, der dem Unternehmen kürzlich Urheberrechtsverletzungen in den Trainingsdaten von ChatGPT vorwarf, wurde tot in seiner Wohnung in San Francisco aufgefunden – im Alter von 26 Jahren. Link 

🏥 Health & Science:

• Die UCSF hebt vier Wege hervor, wie Künstliche Intelligenz künftig medizinische Diagnosen verbessert, Behandlungsoptionen optimiert und Patientenversorgung individualisiert. Link 
  

• KI macht Wissenschaftler vielleicht weniger kreativ? Laut einer neuen Studie könnte die Nutzung von KI in der Forschung dazu führen, dass Wissenschaftler weniger kreative Lösungen entwickeln. Grund: Fokus auf bestehende Datenmuster statt origineller Ideen. Link 

🖼️ Kreativindustrie:

• Die BBC beschwert sich, nachdem Apple Intelligence eine ihrer Schlagzeilen umgeschrieben hat, um fälschlicherweise zu behaupten, der CEO von UnitedHealthcare habe sich selbst erschossen. Link
  

• TCL hat auf seiner Plattform TCL+ die ersten fünf KI-generierten Kurzfilme veröffentlicht, darunter skurrile Themen wie eine Frau, die sich in eine Schnecke verwandelt, oder ein Planet mit einer Sonnen-Lotterie. Jedes Projekt dauerte 12 Wochen mit Teams aus drei Ländern. Effiziente Konkurrenz für Netflix durch genAI? Link 

AI Peanuts Workbook

Du hast angefangen, dich tiefer mit dem Thema KI zu beschäftigen und willst den nächsten Schritt machen? Dann ist unser offizielles AI Peanuts Workbook genau das Richtige für dich!

Das Workbook ist kein klassisches “Buch”, sondern ein praxisorientiertes, interaktives digitales Dokument. Gegliedert in 3 Teile:

Theorie — Der Textbuch-Teil des Workbooks, in dem wir das Thema KI und seine technischen Grundlagen erklären.
Praxis — Eine Reihe von praktischen Tutorials, mit denen du lernst, KI praktisch anzuwenden (z.B.: ChatGPT Masterprompts, HeyGen, NotebookLM, Midjourney…)
Daten — Datenbanken mit den besten KI-Tools und den spannendsten Firmen im KI-Umfeld.

🧂 Salty Memes:

Du hast Fragen, Anmerkungen oder brauchst unsere Hilfe?
Schreib uns einfach an:
[email protected]