Llama 3 Release: Zuckerburg sieht "KI Winter" vor uns

Hallo Freunde! Es passiert nicht alle Tage, dass ein gestandener Tech CEO im Podcast mal Tacheles redet und den ganzen KI Hype ungeschönt einordnet. Endlich ist es passiert, also los gehts:

Peanuts für heute:

• 🧠 Llama 3 Release: Zuckerburg sieht "KI Winter" vor uns

• 🎬️ Tools zur Erkennung von Deepfakes in Nachrichten

• 🛠️ Autofillr hilft mit KI beim Ausfüllen von jeglichen Formularen

🥜 Die größte Nuss:

🚀 Was der Llama 3 Release uns über die Zukunft von KI verrät

Meta hat mit Llama 3 die dritte Generation seiner open source Modelle veröffentlicht. Die Implikationen sind enorm, vor allem Zuckerburgs Einordnung hat uns aufhorchen lassen. Aber erst mal zu den Fakten. 

Es erscheint in 3 Größen: 8B, 70B, und 400B (wobei sich 400B noch in der Entwicklung befindet) und schlägt alle anderen freizugängliche Sprachmodelle. 

Neu sind aber vor allem die Integrationen: Meta bietet Llama 3 zum ersten Mal auch direkt als Webapp an - aber traurigerweise natürlich (noch) nicht für uns Europäer.

Mit VPN lässt sich das natürlich schnell umgehen. Und auch in alle anderen Apps wie WhatsApp, Instagram und Facebook soll Llama bald integriert werden. 

So viel zum neuen Release. Das weitaus Spannendere war jedoch Mark Zuckerbergs Interview im Dwakesh Patel Podcast, wo er den neuen Llama Release einordnete und über die Zukunft der Sprachmodelle sinnierte. 

Zunächst ist es wichtig, Zuckerbergs Argumente aus der Perspektive zu betrachten, dass er die Entstehung geschlossener Ökosysteme wie iOS und Android verhindern möchte, da er darüber keine Kontrolle hat. Dies erklärt seine massiven Investitionen in VR und den Open-Source-Ansatz bei Llama, um ähnliche Situationen bei neuen Technologien zu umgehen.

Hier seine zwei spannendsten Punkte: 

• Die Skalierung neuer Modelle dürfte bald ein Plateau erreicht haben.
  Mit jedem neuen GPT Modell stieg die Leistung der Chatbots exponentiell. Auch die benötigte Menge an Trainingsdaten und Grafikkarten (und damit Strom). Zuckerberg geht davon aus, dass Engpässe im Bereich der Energieversorgung bald auftreten und Jahrzehnte zur Lösung benötigen werden. Das Wachstum der KI würde durch praktische, realweltliche Einschränkungen begrenzt. Sam Altman, der Gründer OpenAIs, ist der gleichen Meinung. 

• Sprachmodelle sind nicht das Produkt.
  Sondern der Kontext, das Netzwerk aus Freundschaften je Nutzer, die Content Moderation, die Speicherung und die Infrastruktur, sind das eigentliche Produkt. Also alles was Meta schon hat. Und KI soll all dies unterstützen. Das wären auch gute Neuigkeiten für alle Startups, die aus den Grundmodellen nützliche Produkte bauen werden. Sollte sich das ändern, würde auch er die Modelle nicht mehr frei veröffentlichen.

Was bedeutet das für die Zukunft?

Wirklich erfahren, ob wir schon im Plateau sind, werden wir erst mit der Veröffentlichung von GPT5. Ein paar Kritiker erwiderten, dass die Anwendungen neuster Modelle in der Robotik noch nicht mal wirklich angefangen hat, wir also noch sehr viel Luft nach oben haben, selbst wenn die Modelle erst mal keine Quantensprünge mehr machen. Das gleiche gilt für viele andere Industrien. Des Weiteren sinken die Kosten für Photovoltaik und Batterien seit dreißig Jahren so stark, dass neue Kraftwerke immer günstiger werden könnten. 

Zuckerberg sagte ebenfalls, dass er KI-Agenten für das nächste große Ding hält, dazu aber in einer anderen Ausgaben mehr.

🛠️ Trai it out:

Autofillr — Auch diese Woche zeigen wir euch hier ein ganz simples, kleines Tool, dass KI auf raffinierte Art und Weise nutzt.

Ihr kennt das - andauernd muss man online Formulare ausfüllen. Und auch in 2024 funktioniert die Auto-Ausfüll Funktion der gängigen Browser eher so geht so… Denn oft sind Felder falsch benannt, oder seltsam angelegt.

Autofillr ist eine simples kleines Chrome Plugin, dem ihr einmal eure gängigen Daten beibringt. Fortan füllt es nahezu jedes Online-Formular in wenigen Sekunden automatisch aus. Einfach, weil es KI nutzt, um den Kontext der Seite & Fragen zu verstehen und die jeweils richtige Information auszufüllen.

Jegliche Daten werden nur lokal auf eurem Gerät gespeichert und landen nicht auf einem Server.
Simpel, aber genial!

Weitere Neue Tools, Updates & Demos:

• ChatWithLlama — Hier könnt ihr das neue Llama 3 ausprobieren
  

• Sonnet — Ein digitaler Meeting-Assistent der Notizen zu Calls, E-Mails & co. macht und diese direkt im CRM abspeichert
  

• LLMScraper — Dieses Open Source Tool nutzt die Power von LLMs, um Websites in strukturierte Daten zu scrapen.
  

• Stepify — Ganz simples Tool - macht aus Youtube Videos Schritt-für-Schritt Anleitungen
  

Prompting & Kurse:

• Stell dir vor, du könntest all das Wissen über KI, das in über 120 Ausgaben unseres Newsletter steckt, in einem kompakten und leicht verständlichen Format haben. Das ist genau, was das AI Peanuts Workbook bietet.
  
  Das Workbook ist kein klassisches “Buch”, sondern ein praxisorientiertes, interaktives digitales Dokument.
  
  Mehr Infos, Leseproben und Checkout hier:

  AI Peanuts Workbook kaufen

🍭🍬 Gemischte Tüte

🇪🇺 EU-News:

• Apple hat die französische KI-Firma Datakalab, die an KI-Computer Vision Themen arbeitet, übernommen. Link
  

• Mistral (aus Paris) will noch einmal Hunderte Millionen aufnehmen bei einer Bewertung von 5 Milliarden Dollar (die dritte Runde innerhalb eines Jahres). Link

👩‍💻 Tech-News:

• Guter kurzer Videoclip eines Interviews mit Mark Zuckerberg, bei der er auf den Entwicklungszyklus von KI-Modellen eingeht (und beweist, dass er als CEO ein tiefes Verständnis der Technologie besitzt.) Link
  

• Sam Altman sagt, das Zeitalter der immer größeren LLMs sei vorbei. Link
  

• Microsoft hat VASA angekündigt, ein neues Tool zur Erzeugung eines Videos eines sprechenden Kopfes aus einem Foto. Link
  

• Das Future of Humanity Institute von Nick Bostrom wird geschlossen. Bostrom, der Pionier der “KI Doomer”, arbeitete an existenziellen Bedrohungen, einschließlich KI. Link
  

• Ein 200-seitiger Bericht von Deepmind, verfasst von mehreren Dutzend Autoren, spekuliert darüber, was generative KI-Agenten für die Menschheit bedeuten könnten. Link
  

• Fineweb: Ein Trainingsdatensatz, basierend auf zehn Jahren des Common Crawl (einer Stichprobe des gesamten Webs), mit entfernten Duplikaten. Das Ganze ist 42 TB groß. Link.
  

• Eine Studie darüber, wie die Anthropomorphisierung von KI-Agenten (z.B. die Vergabe menschlicher Namen für Produkte) das Vertrauen der Menschen in die Ergebnisse beeinflusst. Link

👷 Work:

• Talk & Notizen zum Thema: KI im Data-Journalismus nutzen. Link
  

• So nutzt die Airline United schon heute KI-Tools. Link

🆕 Neue Anwendungsfelder:

• Tools zur Erkennung von Deepfakes in Nachrichten. Link
  

• Limitless - ein weiteres von KI angetriebenes 'Gadget'. Sehr ähnlich wie Smart Homes vor einigen Jahren: Die Komponenten sind eine Alltagsware, also versuchen viele herauszufinden, wie man sie kombiniert und in Hardware verpackt. Link

🔐 Cybersecurity:

• KI-generierte kinderpornografische Aufnahmen werden zunehmend zum Problem. Auch beim Kampf gegen “echte” Kinderpornografie. Link
  

• Dieses Paper hat untersucht was passiert, wenn neue KI-Modelle zu sehr auf Basis von KI-generierten Daten trainiert werden. Link

• GPT-4 ist sehr gut darin, offiziell veröffentlichte Sicherheitslücken auszunutzen. Link

🖼️ Kreativindustrie:

🔥 Takes:

🧂 Salty Memes: