🦙 Llama 3.1 ist der neue Open Source King

Hallo, Sam Altman hat eine Studie veröffentlicht, in der die Effekte eines bedingungslosen Grundeinkommens untersucht wurden. Um schon mal zu schauen was passiert, wenn KI uns alle arbeitslos macht. Ergebnis: Es wurde weniger gearbeitet und gab dafür mehr Freizeit. Wer hätte das gedacht🙂. Mehr dazu in der gemischten Tüte.

Peanuts für heute:

• 🦙 Llama 3.1 ist der neue Open Source King

• 🎬️ OpenAI veröffentlicht BGE Studie

• 🛠️ Llama 3.1 kostenlos ausprobieren

🥜 Die größte Nuss:

🦙 Llama 3.1 ist der neue Open Source King

Letzte Woche hat Meta sein neustes Open Source LLM (Large Language Model) veröffentlicht - Llama 3.1. Und das hat es in sich. Es kommt, wie gewohnt in verschiedenen “Größen” und damit mit verschiedenen Fähigkeiten und Eigenschaften.

Die größte Version Llama 3.1 405B schlägt in vielen Benchmarks alle anderen Open Source LLMs, und sogar in vielen Kategorien die anderen Spitzenreiter wie GPT-4o und Claude Opus.

Das ist ein gewaltiger Schritt - denn bisher waren die bekannten Open Source LLMs wie Llama und Mistral zwar schon sehr gut - ganz oben konnten sie aber bislang nicht mitspielen.

Die Veröffentlichung von Llama 3.1 bedeutet also, dass jedem, der die nötigen technischen Fähigkeiten mitbringt jetzt das beste KI-Sprachmodell zur Verfügung steht - auch z.B. um auf der Basis kleinere, spezifischere Modelle via Finetuning zu erstellen. Ein weiterer Vorteil: Auch in der Skalierung lassen sich die Open Source Modelle meistens deutlich kostengünstiger betreiben, als vergleichbare kommerzielle Modelle.

Llama 3.1 könnte also mal wieder eine neue Welle an spannenden Tools und Startups ermöglichen, die vorher so aus technischen- Limitation oder Kostengründen nicht denkbar waren.

Meta’s Strategie ist bislang unter den Big Tech Playern ziemlich einzigartig. Während die anderen Player wie Google, Microsoft und Amazon entweder auf eigene geschlossene Modelle oder sehr enge Partnerschaften mit OpenAI & co. setzen, hat Mark Zuckerberg für Meta einen anderen Kurs bestimmt.

Und so einzigartig diese Strategie ist, so teuer ist sie auch. Alleine in diesem Jahr geht man von ca. $35-40 Mrd. aus, die Meta im Bereich AI ausgibt.

Warum? Die Strategie dahinter hat wahrscheinlich viele Facetten. Einerseits hat man erkannt, dass Zugang zu den besten KI-Tools für Meta’s Produkte unabdingbar ist. Selbst das beste Modell zu veröffentlichen, gewährt einer Firma, die volle Unabhängigkeit von den anderen großen Anbietern zu bewahren. Dabei auf Open Source zu setzen, dürfte die Wahrscheinlichkeit dafür, dass das Modell tatsächlich das Beste ist, deutlich steigern. Denn so entwickeln Millionen von externen Entwicklern das Produkt quasi mit, ohne auf der Payroll zu stehen. Diese Strategie hat Zuckerburg auch noch mal in diesem Blogeintrag erläutert.

Und andererseits führt die Open Source Strategie dazu, dass der Wert, der durch KI in der Wirtschaft entsteht, eher auf der Seite der Anwendungen, als der Modelle passiert. Wäre es anders herum, wäre die Firma, die das jeweils beste Modell besitzt in einem klaren Wettbewerbsvorteil und könnte den Markt steuern - auch in den Bereichen von Meta’s Kernprodukten. Z.b. indem es seine Technologie dann exklusiv an einen Mittbewerber wie TikTok lizensiert.

Die sind übrigens eine der wenigen Firmen, die das neue Modell von Meta nicht kommerziell benutzen dürfen - das ist nämlich in den Nutzungsbedingungen für Anwendungen mit mehr als 700Mio. Nutzern ausgeschlossen.

Eine Notiz noch zum Schluss: Eine Fähigkeit besitzen die neuen Modelle noch nicht: Multimodalität, also der Umgang mit mehr als Text, z.B. Bilder und Videos. Multimodale Open Source Versionen von Llama sind allerdings in Arbeit und sollen in den kommenden Monaten erscheinen. Von deren kommerziellen Nutzung werden allerdings dann nicht nur TikTok & co. ausgeschlossen, sondern auch jegliche Firmen hier in der EU. Denn: Meta sagt das regulatorische Umfeld, dass die EU mit ihren Regeln geschaffen hat, sei zu unwägbar. Na super.

🛠️ Trai it out:

Llama 3.1 auf groq — Wer die neuen Modelle aus der obigen Story mal selber ausprobieren möchte, der kann das z.B. auf groq machen. Über die Hardware dahinter hatten wir im Februar geschrieben. So viel sei gesagt: Die groq Chips sind sehr schnell!

In Kombination mit der schnellsten neuen Version von Llama (Llama-3.1-8b-Instant) führt das zu Antworten in nahezu Lichtgeschwindigkeiten. Einfach Wahnsinn, wenn man das mit dem klassischen ChatGPT vergleicht…

Um’s auszurobieren: Einfach auf der Website oben rechts das neue Modell auswählen.

Weitere Neue Tools, Updates & Demos:

• Reworkd — Ein KI Web Scraper
  

• Tidyread — Diese KI räumt eure Leseliste auf
  

• Stable Video 4D — Aus einem Video mehrere Perspektiven erzeugen
  

• Tempest — Mit KI Spiele generieren
  

• Noded — Ein weiteres KI-Notetaking & Produktivitätstool
  
  

Prompting & Kurse:

• Das offizielle AI Peanuts Workbook — Die ultimative Ressource um das Thema KI von Grund auf zu Verstehen (z.B. wie funktioniert eigentlich ein LLM?) und mit Hilfe von Tutorials zu den beliebtesten Tools (ChatGPT, Midjourney, HeyGen uvm.) zum KI-Profi zu werden!

🍭🍬 Gemischte Tüte

🇪🇺 EU-News:

• Die französische KI Hoffnung Mistral hat ein Modell mit 123 Milliarden Parametern veröffentlicht, das mit dem neuesten Llama 3 405b Modell vergleichbar ist. Es wird unter einer Forschungslizenz veröffentlicht. Link

👩‍💻 Tech-News:

• Die New York Times verwendet KI (BrandMatch), um Werbetreibende besser mit relevanten Geschichten zu verknüpfen – und es funktioniert besser als nicht-KI-Techniken. Link
  

• Eine dänische Umfrage unter 100.000 Arbeitern ergab eine weitverbreitete Nutzung von ChatGPT, wobei viele schätzen, dass KI-Tools die Arbeitszeit für ein Drittel der Aufgaben halbieren könnten. Link
  

• Sam Altman gab Menschen drei Jahre lang 1.000 Dollar pro Monat. Seine Non-Profit-Organisation OpenResearch führte die bisher größte Studie in den USA zum Thema bedingungsloses Grundeinkommen durch. Link
  

• Eine neue Studie hat herausgefunden, dass KI-Modelle ihre Fähigkeiten einbüßen, wenn sie mit von KI generierten Daten trainiert werden. Link
  

• Alphabet verzeichnet einen Gewinnsprung von 29 %, allerdings nicht wegen der KI Angebote. Das könnte noch ein paar Jahre dauern, bis sich die Investitionen auszahlen. Link
  

• Teslas Gewinnmarge wird durch EV-Rabatte und hohe KI-Ausgaben belastet. Toller Zeitpunkt mit dem riesigen 50-Milliarden-Dollar-Paket, das Elon erhalten hat. Link
  

• Google erstellt einen KI-Wettersimulator, der den Klimawandel misst. Link
  

• Einer unserer Lieblings Tech Podcaster Dwarkesh Patel erzählt in diesem Interview wie er KI-Tools nutzt, um seine eigene Intelligenz zu steigern. Link
  

• Warum OpenAI dieses Jahr 5 Milliarden Dollar verlieren könnte. Link
  

• Nvidia bereitet eine Version des neuen Flaggschiff-KI-Chips für den chinesischen Markt vor. Hier müssen eine seltsame Balance finden: Die Chips dürfen nicht “zu gut” sein, weil diese unter US Exportbeschränkungen fallen, aber gut genug, sodass sie nachgefragt werden. Link
  

• OpenAI hat eine neue Technik namens “Instruction Hierarchy” für sein GPT-4o Mini-Modell entwickelt, um zu verhindern, dass Benutzer die KI mit unautorisierten Eingaben täuschen, und gibt den ursprünglichen Anweisungen des Entwicklers Vorrang. Link
  

• Der Condé Nast Verlag hat eine Unterlassungserklärung an Perplexity geschickt und der KI-Suchmaschine mitgeteilt, dass sie Inhalte aus ihren Publikationen nicht mehr in ihren Ergebnissen aufnehmen darf, einen Monat nachdem Forbes dasselbe getan hatte. Hiervon werden wir noch viele weitere Klagen sehen. Link
  

• Eine Woche mit ununterbrochenen politischen Nachrichten bringt KI-Chatbots durcheinander. Link
  

• Mark Zuckerberg stellt sich vor, dass Creator bald KI-Klone von sich selbst erstellen. Link
  

• Mindmap von KI: Maschinelles Lernen vs. Deep Learning vs. LLM. Link
  

• Figma erklärt, warum sein KI-Tool “ausversehen” das Design von Apple kopiert hat. Link
  

• Bing hat eine Antwort auf Googles KI-Überblicke. Es heißt Bing Generative Search. Die KI-generierte Antwort nimmt den Hauptplatz auf der Suchergebnisseite ein, wobei die blauen Links nach rechts verschoben werden. Link

🆕 Neue Anwendungsfelder:

• Elon Musk behauptet, dass Tesla seine humanoiden Roboter bereits ab nächstem Jahr intern einsetzen wird. Angeblich sollen sie ab 2026 in den Verkauf gehen. Link
  

• Kuriose Demo: Vayu Robotics hat heute seinen ersten Lieferroboter vorgestellt. Der “One” kann dem Personal in Supermärkten folgen, um Kundenbestellungen zu laden, und dann autonom durch die Stadtstraßen navigieren und dabei Geschwindigkeiten von bis zu 30 km/h erreichen, um die Waren zu liefern. Link

🏥 Health:

• Pearl, ein von der FDA zugelassenes Startup, das KI verwendet, um Zahnpatienten eine „zweite Meinung“ zu geben, hat in einer Series-B-Finanzierungsrunde 58 Millionen Dollar eingesammelt. Link

🖼️ Kreativindustrie:

• Adobe fügt neue Firefly-KI-Funktionen in Photoshop und Illustrator hinzu. Link

🧂 Salty Memes: