🏎️ Groq - Ein Hardware Meilenstein für KI

Guten Morgen! Da es in unserer großen Nuss heute um Geschwindigkeit geht, geht’s heute ohne Umschweife schnell in den Content:

Peanuts für heute:

• 🏎️ Groq - Ein Hardware Meilenstein für KI

• 🎬️ Google macht ernst

• 🛠️ Das schnellste LLM testen!

🥜 Die größte Nuss:

🏎️ Groq - Ein Hardware Meilenstein für KI

Gerade gibt es mit Groq (nein, nicht das Grok von Elon Musk) einen ziemlich spannenden Hardware Durchbruch , der die Art, wie wir zukünftig mit KI-Anwendungen interagieren, fundamental verändern könnte. Aber von vorne:

Wenn ihr eine Frage bei ChatGPT und co. eingebt, dann könnt ihr der KI beim “Denken” zusehen. Bis vor einiger Zeit erschienen die Buchstaben oft noch langsamer, als wir selbst tippen würden, mittlerweile sind die Top Modelle wie GPT-4 schon ziemlich flott. Und trotzdem - gerade bei längeren Antworten fühlt sich die Interaktion mit KI oft noch eher zäh an.

Um zu verstehen, warum das so ist, und was den neuen Chip von Groq so besonders macht, brauchen wir eine ganz kurze Theorie-Einheit - aber wir versprechen, in gewohnter AI-Peanuts Manier machen wir’s nicht allzu trocken und als kleinen Bonus werdet ihr außerdem verstehen, warum die NVIDIA Aktie gerade mal wieder so durch die Decke geht!:

Die “Denkprozesse”, die die KI durchläuft, wenn wir ihr Fragen stellen sind noch relativ langsam. Zunächst muss ein KI-Modell trainiert werden. Man spricht von der Trainings-Phase. Das kann Tage, Wochen, oder sogar Monate dauern. Während dieser Phase erlangt die KI ihr Wissen und “erlernt” ihre Fähigkeiten, z.B. gute Antworten zu liefern.

Dann läuft, jedes Mal wenn wir mit der KI interagieren die Inferenz-Phase. Auf Basis unseres Inputs, inferiert die KI eine Antwort.
All das passiert ganz grob gesprochen über komplexe mathematische Berechnungen. Auf Servern, in unseren Laptops und Smartphones gibt es verschiedene Chips. Manche haben sehr allgemeine Fähigkeiten, andere sind spezialisiert.
Grafik-Chips sind solche spezialisierten Chips. Sie sind besonders gut darin, Matrizen (also mehr-dimensionale Zahlen) miteinander zu multiplizieren - weil genau das u.a. dafür benötigt wird, um 3D-Darstellungen zu berechnen. Und praktischerweise sind das auch genau die Berechnungen, die man für die Inferenz von KI Modellen benötigt.

Genau deshalb sind GPUs (Graphical Processing Units) aktuell so gefragt - und weil NVIDIA aktuell die nach vielen Standards besten GPUs auf dem Markt bietet, geht die Aktie so nach oben.

Aber: Im Kontext von KI-Inferenz sind GPUs quasi nur “zufällig” geeignet. Aus dieser Perspektive sieht eine GPU dann doch nicht wie ein Spezialchip, sondern wie ein Chip mit allgemeinen Fähigkeiten aus.

Was wäre also, wenn man einen Chip von Grund auf dafür designed, KI-Inferenzberechnungen durchführen zu können?

Das dachte sich auch Jonathan Ross, der Gründer und CEO von Groq Labs - der davor u.a. Chips für Google konzipiert hat.

Heraus kam der GroqChip - ein neuartiger Chip, der KI-Anwendungen turboschnell macht. Seht selbst:

Der GroqChip ist nicht nur Theorie. Er ist schon bei einer ganzen Reihe von Firmen im Einsatz - und kann sogar per API angebunden werden.

Weil das Thema so komplex ist - macht es weniger Schlagzeilen, als wenn es mal wieder ein neues Modell gibt. Aber wir meinen: Groq ist wahrlich ein Meilenstein für KI. Denn: Erst diese extremen Geschwindigkeiten machen viele Anwendungen - wie z.B. natürliche Sprach-Interfaces - möglich. Es wird extrem spannend zu sehen sein, was auf Basis von Groq alles an neuen KI-Tools auf den Markt kommt!

P.S.: Ihr könnt Groq selbst ausprobieren - siehe in der Tool Sektion unten!

[Groq Website]

🛠️ Trai it out:

Groq Web Interface — Testet die Geschwindigkeit von Groq (siehe Story oben) einfach selbst. Auf der Groq Website könnt ihr einem Open Source LLM, wie z.B. Mixtral oder LLama eine Frage stellen, genau wie bei ChatGPT.

Die Antworten erscheinen nahezu in Echtzeit!

Übrigens - Groq ist nicht nur für Sprachmodelle hilfreich, wie diese Demo zeigt.

Weitere Neue Tools, Updates & Demos:

• Aperture — Ein neues photorealistisches Text-zu-Bild Modell aus dem Hause Lexica - sehr beeindruckend!
  

• NotesOllama — Bringt KI-Fähigkeiten in eure Apple Notes auf dem Mac
  

• Decktopus — Ein KI-Präsentations Tool als Alternative zu Powerpoint
  

• Kraftful — Ein KI-Toolset für digitale Produkt-Teams, u.a. mit KI-gestützter User Research
  

• Recaster — Hilft euch beim SEO-Optimieren von Shopify Stores

🍭🍬 Gemischte Tüte

👩‍💻 Tech-News:

• Google macht ernst: Der ChatGPT Konkurrent Gemini ist nun seit gestern für alle Google Workspace Kunden (ehemals G-Suite genannt) verfügbar und damit endlich auch in allen Google Apps wie Gmail, Slides und Docs integriert. Die ersten zwei Wochen sind kostenlos, hier der Link zur Anmeldung. Bei uns funktioniert es noch nicht🙄.
  

• Das Startup Magic (wir berichteten letzte Woche über die neue $100Mio. Finanzierung) hat wohl ein Modell mit einem Kontextfenster von über 3Mio. Wörtern geschaffen. Das wäre ein unglaublicher Durchbruch und würde die jüngste Finanzierung erklären! Link

• Reddit hat einen neuen AI-Trainingsdeal, um Nutzerinhalte zu verkaufen. Mehr als ein Jahrzehnt wertvoller Nutzerinhalte steht jetzt zum Verkauf, da Reddit sich auf den Börsengang vorbereitet. Link.

• Microsoft wird Intel nutzen, um hausinterne Prozessoren herzustellen. Großer Gewinn für Intels Vorstoß in maßgeschneiderte Chips, der ist 15 Milliarden USD wert. Microsoft plant weiterhin, mehr Halbleiter intern zu entwerfen. Link

• Die Besitzer von Tinder unterzeichnen einen Deal mit ChatGPT. Willkommen in der AI-Dating-Welle. Link
  

• Schöner Essay von Elad Gil: Dinge, die ich bei KI nicht verstehe. Link

• Wie viel Strom verbraucht AI? Link

👷 Work:

• HR Tools im Bewerbungsverfahren könnten die besten Bewerber aussortieren. Link

🆕 Neue Anwendungsfelder:

• Gemini Pro 1.5 (siehe unser Post von letzter Woche) kann sehr gut mit Videos umgehen. Link 1 | Link 2
  

• ElevenLabs arbeitet an einem Modell für KI-generierte Sound-Effekte. Link

• Wir haben einen KI-Nachhilfelehrer für Kinder getestet. Er hatte schon Probleme mit einfachster Mathematik. Link
  

• Google setzt den Bildgenerator von Gemini aus, nachdem ihm Rassismus gegenüber weißen Menschen vorgeworfen wurde. Link und gute Einordnung hier.

🖼️ Kreativindustrie:

• KI-Tools ermöglichen ganz neue Formen der Kreation für Künstler. Link

🧂 Salty Memes: