Transformer abgelöst? Forscher begeistert von neuer KI-Architektur

Sind wir froh, dass es bei uns etwas ruhiger zugeht als im Office von OpenAI. Das ist ja schon bei der Berichterstattung ermüdend. Zum Glück passieren auch noch andere Dinge!

Peanuts für heute:

• 📈 Ist das der neue Transformer?! Neue Architektur beeindruckt Forscher

• 🖖 OpenAI Drama Drama Drama

• 🛠️ Flow ist ein geniales Speech-to-Text Tool für macOS

🥜 Die größte Nuss:

📈 Ist das der neue Transformer?! Neue Architektur beeindruckt Forscher

Seit fast zwei Jahren schreiben wir diesen Newsletter. Manchmal gibt es Wochen, in denen alles auf einmal passiert, und plötzlich ist das Meer wieder spiegelglatt und alles scheint still. Genau so schien dieser Dienstag zu werden...

DOCH DANN KAM ALLES ANDERS...

Ich hoffe, dieses Intro hat ausreichend Aufmerksamkeit erregt. Denn tatsächlich gibt es eine spannende Nachricht: Liquid AI ist ein KI-Unternehmen, das aus einem Forschungslabor für künstliche Intelligenz am MIT hervorgegangen ist und mit Joscha Bach einen der führenden deutschen KI-Forscher in seinen Reihen hat. Ihr Ziel ist es, die Grundlagen für Fortschritte bei Sprachmodellen grundlegend zu überarbeiten, um neue Ansätze zu finden, die zum gleichen Ziel (AGI) führen.

Und ihnen ist ein beeindruckender Zwischenschritt gelungen. Die großen Erfolge der Sprachmodelle in den letzten Monaten sind vor allem auf die Transformer-Architektur zurückzuführen. Diese Idee stammt aus einer bahnbrechenden Arbeit von Google-Mitarbeitern vor sieben Jahren, und alle Durchbrüche wie ChatGPT sowie Bild- und Videomodelle basieren genau darauf.

Seitdem hat man Unmengen an Grafikkarten und Energie in das Training der Modelle investiert, um deren Effizienz zu steigern.

Die Anzahl der Parameter wächst unaufhaltsam, die Kosten für das Training der Modelle schießen in die Höhe, und die Modelle werden immer leistungsfähiger. Aber kann das ewig so weitergehen? Die Kurve der Modellverbesserungen schien bereits abzuflachen.

Hier kommt Liquid AI ins Spiel. Sie haben ein Modell entwickelt, das nicht auf der GPT-Struktur (also Transformer) basiert und dennoch mit einer deutlich geringeren Anzahl von Parametern vergleichbare Leistungen erzielt (siehe Grafik). Dabei scheint es auch wesentlich energieeffizienter im Training zu sein.

Das ist ein starkes Argument gegen die Befürchtung, die KI-Blase könnte kurz vor dem Platzen stehen. Denn nun muss man nicht mehr nur Energie und Grafikkarten auf das Problem werfen – auch andere Architektur-Innovationen können scheinbar die Modelle weiter verbessern. We are so back!

🛠️ Trai it out:

Flow — Ein sehr gutes Speech-to-Text Tool für macOS. So lange die Apple Intelligence Features noch nicht, bzw. nicht in der EU verfügbar sind, sind solche Third-Party Tools extrem nützlich. Statt zu tippen, kann man einfach sprechen - und weil die dahinter liegende KI den Kontext des Gesagten versteht, ist das Ergebnis sehr genau!

Ob für Notizen, E-Mails, oder sogar Programmieren - mit Tools wie Flow passiert das Arbeiten “at the speed of speech”.

Weitere Neue Tools, Updates & Demos:

• Mako — Ein KI-Private Equite Investment Associate. Ein spannender Trend, dass es für immer mehr “White-Collar” Jobs virtuelle “Mitarbeiter” gibt.
  

• RepAI — Bindet einen virtuellen Video-Assistenten in eure Website ein. Das ist noch etwas holprig, zeigt aber, was wohl bald schon Standard für Support sein wird.
  

• Interview.co — Ein KI-Bewerbungsinterview Tool - für Arbeitgeber und -nehmer/innen
  

• Raspberry Pi AI Camera — Für Bastler - Für unter 100€ eine eigene Smart-Kamera mit KI Features bauen

🍭🍬 Gemischte Tüte

👩‍💻 Tech-News:

• Wenn deine KI das Verbrechen begeht, wirst du dafür büßen, warnt das US-Justizministerium. Link
  

• Google zahlte 2,7 Milliarden Dollar, um einen KI-Experten zurückzugewinnen, der aus Frustration gekündigt hatte. Link
  

• Die NY Times hat die Finanzen von OpenAI veröffentlicht, die im Rahmen der aktuellen Finanzierungsrunde erstellt wurden. Im August erzielte OpenAI monatlich 300 Millionen Dollar Umsatz, ist auf dem Weg, 2024 insgesamt 3,7 Milliarden Dollar zu erwirtschaften, verzeichnet jedoch Verluste von 5 Milliarden Dollar. OpenAI hat 350 Millionen monatlich aktive Nutzer (im Vergleich zu 100 Millionen im März) und 10 Millionen zahlende Nutzer. Link
  

• Die NY Times berichtet auch, dass TSMC Sam Altmans Plan, 7 Billionen Dollar in KI-Chips zu investieren, so absurd fand, dass sie ihn “Podcasting Bro” nannten. Link
  

• Im Zusammenhang damit könnte es kein Zufall sein, dass das Wall Street Journal berichtet, dass Apple nicht mehr an einer Beteiligung an OpenAIs Finanzierungsrunde interessiert ist oder einen Beobachterposten im Vorstand anstrebt. Link
  

• Und OpenAIs o1 kann wahrscheinlich mehr als nur komplexes, schrittweises Prompting. Link
  

• Wirklich die letzte Meldung zu OpenAI in dieser Ausgabe: Hinter OpenAIs gewagtem Plan, “KI wie Elektrizität fließen zu lassen”. Sam Altman, CEO von OpenAI, spricht mit den Vereinigten Arabischen Emiraten, asiatischen Chipherstellern und US-Behörden, um die Rechenleistung zu erweitern, die für den Aufbau von KI benötigt wird. Link
  

• Reddit wird KI-gestützte Übersetzungen in Dutzenden neuer Länder einführen. Noch vor kurzem war maschinelle Übersetzung außerhalb weniger Sprachen, in die viel investiert wurde, schlecht. Dank der letzten Durchbrüche funktioniert sie nun weitgehend problemlos, und wir nehmen das schnell als selbstverständlich hin. Link
  

• Meta-Nutzer könnten bald personalisierte, KI-generierte Beiträge in ihren Feeds sehen, darunter Bilder, die ihr eigenes Abbild enthalten. Link
  

• Google nutzt generative KI zur Chip-Entwicklung: Wie AlphaChip das Design von Computerchips revolutionierte. Link
  

• Geminis Smart-Reply-Funktion kann jetzt ganze E-Mail-Threads analysieren, um Antworten zu generieren, die die Intention der Nachricht vollständig erfassen. Link
  

• China macht einen KI-Durchbruch und trainiert Berichten zufolge ein generatives KI-Modell über mehrere Rechenzentren und GPU-Architekturen hinweg. Not macht erfinderisch! Link
  

• Und Huawei tritt gegen Nvidia auf dem chinesischen KI-Chip-Markt mit dem neuen Ascend 910C-Prozessor an. Link
  

• Der Financial Times zufolge zeigen Daten von Stripe, dass KI-Startups schneller wachsende Umsätze verzeichnen als frühere Generationen von Startups. Interessant… doch da sie höhere Grenzkosten haben, bleibt ihnen keine Wahl, als so schnell wie möglich auf Umsatz zu drängen. Link
  

• Die beiden Branchen, in denen generative KI am schnellsten Fuß fasst, sind Programmierung und Marketing (mit Kundenservice dicht dahinter). Dieser Überblick zeigt, wie disruptiv das für die Werbebranche sein könnte. Link
  

• Eine ausführliche Analyse darüber, wie LLM-Agenten Silos zwischen verschiedenen Unternehmenssoftwarelösungen aufbrechen und Automatisierung und Integration erleichtern könnten. Link
  

• Ein Vortrag über den aktuellen Stand der KI von Sundar Pichai. Link
  

• Alibaba hat eine neue Version von Qwen veröffentlicht, seiner (teilweise) Open-Source-Familie von LLMs, die in einigen Benchmarks an der Spitze steht. Link

👷 Work:

• KI kann (meistens) menschliche CEOs übertreffen. Laut einer neuen Studie der Universität Cambridge schlägt KI CEOs in Bereichen wie Marktoptimierung und Produktdesign deutlich. Sie schnitten in einem Spiel, bei dem CEOs ein Unternehmen über Wasser halten mussten, besser ab. Bei unerwarteten Ereignissen, wie Pandemien oder Marktzusammenbrüchen, waren jedoch menschliche CEOs überlegen. Link

🆕 Neue Anwendungsfelder:

• In einer kürzlich von Masato Sakai von der Yamagata-Universität geleiteten Studie half fortschrittliche KI-Technologie dabei, über 300 zuvor unbekannte Nazca-Linien-Geoglyphen in Peru zu entdecken. Diese Entdeckung liefert neue Einblicke in die Kultur und den Glauben der antiken Völker, die diese vor über 2.000 Jahren schufen. Link

🧂 Salty Memes: