• AI Peanuts
  • Posts
  • Dieses Framework hilft, die "Psychologie" eines LLMs zu verstehen

Dieses Framework hilft, die "Psychologie" eines LLMs zu verstehen

Hi Freunde!
Gestern Abend dachten wir wirklich, wir wären etwas ganz Großem auf der Spur: Alle Ankündigungen zur teuren Kooperation zwischen OpenAI und dem legendären Designer Jony Ive verschwanden über Nacht – Videos, Blogposts, Twitter-Posts, alles weg. Ist der Deal etwa last minute auseinandergefallen? Nein... wie sich herausstellt, verklagte Anfang des Monats ein anderer Hersteller von KI-Geräten, Ive's Firma "io" wegen Markenverletzung. Ein Gericht verlangte jetzt erstmal, dass alle Materialien zu diesem Namen verschwinden müssen.

Also kein großes Drama – und mit Klagen kennt sich OpenAI ja mittlerweile auch gut aus.

Peanuts für heute:

  • 💭 Die Große Nuss: Dieses Framework hilft, die “Psychologie” eines LLMs zu verstehen!

  • 🛠️ Trai it Out: Midjourney kann jetzt auch Videos erstellen!

  • 🇬🇧 Highlight: UK verabschiedet neues Daten-Gesetz & META kauft KI-Talente

🥜 Die größte Nuss:

💭 Dieses Framework hilft, die "Psychologie" eines LLMs zu verstehen

Wenn Andrej Karpathy spricht, hört die KI-Industrie zu. Der ehemalige KI-Direktor von Tesla ist einer der besten Vordenker des gesamten Felds. Was uns immer besonders gefällt: Er schafft es, selbst hochkomplexe Zusammenhänge einfach auszudrücken. Ohne Hype, kompetent und sehr bescheiden – er ist was AI Peanuts träumt zu sein.

Der Trend-Ausdruck "Vibe Coding" stammt von ihm und seine YouTube-Tutorials zum Thema KI haben absoluten Kult-Status. Wenn Karpathy also einen öffentlichen Vortrag zum Status Quo der Branche hält, lohnt es sich ganz besonders hinzuhören. Genau das tat er letzte Woche bei der Y Combinator AI Startup School mit dem Titel "Software in the era of AI."

Den gesamten Vortrag kann man sich hier auf YouTube anschauen, die Slides sind öffentlich verfügbar. Für alle, die tiefer einsteigen wollen, können wir das Ansehen absolut empfehlen.

Die LLM-Psychologie

Fast nebenbei präsentierte Karpathy ein extrem nützliches Framework, um das "Wesen von LLMs" besser zu verstehen. Er bezeichnet LLMs als "people spirits" – stochastische Simulationen von Menschen. Dadurch, dass LLMs auf Massen von durch Menschen verfassten Texten trainiert sind, "verkörpern" sie indirekt menschliche Eigenschaften. Was auf den ersten Blick esoterisch klingt, hilft tatsächlich, LLMs besser zu verstehen.


Karpathy sieht fünf Eigenschaften von LLMs, die ihre innere Psychologie beschreiben:

  • Enzyklopädisches Gedächtnis: LLMs haben ein nahezu perfektes Gedächtnis und können extrem große Mengen an Wissen auf Abruf wiedergeben.

  • Halluzination: LLMs neigen dazu, Lücken in ihrem Wissen nicht zu bemerken und diese stattdessen mit ausgedachtem Wissen zu füllen.

  • "Zackige" Intelligenz: Die Fähigkeiten sind oft nicht klar abgegrenzt. So intelligent die Modelle in manchen Bereichen sind, so fallen ihnen oft vermeintlich einfache Aufgaben schwer.

  • Anterograde Amnesie: Ist das Kontextfenster voll, fällt altes Wissen vom Tisch. LLMs lernen nicht nativ hinzu oder konsolidieren Wissen über die Zeit, ähnlich wie die Protagonisten in "Memento" oder "50 erste Dates."

  • Leichtgläubig: LLMs sind darauf trainiert, nützlich zu sein. Das macht sie aber auch einfach zu täuschen. "Prompt Injection" ist oft trivial und es gibt keinen sicheren Mechanismus gegen Data Leaks.

Wir finden dieses Framework extrem nützlich, um die aktuellen Stärken und Schwächen von LLMs besser zu verstehen und Weiterentwicklungen besser einschätzen zu können.

Jeder wird zum Programmierer

Neben der LLM-Psychologie hatte Karpathy noch eine weitere wichtige These im Gepäck. Als Erfinder des "Vibe Coding"-Begriffs sieht er natürliche Sprache als neue Programmiersprache, die jeden zum Entwickler macht.

Aber es gibt einen Haken. Der eigentliche Code ist das Einfache geworden. Das Schwierigste ist, Anwendungen "real" zu machen. Authentifizierung, Zahlungen, Domains, Deployment - dieser ganze DevOps-Teil besteht aus mühsamem Klicken durch Browser-Interfaces, die für Menschen, nicht für KI geschrieben sind.

Karpathys Antwort darauf ist radikal. Wir müssen Software und Infrastruktur komplett für KI neu denken, da sie eine neue Art digitaler Konsumenten darstellen. Er stellt sich Webseiten vor, die spezielle Textdateien für LLMs bereitstellen, mit klaren Anweisungen wo wichtige Informationen stehen und welche Aktionen möglich sind.

Karpathy sieht die menschliche Arbeit noch nicht so schnell verschwinden. Der Autonomie-Schieberegler bewegt sich im kommenden Jahrzehnt langsam von links nach rechts. Links bedeutet "Human in the Loop", rechts vollständige KI-Autonomie.

Hier zeigt sich Karpathys Realismus. Seine Timeline unterscheidet sich deutlich von Silicon Valley-Hype-Prognosen. Selbst autonomes Fahren, ein Bereich den er bei Tesla mitentwickelt hat, ist noch immer auf Menschen zur Kontrolle angewiesen. Seine Vision ist pragmatischer - teilautonome Produkte mit Menschen an den wichtigsten Stellen. Dieser Prozess dauert Jahrzehnte - nicht wenige Jahre.

Das ist (für uns) die wichtigste Erkenntnis aus dem Vortrag. Einer der klügsten und optimistischsten Köpfe der Branche rechnet mit einer Evolution, nicht mit einer Revolution.

Hilf uns dabei, besser zu werden! Was war schlecht? Was war gut? Wie fandest Du diese Ausgabe von AI Peanuts?

Login oder Abonnieren um an umfragen teilzunehmen.

🛠️ Trai it out:

Midjourney kann jetzt auch Videos erstellen!

Jetzt mischt endlich auch Midjourney mit im KI-Video Game! Und das erste Video Modell kann sich direkt sehen lassen!

Aktuell steht das Modell allen zahlenden Nutzern zur Verfügung, das geht also auch schon in der Variante für $12/Monat und auch in der EU.

Grundsätzlich lassen sich mit Midjourney Video v1 kurze animierte Videos in Standard-Auflösung auf Basis eines Bild-Inputs und einem optionalen Prompt erzeugen.

Midjourney bietet dafür in der Web-Oberfläche einen neuen Animate Button, der aus jedem eurer bereits erzeugten Videos einen kurzen Clip erzeugt. Dafür gibt es zwei Standard-Einstellungen:

  • Motion Low - für wenige subtile Bewegungen

  • Motion High - für stärkere Bewegungen sowohl der Kamera, als auch der abgebildeten Objekte

Mit dem Manual Mode kann man die gewünschte Animation außerdem mittels Prompt beschreiben. Es lassen sich auch externe Bilder als Starting Frame nutzen und mit der Extend Funktion kann man eine Sequenz um 4 Sekunden verlängern - bis zu 4 mal.

Die Ergebnisse sehen gut aus! Klar ist - wenn man genau hinschaut, entdeckt man häufig noch kleinere Bildfehler, aber vor allem für simple Bewegungsmuster liefert Midjourney Video sehr gute Ergebnisse.

Uns gefällt vor allem gut, dass Midjourney damit jetzt eine “All-In-One” Plattform bietet mit der man im Handumdrehen mittels Prompt ein Bild erstellt, es mit den KI-Editing Tools im Detail bearbeitet und dann daraus in wenigen Sekunden einen kurzen Clip erstellt.

Etliche Beispiele gibt es auf der Midjourney Explore Page.

Spannende Demos:

Sehr cooles Beispiel, wie sich das oben genannten Midjourney Video Modell z.B: für Scroll-Animationen im Web einsetzen lässt:

Tools kurz & knackig:

🍭🍬 Gemischte Tüte

📖 Must Reads:

Unsere Gemischte Tüte ist immer vollgepackt - in dieser neuen Sektion kuratieren wir zukünftig die aus unserer Sicht wichtigsten Links:

  • Warnung vor Agentic Misalignment: Anthropic hat untersucht, ob KI-Modelle z.B. bei Androhung von Abschaltung, “böses Verhalten” zeigen. Und tatsächlich: In Extremfällen können KI-Modelle täuschen und ihre Anwender auf Basis von sensiblen Daten erpressen. Sie sehen keine Gefahr in aktuellen Produktiv-Systemen, warnen aber for zu verfrühter Autonomie. Link

  • Kauft Apple Perplexity?: Wir haben die Frage nach einem möglichen Verkauf von Perplexity ja erst kürzlich gestellt. Jetzt gibt es Gerüchte, Apple sei an einem Kauf von Perplexity interessiert. Man kann sich das zwar gut vorstellen, das Szenario gilt aber dennoch als unwahrscheinlich. Link

🇪🇺 EU-News:

  • UK verabschiedet neues Daten-Gesetz – trotz Protesten prominenter Künstler wie Elton John. Der Data Bill erlaubt Datennutzung ohne Urheber-Einwilligung, was KI-Training stark beeinflussen könnte. Link 

👩‍💻 Tech-News:

  • Meta will laut Berichten Nat Friedman (Ex-GitHub) und Daniel Gross als neue KI-Köpfe gewinnen – beide sind (oder waren) auch bei Ilya Sutskevers Superalignment-Projekt beteiligt. Ilya Sutskever, einer der größten Köpfe hinter ChatGPT konnten sie nicht gewinnen. Link

  • OpenAIs neuestes Siri-Feature kommt erst 2026, aber es soll deutlich intelligenter werden. Federighi erklärt Apples Philosophie hinter dem „personal intelligence system“. Link 

  • Apple wird von Aktionären verklagt – wegen angeblich unklarer Kommunikation zu Siri-AI-Verspätungen. Link

  • Forscher am MIT haben SEAL vorgestellt – ein neues KI-Framework, das eigenständig andere Modelle verbessern kann. Link 

  • Moonshot AI bringt Kimi-Researcher – ein neuer Forschungsagent, der in Benchmark-Tests besser abschneidet als Gemini oder OpenAI. Er soll akademische Prüfungen effizienter meistern. Link 

  • OpenAI bringt ein Kundenservice-Agent-Toolkit für Entwickler – damit kannst Du dir eigene Support-Bots basteln. Link 

  • MiniMax veröffentlicht Voice Design – ein neues Tool zur Erstellung personalisierter, mehrsprachiger Stimmen aus Text-Prompts. Link 

  • Neue Studie: Manche KI-Prompts verbrauchen 50-mal mehr Energie als andere – je nach Rechenlast und Modellinterneffizienz. Link 

  • Interessanter Punkt: ChatGPT kann keine Uhren mit spezifischen Uhrzeiten generieren – einfach zu selten im Trainingsmaterial. Link

  • LinkedIn-Chef: KI-Schreibassistent weniger beliebt als gedacht. (Was erstaunlich ist, wenn man das Niveau auf LinkedIn kennt... 😅) Link

  • SoftBank-Chef Son will angeblich ein 1-Billion-Dollar KI- und Robotik-Industriezentrum in Arizona bauen – Codename: Crystal Land. Link

👷 Work & Education:

  • Silicon Valley geht von „Hire fast“ zu „Build tiny“: Neue Startups prahlen mit Mini-Teams statt Headcount. Link

  • McKinsey: Die zweite GenAI-Welle bringt spezialisierte Agenten für gezielte Workflows – Copilot allein reicht nicht. Link

  • Papst Leo XIV warnt vor Auswirkungen von KI auf kindliche Entwicklung – intellektuell und spirituell. Link

  • Midjourney macht laut einer neuen Datenbank knapp 12 Mio. $ Umsatz – pro Mitarbeiter. Cursor bringt es auf 5 Mio. $. Die „Lean AI Leaderboard“-Liste zeigt, wie effizient viele KI-Startups wirtschaften. Wichtig: Umsatz ≠ Gewinn und KI zu betreiben ist TEUER! Link 

  • „Ex-OpenAI“ ist das neue „Ex-Google“. Wer im Lebenslauf OpenAI stehen hat, bekommt derzeit mit Kusshand Geld, Jobs oder millionenschwere Investments. Die sogenannte OpenAI-Mafia nimmt Fahrt auf. Link 

🆕 Neue Anwendungsfelder:

  • Brasilianische Apotheker nutzen KI zur Rezeptprüfung – in abgelegenen Gebieten rettet das Leben. Eine Klinik verarbeitet dank KI nun viermal mehr Rezepte. Link 

  • MIT-Student Alex Kachkine entwickelt Technik zur Restaurierung von Gemälden mit KI-generierten Polymermasken – in wenigen Stunden. Link

🔐 AI Safety:

  • Generative KI als Bedrohung fürs Gehirn? Die Studie, dass KI das Denken negativ beeinflusst erinnert stark an die PowerPoint-Hysterie von 2003. Link

  • Zwei Wanderer verließen sich auf ChatGPT zur Tourenplanung – und mussten per Hubschrauber gerettet werden. Link 

🏥 Health & Science:

  • CRISPR wurde erstmals genutzt, um die zusätzliche Chromosomenkopie bei Down-Syndrom in Zellen zu entfernen – KI half beim Design des Eingriffs. Link 

🖼️ Kreativindustrie:

  • Another Week –Another Lawsuit: BBC droht Perplexity mit Klage – wegen Urheberrechtsverletzung durch ungefragte Inhaltsnutzung. Link

  • Israel-Iran-Konflikt löst neue Welle KI-generierter Desinformation aus. Link

🧂 Salty Memes:

Heute mal kein klassisches Meme, aber ein Beispiel, welche Art KI-Videos aktuell auf den diversen Social Media Plattformen viral gehen.
Wirklich wild - und meme-worthy:

Du hast Fragen, Anmerkungen oder brauchst unsere Hilfe?
Schreib uns einfach an:
[email protected]

Willkommen!

Hat dir das ein Freund oder eine Kollegin geschickt? Melde dich an und erhalte 2x Woche deine eigene Ausgabe mit den wichtigsten KI News direkt in dein Postfach.

Bis Freitag!