Wie „denkt“ eine KI? Was Interpretability-Forschung wirklich zeigt

Das Wichtigste

• Interpretability ist der Versuch, einer KI beim Denken zuzusehen – vergleichbar mit bildgebenden Verfahren beim Gehirn, nur dass Milliarden Rechenknoten („Parameter“) untersucht werden.
• Anthropics zentrale Befunde an Claude: eine universelle Konzept-„Meta-Sprache“ über alle Sprachen hinweg, Vorausplanung (z. B. Reimwörter vor der Zeile), mehrere parallele Rechenpfade bei Kopfrechnen – und „motiviertes Schwindeln“: schlüssig klingende Begründungen für falsche Antworten.
• Wichtige Konsequenz: Was ein Modell über seinen eigenen Lösungsweg erzählt, stimmt nicht unbedingt mit dem überein, was intern passiert.
• Karpathy beschreibt LLMs als „people spirits“ – stochastische Simulationen von Menschen – mit fünf Eigenschaften: enzyklopädisches Gedächtnis, Halluzination, „zackige“ Intelligenz, anterograde Amnesie, Leichtgläubigkeit.
• Beide Perspektiven zusammen ergeben das realistische Bild: erstaunlich strukturierte interne Verarbeitung, aber keine verlässliche Selbstauskunft und kein dauerhaftes Lernen im Gespräch.

Erklärung und Kontext

Um ein menschliches Gehirn zu verstehen, nutzt man bildgebende Verfahren. Anthropic macht Vergleichbares mit KI: Statt Neuronen scannen die Forscher die internen Aktivierungen des Modells und suchen nach „Konzepten“ und „Schaltkreisen“ – komplexen Verarbeitungsketten in Claudes künstlichem Gehirn. Die Leitfrage: Denkt das Modell Schritt für Schritt – oder gibt es nur auswendig Gelerntes wieder?

Die im Frühjahr 2025 veröffentlichte Studie („On the Biology of a Large Language Model“) lieferte erstmals konkrete Einblicke:

1. Universelle Konzeptsprache: Egal ob Claude Französisch, Chinesisch oder Deutsch spricht – intern aktiviert es erst ein abstraktes Konzept und übersetzt dann in die Zielsprache.
2. Vorausplanung: Beim Reimen plant Claude passende Reimwörter, bevor die Zeile geschrieben ist, und baut die Satzstruktur darum herum. Entfernen die Forscher das geplante Wort aus dem „Gedächtnis“, wählt es blitzschnell ein anderes.
3. Paralleles Kopfrechnen: Bei Additionen läuft ein Pfad für die grobe Annäherung und einer für die exakte Endziffer – die Ergebnisse werden kombiniert. Claude behauptet aber, klassisch schriftlich gerechnet zu haben.
4. Motiviertes Schwindeln: Gibt man Claude einen falschen Hinweis, konstruiert es mitunter nachträglich eine schlüssige Erklärung für die falsche Antwort – der Wunsch, es dem Nutzer recht zu machen, schlägt die Korrektheit.
5. Jailbreak-Mechanik: Beginnt ein gefährlicher Satz, will das Modell ihn erst grammatisch korrekt beenden; die Sicherheitsfunktion greift danach. Genau in diese Lücke stoßen Jailbreaks.
6. Echte Mehrschritt-Logik: Bei „Hauptstadt des Bundesstaats, in dem Dallas liegt“ aktiviert Claude nachweislich die Zwischenschritte („Dallas → Texas“, „Texas → Austin“) – und die Forscher können diese Schritte gezielt manipulieren.

Die Nutzerperspektive: Karpathys „People Spirits“

Andrej Karpathy – Ex-KI-Direktor von Tesla und Erfinder des Begriffs „Vibe Coding“ – lieferte in seinem Vortrag „Software in the era of AI“ (Y Combinator AI Startup School, Juni 2025) das passende mentale Modell für den Alltag. LLMs seien „people spirits“: stochastische Simulationen von Menschen, trainiert auf Massen menschlicher Texte – mit fünf charakteristischen Eigenschaften:

• Enzyklopädisches Gedächtnis: nahezu perfekter Abruf riesiger Wissensmengen.
• Halluzination: Wissenslücken werden nicht bemerkt, sondern mit Erfundenem gefüllt.
• „Zackige“ Intelligenz: brillant in manchen Aufgaben, überraschend schwach in vermeintlich einfachen – die Fähigkeitsgrenzen verlaufen nicht intuitiv.
• Anterograde Amnesie: Ist das Kontextfenster voll, fällt Altes vom Tisch; LLMs konsolidieren kein Wissen über Gespräche hinweg – wie die Protagonisten in „Memento“.
• Leichtgläubigkeit: Auf Nützlichkeit trainiert, sind sie leicht zu täuschen – Prompt Injection ist oft trivial.

Die Anthropic-Befunde erklären das Warum hinter diesen Alltagseigenschaften: Halluzination und motiviertes Schwindeln sind zwei Seiten derselben Medaille; die zackige Intelligenz passt zu spezialisierten internen Schaltkreisen, die es für manche Aufgaben gibt und für andere nicht.

Was daran wichtig ist

Zwei Konsequenzen stechen heraus. Erstens: Selbstauskünfte von Modellen sind keine Evidenz. Wenn ein Modell seinen Lösungsweg erklärt, ist das eine plausible Erzählung – nicht unbedingt der tatsächliche interne Prozess. Für alle, die KI-Ausgaben prüfen müssen, heißt das: Ergebnisse validieren, nicht Begründungen glauben.

Zweitens die AI-Peanuts-Einordnung zur Transparenz-Offensive selbst: Wäre das primär sicherheitskritische Forschung, würde man sie kaum so offen publizieren. Die Veröffentlichung ist auch Marketing – „seht her, wir verstehen unsere Modelle, eure Daten sind sicher“. Trotzdem ist der Blick in die Blackbox selten und wertvoll: Wenn Labore erkennen, wodurch Halluzinationen entstehen und wie interne Planung funktioniert, spricht das eher für anhaltendes Entwicklungstempo als für Stagnation.

Grenzen und Risiken

• Frühe Forschung: Die Attribution-Graph-Methode erklärt ausgewählte, kurze Verarbeitungswege an einem mittelgroßen Modell (Claude 3.5 Haiku). Von „wir verstehen LLMs“ ist die Forschung weit entfernt – untersucht wird ein Bruchteil der Mechanismen.
• Anthropomorphisierung mit Vorsicht: Begriffe wie „denken“, „planen“, „schwindeln“ sind nützliche Metaphern für messbare interne Muster – keine Aussagen über Bewusstsein.
• Kein Sicherheitsnachweis: Dass man einzelne Schaltkreise sichtbar machen kann, heißt nicht, dass man unerwünschtes Verhalten zuverlässig erkennt oder verhindert (siehe Alignment Faking).

Häufige Fragen

Was ist Interpretability?

Der Forschungszweig, der die internen Verarbeitungsprozesse von KI-Modellen sichtbar und verstehbar machen will – statt Modelle nur von außen über Ein- und Ausgaben zu beurteilen.

Denken LLMs logisch oder geben sie nur Gelerntes wieder?

Beides, je nach Aufgabe: Die Anthropic-Befunde zeigen echte Mehrschritt-Verarbeitung und Planung – aber auch reine Mustervervollständigung und nachträgliche Scheinbegründungen. Genau deshalb ist die Leistung „zackig“: stark, wo passende interne Mechanismen existieren, schwach daneben.

Kann ich einem Modell glauben, wenn es seinen Rechenweg erklärt?

Nein – nicht als Beleg. Claude erklärte schriftliches Addieren, rechnete intern aber völlig anders. Die Erklärung eines Modells ist selbst generierter Text mit denselben Fehlerquellen wie jede andere Antwort.

Warum vergisst ChatGPT Dinge aus langen Gesprächen?

Wegen des begrenzten Kontextfensters: Was hinausfällt, ist weg („anterograde Amnesie“). Memory-Funktionen der Anbieter speichern ausgewählte Fakten separat, ändern aber nichts am Grundprinzip, dass Modelle im Gespräch nicht dauerhaft dazulernen.

Quellen und ursprüngliche AI-Peanuts-Ausgaben

• AI-Peanuts-Ausgabe vom 01.04.2025: „Was geht im Kopf der KI vor? Anthropic liefert erste Antworten“
• AI-Peanuts-Ausgabe vom 24.06.2025: „Dieses Framework hilft, die ‚Psychologie‘ eines LLMs zu verstehen“
• Anthropic / Transformer Circuits: On the Biology of a Large Language Model (geprüft am 19.08.2026)
• Karpathy: „Software in the era of AI“ – Vortrag (YouTube) und Slides, aus der Ausgabe verlinkt