Welche KI macht Firmenwissen am besten durchsuchbar, auch gehostet in Deutschland oder der EU?

Was ihr in der EU und in Deutschland aufgebt

In der EU gebt ihr nichts auf: Claude Opus 5 bei AWS Bedrock ist derselbe Favorit wie weltweit. In Deutschland ist es Gemini 3.5 Flash bei Google Vertex AI, aus der Gruppe „Gut“.

Worauf es bei Firmenwissen ankommt

Ein interner Chatbot über eure Dokumente arbeitet fast immer gleich: Bei jeder Frage sucht ein System die passenden Stellen heraus, das Modell formuliert daraus die Antwort. Fachleute nennen das RAG. Die meisten Fehler entstehen bei der Suche, nicht beim Modell.

• Wenig Dokumente? Dann ganz ohne Suche: Passt euer Wissen auf rund 500 Seiten, gebt es dem Modell bei jeder Frage komplett mit. Anthropic empfiehlt das bis etwa 200.000 Tokens. Mit Zwischenspeicher (Prompt-Caching) ist das schnell und günstig, und ihr spart euch das ganze Suchsystem.
• Die Stichwortsuche nicht abschaffen: Artikelnummern, Fehlercodes und Paragrafen findet die klassische Stichwortsuche besser als die KI-Bedeutungssuche. Anthropic hat beides kombiniert und jedem Textabschnitt einen Satz Kontext vorangestellt: Die Suche lag danach 67 Prozent seltener daneben.
• Erst die Suche testen, dann Modelle vergleichen: Lasst zu jedem Abschnitt Testfragen erzeugen und messt, ob die Suche den richtigen Abschnitt findet. Speichert Datum und Version mit, damit nicht die alte Reiserichtlinie gewinnt.
• Weniger Text, bessere Antworten: Je mehr Text ein Modell auf einmal bekommt, desto schlechter nutzt es ihn, vor allem ähnlich klingende Passagen lenken ab. Andrej Karpathy nennt das „Context Engineering“.

Häufige Fragen