Stell dir vor, du fragst ein öffentliches KI-Modell: Welche Kündigungsfrist steht im Rahmenvertrag mit Kunde Meyer? Die Antwort kommt höflich, flüssig — und ist komplett erfunden. Das Modell kennt Wikipedia, Foren und Millionen Webseiten, aber kein einziges Dokument aus deinem Unternehmen.

Genau diese Lücke schließt RAG: Retrieval-Augmented Generation. Es ist heute das wichtigste Architekturmuster, wenn ein Unternehmen eine KI einsetzen will, die wirklich mit den eigenen Inhalten arbeitet — statt nur allgemein zu plaudern.

Das Grundproblem: ein Sprachmodell hat kein Gedächtnis für deine Firma

Große Sprachmodelle wie GPT oder Claude wurden auf riesigen, öffentlichen Datenmengen trainiert. Was sie nicht gesehen haben: deine internen PDFs, dein Confluence-Wiki, eure CRM-Notizen, die letzten 300 Angebote. Und sie lernen das auch nicht nebenbei dazu.

Zwei naheliegende Ideen führen in die Irre:

Alles ins Prompt-Fenster kippen. Funktioniert nicht — der Kontext ist begrenzt, und 5.000 Seiten passen nirgends hinein.
Das Modell auf eigenen Daten neu trainieren (Fine-Tuning). Teuer, langsam und bei ständig wechselnden Dokumenten der falsche Hebel.

RAG geht einen dritten, eleganteren Weg.

Was RAG eigentlich bedeutet

Die einfachste Analogie ist eine Prüfung mit offenem Buch. Statt alles auswendig zu können, schlägt die KI bei jeder Frage zuerst in deinen Unterlagen nach — und formuliert die Antwort dann auf Basis der gefundenen Stellen.

Retrieval heißt: relevante Textpassagen finden. Augmented Generation heißt: die Antwort wird mit genau diesen Passagen angereichert. Das Ergebnis ist eine KI, die auf deine Realität antwortet — nicht auf einen Durchschnitt des Internets.

Wie RAG technisch funktioniert — in vier Schritten

1. Zerlegen (Chunking). Deine Dokumente werden in handliche Abschnitte geschnitten, etwa absatzweise.
2. In Vektoren übersetzen (Embeddings). Jeder Abschnitt bekommt eine Art mathematischen Fingerabdruck, der seine Bedeutung beschreibt. Ähnliche Inhalte liegen dabei nah beieinander.
3. Suchen (Retrieval). Kommt eine Frage herein, wird auch sie in einen solchen Fingerabdruck übersetzt — und das System holt die inhaltlich am besten passenden Abschnitte heraus. Wichtig: Es sucht nach Bedeutung, nicht nur nach Stichworten.
4. Antworten (Generation). Die gefundenen Abschnitte gehen zusammen mit der Frage an das Sprachmodell, das daraus eine saubere, belegbare Antwort formuliert — idealerweise mit Quellenangabe.

Der große Vorteil: Du musst nichts neu trainieren. Neues Dokument rein, ab sofort wird es mitberücksichtigt.

Was du damit konkret bauen kannst

Interner Wissensassistent: Mitarbeitende fragen in normaler Sprache und bekommen Antworten aus Handbüchern, Richtlinien und Prozessbeschreibungen.
Kundensupport: Ein Assistent, der auf Basis eurer echten Doku antwortet, statt Standardfloskeln zu liefern.
Vertrags- und Angebotsanalyse: Fristen, Klauseln und Konditionen aus hunderten Dokumenten in Sekunden auffindbar.
Onboarding: Neue Kolleginnen und Kollegen fragen die KI, statt fünf Leute zu unterbrechen.

Was du dafür brauchst — weniger als die meisten denken

Du brauchst keine perfekt aufgeräumte Datenlandschaft. Für ein erstes funktionierendes Setup reichen vorhandene Dokumente in nahezu beliebigem Format — PDFs, Office-Dateien, Wiki-Seiten, Exporte.

Wichtiger als die Datenmenge sind drei Dinge:

ein klar umrissener Anwendungsfall (nicht KI für alles, sondern KI für diese eine Frageart),
Zugang zu den relevanten Inhalten,
und das Recht, diese Inhalte zu verarbeiten.

KI für Kundenanfragen kategorisieren ist ein guter erster Schritt. KI, die alles im Unternehmen weiß ist ein Projekt ohne Ende.

Die häufigsten Fehler

Zu breit starten. Wer alles gleichzeitig abdecken will, bekommt überall mittelmäßige Ergebnisse. Eng anfangen, dann ausweiten.
Qualität nicht messen. Ohne ein paar dutzend Testfragen mit erwarteten Antworten weißt du nie, ob das System wirklich besser wird.
Quellen verstecken. Eine gute Unternehmens-KI zeigt, woher eine Antwort stammt. Das schafft Vertrauen und macht Fehler überprüfbar.
Den Menschen vergessen. RAG liefert Entwürfe und Auskünfte — die Verantwortung für Entscheidungen bleibt beim Team.

Wo deine Daten verarbeitet werden — du hast die Wahl

Ein berechtigter Einwand im Mittelstand: Wo landen unsere Inhalte eigentlich? Die ehrliche Antwort: Das entscheidet der Aufbau, nicht die Technologie. Es gibt grob drei Wege:

Offene Modelle (etwa Llama oder Mistral) auf eigener oder europäischer Infrastruktur — maximale Datenhoheit.
In der EU gehostete Anbieter, die innerhalb Europas verarbeiten.
US-Anbieter, die leistungsstark, aber mit mehr organisatorischem Aufwand verbunden sind.

Welcher Weg passt, hängt von Sensibilität der Daten, Branche und Anspruch ab — und sollte am Anfang eines Projekts bewusst entschieden werden, nicht nebenbei.

Fazit

RAG ist kein Hexenwerk, sondern solide Ingenieursarbeit: Dokumente aufbereiten, durchsuchbar machen, ein Sprachmodell sauber anbinden. Das Ergebnis ist eine KI, die nicht über das Internet im Allgemeinen Bescheid weiß, sondern über dein Unternehmen im Besonderen.

Wenn du gerade überlegst, ob sich so ein System für einen konkreten Anwendungsfall bei dir lohnt: Beschreib den Fall in zwei, drei Sätzen über die Kontaktseite — dann lässt sich schon im Erstgespräch einordnen, ob der Aufwand in einem sinnvollen Verhältnis zum Nutzen steht.