Was ist RAG – und wann braucht Ihr Unternehmen es wirklich?

Große Sprachmodelle sind bemerkenswerte Autoren und miserable Bibliothekare. Fragen Sie eines nach Ihrer Urlaubsregelung, den Garantiebedingungen Ihres Produkts oder den Preisen des letzten Quartals, und Sie erhalten eine selbstbewusste, flüssige – und häufig falsche – Antwort. Retrieval-Augmented Generation (RAG) löst das, indem das Modell die richtigen Seiten zu lesen bekommt, bevor es antwortet.

So funktioniert RAG – einfach erklärt

Ein RAG-System besteht aus zwei Hälften. Die Indexierung liest Ihre Dokumente, teilt sie in Passagen und speichert für jede Passage einen numerischen „Bedeutungs-Fingerabdruck“ (ein Embedding) in einer Vektordatenbank wie PostgreSQL mit pgvector. Die Beantwortung nimmt die Frage einer Nutzerin oder eines Nutzers, findet die inhaltlich nächstgelegenen Passagen und übergibt sie dem Modell mit einer einzigen Anweisung: Antworte nur auf dieser Grundlage und zitiere sie.

1. Einlesen: PDFs, Word-Dateien, Tabellen, Webseiten und Datenbankzeilen werden bereinigt und in Abschnitte zerlegt.
2. Einbetten: Jeder Abschnitt wird zu einem Vektor, der seinen Inhalt erfasst.
3. Abrufen: Eine Frage wird auf dieselbe Weise eingebettet; die nächstgelegenen Abschnitte werden abgerufen, oft kombiniert mit Stichwortsuche.
4. Generieren: Das Modell formuliert eine Antwort auf Basis dieser Abschnitte, mit Quellenangaben zum Original.

Warum nicht einfach ein Modell feintunen?

Fine-Tuning bringt einem Modell einen Stil oder eine eng umrissene Fähigkeit bei. Für Fakten, die sich ändern – Preise, Richtlinien, Lagerbestände, Verträge –, ist es ungeeignet. RAG hält das Wissen in einer Datenbank, die Sie kontrollieren: Aktualisieren Sie ein Dokument, und schon die nächste Antwort spiegelt das wider. Dazu erhalten Sie Quellenangaben, Zugriffskontrolle pro Dokument und die Möglichkeit, Modelle ohne erneutes Training zu wechseln.

Fünf Anzeichen, dass Ihr Unternehmen bereit für RAG ist

• Ihr Team beantwortet jede Woche dieselben Fragen aus denselben Dokumenten.
• Kritisches Wissen steckt in PDFs und Netzlaufwerken, die niemand gut durchsucht.
• Kunden warten stundenlang auf Antworten, die längst in Ihren Handbüchern stehen.
• Neue Mitarbeitende brauchen Monate, um produktiv zu werden, weil „alles irgendwo liegt“.
• Antworten müssen Berechtigungen respektieren – nicht jeder soll alles sehen.

Was ein RAG-System produktionsreif macht

Ein Wochenend-Prototyp kann in der Demo beeindrucken und am dritten Tag scheitern. Den Unterschied macht Engineering-Disziplin: auf Ihre Dokumenttypen abgestimmtes Chunking, hybrides Retrieval, Berechtigungsfilter zur Abfragezeit, Verweigerung bei fehlenden Quellen und – am wichtigsten – ein Evaluationsset echter Fragen mit bekannten guten Antworten, das bei jeder Änderung an Prompt oder Modell erneut läuft.

Wo Sie anfangen sollten

Wählen Sie einen gut dokumentierten Workflow mit hohem Volumen – HR-Richtlinienfragen, Produktsupport oder interne SOPs. Sammeln Sie fünfzig echte Fragen. Bauen, messen, dann ausbauen. Genau so führen wir unsere RAG-Projekte durch – und deshalb bleiben unsere Assistenten auch nach dem Launch präzise.