RAG-Implementierung: Ablauf, Dauer und was den Preis bestimmt

„Was kostet das, und wie lange dauert es?“ ist die erste Frage in jedem Gespräch über ein RAG-System – und die, auf die es am seltensten eine brauchbare Antwort gibt. Meist folgt entweder eine Zahl, die niemand belegen kann, oder ein Ausweichen ins Unverbindliche. Beides hilft bei einer Investitionsentscheidung nicht. Dieser Beitrag beschreibt, wie ein RAG-Projekt tatsächlich abläuft, wo der Aufwand wirklich liegt und woran Sie ein Angebot erkennen, das die Unsicherheit einfach mit einkalkuliert hat. Was wir dabei übernehmen, steht auf unserer Seite zu RAG-Systemen und KI-Agenten.

Die fünf Phasen – und was am Ende jeder Phase steht

Ein RAG-Projekt zerfällt in fünf Abschnitte, die sich in der Reihenfolge kaum tauschen lassen. Entscheidend ist, dass jeder von ihnen ein überprüfbares Ergebnis liefert, hinter dem Sie abbrechen könnten, ohne alles zu verlieren.

1. Sichtung des Dokumentenbestands

Bevor irgendetwas gebaut wird, muss klar sein, womit gearbeitet wird: Welche Ablagen gibt es, wie viele Dokumente liegen darin, in welchen Formaten, wie aktuell sind sie und wer hat heute Zugriff. Das klingt trivial und ist es nie – in den meisten Unternehmen existiert keine vollständige Antwort darauf. Am Ende dieser Phase steht eine belastbare Aussage darüber, ob der gewünschte Anwendungsfall überhaupt tragfähig ist, und eine realistische Schätzung für alles Weitere.

2. Proof of Concept

Ein eng geschnittener Anwendungsfall mit einem echten, aber überschaubaren Dokumentenbestand und einer festen Gruppe von Testnutzern aus dem Fachbereich. Der PoC beantwortet genau eine Frage: Sind die Antworten gut genug, dass die Leute das System freiwillig benutzen? Alles andere – Anbindung, Berechtigungen, Betrieb – bleibt bewusst außen vor. Typischerweise sind das wenige Wochen.

3. Aufbau

Erst jetzt wird das System produktionstauglich gemacht: Anbindung an die echten Quellsysteme statt an einen Export, Durchreichen der Zugriffsrechte bis in die Suchergebnisse, Protokollierung, Löschkonzept, Betriebsprozesse. Dieser Abschnitt ist der aufwendigste und derjenige, den Angebote am häufigsten zu klein rechnen.

4. Rollout

Ausweitung auf weitere Nutzergruppen und Bestände – schrittweise, nicht auf einmal. Ein System, das mit fünfzig kuratierten Dokumenten hervorragend funktioniert, wird nicht automatisch besser, wenn man fünftausend ungeprüfte hinzufügt. Es wird schlechter, und dann ist das Vertrauen weg.

5. Betrieb und Pflege

Der Teil, den Projektpläne gern weglassen. Dokumente veralten, Fragen verändern sich, neue Quellen kommen dazu. Ohne jemanden, der entscheidet, welche Dokumente gelten, verliert das System binnen Monaten an Qualität – unabhängig davon, wie gut es gebaut war.

Wo der Aufwand wirklich liegt

Hier liegt die größte Fehleinschätzung. Die meisten erwarten, dass der Löwenanteil in die Technik geht. Tatsächlich ist der technische Kern eines RAG-Systems inzwischen weitgehend Standard – die Bausteine sind verfügbar und gut dokumentiert.

Der Aufwand liegt in drei anderen Dingen: in der Aufbereitung der Dokumente, in der Klärung der Berechtigungen und in der fachlichen Bewertung der Antworten. Alle drei brauchen Ihr Haus, nicht nur den Dienstleister. Ein Projekt gerät fast nie in Verzug, weil eine Komponente nicht funktioniert, sondern weil niemand entscheidet, welche der drei Versionen eines Handbuchs die gültige ist.

Faustregel aus der Praxis: Wenn im Angebot die Fachbereichs-Beteiligung nicht auftaucht, hat jemand entweder den Aufwand unterschätzt oder plant, ihn Ihnen später in Rechnung zu stellen.

Was den Preis bestimmt

Eine seriöse Zahl entsteht erst nach der Sichtung. Was sich vorher sagen lässt, sind die Faktoren, an denen sie hängt:

• Zustand des Dokumentenbestands. Nicht die Menge ist entscheidend, sondern die Ordnung. Zehntausend saubere PDFs sind einfacher als fünfhundert Dateien in zwölf Versionen ohne erkennbares Aktualitätsdatum.
• Anzahl der Quellsysteme. Ein Dateiserver ist eine Anbindung. Dateiserver plus Ticketsystem plus Wiki plus Vertragsablage sind vier – jede mit eigener Rechtelogik.
• Berechtigungstiefe. Ein System, das allen dieselben Dokumente zeigt, ist deutlich einfacher als eines, das die bestehenden Zugriffsrechte bis in die Suchergebnisse durchreichen muss. Letzteres ist bei personenbezogenen oder vertraulichen Inhalten allerdings nicht verhandelbar.
• Betriebsmodell. Vollständig im eigenen Haus, in einer privaten Umgebung oder als betreute Lösung – das verändert sowohl den einmaligen Aufwand als auch die laufenden Kosten erheblich.
• Qualitätsanspruch. Ein Assistent für interne Recherche darf gelegentlich danebenliegen, weil der Nutzer es merkt. Ein System, das Auskünfte an Kunden vorbereitet, braucht deutlich mehr Prüfung und Absicherung.

Wir nennen bewusst keine Pauschale, bevor der erste Punkt geklärt ist. Wer das tut, kalkuliert die Unsicherheit ein – und zwar zu Ihren Lasten.

Woran Sie ein schwaches Angebot erkennen

Vier Warnzeichen, die in der Praxis zuverlässig auf Probleme hindeuten.

Das erste ist eine Festpreiszusage ohne vorherige Sichtung des Dokumentenbestands. Niemand kann den Aufwand für die Aufbereitung schätzen, ohne gesehen zu haben, was aufzubereiten ist – wer es trotzdem tut, hat einen Puffer eingepreist oder wird später nachfordern.

Das zweite ist ein Angebot, in dem keine Messung der Antwortqualität vorkommt. Ohne getrennte Bewertung von Retrieval und Antwort lässt sich nicht sagen, ob das System besser wird oder nur anders; wie das geht, steht in unserem Beitrag zur Evaluierung von RAG-Systemen.

Das dritte ist ein fehlendes Löschkonzept. Wird ein Dokument gelöscht, müssen die daraus erzeugten Vektoren mitgelöscht werden – das passiert nicht von selbst und lässt sich schwer nachrüsten. Warum Embeddings dabei wie Kopien der Inhalte zu behandeln sind, erklären wir im Beitrag zu Vektordatenbanken.

Das vierte ist ein Projekt, das mit dem Go-Live endet. Wer den Betrieb nicht mit anbietet oder zumindest beschreibt, plant ein System, das nach einem Jahr niemand mehr benutzt.

Was Sie selbst beisteuern müssen

Der unbequeme Teil: Ein RAG-Projekt lässt sich nicht vollständig auslagern. Sie brauchen zwei Rollen im eigenen Haus. Erstens jemanden aus dem Fachbereich, der entscheidet, welche Dokumente gelten – diese Frage kann kein Dienstleister beantworten, weil sie fachlich und nicht technisch ist. Zweitens jemanden aus der IT oder Organisation, der Auskunft über Ablagen, Rechte und Systeme geben kann.

Zusammen sind das keine Vollzeitstellen, aber es sind verlässliche Ansprechpartner über die Projektlaufzeit. Wo diese Rollen nicht besetzt sind, verschiebt sich der Zeitplan – und zwar nicht ein bisschen.

Fazit

Ein RAG-Projekt ist gut planbar, sobald man akzeptiert, dass die belastbare Zahl nicht am Anfang steht, sondern nach der Sichtung. Der Weg dorthin ist kurz und günstig: eine Bestandsaufnahme, dann ein eng geschnittener Proof of Concept, dessen Ergebnis Sie selbst beurteilen können. Erst danach entscheidet sich, ob und in welchem Umfang gebaut wird. Wenn Sie einschätzen wollen, wie Ihr Dokumentenbestand dasteht und welcher erste Schritt sich lohnt, sprechen Sie uns an – das Erstgespräch kostet nichts.

Welcher Anwendungsfall überhaupt trägt und was der EU AI Act dabei verlangt, haben wir im Beitrag zur Einführung eines RAG-Systems im Mittelstand beschrieben.