Eigene KI statt ChatGPT: Firmenwissen sicher nutzen mit RAG

Eine eigene KI ist in den meisten Fällen kein eigenes Modell, sondern ein bewährtes Sprachmodell, das vor jeder Antwort in Ihren Unterlagen nachschlägt. Das Verfahren heißt RAG. Es hält Firmenwissen an einem Ort, regelt, wer was sehen darf, und liefert Antworten mit Quellenangabe, statt dass Mitarbeiter Verträge und Mails einzeln in ChatGPT kopieren.

Ein typischer Fall: Montagmorgen, ein Kunde fragt nach den Wartungsbedingungen für eine Anlage, die vor sieben Jahren geliefert wurde. Die Sachbearbeiterin findet den Vertrag auf dem Laufwerk, kopiert drei Seiten in ihr privates ChatGPT-Konto und lässt sich eine freundliche Antwort formulieren. Das geht schnell. Es ist auch der Moment, in dem ein Vertrag mit Kundendaten bei einem Dienst landet, mit dem Ihr Unternehmen keinen Vertrag hat. Und am Dienstag fängt sie wieder bei null an.

Kopieren in ChatGPT: Wo das Problem wirklich liegt

Fairerweise vorweg: ChatGPT ist nicht das Problem. Die Business-Tarife des Anbieters nutzen Eingaben nach eigenen Angaben standardmäßig nicht zum Training, es gibt einen Vertrag zur Auftragsverarbeitung, und für neue Enterprise-Arbeitsbereiche ist eine Datenspeicherung in Europa möglich. Für Texte, Ideen und allgemeine Recherche ist das ein gutes Werkzeug.

Das Problem sind zwei andere Dinge.

Erstens die privaten Konten. Laut Bitkom ist die Nutzung privater KI-Zugänge im Job in 8 Prozent der Unternehmen weit verbreitet, in 17 Prozent kommt sie in Einzelfällen vor, weitere 17 Prozent vermuten sie. Gleichzeitig haben nur 23 Prozent der Unternehmen Regeln für den KI-Einsatz, und nur 26 Prozent stellen ihren Leuten selbst einen KI-Zugang. Wer kein Werkzeug bekommt, nimmt sich eins.

Zweitens das verstreute Wissen. Selbst mit dem besten Tarif beginnt jeder Chat bei null. Das Sprachmodell kennt Ihre Verträge, Preislisten und Handbücher nicht. Es gibt keine Zugriffsrechte, keine Quellenangabe und niemanden, der das Wissen pflegt. Die Antwort kommt aus dem Gedächtnis des Modells oder aus dem, was gerade jemand hineinkopiert hat.

Quellen: Bitkom, Presseinformation vom 21.10.2025 (604 Unternehmen ab 20 Beschäftigten) · Bitkom, Presseinformation vom 14.09.2026 · OpenAI, Data Residency in Europe. Stand: 26.10.2026.

RAG verständlich erklärt

Ein normales Sprachmodell beantwortet Fragen aus dem Gedächtnis. Es hat viel gelesen, aber nichts über Ihren Betrieb, und es klingt auch dann sicher, wenn es rät. RAG, ausgeschrieben Retrieval-Augmented Generation, macht daraus eine Prüfung mit offenem Buch. Das Buch sind Ihre Unterlagen.

1. Vorbereiten. Handbücher, Verträge, Angebote und Anleitungen werden in kurze Abschnitte zerlegt und in einem Register abgelegt, das nach Bedeutung statt nach Stichwort sortiert. Fachleute nennen das eine Vektordatenbank.
2. Nachschlagen. Bei jeder Frage sucht das System die passenden Abschnitte heraus. Wer nach der Kündigungsfrist fragt, findet auch die Stelle, an der „Laufzeit endet“ steht.
3. Formulieren. Das Sprachmodell bekommt die Frage und die gefundenen Abschnitte und formuliert die Antwort daraus, mit Verweis auf Dokument und Seite.

Die Datenschutzkonferenz, das Gremium der deutschen Aufsichtsbehörden, beschreibt den Zweck so: Das Sprachmodell soll nur die Sprachfähigkeit beisteuern. Das Wissen bleibt in Ihren Dokumenten. Trainiert wird dafür nichts. Ändert sich eine Preisliste, tauschen Sie das Dokument aus, und die nächste Antwort stimmt wieder.

Was der Datenschutz davon hat

Im Oktober 2025 hat die Datenschutzkonferenz eine 18-seitige Orientierungshilfe zu RAG veröffentlicht. Die wichtigsten Punkte für den Mittelstand:

• Kein Umweg über Dritte nötig. RAG-Systeme können eigenständig betrieben werden und kleinere, auch lokal laufende Modelle nutzen. Damit ist ein Betrieb ohne Übermittlung personenbezogener Daten an Dritte wie große Cloud-Anbieter möglich.
• Zugriffsrechte, die funktionieren. In der Wissensbasis lässt sich steuern, wer welche Dokumente sehen darf. Im Sprachmodell selbst geht das nicht. Die Personalakte bleibt also für den Vertrieb unsichtbar, auch wenn beide dieselbe KI fragen.
• Löschen und Berichtigen. Daten in den Dokumenten lassen sich löschen, aktualisieren und beauskunften. Was ein Modell einmal gelernt hat, bekommt man dagegen kaum wieder heraus.

Die Aufsicht sagt aber auch klar, was RAG nicht leistet: Es heilt kein Sprachmodell, das rechtswidrig trainiert wurde. Transparenz, Zweckbindung und die Rechte der Betroffenen bleiben Aufgabe des Unternehmens. Welche DSGVO-Pflichten beim KI-Einsatz konkret anfallen, steht in unserer Checkliste zu KI-Verordnung und DSGVO. Verbindlich klärt das im Einzelfall ein Anwalt.

Beim Betriebsort gibt es drei übliche Wege: ein großes Modell in der EU-Cloud eines Anbieters mit Auftragsverarbeitungsvertrag, ein offenes Modell bei einem Rechenzentrum in Deutschland oder ein eigenes Modell auf eigenem Server. Je sensibler die Daten, desto eher landen Sie bei der letzten Variante. Wir betreiben solche Systeme in der EU, mit Auftragsverarbeitungsvertrag und bei sensiblen Daten auf Wunsch mit eigenem Modell.

Quellen: Datenschutzkonferenz, Pressemitteilung vom 17.10.2025 · DSK, Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode, Version 1.0 (2025). Stand: 26.10.2026.

Aufbau in fünf Schritten

1. Fragen sammeln, nicht Dokumente. Notieren Sie 30 echte Fragen, die heute Zeit kosten, von Kunden und aus dem eigenen Team. Die Fragen bestimmen, welche Unterlagen hinein müssen. Wer mit „alles vom Laufwerk“ anfängt, füttert die KI mit Entwürfen von 2014.
2. Wissen aufräumen. Veraltete Versionen, Dubletten und Entwürfe kommen vorher raus. Die Aufsicht betont, dass die Zuverlässigkeit stark von Qualität, Aktualität und Vollständigkeit der Dokumente abhängt. Eingescannte Papiere brauchen eine Texterkennung, Kopf- und Fußzeilen werden bereinigt, personenbezogene Daten entfernt, wo sie nicht gebraucht werden.
3. Rechte und Betriebsort festlegen. Welche Abteilung darf welche Dokumente sehen? Welche Daten sind so sensibel, dass sie das Haus nicht verlassen? Datenschutzbeauftragter und, falls vorhanden, Betriebsrat gehören jetzt an den Tisch, nicht nach dem Start.
4. Mit den gesammelten Fragen testen. Jede Antwort zeigt ihre Quelle, Fachleute aus dem Haus prüfen sie. Die KI bekommt die Anweisung, nur aus den Unterlagen zu antworten und sonst zu sagen, dass dazu nichts vorliegt. Lücken in den Antworten zeigen meist Lücken in den Dokumenten.
5. Pflege organisieren. Eine Person ist verantwortlich, neue Preislisten und Anleitungen kommen in einem festen Rhythmus hinein, und jeder Nutzer kann eine falsche Antwort mit einem Klick melden.

Am besten beginnt eine eigene KI intern, als Assistent für das Team. Sitzt das Wissen, kann es nach außen: als KI-Chatbot auf der Website, der Kundenfragen aus denselben Unterlagen beantwortet. Dann gilt allerdings seit dem 2. August 2026 die Transparenzpflicht der KI-Verordnung: Kunden müssen erkennen können, dass sie mit einer KI schreiben. Wie wir solche Projekte vom ersten Gespräch bis zum Betrieb begleiten, zeigt die Seite unserer KI-Agentur.

Was die Kosten treibt

Bitkom hat 2026 Unternehmen mit KI gefragt, welche Posten sie als große Kostenpunkte erleben. Das Ergebnis passt genau zu einer eigenen Wissensbasis.

Quelle: Bitkom, Presseinformation vom 14.09.2026. Stand: 26.10.2026.

Übersetzt auf eine eigene KI heißt das: Das Sprachmodell ist selten der große Posten. Den Preis bestimmen diese sechs Fragen:

• Wie sauber sind die Dokumente? Aufgeräumte Textdateien sind schnell eingelesen. Eingescannte Faxe und Excel-Listen mit verbundenen Zellen kosten Handarbeit.
• Wie viele Quellen? Ein Laufwerk ist etwas anderes als Laufwerk, Warenwirtschaft, Ticketsystem und Postfach zusammen. Jede Anbindung ist ein eigenes Stück Arbeit.
• Wie fein die Rechte? „Alle sehen alles“ ist einfach. Abteilungen, Rollen und Kundengruppen sauber zu trennen, braucht Planung.
• Wo läuft es? In der Cloud zahlen Sie pro Nutzung, auf dem eigenen Server für Hardware und Betrieb.
• Wie viele fragen? Zehn Kollegen intern belasten ein System anders als jeder Besucher Ihrer Website.
• Wer pflegt? Eine Wissensbasis ohne Pflege ist nach einem Jahr ein Archiv. Die laufende Aktualisierung gehört in jede ehrliche Kalkulation.

Ob sich der Aufwand rechnet, lässt sich vorab abschätzen. Den Rechenweg mit Stundensatz und Zeitersparnis zeigt der Beitrag zum KI-Einstieg im Mittelstand.

Die Grenzen, ehrlich benannt

Halluzinationen werden seltener, nicht null. Laut Orientierungshilfe kann RAG unrichtige Ausgaben verringern, aber nicht vollständig ausschließen. Deshalb gehört zu jeder Antwort die Quelle, und die KI darf sagen, dass sie etwas nicht weiß.

Schlechte Unterlagen, schlechte Antworten. Liegt die Preisliste vom Vorjahr in der Wissensbasis, antwortet die KI mit den Preisen vom Vorjahr. Freundlich und überzeugt.

Zusammenhänge über viele Seiten. Die Suche findet Abschnitte, die der Frage inhaltlich nahe sind. Eine Wenn-dann-Regel, deren Teile auf Seite 4 und Seite 37 stehen, kann dabei durchrutschen. Auch das beschreibt die Aufsicht als systembedingte Schwäche.

Das Modell weiß es manchmal besser. Widersprechen sich Ihre Unterlagen und das antrainierte Wissen, neigen manche Modelle dazu, dem eigenen Training zu folgen. Eine klare Anweisung, nur aus den Quellen zu antworten, und Tests mit kniffligen Fragen helfen dagegen.

Rechnen und Live-Daten. Lagerbestand, Lieferzeit und der heutige Preis stehen nicht in Dokumenten. Solche Werte holt das System über eine Schnittstelle direkt aus der Warenwirtschaft, statt sie zu erraten.

Versteckte Anweisungen in Dokumenten. Das BSI hat im September 2026 Basisschutz-Maßnahmen gegen sogenannte Indirect Prompt Injections in dokumentbasierten KI-Chats veröffentlicht, also gegen Befehle, die in harmlos wirkenden Dateien versteckt sind. Fremde Dokumente gehören deshalb nicht ungeprüft in die Wissensbasis.

Quellen: DSK, Orientierungshilfe RAG (2025), Abschnitte zu Grenzen der Methode und Richtigkeit · BSI, Basisschutz gegen Indirect Prompt Injection in dokumentbasierten LLM-Chats (24.09.2026). Stand: 26.10.2026.

Entscheidungshilfe: Business-Tarif oder eigene KI?

Ein Business-Tarif eines großen Anbieters reicht, wenn es vor allem ums Formulieren, Zusammenfassen und Recherchieren geht, wenige Leute ihn nutzen, keine besonders sensiblen Daten im Spiel sind und die Antworten nicht aus Ihren internen Unterlagen kommen müssen. Dann zählt vor allem eine klare interne Regel, welche Daten hinein dürfen.

Eine eigene KI lohnt sich, wenn Antworten aus vielen eigenen Dokumenten kommen sollen, unterschiedliche Abteilungen unterschiedliche Rechte brauchen, sensible Kunden-, Mandanten- oder Patientendaten betroffen sind, jede Antwort belegbar sein muss oder später auch Kunden fragen sollen.

Beides zusammen ist häufig der vernünftigste Weg: ein geregelter Allzweck-Zugang fürs Formulieren und eine eigene Wissensbasis für alles, was nur in Ihrem Haus steht.

Kurz gesagt

Eine eigene KI ist ein bewährtes Sprachmodell, das mit RAG in Ihren Unterlagen nachschlägt, statt aus dem Gedächtnis zu antworten. Für den Datenschutz bringt das Zugriffsrechte, löschbare Daten und auf Wunsch einen Betrieb ohne Umweg über große Cloud-Anbieter. Die Kosten treiben Dokumente, Anbindungen und Pflege, kaum das Modell selbst. Und auch die beste Wissensbasis halluziniert gelegentlich. Wer das weiß und Quellen anzeigt, hat ein Werkzeug, dem das Team vertrauen kann.

REWLO Medienwerk baut KI-Wissensbasen und Chatbots mit Firmenwissen für Unternehmen in Heidelberg, der Metropolregion Rhein-Neckar und ganz Deutschland. Mehr unter /leistungen.