RAG-Chatbot: Antworten aus den eigenen Inhalten
Wie Retrieval-Augmented Generation funktioniert, was die Qualität der Antworten bestimmt, wo die Grenzen liegen und wie Kyros es umsetzt.
Ein RAG-Chatbot beantwortet Fragen nicht allein aus dem, was ein Sprachmodell im Training gelernt hat, sondern aus Ihren eigenen Inhalten. RAG steht für Retrieval-Augmented Generation: Zu jeder Frage sucht das System zuerst passende Textabschnitte heraus (Retrieval), übergibt sie dem Sprachmodell und lässt es auf dieser Grundlage eine Antwort formulieren (Generation).
So funktioniert ein RAG-Chatbot
- Inhalte aufbereiten: Die Texte werden in Abschnitte zerlegt (Chunking) und so indexiert, dass sie sich nach Bedeutung und nach Stichwörtern durchsuchen lassen. Für die Suche nach Bedeutung wandelt ein Modell jeden Abschnitt in einen Zahlenvektor um, ein sogenanntes Embedding.
- Passende Abschnitte finden: Zur Frage des Besuchers sucht das System die Abschnitte, die am besten passen, und bringt sie in eine Rangfolge. Weil das Modell pro Anfrage nur eine begrenzte Textmenge verarbeiten kann, bekommt es nicht alle Inhalte, sondern nur die relevantesten Abschnitte.
- Antwort erzeugen: Die besten Abschnitte gehen zusammen mit der Frage und den Anweisungen an das Sprachmodell. Es formuliert daraus die Antwort und kann die verwendeten Quellen nennen.
Das Sprachmodell wird dabei nicht neu trainiert. Ändern sich Ihre Inhalte, werden sie neu eingelesen, und schon die nächste Antwort stützt sich auf den neuen Stand.
Warum RAG Fehler seltener macht, aber nicht verhindert
Ein Sprachmodell kennt Ihre Preise, Fristen und Abläufe nicht. Ohne RAG füllt es solche Lücken mitunter mit plausibel klingenden Erfindungen, sogenannten Halluzinationen. Mit RAG liegt die richtige Textstelle im besten Fall direkt vor dem Modell, und Quellenangaben machen die Antwort überprüfbar.
Fehler bleiben trotzdem möglich. Die Suche kann einen unpassenden oder veralteten Abschnitt liefern, die entscheidende Information kann in den Inhalten fehlen oder auf zwei Seiten unterschiedlich stehen, und das Modell kann einen richtigen Abschnitt verkürzt oder falsch wiedergeben. RAG senkt das Risiko falscher Antworten, ersetzt aber nicht die Kontrolle durch Menschen.
Was die Qualität eines RAG-Chatbots bestimmt
Ob ein Chatbot mit eigenen Daten gut antwortet, entscheidet sich zu einem großen Teil vor dem Sprachmodell: bei den Inhalten, ihrer Zerlegung, der Suche und der Rangfolge.
Inhalte
Der Chatbot kann nur wiedergeben, was in den Inhalten steht. Aktuelle, eindeutige Seiten, die Fragen konkret beantworten, helfen mehr als lange Texte mit Widersprüchen oder veralteten Angaben.
Chunking
Sind Abschnitte zu lang, passt ein Treffer nur ungefähr. Sind sie zu kurz, fehlt der Zusammenhang, etwa die Bedingung, die zu einer Frist gehört.
Retrieval
Semantische Suche findet Umschreibungen, etwa „Rücksendung“ für „Retoure“. Stichwortsuche findet exakte Begriffe wie Artikelnummern oder Paragrafen. Eine hybride Suche nutzt beides.
Ranking
Ein Reranker bewertet die gefundenen Kandidaten noch einmal gezielt für die gestellte Frage. So landen die relevantesten Abschnitte in dem begrenzten Text, den das Modell verarbeitet.
So setzt Kyros RAG um
Kyros ist eine Plattform für KI-Assistenten, die aus den Webseiten Ihrer Organisation antworten – als Chat-Widget auf Ihrer Website oder per REST-API.
Seiten, die Sie auswählen
Sie fügen die URLs der Seiten ein, die der Assistent kennen soll, eine pro Zeile. Doppelte Seiten werden erkannt, und auf Wunsch liest Kyros die Seiten alle 6, 12 oder 24 Stunden oder wöchentlich neu ein.
Hybride Suche mit Reranking
Für die Suche in Ihren Seiten kombiniert Kyros semantische Suche mit Stichwortsuche. Ein Reranking ordnet die Treffer nach ihrer Relevanz, bevor die besten Abschnitte an das Sprachmodell gehen.
Goldene Antworten
Wo es auf den genauen Wortlaut ankommt, etwa bei Fristen oder Preisen, schreiben Sie Goldene Antworten. Passt eine Frage dazu, ist der Assistent angewiesen, die Antwort wörtlich zu übernehmen.
Weiterführende Links
Stützt sich eine Antwort auf Ihre Seiten, stehen darunter nummerierte Quellenlinks mit Titel und URL. Besucher prüfen die Aussage so direkt auf der Originalseite.
Offen bei Lücken
Findet sich in Ihren Inhalten keine passende Antwort, ist der Assistent angewiesen, das zu sagen. Das ist eine Anweisung an das Modell, keine technische Garantie.
Korrekturen aus den Chatprotokollen
In den Chatprotokollen sehen Sie Gespräche und die Bewertungen der Besucher. Mit „Überarbeiten“ speichern Sie eine bessere Antwort als Goldene Antwort.
Grenzen eines RAG-Chatbots – auch bei Kyros
Was RAG grundsätzlich nicht leistet und was Kyros nicht anbietet.
Nur was in den Inhalten steht
Der Assistent antwortet aus den Seiten, die Sie auflisten, und aus Ihren Goldenen Antworten. Kyros erfasst keine ganze Website und keine Sitemap, und Dateien wie PDFs lassen sich nicht hochladen. Geänderte Seiten zählen erst nach dem nächsten Einlesen.
Fehler bleiben möglich
Suche und Sprachmodell können danebenliegen. Jedes Widget zeigt deshalb dauerhaft den Hinweis, dass Antworten KI-generiert sind und ungenau sein können. Die Quellenlinks erleichtern die Kontrolle.
Anweisungen sind keine Garantie
Dass der Assistent Lücken offen benennt und Goldene Antworten wörtlich übernimmt, beruht auf Anweisungen an das Sprachmodell. Ein Modell kann davon abweichen. Prüfen Sie wichtige Antworten deshalb regelmäßig in den Chatprotokollen.
Keine Übergabe an Mitarbeitende
Kyros hat keinen Live-Chat und leitet Gespräche nicht an Menschen weiter. Eine Interaktive Card (Beta) kann stattdessen im Chat eine Rückrufbitte aufnehmen; die Eingaben werden pro Card gespeichert und lassen sich als CSV exportieren.
Häufige Fragen zu RAG-Chatbots
Was ist ein RAG-Chatbot?
Ein RAG-Chatbot nutzt Retrieval-Augmented Generation: Er sucht zu einer Frage passende Abschnitte in einer festgelegten Wissensbasis, etwa den Seiten Ihrer Website, und gibt sie dem Sprachmodell als Grundlage für die Antwort mit. So kann er Fragen zu Ihren Angeboten, Abläufen und Regeln beantworten, die das Modell aus dem Training nicht kennt, und die verwendeten Quellen nennen. Fehler schließt das nicht aus, macht sie aber seltener und leichter überprüfbar.
Muss das Sprachmodell für einen Chatbot mit eigenen Daten trainiert werden?
Nein. Bei RAG bleibt das Sprachmodell unverändert; Ihre Inhalte werden nur durchsuchbar gemacht und beim Antworten als Kontext mitgegeben. Das hat einen praktischen Vorteil: Ändern sich Ihre Seiten, werden sie neu eingelesen, statt ein Modell neu zu trainieren. Kyros kann das auf Wunsch automatisch nach Zeitplan erledigen. Laut Datenschutzerklärung verwendet Kyros Kundendaten nicht zum Training von KI-Modellen.
Kann ein RAG-Chatbot trotzdem falsche Antworten geben?
Ja. RAG senkt das Risiko, beseitigt es aber nicht. Die Suche kann einen unpassenden Abschnitt finden, die Information kann in den Inhalten fehlen oder veraltet sein, und das Modell kann einen richtigen Abschnitt falsch wiedergeben. Gegenmittel sind gepflegte Inhalte, Goldene Antworten für heikle Fragen, Quellenlinks zur Kontrolle und die regelmäßige Durchsicht der Gespräche. Kyros zeigt in jedem Widget den Hinweis, dass Antworten KI-generiert sind und ungenau sein können.
Welche Inhalte kann ich bei Kyros als Wissensbasis nutzen?
Kyros nutzt Webseiten, deren URLs Sie einfügen, eine pro Zeile, zum Beispiel Seiten Ihrer Website, Ihres Hilfe-Centers oder Ihrer Richtlinien, dazu Goldene Antworten, die Sie selbst schreiben. Kyros erfasst keine ganze Website und keine Sitemap selbstständig, und PDF-, Word- oder Excel-Dateien lassen sich nicht hochladen. Inhalte aus Dateien müssen daher auf einer Webseite stehen oder als Goldene Antwort angelegt werden. Seiten lassen sich alle 6, 12 oder 24 Stunden oder wöchentlich automatisch neu einlesen.
Woran sehe ich, woher eine Antwort stammt?
Stützt sich eine Antwort auf Ihre Seiten, zeigt Kyros darunter unter „Weiterführende Links“ nummerierte Quellenlinks, jeweils mit Titel und URL der Seite. Es gibt keine Fußnoten im Text und keine Seitenzahlen; verlinkt wird die Webseite als Ganzes. Über die REST-API erhalten Sie die Antwort ebenfalls zusammen mit ihren Quellen, sodass Sie sie in Ihrer eigenen Anwendung anzeigen können.
Was passiert, wenn die Inhalte keine Antwort enthalten?
Der Assistent ist angewiesen, offen zu sagen, dass Ihre Inhalte die Frage nicht beantworten, statt eine Antwort zu erfinden. Das ist eine Anweisung an das Modell, keine Garantie. Kyros leitet solche Gespräche nicht an Mitarbeitende weiter; mit einer Interaktiven Card (Beta) können Sie aber zum Beispiel eine Rückrufbitte im Chat erfassen. In den Chatprotokollen erkennen Sie solche Lücken und schließen sie mit einer neuen Seite oder einer Goldenen Antwort.
Weiterlesen
Halluzination
Warum Sprachmodelle plausibel klingende Falschaussagen erzeugen
Goldene Antwort
Feste Antworten für Fragen, bei denen der Wortlaut zählt
Wissensdatenbank
Seiten einfügen, automatisch aktualisieren und durchsuchbar machen
RAG und Wissensdatenbank erklärt
Der ausführliche Beitrag zum Zusammenspiel von Inhalten und RAG
Bauen Sie einen RAG-Chatbot auf Ihren eigenen Seiten auf.
Der Starter-Tarif kostet dauerhaft 0 € und braucht keine Kreditkarte. Er enthält einen Assistenten mit Chat-Widget.