Fine-tuning oder RAG? Wann ein Modell anpassen und wann Dokumente geben

Fine-tuning ist das Nachschulen eines fertigen Modells anhand Ihrer Beispiele, um die Art der Antwort zu ändern: Stil, Format, Vokabular. RAG bedeutet, dem Modell zum Zeitpunkt der Frage Ihre Dokumente zu übergeben, ohne das Modell zu verändern. Kurz gesagt: Fine-tuning lehrt, wie man spricht, RAG liefert das Thema.

Was ist der Unterschied?

Sich änderndes Wissen (Preise, Richtlinien, News): RAG. Die Änderung eines Dokuments wirkt sofort, ganz ohne Training.
Stil und Format (Markenton, feste Antwortvorlage, schmale Aufgabe): Fine-tuning.
Quellen: RAG kann angeben, woher die Antwort stammt. Ein per Fine-tuning trainiertes Modell verrät nicht, aus welchem Beispiel es gelernt hat.
Kosten: RAG erfordert eine Vektordatenbank und etwas mehr Token pro Frage. Fine-tuning bedeutet Datenaufbereitung, Training und erneutes Training bei jeder größeren Änderung.

Wie macht unser Labor das?

Wir haben RAG gewählt und kein Modell nachgeschult. Das Labor liest wöchentlich ca. 2 Tsd. neue Texte (in der Woche vom 12.–18.10.2026: 2 197). Ein am Montag nachgeschultes Modell wäre am Mittwoch veraltet.
Neuer Text = neuer Vektor, kein neues Training. Der Prozess fügt stündlich neuen Texten Vektoren hinzu und der Chat sieht diese sofort.
Das Verhalten wird durch Anweisungen und Code gesteuert, nicht durch Training: Antwort mit Quelle, Ablehnung außerhalb der Basis, Ausgangsgateway. Wenn etwas geändert werden muss, passen wir die Anweisung an und lassen Tests laufen.
Kosten: 0 PLN fürs Training, da es kein Training gibt.

Wann doch Fine-tuning?

Wenn ein kleines, günstiges Modell eine schmale Aufgabe sehr gut erledigen soll, z. B. Tickets klassifizieren.
Wenn Antworten immer dasselbe Format haben müssen und die Anweisung nicht ausreicht.
Wenn Sie Hunderte guter Beispiele und eine stabile Aufgabe haben, die sich nicht wöchentlich ändert.
Oft funktioniert die Kombination am besten: ein auf das Format abgestimmtes Modell + RAG für das Wissen.

Fragen und Antworten

„Lädt“ Fine-tuning meine Dokumente in das Modell hoch?

Nicht auf eine Art und Weise, auf die man sich verlassen kann. Das Modell lernt Muster, und Fakten aus dem Training kann es verdrehen. Für Wissen ist RAG zuständig.

Was ist für den Start günstiger?

Fast immer RAG. Es erfordert weder die Vorbereitung von Trainingsdaten noch Training.

Kann man beide kombinieren?

Ja. Fine-tuning legt Stil und Format fest, RAG liefert aktuelles Wissen.

Quellen

Lewis i in.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv:2005.11401
Hu i in.: LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685
Labor: Fallstudie (Woche 12.–18.10.2026), Vektorprozess des Chats (23.10.2026)

Fine-Tuning oder RAG