Großes Sprachmodell (LLM)
Urheberschaft und Freigabe
[Mit KI geschrieben] [Von einem Menschen freigegeben]
Aktualisiert
28.10.2026
Ein großes Sprachmodell (LLM, engl. Large Language Model) ist ein auf riesigen Textdatensätzen trainiertes KI-Modell, das auf Basis des bisherigen Textes das nächste Wort vorhersagt, dann das nächste und so weiter. Aus dieser einen Fähigkeit resultieren Antworten auf Fragen, Übersetzungen, Zusammenfassungen und das Schreiben von Code. ChatGPT, Claude und Gemini sind auf LLMs aufbauende Anwendungen.
42,4 %
Arbeiten zu LLM (KW 43)
0 PLN
Kosten für Labor-Arbeitsmodelle
2017
Transformer, Beginn der LLM
Wie funktioniert das?
- Vortraining: Das Modell liest Billionen von Text-Tokens und lernt, das nächste Wort vorherzusagen. So erwirbt es Sprache und Weltwissen.
- Fine-Tuning: Das Modell lernt, ein hilfsbereiter Assistent zu sein, u. a. durch menschliche Bewertungen (RLHF). Daher rührt auch die Neigung zum Beipflichten, die sogenannte Sykophantie.
- Antwort: Das Modell erhält Ihre Frage und schreibt die Antwort Token für Token, wobei es jedes Mal den wahrscheinlichsten Fortsetzungsstrang wählt.
Unter der Haube fast jedes LLM steckt die Transformer-Architektur aus dem Paper „Attention Is All You Need“ (2017).
Wie macht unser Labor das?
- Die Laborarbeit basiert auf dem kostenlosen Gemini-Plan (Modell Flash Lite): Quellenauswertung, Schreiben, Übersetzungen. Kosten der Labor-Arbeitsmodelle: 0 PLN monatlich.
- Der Chat auf der Website nutzt ein kostenpflichtiges Modell über OpenRouter mit null Datenretention (der Anbieter speichert keine Gespräche). Das kostenlose Gemini antwortete bei etwa 3 von 10 Versuchen mit Überlastungsfehlern, und der Chat für Menschen muss immer antworten.
- Lokale LLMs haben wir verworfen. Drei Modelle gleichzeitig auf unserem Server (15 GB RAM, keine Grafikkarte) drängten ihn in den Swap-Speicher und alles wurde langsam. Lokal berechnen wir nur Vektoren (Embeddings), da dafür ein kleines Modell ausreicht.
- Das Modell schreibt, der Code prüft. Zahlen in Berichten werden von einem Programm mit Daten verglichen, und die Veröffentlichung wird von einem Menschen freigegeben.
Einschränkungen
- Halluzinationen: Das Modell kann überzeugend Falschinformationen liefern.
- Sykophantie: Das Modell neigt dazu, dem Gesprächspartner zuzustimmen.
- Wissenstand zum Trainingszeitpunkt: Ohne Suche (RAG) weiß das Modell nicht, was danach passiert ist.
- Kontextfenster: Das Modell sieht immer nur eine begrenzte Menge an Text auf einmal.
Verwandte Begriffe
Attention Is All You Need · Token und Kontextfenster · KI-Halluzinationen · AI-Sykophantie · RAG
Fragen und Antworten
Worin unterscheidet sich ein LLM von ChatGPT?
Ein LLM ist ein Modell. ChatGPT ist eine Anwendung, die Modelle von OpenAI nutzt und diese mit einer Benutzeroberfläche, einem Gesprächsgedächtnis sowie Werkzeugen ausstattet.
Versteht ein LLM Text?
Sicherlich nicht so wie ein Mensch. Es sagt Text auf Basis von Mustern voraus. Das funktioniert überraschend gut, aber daraus resultieren Halluzinationen.
Kann man ein LLM lokal ausführen?
Ja, kleinere Modelle laufen auf einem gewöhnlichen Computer, allerdings langsamer und schwächer als Cloud-Modelle. Ohne Grafikkarte mangelt es schnell an Speicher.
Quellen
- Vaswani et al.: Attention Is All You Need, arXiv:1706.03762
- Ouyang et al.: Training language models to follow instructions with human feedback, arXiv:2203.02155
- Labor: Bericht KI-Forschungstrends, Woche 43/2026; Entscheidungen zu Chat-Modellen (21.10.2026)
Weiter