aipoc-lab
[KI-GLOSSAR][MODELLE][LLM][OPEN SOURCE]

Ollama

Urheberschaft und Freigabe

[Mit KI geschrieben] [Von einem Menschen freigegeben]

Aktualisiert

03.11.2026

Ollama ist ein kostenloses Open-Source-Programm, das Sprachmodelle herunterlädt und auf Ihrem Computer ausführt. Das Modell läuft lokal: Text gelangt nicht in die Cloud, und für Fragen zahlen Sie nichts.

6,2 GB

RAM des 9B-Modells bei uns

3,0 tok/s

9B-Modell auf dem Prozessor von 2011

19,5 h

2 Tsd. lokal beschriebene Texte

Wie funktioniert das?

  1. ollama pull lädt das Modell herunter, meist bereits verkleinert (Quantisierung), damit es auf einen normalen Computer passt.
  2. ollama run lädt das Modell in den Speicher und ermöglicht es, im Terminal damit zu sprechen.
  3. Ollama stellt auch eine lokale API bereit, sodass andere Programme das Modell nutzen können, z. B. Automatisierungen in n8n oder ein eigenes Skript.
  4. Nach der letzten Frage bleibt das Modell noch einige Minuten im Speicher (standardmäßig 5), damit die nächste Frage nicht auf das erneute Laden warten muss. ollama ps zeigt, was geladen ist, und ollama stop gibt den Speicher sofort frei.

Wie viel RAM wird benötigt?

  • Faustregel: Das Modell benötigt in etwa so viel RAM, wie seine Datei groß ist, plus Puffer für das Gespräch (Kontextfenster).
  • 8 GB RAM: komfortabel für ein Modell von ca. 4B (B steht für Milliarden Parameter). 16 GB RAM: Modelle bis ca. 11B.
  • Eine Grafikkarte ist nicht zwingend erforderlich. Ohne sie berechnet das Modell auf dem Prozessor und antwortet langsamer, mit ihr um ein Vielfaches schneller.
  • Wenn der RAM nicht ausreicht, lagert das System einen Teil des Speichers auf die Festplatte aus (Swap) und alles verlangsamt sich massiv, nicht nur das Modell.

Wie wählt man ein Modell?

  • Aufgabe: Zum Sortieren und Beschreiben von Texten reicht ein kleines Modell. Für Unterhaltung, Schreiben und schwierige Fragen wird ein größeres benötigt.
  • Sprache: Kleine Modelle schreiben auf Polnisch schlechter als auf Englisch. Polnische Modelle (z. B. Bielik) sind auf die polnische Sprache trainiert.
  • Speicher: Prüfen Sie zuerst, wie viel RAM Sie haben, und suchen Sie dann das größte Modell, das mit Puffer hineinpasst.
  • Lizenz: Ollama ist kostenlos, aber jedes Modell hat seine eigene Lizenz. Bei kommerzieller Nutzung muss diese gelesen werden.

Wie macht unser Labor das?

Der Laborserver ist ein Intel i5-2400 aus dem Jahr 2011, mit 15 GB RAM und keiner Grafikkarte. Im November 2026 haben wir darauf dieselben Fragen für mehrere Modelle gemessen:

  • Qwen 3.5 4B: 3,1 GB RAM, 5,0 Token pro Sekunde.
  • Ornith 1.5 9B: 6,2 GB RAM, 3,0 Token pro Sekunde.
  • Bielik 11B: 7,7 GB RAM, 2,2 Token pro Sekunde.
  • Ministral 3 14B: 9,1 GB RAM, 1,5 Token pro Sekunde. Zu langsam für ein Gespräch, reicht für die Arbeit in der Nacht.

Im Alltag beschreibt Ollama bei uns wissenschaftliche Arbeiten für unseren eigenen Themeneinfluss: Qwen 3.5 4B hat 2 Tsd. Texte in 19,5 h beschrieben, im Hintergrund und ohne Kosten. Lektion: Das Anhalten des Programms, das Fragen stellt, hat den Speicher nicht freigegeben, weil Ollama die begonnene Antwort weiterberechnete. Der Server ging in den Swap. Erst ollama stop senkte den belegten RAM von 12 auf 3 GB.

Verwandte Begriffe

Modellquantisierung · Großes Sprachmodell (LLM) · n8n · Token und Kontextfenster

Fragen und Antworten

Ist Ollama kostenlos?

Ja, das ist Open-Source-Software unter der MIT-Lizenz. Eigene Lizenzen haben auch die Modelle und jede muss einzeln geprüft werden, insbesondere bei kommerzieller Nutzung.

Benötige ich für Ollama eine Grafikkarte?

Nein. Das Modell läuft auch nur auf dem Prozessor, nur langsamer. Alle unsere Messungen stammen von einem Computer ohne Grafikkarte.

Wird ein lokales Modell ChatGPT ersetzen?

Bei einfachen, repetitiven Aufgaben oft ja. Bei schwierigen Fragen und gutem Text sind große Modelle in der Cloud heute deutlich besser.

Quellen

Weiter