Tokeny i okno kontekstu: co to jest i ile kosztuje rozmowa z AI

Token to kawałek tekstu, na które model językowy dzieli każde zdanie: krótkie słowo, część dłuższego słowa albo znak interpunkcyjny. Okno kontekstu to maksymalna liczba tokenów, którą model widzi naraz: instrukcje, rozmowa, dokumenty i jego własna odpowiedź. Wszystko, co się nie zmieści, dla modelu nie istnieje.

Jak to działa?

Model nie czyta liter ani słów, tylko tokeny. Częste słowa to jeden token, rzadkie dzielą się na kilka kawałków.
Po polsku ten sam tekst zwykle zajmuje więcej tokenów niż po angielsku, bo modele uczono głównie na angielskim, a polskie słowa mają wiele końcówek.
Dostawcy liczą cenę za tokeny: osobno za to, co wysyłasz (wejście), i za to, co model napisze (wyjście). Wyjście jest zwykle kilka razy droższe.
Okno kontekstu to pamięć robocza modelu. Długa rozmowa w końcu się nie mieści i najstarsze wiadomości wypadają albo trzeba je streścić.

Jak to robi nasz lab?

Pytanie do czatu: maks. 500 znaków. Dłuższe czat odbija od razu, bez wołania modelu. To ochrona kosztów i część obrony przed atakami.
Fragmenty do 1 200 znaków, do modelu trafia 6. Model nie dostaje całych artykułów, tylko najlepiej pasujące kawałki. Mniej tokenów, niższy koszt, mniej szumu.
Koszt odpowiedzi czatu: ok. 0,08 gr. Przy tej cenie 1 000 pytań kosztuje mniej niż 1 zł.
Darmowe limity liczą też zapytania, nie tylko tokeny. Gemini na darmowym planie ma dzienny limit zapytań, który lab dzieli między kilka procesów. Planujemy pracę tak, żeby mieścić się w limicie, i mamy model zapasowy, gdy się skończy.

Najczęstsze pułapki

Wrzucanie wszystkiego do kontekstu. Duże okno kusi, ale model gorzej znajduje szczegół w środku długiego tekstu, a każdy token kosztuje.
Zapominanie o wyjściu. Prośba „napisz wyczerpująco” podnosi koszt bardziej niż długie pytanie.
Liczenie w słowach. Budżet licz w tokenach i sprawdzaj na własnych tekstach, zwłaszcza po polsku.

Powiązane pojęcia

Duży model językowy (LLM) · Attention Is All You Need · RAG · Embedding

Pytania i odpowiedzi

Ile to jest jeden token?

Po angielsku średnio ok. 3/4 słowa. Po polsku zwykle mniej, więc ten sam tekst ma więcej tokenów.

Co się dzieje, gdy rozmowa przekroczy okno kontekstu?

Najstarsze części wypadają albo aplikacja je streszcza. Model nie pamięta niczego poza tym, co jest w oknie.

Czy większe okno kontekstu jest zawsze lepsze?

Nie. Daje więcej miejsca, ale zwiększa koszt i czas odpowiedzi, a model nie zawsze dobrze korzysta ze środka bardzo długiego tekstu.

Źródła

Liu i in.: Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172
Lab: ustawienia czatu (limit pytania, fragmenty), koszt odpowiedzi (21.10.2026)