Duży model językowy (LLM)

Jak to działa?

1. Trening wstępny: model czyta biliony tokenów tekstu i uczy się przewidywać kolejne słowo. Tak zdobywa język i wiedzę o świecie.
2. Dostrajanie: model uczy się być pomocnym asystentem, m.in. na ocenach ludzi (RLHF). Stąd też skłonność do przytakiwania, czyli sykofancja.
3. Odpowiedź: model dostaje Twoje pytanie i pisze odpowiedź token po tokenie, za każdym razem wybierając prawdopodobny ciąg dalszy.

Pod spodem prawie każdego LLM-a jest architektura Transformer z pracy „Attention Is All You Need” (2017).

Jak to robi nasz lab?

• Praca labu stoi na darmowym planie Gemini (model Flash Lite): ocena źródeł, pisanie, tłumaczenia. Koszt modeli pracy labu: 0 zł miesięcznie.
• Czat na stronie używa płatnego modelu przez OpenRouter, z zerową retencją danych (dostawca nie zapisuje rozmów). Darmowy Gemini odpowiadał błędem przeciążenia mniej więcej w 3 na 10 prób, a czat dla ludzi musi odpowiadać zawsze.
• Lokalne LLM-y odpuściliśmy. Trzy modele naraz na naszym serwerze (15 GB RAM, bez karty graficznej) wepchnęły go w pamięć wymiany i wszystko zwolniło. Lokalnie liczymy tylko wektory (embeddingi), bo do tego wystarcza mały model.
• Model pisze, kod sprawdza. Liczby w raportach porównuje z danymi program, a publikację zatwierdza człowiek.

Ograniczenia

• Halucynacje: model potrafi pewnie podać fałsz.
• Sykofancja: model ma skłonność do przytakiwania rozmówcy.
• Wiedza z dnia treningu: bez wyszukiwania (RAG) model nie wie, co wydarzyło się później.
• Okno kontekstu: model widzi tylko ograniczoną ilość tekstu naraz.