Attention Is All You Need

Co wymyślili, prosto?

• Wcześniejsze modele czytały tekst słowo po słowie, jak przez dziurkę od klucza. Długie zdania gubiły początek, a nauki nie dało się przyspieszyć, bo każdy krok czekał na poprzedni.
• Transformer patrzy na całe zdanie naraz. Mechanizm uwagi (attention) dla każdego słowa liczy, które inne słowa są dla niego ważne. W zdaniu „Kot nie wszedł do pudełka, bo było za małe” uwaga łączy „było” z „pudełkiem”, a nie z „kotem”.
• Wiele głów uwagi (multi-head) patrzy równolegle na różne związki: składnię, znaczenie, odległe odniesienia.
• Skoro wszystko liczy się naraz, naukę da się rozłożyć na wiele kart graficznych. Właśnie to otworzyło drogę do modeli trenowanych na ogromnych zbiorach tekstu.

Co było potem?

• 2018: BERT (Google) bierze z Transformera część „czytającą”, a GPT (OpenAI) część „piszącą”.
• 2020–2022: GPT-3, potem ChatGPT. Ta sama architektura, tylko tysiące razy większa.
• Dziś: Transformery tłumaczą, piszą kod, widzą obrazy i zamieniają tekst na wektory.

Praca jest jedną z najczęściej cytowanych w historii informatyki: ponad 100 tys. cytowań.

Jak to wygląda w naszym labie?

• W bazie labu (~15,6 tys. prac i wpisów z ostatnich miesięcy) słowo „transformer” ma w tytule 288 tekstów, osiem lat po publikacji.
• Tytuł stał się szablonem żartów naukowców. U nas są trzy przeróbki: „Attention is all you profile”, „Attention is all you have” i „Attention Is All You Need (to Avoid Spurious Oscillations)”.
• W raporcie z tygodnia 43 aż 42,4% prac z arXiv dotyczy dużych modeli językowych, czyli w praktyce potomków Transformera.
• Oba modele, które liczą wektory dla naszego czatu i mapy wiedzy, też są Transformerami.

Ograniczenia Transformera

• Uwaga porównuje każde słowo z każdym, więc koszt rośnie mniej więcej z kwadratem długości tekstu. Dlatego długie okno kontekstu kosztuje, a dostawcy liczą tokeny.
• Model nie „rozumie” świata. Przewiduje kolejne słowo na podstawie wzorców, stąd halucynacje.