„Attention Is All You Need”: Das Paper hinter ChatGPT und LLMs

„Attention Is All You Need“ ist eine wissenschaftliche Arbeit aus dem Jahr 2017 (Vaswani et al., Google), die die Transformer-Architektur einführte. Das ist das „T“ in GPT. Fast jedes heutige große Sprachmodell, von ChatGPT bis Claude und Gemini, ist ein Abkömmling davon.

Was haben sie erfunden – einfach erklärt?

Frühere Modelle lasen Text Wort für Wort, wie durch ein Schlüsselloch. Bei langen Sätzen ging der Anfang verloren, und das Training ließ sich nicht beschleunigen, da jeder Schritt auf den vorherigen warten musste.
Der Transformer betrachtet den ganzen Satz auf einmal. Der Attention-Mechanismus (Aufmerksamkeit) berechnet für jedes Wort, welche anderen Wörter für es wichtig sind. Im Satz „Die Katze ging nicht in den Karton, weil er zu klein war“ verbindet die Attention „er“ mit dem „Karton“ und nicht mit der „Katze“.
Multi-Head-Attention betrachtet verschiedene Zusammenhänge parallel: Syntax, Bedeutung und entfernte Bezüge.
Da alles gleichzeitig berechnet wird, lässt sich das Training auf viele Grafikkarte verteilen. Genau das ebnete den Weg für Modelle, die auf riesigen Textdatensammlungen trainiert werden.

Was geschah danach?

2018: BERT (Google) übernimmt den „lesenden“ Teil des Transformers, und GPT (OpenAI) den „schreibenden“.
2020–2022: GPT-3, danach ChatGPT. Dieselbe Architektur, nur Tausende Male größer.
Heute: Transformer übersetzen, schreiben Code, erkennen Bilder und wandeln Text in Vektoren um.

Das Paper gehört zu den am häufigsten zitierten Arbeiten in der Geschichte der Informatik: über 100 Tsd. Zitationen.

Wie sieht das in unserem Labor aus?

In der Labor-Datenbank (~15,6 Tsd. Arbeiten und Einträge aus den letzten Monaten) trägt das Wort „Transformer“ in 288 Texten den Titel, acht Jahre nach Veröffentlichung.
Der Titel ist zu einer Vorlage für Scherze unter Forschern geworden. Bei uns gibt es drei Abwandlungen: „Attention is all you profile“, „Attention is all you have“ und „Attention Is All You Need (to Avoid Spurious Oscillations)“.
Im Bericht aus KW 43 befassen sich ganze 42,4 % der Arbeiten von arXiv mit großen Sprachmodellen, also praktisch mit den Nachfolgern des Transformers.
Beide Modelle, die Vektoren für unseren Chat und unsere Wissenslandkarte berechnen, sind ebenfalls Transformer.

Grenzen des Transformers

Die Attention vergleicht jedes Wort mit jedem, weshalb die Kosten in etwa mit dem Quadrat der Textlänge steigen. Daher kostet ein langes Kontextfenster und Anbieter berechnen Token.
Das Modell „versteht“ die Welt nicht. Es prognostiziert das nächste Wort basierend auf Mustern, was zu Halluzinationen führt.

Fragen und Antworten

Wer hat „Attention Is All You Need“ geschrieben?

Acht Autoren von Google Brain und Google Research, an erster Stelle: Ashish Vaswani. Die Arbeit wurde auf der NeurIPS 2017 vorgestellt.

Ist GPT ein Transformer?

Ja. GPT steht für Generative Pre-trained Transformer.

Muss man das lesen, um KI zu nutzen?

Nein. Es ist lediglich gut zu wissen, woher die Kontextlimits und Token-Kosten kommen.

Wird etwas den Transformer ersetzen?

Es gibt Versuche (z. B. State-Space-Modelle, Mamba), aber derzeit dominiert der Transformer.

Quellen

Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (NeurIPS 2017)
Devlin et al.: BERT, arXiv:1810.04805
Laborbericht: KI-Forschungstrends, KW 43/2026

Attention Is All You Need