Positional encoding tells a Transformer where each token sits in the sequence. Self-attention is permutation-invariant — it treats the input as a set, not a list — so without an explicit position signal, "dog bites man" and "man bites dog" look identical. The encoding injects order back in.

Where you meet it

• Every Transformer: GPT, BERT, T5, and the encoder–decoder of the original paper.
• Vision Transformers (ViT) — position over image patches instead of words.
• Long-context models, where the choice of encoding decides how far they can extrapolate.

What it does

It maps each position pos to a vector of the same width d as the token embeddings, then adds the two. After that, the token's representation carries both what it is and where it is — and attention finally has something to distinguish order by.

Attention sees a bag of words, not a sentence. Position isn't a detail you add — it's the only thing that makes order exist.

How it works

Attention computes its weights from dot products between tokens; nothing in that operation depends on index order. The fix is to give each position a distinct, smooth fingerprint. The original Transformer uses fixed sinusoids of different frequencies — one sine/cosine pair per embedding dimension:

PE(pos, 2i)   = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))

Low dimensions oscillate fast, high dimensions slowly — like the hands of a clock, together they pin down a position uniquely and continuously. Because each frequency is a sinusoid, PE(pos+k) is a fixed linear function of PE(pos), so relative distances stay recoverable by the model. Two common alternatives: learned position embeddings (a trainable vector per slot, as in BERT) and RoPE (rotary), which rotates the query and key vectors by a position-dependent angle so relative position falls out of the attention dot product directly.

Watch out

Go deeper

• Vaswani et al. — "Attention Is All You Need" (the sinusoidal PE, Sec. 3.5)
• The Annotated Transformer (Harvard NLP) — PE implemented in PyTorch
• Stanford CS224n — Transformers & self-attention lectures
• Su et al. — "RoFormer: Rotary Position Embedding" (RoPE)

Positional Encoding sagt einem Transformer, an welcher Stelle der Sequenz jedes Token steht. Self-Attention ist permutationsinvariant — sie behandelt die Eingabe als Menge, nicht als Liste. Ohne explizites Positionssignal sähen "Hund beißt Mann" und "Mann beißt Hund" gleich aus. Das Encoding bringt die Reihenfolge zurück.

Wo es vorkommt

• In jedem Transformer: GPT, BERT, T5 und der Encoder-Decoder des Originalpapers.
• Vision Transformer (ViT) — Position über Bild-Patches statt über Wörter.
• Long-Context-Modelle, wo die Wahl des Encodings entscheidet, wie weit sie extrapolieren.

Was es tut

Es bildet jede Position pos auf einen Vektor derselben Breite d wie die Token-Embeddings ab und addiert beide. Danach trägt die Token-Repräsentation sowohl was sie ist als auch wo sie steht — und Attention hat endlich ein Merkmal, an dem sie Reihenfolge unterscheiden kann.

Attention sieht einen Beutel voller Wörter, keinen Satz. Position ist kein Detail — sie lässt Reihenfolge überhaupt erst existieren.

Wie es funktioniert

Attention berechnet ihre Gewichte aus Skalarprodukten zwischen Token; nichts daran hängt von der Index-Reihenfolge ab. Die Lösung: jeder Position einen eindeutigen, glatten Fingerabdruck geben. Der Original-Transformer nutzt feste Sinusoide verschiedener Frequenzen — ein Sinus-/Kosinus-Paar pro Embedding-Dimension:

PE(pos, 2i)   = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))

Niedrige Dimensionen schwingen schnell, hohe langsam — wie Zeiger einer Uhr legen sie zusammen eine Position eindeutig und stetig fest. Da jede Frequenz ein Sinusoid ist, ist PE(pos+k) eine feste lineare Funktion von PE(pos), sodass das Modell relative Abstände rekonstruieren kann. Zwei gängige Alternativen: gelernte Positions-Embeddings (ein trainierbarer Vektor pro Slot, wie in BERT) und RoPE (Rotary), das Query- und Key-Vektoren um einen positionsabhängigen Winkel rotiert, sodass die relative Position direkt aus dem Attention-Skalarprodukt fällt.

Worauf achten

Mehr dazu

• Vaswani et al. — "Attention Is All You Need" (sinusförmiges PE, Abschn. 3.5)
• The Annotated Transformer (Harvard NLP) — PE in PyTorch implementiert
• Stanford CS224n — Vorlesungen zu Transformern & Self-Attention
• Su et al. — "RoFormer: Rotary Position Embedding" (RoPE)