Multi-head attention runs several attention layers in parallel and stitches the results together. Self-attention lets a token look at every other token through one lens; multi-head gives it many lenses at once — and the tool shows it: same sentence, switch heads, watch a different pattern light up.

Where you meet it

• Every Transformer block — GPT, BERT, T5, Llama all stack multi-head attention.
• Vision Transformers (ViT), speech and protein models — the same multi-head idea, not just text.
• Attention-map visualisations where a head turns out to track syntax or coreference.

What it does

One attention head can only express one way of relating tokens. Language relates them in many ways simultaneously — a verb to its subject, a pronoun to its antecedent, a word to its neighbour. Multi-head attention runs h heads side by side, lets each learn its own relationship, then combines them so the next layer sees all those views at once.

One head can express exactly one way words relate. Splitting d into many heads buys many relationships at once — roughly for the price of one.

How it works

Self-attention computes softmax(QKᵀ/√dₖ)·V for one set of queries, keys and values. Multi-head does this h times, each head with its own learned projections Wᵢ^Q, Wᵢ^K, Wᵢ^V that map the model dimension d down to d/h. The heads run in parallel, their outputs are concatenated back to width d, and a final projection W^O mixes them.

MultiHead(Q,K,V) = concat(head₁, …, headₕ) · W^O

head_i = Attention(Q·Wᵢ^Q, K·Wᵢ^K, V·Wᵢ^V)
       = softmax( (Q·Wᵢ^Q)(K·Wᵢ^K)ᵀ / √(d/h) ) · (V·Wᵢ^V)

Because each head projects into a different subspace, head 1 can specialise on the previous word while head 3 links subject and verb. The original paper uses h = 8 heads with d = 512, so each head works in 64 dimensions.

Watch out

Go deeper

• Vaswani et al. — "Attention Is All You Need" (the original, §3.2.2)
• Harvard — "The Annotated Transformer" (line-by-line PyTorch)
• Stanford CS224n — NLP with Deep Learning (transformers lecture & notes)
• Jay Alammar — "The Illustrated Transformer" (visual walkthrough)

Multi-Head Attention rechnet mehrere Attention-Schichten parallel und fügt die Ergebnisse zusammen. Self-Attention lässt ein Token alle anderen durch eine Linse betrachten; Multi-Head gibt ihm viele Linsen gleichzeitig — genau das zeigt das Tool: gleicher Satz, Head wechseln, ein anderes Muster leuchtet auf.

Wo es vorkommt

• In jedem Transformer-Block — GPT, BERT, T5, Llama stapeln alle Multi-Head Attention.
• Vision Transformer (ViT), Sprach- und Protein-Modelle — dieselbe Multi-Head-Idee, nicht nur Text.
• Attention-Map-Visualisierungen, in denen ein Head nachweislich Syntax oder Koreferenz verfolgt.

Was es tut

Ein einzelner Attention-Head kann nur eine Art ausdrücken, Token in Beziehung zu setzen. Sprache verknüpft sie gleichzeitig auf viele Arten — ein Verb mit seinem Subjekt, ein Pronomen mit seinem Bezugswort, ein Wort mit seinem Nachbarn. Multi-Head Attention rechnet h Heads nebeneinander, lässt jeden eine eigene Beziehung lernen und kombiniert sie, sodass die nächste Schicht alle diese Sichten auf einmal sieht.

Ein Head drückt genau eine Art von Wortbeziehung aus. d auf viele Heads aufzuteilen kauft viele Beziehungen gleichzeitig — fast zum Preis von einer.

Wie es funktioniert

Self-Attention berechnet softmax(QKᵀ/√dₖ)·V für ein Set aus Queries, Keys und Values. Multi-Head tut das h-mal, jeder Head mit eigenen gelernten Projektionen Wᵢ^Q, Wᵢ^K, Wᵢ^V, die die Modell-Dimension d auf d/h herunterprojizieren. Die Heads laufen parallel, ihre Outputs werden zurück auf Breite d konkateniert, und eine finale Projektion W^O mischt sie.

MultiHead(Q,K,V) = concat(head₁, …, headₕ) · W^O

head_i = Attention(Q·Wᵢ^Q, K·Wᵢ^K, V·Wᵢ^V)
       = softmax( (Q·Wᵢ^Q)(K·Wᵢ^K)ᵀ / √(d/h) ) · (V·Wᵢ^V)

Weil jeder Head in einen anderen Unterraum projiziert, kann sich Head 1 auf das vorige Wort spezialisieren, während Head 3 Subjekt und Verb verbindet. Das Original-Paper nutzt h = 8 Heads bei d = 512 — jeder Head arbeitet also in 64 Dimensionen.

Worauf achten

Mehr dazu

• Vaswani et al. — "Attention Is All You Need" (das Original, §3.2.2)
• Harvard — "The Annotated Transformer" (Zeile für Zeile in PyTorch)
• Stanford CS224n — NLP with Deep Learning (Transformer-Vorlesung & Notes)
• Jay Alammar — "The Illustrated Transformer" (visueller Durchgang)