Multimodal

A multimodal model puts different kinds of data — images, text, audio — into one shared vector space. Once a photo and the words "a dog" land near each other, you can compare across senses with plain arithmetic.

Where you meet it

Text-to-image search: type a phrase, get matching photos (CLIP powers this).
Zero-shot classification: label an image with categories the model was never explicitly trained on.
Cross-modal retrieval: find a sound from a picture, or a clip from a caption (ImageBind).
Grounding LLMs: giving a text model eyes and ears, as in modern vision-language assistants.

What it does

It learns a single embedding space where meaning, not format, decides position. A dog photo, the string "a dog" and a bark all map to nearby vectors; a car sits far away. That lets one model answer "do these two things mean the same?" regardless of which modality each came from.

In a shared space, meaning decides position, not format — so comparing a photo to a word collapses to one dot product.

How it works

Each modality gets its own encoder — a vision transformer for images, a text transformer for words, an audio encoder for sound. Every encoder outputs a vector into the same shared space. The trick is the training signal:

similarity(image, text) = (v_img · v_txt) / (‖v_img‖ ‖v_txt‖)   # cosine

contrastive goal:
  pull matching pairs (image + its caption) together
  push mismatched pairs apart

CLIP does this for image↔text: a batch of N image-text pairs forms an N×N similarity grid, and the loss rewards a bright diagonal (right pairs) while darkening the rest. ImageBind extends the idea to six modalities — but instead of training every pair, it binds each one to images as the anchor. Align text↔image and audio↔image separately, and text↔audio becomes comparable for free. At inference, comparison is just a dot product, so classification and search become a nearest-neighbour lookup in the shared space.

Watch out

Only as good as the training pairs. Web-scraped captions carry their biases and gaps straight into the space.
Shared space ≠ deep understanding. It captures statistical correlation, not reasoning — it can be fooled by surface cues.
Domain shift hurts. Medical scans or sketches sit far from the everyday photos CLIP saw; accuracy drops off-distribution.
Cosine needs normalisation. Embeddings must be L2-normalised before you compare, or magnitude noise drowns out direction.

Go deeper

Ein multimodales Modell legt verschiedene Datentypen — Bilder, Text, Audio — in einen gemeinsamen Vektorraum. Liegen ein Foto und die Worte „ein Hund" erst nah beieinander, lässt sich über die Sinne hinweg mit simpler Rechnung vergleichen.

Wo es vorkommt

Text-zu-Bild-Suche: Phrase eintippen, passende Fotos bekommen (das treibt CLIP).
Zero-Shot-Klassifikation: ein Bild mit Kategorien labeln, auf die das Modell nie explizit trainiert wurde.
Cross-modale Suche: einen Klang aus einem Bild finden, oder einen Clip aus einer Beschreibung (ImageBind).
LLMs verankern: einem Textmodell Augen und Ohren geben, wie in modernen Vision-Language-Assistenten.

Was es tut

Es lernt einen einzigen Embedding-Raum, in dem die Bedeutung über die Position entscheidet, nicht das Format. Hundefoto, der String „ein Hund" und ein Bellen landen auf nahen Vektoren; ein Auto weit weg. So beantwortet ein Modell „bedeuten diese zwei Dinge dasselbe?" — egal, aus welcher Modalität jedes stammt.

Im gemeinsamen Raum entscheidet die Bedeutung über die Position, nicht das Format — der Vergleich Foto zu Wort wird zu einem Skalarprodukt.

Wie es funktioniert

Jede Modalität bekommt einen eigenen Encoder — ein Vision Transformer für Bilder, ein Text-Transformer für Worte, ein Audio-Encoder für Klang. Jeder Encoder gibt einen Vektor in den selben gemeinsamen Raum aus. Der Clou ist das Trainingssignal:

Ähnlichkeit(Bild, Text) = (v_img · v_txt) / (‖v_img‖ ‖v_txt‖)   # Cosine

kontrastives Ziel:
  passende Paare (Bild + seine Beschreibung) zusammenziehen
  unpassende Paare auseinanderstoßen

CLIP macht das für Bild↔Text: ein Batch aus N Bild-Text-Paaren bildet ein N×N-Ähnlichkeitsraster, und der Loss belohnt eine helle Diagonale (richtige Paare) und dunkelt den Rest ab. ImageBind erweitert die Idee auf sechs Modalitäten — bindet aber statt jedes Paar jede Modalität an Bilder als Anker. Richtet man Text↔Bild und Audio↔Bild getrennt aus, wird Text↔Audio gratis vergleichbar. Zur Laufzeit ist der Vergleich nur ein Skalarprodukt, also werden Klassifikation und Suche zu einer Nearest-Neighbour-Abfrage im gemeinsamen Raum.

Worauf achten

Nur so gut wie die Trainingspaare. Aus dem Web gescrapte Beschreibungen tragen ihren Bias und ihre Lücken direkt in den Raum.
Gemeinsamer Raum ≠ tiefes Verständnis. Er fängt statistische Korrelation ein, kein Schlussfolgern — Oberflächenmuster können ihn täuschen.
Domänen-Shift tut weh. Medizinische Scans oder Skizzen liegen fern von den Alltagsfotos, die CLIP sah; abseits der Verteilung sinkt die Genauigkeit.
Cosine braucht Normalisierung. Embeddings müssen vor dem Vergleich L2-normiert sein, sonst übertönt Betrags-Rauschen die Richtung.