TF-IDF scores a word by how much it pins down this document. It rewards a term that shows up often inside one document but rarely across the whole collection — and quietly mutes words like "the" that are everywhere and tell you nothing.

Where you meet it

• Classic search engines and inverted-index ranking — the original use case.
• Text classification & clustering — the default sparse feature vector before embeddings.
• Keyword extraction and document similarity (cosine over TF-IDF vectors).
• TfidfVectorizer in scikit-learn — likely your first NLP baseline.

What it does

It turns a document into a vector of weights, one per vocabulary term. Each weight balances two signals against each other: how much the term belongs to this document (TF) versus how generic it is across the corpus (IDF). The result is a sparse, interpretable representation — every dimension is a real word you can point at.

A word in every document scores exactly zero — TF-IDF rewards what sets a document apart, not what it merely contains.

How it works

Two factors, multiplied. Term frequency counts how often term t appears in document d. Inverse document frequency looks at the document frequency df — how many of the N documents contain t at all — and inverts it on a log scale:

idf(t)    = log(N / df(t))
tf-idf(t,d) = tf(t,d) · idf(t)

A term in every document has df = N, so idf = log(1) = 0 — and its weight collapses to zero no matter how often it occurs. A term in just one document gets a high IDF. The product peaks for words that are frequent in this doc but rare in the corpus: those are the discriminating ones. That is exactly why "the" scores 0 while "mat" wins.

Watch out

Go deeper

• Manning et al. — Introduction to Information Retrieval, tf-idf weighting
• Manning et al. — Inverse document frequency (the idf = log(N/df) section)
• Jurafsky & Martin — Speech and Language Processing, Ch. 6: Vector Semantics & TF-IDF (PDF)
• scikit-learn — Text feature extraction & TfidfVectorizer

TF-IDF bewertet ein Wort danach, wie stark es genau dieses Dokument kennzeichnet. Es belohnt einen Term, der innerhalb eines Dokuments oft, im gesamten Korpus aber selten vorkommt — und schaltet Wörter wie "the", die überall stehen und nichts aussagen, leise stumm.

Wo es vorkommt

• Klassische Suchmaschinen und Ranking über invertierte Indizes — der ursprüngliche Anwendungsfall.
• Textklassifikation & Clustering — der Standard-Feature-Vektor (sparse) vor Embeddings.
• Keyword-Extraktion und Dokumentähnlichkeit (Cosinus über TF-IDF-Vektoren).
• TfidfVectorizer in scikit-learn — meist deine erste NLP-Baseline.

Was es tut

Es verwandelt ein Dokument in einen Vektor aus Gewichten, eines pro Vokabular-Term. Jedes Gewicht wägt zwei Signale gegeneinander ab: wie sehr der Term zu diesem Dokument gehört (TF) gegen seine Allgegenwart im Korpus (IDF). Heraus kommt eine sparse, interpretierbare Repräsentation — jede Dimension ist ein echtes Wort, auf das man zeigen kann.

Ein Wort in jedem Dokument zählt exakt null — TF-IDF belohnt, was ein Dokument abhebt, nicht was es bloß enthält.

Wie es funktioniert

Zwei Faktoren, multipliziert. Die Term-Häufigkeit zählt, wie oft Term t in Dokument d vorkommt. Die inverse Dokumenthäufigkeit nimmt die Dokumenthäufigkeit df — in wie vielen der N Dokumente t überhaupt auftaucht — und invertiert sie logarithmisch:

idf(t)    = log(N / df(t))
tf-idf(t,d) = tf(t,d) · idf(t)

Ein Term in jedem Dokument hat df = N, also idf = log(1) = 0 — sein Gewicht bricht auf null zusammen, egal wie oft er vorkommt. Ein Term in nur einem Dokument bekommt ein hohes IDF. Das Produkt erreicht sein Maximum bei Wörtern, die in diesem Dok häufig, im Korpus aber selten sind: genau die unterscheidenden. Deshalb landet "the" bei 0, während "mat" gewinnt.

Worauf achten

Mehr dazu

• Manning et al. — Introduction to Information Retrieval, tf-idf weighting
• Manning et al. — Inverse document frequency (der Abschnitt idf = log(N/df))
• Jurafsky & Martin — Speech and Language Processing, Kap. 6: Vector Semantics & TF-IDF (PDF)
• scikit-learn — Text feature extraction & TfidfVectorizer