A local model is an LLM that runs on your own hardware — no API, no cloud. "Open-weight" models like Llama, Mistral and Qwen publish their actual weights, so you download them once and do the inference yourself.

Where you meet it

• Running a chatbot or coding assistant offline, on your laptop or a single GPU box.
• Handling private data — medical, legal, internal — that can't leave the building.
• High-volume workloads where per-token API bills would add up fast.
• Fine-tuning or hacking on a model you fully control.

What it does

It gives you the same kind of model behind a cloud API, but as files you own. The weights sit on disk; a runtime loads them into memory and runs the forward pass for every token. Nothing is sent anywhere — the cost shifts from per-token fees to the hardware and electricity you already pay for.

Running local buys you privacy, flat cost and offline use — not the frontier. Your VRAM, not your ambition, sets the ceiling.

How it works

You grab the open weights from a hub (Hugging Face), then point a runtime at them. Ollama and llama.cpp load quantized GGUF files — a format that stores the weights at lower precision so they fit in less memory. The size you need is roughly parameters × bits-per-weight, and that number decides how much VRAM (or RAM) it takes.

# pull and chat with an 8B model, locally
ollama run llama3.1:8b

# rough memory math
8B params × 16 bits  ≈ 16 GB   (fp16 — needs a big GPU)
8B params ×  4 bits  ≈  4 GB   (4-bit GGUF — fits a laptop)

Quantization is what makes this practical: dropping from 16-bit to 4-bit cuts the footprint ~4×, turning a model that needed a data-center card into one that runs on consumer hardware.

Watch out

Go deeper

• Hugging Face — the Model Hub (find, download & use open models)
• Ollama — model library (run Llama, Mistral, Qwen with one command)
• llama.cpp — local inference, GGUF & quantization (the engine)
• Meta — Llama, the open-weight models & their license

Ein lokales Modell ist ein LLM, das auf deiner eigenen Hardware läuft — ohne API, ohne Cloud. "Open-Weight"-Modelle wie Llama, Mistral und Qwen veröffentlichen ihre echten Gewichte: Du lädst sie einmal herunter und machst die Inferenz selbst.

Wo es vorkommt

• Chatbot oder Coding-Assistent offline betreiben — auf dem Laptop oder einer einzelnen GPU.
• Sensible Daten verarbeiten — medizinisch, juristisch, intern — die das Haus nicht verlassen dürfen.
• Workloads mit hohem Volumen, bei denen Per-Token-API-Rechnungen schnell teuer würden.
• Fine-Tuning oder Experimente an einem Modell, das du voll kontrollierst.

Was es tut

Es liefert dieselbe Art Modell wie hinter einer Cloud-API, aber als Dateien, die dir gehören. Die Gewichte liegen auf der Platte; eine Runtime lädt sie in den Speicher und rechnet für jedes Token den Forward-Pass. Nichts wird verschickt — die Kosten verschieben sich von Token-Gebühren auf Hardware und Strom, die du ohnehin zahlst.

Lokal kaufst du Privatsphäre, feste Kosten und Offline-Betrieb — nicht die Spitze. Dein VRAM setzt die Grenze, nicht dein Ehrgeiz.

Wie es funktioniert

Du holst die Open Weights von einem Hub (Hugging Face) und richtest eine Runtime darauf. Ollama und llama.cpp laden quantisierte GGUF-Dateien — ein Format, das die Gewichte in geringerer Präzision speichert, damit sie in weniger Speicher passen. Der Bedarf ist grob Parameter × Bits-pro-Gewicht, und diese Zahl bestimmt, wie viel VRAM (oder RAM) nötig ist.

# 8B-Modell lokal laden und chatten
ollama run llama3.1:8b

# grobe Speicher-Rechnung
8B Params × 16 Bit  ≈ 16 GB   (fp16 — braucht eine große GPU)
8B Params ×  4 Bit  ≈  4 GB   (4-bit GGUF — passt auf einen Laptop)

Quantisierung macht das praktikabel: von 16-bit auf 4-bit zu gehen schrumpft den Bedarf ~4× — aus einem Modell, das eine Rechenzentrums-Karte brauchte, wird eines, das auf Consumer-Hardware läuft.

Worauf achten

Mehr dazu

• Hugging Face — der Model-Hub (offene Modelle finden, laden & nutzen)
• Ollama — Model-Library (Llama, Mistral, Qwen mit einem Befehl starten)
• llama.cpp — lokale Inferenz, GGUF & Quantisierung (die Engine)
• Meta — Llama, die Open-Weight-Modelle & ihre Lizenz