Zum Hauptinhalt springen
Last verified: 2026-10-14
Llama 4 ist Metas neueste Llama-Veröffentlichung (April 2025): nativ multimodale (Text- und Bild-Eingabe) Mixture-of-Experts-Modelle mit sehr langem Kontext. Beide Open-Weight-Releases — Scout (109B gesamt / 17B aktiv) und Maverick (400B gesamt / 17B aktiv) — aktivieren nur 17B Parameter pro Token, aber alle Expert-Gewichte müssen im Speicher resident bleiben. Das macht sie zu Modellen für großen Unified-Memory oder Multi-GPU-Server, keine einzelnen Consumer-GPU-Downloads: Scouts Q4-Klasse-Download ist ~67 GB, Mavericks ist ~245 GB. Führen Sie das aus, das zu Ihrer Hardware passt, und koppeln Sie dann den Tokios-Connector, um es als https://api.tokios.com von jedem OpenAI- oder Anthropic-kompatiblen Client zu erreichen.
Metas Modellentwicklung hat sich auf die Muse-Linie verlagert — das Closed-Weight Muse Spark und das Open-Weight Muse Glimmer 30B. Meta hat Llama nicht offiziell eingestellt, und die Gewichte sind weiterhin herunterladbar, aber es wurde kein Llama 5 angekündigt.
Möchten Sie ein Llama, das auf eine einzelne 24 GB GPU passt? ollama run llama3.1:8b oder ollama run llama3.3:70b — die 3.x-Linie ist immer noch die praktische Single-GPU-Wahl. Llama 4 ist das, worauf Sie bei 96 GB+ Unified Memory oder einem Multi-GPU-Server umsteigen.

​
Varianten & Tags

Jeder Wert unten stammt aus der Ollama-Bibliothek und Metas Hugging Face-Modellkarten. Tags und Größen ändern sich mit neuen Quantisierungen — bestätigen Sie gegen ollama.com/library/llama4, bevor Sie sich auf eines festlegen. Sources: ollama.com/library/llama4/tags, Meta’s Llama 4 announcement, meta-llama/Llama-4-Scout-17B-16E-Instruct.
Ein drittes Modell, Llama 4 Behemoth (~2T Parameter), wurde als Lehrermodell für die Familie vorgestellt, ist aber nicht öffentlich verfügbar. Nur Scout und Maverick sind herunterladbar.

​
Warum “17B aktiv” trotzdem 67 GB benötigt

MoE-Routing aktiviert 17B Parameter pro Token, aber der Router wählt für jedes Token eine andere Teilmenge von Experten — daher müssen alle Expert-Gewichte geladen bleiben. Die Speicherberechnung wird durch die Gesamtparameter bestimmt, nicht durch die aktiven:
  • Scout: 109B × ~0.5 Bytes bei Q4-Klasse ≈ 55 GB Gewichte, ~67 GB wie ausgeliefert mit Overhead
  • Maverick: 400B × ~0.5 Bytes ≈ 200 GB Gewichte, ~245 GB wie ausgeliefert
Was die aktiven Parameter bringen, ist Geschwindigkeit, nicht Passfähigkeit: Der Pro-Token-Compute entspricht dem eines 17B-Modells, daher erzeugt Llama 4 auf Hardware mit ausreichend Speicher schneller als ein dichtes Modell ähnlicher Gesamtgröße. Siehe Speicher und Offloading für die Handhabung von Modellen nahe der Speichergrenze.

​
Hardware-Eignung

Komfortabel bei etwa Q4 für eine bescheidene Kontextlänge. Betrachten Sie jeden Eintrag als Schätzung — die Wahrheit ist die tatsächliche Download-Größe plus der KV-Cache für Ihren Kontext, und die Langkontext-Kopfnummern (10M für Scout) multiplizieren den KV-Cache-Speicher weit über das hinaus, was die meisten Maschinen halten. Siehe Welche Modellgröße passt auf Ihre GPU? für die Dimensionierungsmathematik.

Sobald es läuft, über einen einzigen Endpunkt bereitstellen

Registrieren Sie Ihre Llama 4-Deployment bei Tokios und rufen Sie sie von jedem Rechner mit einem sk-tok-…-Schlüssel ab — keine eingehenden Ports auf dem Rechner mit den GPUs.

​
Ausführen — vom Anfänger bis zum Fortgeschrittenen

Belassen Sie Ollama auf dem Standard-http://127.0.0.1:11434. Erhöhen Sie num_ctx über Ollamas kleinen Standardwert hinaus, um den langen Kontext zu nutzen — aber dimensionieren Sie ihn nach Ihrem freien Speicher, nicht nach der 10M-Kopfzahl.

​
Fähigkeiten

  • Multimodale Eingabe: Scout und Maverick akzeptieren nativ Text und Bilder; die Ausgabe ist nur Text.
  • Kontext: Scout bewirbt ein 10M-Token-Fenster und Maverick 1M. Serving in der Nähe dieser Längen ist ein eigenes KV-Cache-Speicherproblem — siehe KV-Cache und Kontext, bevor Sie darauf planen.
  • Sprachen: Metas Modellkarten listen 12 unterstützte Sprachen auf, darunter Englisch, Deutsch, Französisch, Spanisch, Portugiesisch, Hindi und Vietnamesisch.
  • Reasoning: Allgemeine Instruction-tuned Modelle — kein separater Thinking-Modus. Für Schritt-für-Schritt-Reasoning-Ausgaben siehe DeepSeek oder gpt-oss.

​
Mit Tokios verbinden

1

Keep your local runtime running

Starten Sie Llama 4 in Ollama, vLLM oder einer anderen OpenAI-kompatiblen Runtime und belassen Sie es auf Loopback.
2

Pair the Tokios connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Setup-Tab und klicken Sie auf Start pairing, um einen einmaligen Pairing-Code (TKS-XXXX-XXXX) zu erhalten. Führen Sie den Installer auf der Maschine aus, die das Modell ausführt:
Windows
macOS
Linux
Dann approve Sie das Gerät auf dem Setup- oder Connectors-Tab.
3

Register a deployment

Registrieren Sie im Models-Tab die Upstream-Modell-ID (zum Beispiel llama4:scout) unter einem öffentlichen Deployment-Namen wie llama4-tunnel. Clients senden den Deployment-Namen im model-Feld, niemals die lokale ID.
4

Create an API key and call it

Klicken Sie im Keys-Tab auf Create key, dann:

​
Einschränkungen

  • Kein Consumer-GPU-Pfad. Im Gegensatz zur 3.x-Linie passt weder Llama 4-Modell auf eine 24–48 GB-Karte in VRAM. llama.cpp-basierte Runtimes können Experten auf System-RAM auslagern, aber der Durchsatz sinkt stark, sobald Gewichte die GPU verlassen — planen Sie Unified Memory oder einen Server ein, bevor Sie sich auf Llama 4 festlegen.
  • Lizenz: Llama 4 verwendet Metas Llama 4 Community License — nicht Apache oder MIT. Sie enthält eine Acceptable-Use-Policy und eine separate Meta-Lizenzanforderung für Produkte mit mehr als 700 Millionen monatlich aktiven Nutzern. Prüfen Sie sie vor kommerzieller Nutzung.
  • Langer Kontext ist ein Speicherbudget, kein kostenloses Feature. Ein 10M-Token-Fenster bei voller Belegung braucht KV-Cache weit über dem Gewichts-Footprint. Dimensionieren Sie num_ctx / --max-model-len nach dem, was Ihr Speicher tatsächlich hält.
  • Tokios leitet Bildinhalte und Tool-Call-Felder an Ihre Upstream-Runtime weiter — es fügt keine Fähigkeiten hinzu, die die Runtime oder Quantisierung nicht unterstützt.

​
FAQ

Scouts Q4-Klasse-Download ist ~67 GB (109B Gesamtparameter × ~0.5 Bytes bei Q4 ≈ 55 GB Gewichte, plus Overhead). Mavericks ist ~245 GB (400B × ~0.5 Bytes ≈ 200 GB Gewichte, plus Overhead). Keines passt in den VRAM einer einzelnen Consumer-GPU — Scout braucht 96–128 GB Unified Memory (Apple Silicon, DGX Spark) oder einen Multi-GPU-Server; Maverick braucht einen Multi-GPU-Server mit 8× 80 GB-Klasse GPUs.
Nicht in VRAM — keines der Modelle passt auf eine 24–48 GB-Karte. llama.cpp-basierte Runtimes können Experten auf System-RAM auslagern, aber der Durchsatz sinkt stark, sobald Gewichte die GPU verlassen. Für eine einzelne Consumer-GPU verwenden Sie stattdessen die Llama 3.x-Linie (llama3.1:8b oder llama3.3:70b) oder Metas Muse Glimmer 30B, das auf eine 24 GB-Karte bei 4-Bit passt.
Llama 4 verwendet Metas Llama 4 Community License — nicht Apache oder MIT. Sie enthält eine Acceptable-Use-Policy und erfordert eine separate Meta-Lizenz für Produkte mit mehr als 700 Millionen monatlich aktiven Nutzern. Prüfen Sie die Lizenzbedingungen vor kommerzieller Nutzung.
Beide aktivieren 17B Parameter pro Token, aber Scout hat 109B Gesamtparameter über 16 Experten mit einem 10M-Token-Kontext (~67 GB bei Q4), während Maverick 400B Gesamtparameter über 128 Experten mit einem 1M-Token-Kontext (~245 GB bei Q4) hat. Scout passt in 96–128 GB Unified Memory; Maverick braucht einen Multi-GPU-Server. Wählen Sie Scout, wenn es auf Ihre Hardware passt — Maverick nur, wenn Sie den größeren Expert-Pool brauchen und ihn betreiben können.
Metas Modellentwicklung hat sich auf die Muse-Linie verlagert — das Closed-Weight Muse Spark und das Open-Weight Muse Glimmer 30B. Meta hat Llama nicht offiziell eingestellt, und die Gewichte sind weiterhin herunterladbar, aber es wurde kein Llama 5 angekündigt.

Muse Glimmer

Metas aktuelle Open-Weight-Linie — Apache 2.0, Agenten-orientiert, und passt auf eine 24 GB-Karte.

What fits your GPU?

Dimensionieren Sie das Modell nach Ihrem VRAM oder Unified Memory vor dem Download.

Quantization & hardware

Welche Gewichtsformate auf Ihrer GPU, Ihrem Mac oder Ihrer Unified-Memory-Maschine laufen.

Quickstart

Koppeln Sie einen Connector und registrieren Sie Ihr erstes Modell End-to-End.