GLM 5.2 und die GLM-Familie lokal ausführen und von überall nutzen

Last verified: 2026-10-14

GLM ist die Open-Weight-Familie von Z.ai (Zhipu), entwickelt für Coding- und Agenten-Workflows und unter der MIT-Lizenz veröffentlicht. Die Familie spannt eine breite Palette: ein kleines 9B-Modell, das sich auf einer einzigen Consumer-GPU ziehen und ausführen lässt; ein 106B-Gesamt-Mixture-of-Experts-Modell (GLM-4.5-Air), das eine Big-VRAM- oder Unified-Memory-Maschine benötigt; GLM-4.6 — ein 357B-Gesamt-MoE-Flaggschiff mit einem 200K-Token-Kontext, das Multi-GPU-Serving erfordert; und das aktuelle Frontier-Modell GLM-5.2 — ein 753B-Gesamt-MoE mit einem 1M-Token-Kontext, das realistisch ein Cloud- oder Multi-GPU-Server-Modell ist, nicht etwas, das Sie auf eine einzelne Workstation ziehen. Diese Seite führt mit dem an, was tatsächlich lokal läuft, und behandelt dann die größeren Modelle für den Fall, dass Sie das Beste von Z.ai wollen und entweder einen gehosteten Endpunkt nutzen oder die Hardware zum Selbsthosten haben. Kombinieren Sie Tokios mit dem, worauf Sie sich festlegen, um es von jeder Maschine, jedem Teammitglied oder jedem gehosteten Agenten über https://api.tokios.com zu erreichen — keine eingehenden Ports, kein VPN. Suchen Sie GLM-5.3? Es wurde am 2026-08-14 über die API von Z.ai veröffentlicht, aufgebaut auf demselben Basismodell wie GLM-5.2, mit Gewichten, die am 2026-08-27 veröffentlicht wurden. Diese Seite behandelt sein Hardware-Profil und die Breaking-API-Änderung; diese Seite behandelt die GLM-Modelle, die Sie heute herunterladen und ausführen können.

Betreiben Sie bereits ein GLM-Modell lokal? Registrieren Sie es bei Tokios, um es als https://api.tokios.com von jedem Client aus zu erreichen.

Lokal mit Ollama ausführen

Für einen echten Ein-Befehl-Lokal-Pull verwenden Sie das kleine klassische GLM-4:

ollama run glm4

Dies zieht glm4:9b (alias :latest), Z.ais ~9B dichtes Modell — das einzige GLM-Tag, das Gewichte direkt auf Ihre Maschine installiert. Siehe die Ollama-Bibliotheksseite für die vollständige Tag-Liste.

GLM-4.5-Air und GLM-5.2 sind keine Ollama-Lokal-Pulls. GLM-5.2 ist auf Ollama nur als glm-5.2:cloud gelistet, was zur gehosteten Infrastruktur von Z.ai routet, statt Gewichte herunterzuladen. Um GLM-4.5-Air selbst auszuführen, verwenden Sie einen GGUF-Build mit llama.cpp oder LM Studio — siehe unten.

Varianten & Tags

Jeder Wert unten stammt aus der Hugging Face-Konfiguration jedes Modells und der Ollama-Bibliothek. Tags und Download-Größen ändern sich mit neuen Quantisierungen — bestätigen Sie gegen die verlinkten Seiten, bevor Sie sich auf eines festlegen.

Property	`GLM-4` (`glm4:9b`)	`GLM-4.5-Air`	`GLM-4.6`	`GLM-5.2` (flagship)
How you run it	Ollama, one command	`GGUF` via llama.cpp/LM Studio, or vLLM/SGLang	Multi-GPU vLLM/SGLang, or hosted API	Ollama Cloud (`:cloud`), a hosted API, or self-hosted vLLM/SGLang on multiple GPUs
Ollama tag	`glm4:9b` (alias `:latest`)	Not on Ollama for local pull	Not on Ollama for local pull	`glm-5.2:cloud` only (no local weight pull)
Download size	5.5 GB (Ollama default quant)	~68–73 GB (`GGUF` `Q4`-class)	~178 GB (`Q4`-class) or ~89 GB (`Q2`)	Not distributed as a single download at this size class — hundreds of GB in `bf16`/`fp8`
Parameters	~9B dense	106B total / 12B active (128 experts, 8 routed + 1 shared)	357B total / 32B active (160 experts)	753B total / 8 active experts of 256 + 1 shared (78 layers)
Context window	131,072 (128K) on Ollama	131,072 native	200,000 native (200K)	1,048,576 native (1M)
Reasoning	—	Hybrid: thinking mode + non-thinking mode	Hybrid: thinking mode + non-thinking mode	Thinking with adjustable effort levels
Modalities	Text	Text	Text + vision	Text
License	MIT	MIT	MIT	MIT
Hugging Face	`zai-org/GLM-4-9B-0414`	`zai-org/GLM-4.5-Air`	`zai-org/GLM-4.6`	`zai-org/GLM-5.2`

Quellen: ollama.com/library/glm4, ollama.com/library/glm-5.2, zai-org/GLM-4.5-Air model card, zai-org/GLM-4.6 model card, zai-org/GLM-5.2 model card, unsloth/GLM-4.5-Air-GGUF, Z.ai GLM-4.6 blog (Stand Juli 2026).

GLM-4.5-Air, GLM-4.6 und GLM-5.2 sind Mixture-of-Experts-Modelle: GLM-4.5-Air aktiviert nur 12B seiner 106B Parameter pro Token, GLM-4.6 aktiviert 32B seiner 357B Parameter und GLM-5.2 aktiviert 8 von 256 Experten. Das hält die Decodierung schnell relativ zu ihrer Gesamtgröße, aber alle Parameter müssen dennoch in den Speicher passen (oder ausgelagert werden) — dimensionieren Sie Ihre Hardware nicht allein nach der aktiven Parameteranzahl. Siehe wie Inferenz funktioniert für den Grund.

Quantisierung & Formate

Ollamas glm4:9b wird als GGUF ausgeliefert. Für GLM-4.5-Air veröffentlicht unsloth/GLM-4.5-Air-GGUF eine vollständige Quant-Leiter — Q2_K (~45 GB) bis hinauf zu Q8_0, plus Unsloths “UD” Dynamic Quants (zum Beispiel UD-Q4_K_XL bei ~68 GB), die ein wenig Größe für bessere Qualität bei derselben Bit-Breite tauschen. GLM-4.6 wird als vollpräzise safetensors für Multi-GPU-Server-seitige Inferenz (vLLM/SGLang) verteilt; Community-GGUF- und AWQ-Quants existieren auf Hugging Face (zum Beispiel bullpoint/GLM-4.6-AWQ bei ~176 GB), bleiben aber zu groß für die Nutzung auf einer einzelnen Workstation. GLM-5.2 wird derzeit als vollpräzise safetensors für Server-seitige Inferenz (vLLM/SGLang) verteilt oder als gehosteter/Cloud-Endpunkt zuggerufen — es ist noch kein praktischer GGUF-Download. Siehe Quantisierungsformate und die Hardware, die sie benötigen für die vollständige Matrix und was Quantisierung ist für das Lesen von Q4_K_M-artigen Namen.

Hardware-Eignung

Betrachten Sie jeden Eintrag als Schätzung — die Wahrheit ist die tatsächliche GGUF-Größe plus der KV-Cache für Ihren Kontext. Siehe Welche Modellgröße passt zu Ihrer GPU? für die Dimensionierungsmathematik.

Target	`GLM-4` `9B` (5.5 GB)	`GLM-4.5-Air` (~68–73 GB at `Q4`)	`GLM-4.6` (~178 GB at `Q4`)	`GLM-5.2` (frontier)
RTX 3090 / 4090 (24 GB)	Comfortable	Won’t fit	Won’t fit	Won’t fit
RTX 5090 (32 GB, Blackwell)	Comfortable, long context	Won’t fit	Won’t fit	Won’t fit
RTX 6000 Ada / A6000 (48 GB)	Comfortable	Won’t fit at `Q4`; needs heavy CPU offload	Won’t fit	Won’t fit
Apple Silicon (128 GB+ unified)	Comfortable	Comfortable at `Q4`-class quant	Won’t fit	Not practical
AMD Strix Halo (ROCm/Vulkan, ≤128 GB)	Comfortable	Tight at `Q4`-class quant	Won’t fit	Not practical
DGX Spark (128 GB unified)	Overkill	Comfortable	Won’t fit — needs 2+ Sparks	Won’t fit — 377 GB at INT4 needs 4 Sparks; see feasibility details
Multi-GPU server / cloud	Overkill	Comfortable	This is the intended tier — 2× RTX 5090 or a multi-GPU server at `Q4`	Self-host on multiple data-center GPUs, or use a hosted/cloud endpoint

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Ollama (easiest)
LM Studio (GUI)
vLLM (advanced)
SGLang (advanced)
Ollama Cloud / hosted (GLM-5.2)

ollama run glm4

Belassen Sie Ollama auf dem Standard-http://127.0.0.1:11434. Dies ist glm4:9b — für GLM-4.5-Air oder GLM-5.2 verwenden Sie einen der Tabs unten.

Suchen Sie nach GLM-4.5-Air im LM Studio-Modellkatalog (oder verweisen Sie auf unsloth/GLM-4.5-Air-GGUF), laden Sie einen Quant herunter, der in Ihren VRAM oder Unified Memory passt, und starten Sie dann den lokalen Server von LM Studio. Er legt eine OpenAI-kompatible API unter http://127.0.0.1:1234/v1 frei.

Setzen Sie für GLM-4.5-Air die GLM-Reasoning- und Tool-Call-Parser explizit:

vllm serve zai-org/GLM-4.5-Air \
  --max-model-len 131072 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --tool-call-parser glm45

Fügen Sie --tensor-parallel-size <N> hinzu, um über GPUs zu sharden. Für GLM-4.6 tauschen Sie die Modell-ID und verwenden --tensor-parallel-size 2 (oder mehr), um die 357B-Gewichte über mehrere GPUs zu sharden:

vllm serve zai-org/GLM-4.6 \
  --max-model-len 200000 \
  --tensor-parallel-size 2 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --tool-call-parser glm45

Für GLM-5.2 tauschen Sie die Modell-ID und erwarten, mehrere High-Memory-GPUs zu benötigen, um die vollständigen Gewichte zu fassen. Parser-Namen stammen aus den vLLM-Reasoning-Outputs und der Tool-Calling-Dokumentation.

python -m sglang.launch_server \
  --model-path zai-org/GLM-4.5-Air \
  --context-length 131072 \
  --reasoning-parser glm45 \
  --tool-call-parser glm45

Fügen Sie --tp-size <N> für Tensor-Parallelität hinzu. SGLang registriert denselben glm45-Detektor sowohl für Reasoning als auch für Tool-Call-Parsing.

GLM-5.2 ist kein lokaler Gewicht-Pull. Auf einer Maschine mit installiertem Ollama routet ollama run glm-5.2:cloud Anfragen zur gehosteten Infrastruktur von Z.ai, statt lokal auszuführen. Richten Sie Tokios auf welchen Endpunkt auch immer Sie für GLM-5.2 verwenden, so wie Sie es bei jeder anderen OpenAI-kompatiblen API tun würden.

Fähigkeiten

Reasoning: GLM-4.5-Air, GLM-4.6 und GLM-5.2 sind hybride Reasoning-Modelle — Thinking-Modus für komplexes Reasoning und Tool-Nutzung, Non-Thinking-Modus für sofortige Antworten. GLM-5.2 fügt einstellbare Thinking-Effort-Stufen hinzu, um Latenz gegen Qualität abzuwägen. Das kleine GLM-4 (glm4:9b) hat diesen hybriden Reasoning-Modus nicht.
Natives Tool-Calling: Ja, bei GLM-4.5-Air, GLM-4.6 und GLM-5.2. Bei vLLM/SGLang setzen Sie --tool-call-parser glm45 (gepaart mit --reasoning-parser glm45); Ollama wendet Vorlagen für Sie an, wo ein lokaler Tag existiert.
Vision-Input: GLM-4.6 akzeptiert sowohl Text als auch Bilder als Input (Stand Juli 2026, laut dem Z.ai-Blog). Die anderen GLM-Varianten sind textbasiert.
Coding & Agenten-Aufgaben: Dies ist der Schwerpunkt der Familie — Z.ai hat GLM für Agenten-Engineering gebaut, und die Veröffentlichung von GLM-5.2 betont speziell langfristige Coding-Agenten-Workflows.
Langer Kontext: glm4:9b und GLM-4.5-Air sind nativ 131,072 Tokens (128K). GLM-4.6 ist nativ 200,000 Tokens (200K). GLM-5.2 ist nativ 1,048,576 Tokens (1M), positioniert für Projekt-level-Engineering-Kontext und lange Agenten-Trajektorien.

Mit Tokios verbinden

Sobald Ihr GLM-Modell läuft — lokal über Ollama oder selbstgehostet für GLM-4.5-Air/GLM-5.2 — koppeln Sie den Tokios-Connector, damit Sie es als https://api.tokios.com von Claude Code, Cline oder jedem anderen kompatiblen Client aus erreichen können — statt nur von localhost.

Pair the Tokios connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Setup-Tab und klicken Sie auf Start pairing, um einen einmaligen Pairing-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und betreiben Sie den Connector auf der Maschine, die Ihr Modell ausführt:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Dann approve Sie das Gerät auf dem Setup- oder Connectors-Tab.

Point the connector at your model's API

Ollama legt eine OpenAI-kompatible Oberfläche unter /v1 frei. Bei einem Single-Modell-Setup füllt der Setup-Assistent der Konsole dies automatisch als http://127.0.0.1:11434/v1 aus. Der lokale Server von LM Studio verwendet http://127.0.0.1:1234/v1. Für vLLM/SGLang oder mehrere Modelle setzen Sie den Endpunkt explizit in tokios-connector.json — siehe Connector-Konfiguration.

Registrieren Sie im Models-Tab das Modell und wählen Sie einen öffentlichen Deployment-Namen, zum Beispiel glm-tunnel. Dieser Name — nicht Ollamas lokale Modell-ID — ist es, was Clients im model-Feld senden.

Create an API key

Klicken Sie im Keys-Tab auf Create key. Kopieren Sie den sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.

Von überall aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Refactor this function and explain your reasoning."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model glm-tunnel

Das model-Feld ist immer Ihr registrierter Deployment-Name (glm-tunnel oben), niemals Ollamas lokale Modell-ID. Siehe Claude Code verwenden und Cline verwenden für die vollständige Client-Einrichtung.

Einschränkungen

GLM-5.2 ist kein Consumer-GPU-Modell, und es ist auch kein Single-DGX-Spark-Modell: Bei 753B gespeicherten Parametern liegt die Gewichtsbasis bei etwa 377 GB bei INT4 und 753 GB bei FP8, gegenüber 128 GB pro Spark. Auf Ollama ist es nur glm-5.2:cloud (kein Gewicht-Download), also bedeutet Selbsthosten einen Multi-GPU-Server oder einen 4-Spark-Cluster. Siehe den DGX-Spark-Kompatibilitätsleitfaden für die Speicher-Dimensionierung. Für alles Kleinere verwenden Sie einen gehosteten/Cloud-Endpunkt.
GLM-4.6 bei 357B Gesamtparametern passt nicht auf eine einzelne 128 GB-Maschine (DGX Spark, Strix Halo oder Apple Silicon). Bei Q4-Klasse-Quantisierung benötigt es ~178 GB — planen Sie mindestens 2 High-VRAM-GPUs oder einen Multi-GPU-Server ein. Für 128 GB-Hardware verwenden Sie stattdessen GLM-4.5-Air.
GLM-4.5-Airs GGUF-Builds benötigen eine Big-VRAM-GPU oder eine Large-Unified-Memory-Maschine (Apple Silicon, Strix Halo) selbst bei Q4-Klasse-Quantisierung — es passt nicht auf eine einzelne 24 GB Consumer-Karte.
Tool-Call- und Reasoning-Parsing bei GLM-4.5-Air/GLM-4.6/GLM-5.2 hängen davon ab, dass die Runtime den glm45-Parser anwendet. Wenn Sie selbst mit vLLM/SGLang hosten, übergeben Sie die obigen Flags explizit, sonst werden Tool-Aufrufe und Thinking-Output nicht korrekt getrennt.
Das kleine glm4:9b hat nicht den hybriden Thinking-Modus oder natives Tool-Calling, das GLM-4.5-Air, GLM-4.6 und GLM-5.2 haben — wählen Sie die Stufe, die zur gewünschten Fähigkeit passt, nicht nur was auf Ihre GPU passt.

FAQ

Which GLM model fits a 24 GB GPU?

GLM-4 (glm4:9b) bei 5.5 GB ist das einzige GLM-Modell, das auf eine 24 GB-Karte passt — es läuft bequem auf einer RTX 3090 oder 4090 mit Raum für langen Kontext. GLM-4.5-Air bei ~68–73 GB (Q4) passt nicht, ebenso wenig die größeren Modelle. Für 24 GB-Hardware ist GLM-4 die Wahl.

Is GLM open source?

Die Modelle auf dieser Seite — GLM-4, GLM-4.5-Air, GLM-4.6 und GLM-5.2 — sind alle unter der MIT-Lizenz veröffentlicht. Für die neuere GLM-5.3-Linie prüfen Sie ihre eigene Seite — die Lizenzierung kann je nach Version abweichen. Beachten Sie, dass offene Gewichte und Open Source nicht dasselbe sind — die Trainingsdaten und Pipeline werden nicht veröffentlicht.

Does GLM support tool calling?

Ja — GLM-4.5-Air, GLM-4.6 und GLM-5.2 unterstützen alle natives Tool-Calling. Bei vLLM oder SGLang übergeben Sie --tool-call-parser glm45 (gepaart mit --reasoning-parser glm45), damit Tool-Aufrufe und Thinking-Output korrekt getrennt werden. Das kleine GLM-4 (glm4:9b) hat kein natives Tool-Calling — wählen Sie die Stufe, die zur gewünschten Fähigkeit passt.

What is the difference between GLM-4, GLM-4.5-Air, GLM-4.6, and GLM-5.2?

GLM-4 ist ein 9B-dichtes Modell, das mit einem Befehl auf Ollama gezogen wird — textbasiert, 128K-Kontext, kein hybrides Reasoning. GLM-4.5-Air ist ein 106B-Gesamt-MoE (12B aktiv) mit hybriden Reasoning- und Tool-Calling-Fähigkeiten, das ~68–73 GB bei Q4 benötigt. GLM-4.6 ist ein 357B-Gesamt-MoE (32B aktiv), das Vision-Input und einen 200K-Kontext hinzufügt und Multi-GPU-Serving erfordert. GLM-5.2 ist das Frontier-753B-Gesamt-MoE mit einem 1M-Token-Kontext und einstellbarem Thinking-Effort — ein Cloud- oder Multi-GPU-Server-Modell, kein Consumer-GPU-Pull.

Quickstart

Koppeln Sie einen Connector und registrieren Sie Ihr erstes Modell End-to-End.

What size model fits your GPU?

Passen Sie eine GLM-Variante Ihrem verfügbaren VRAM an, bevor Sie sie ziehen.

Quantization & hardware

Welches der GLM-Formate — GGUF, safetensors, AWQ — läuft auf Ihrer Hardware.

Which local model for which task?

Sehen Sie, wie GLM im Vergleich zu anderen lokalen Modellen nach Aufgabe abschneidet.

DGX Spark compatibility

Speicher-Dimensionierung und Cluster-Konfiguration für GLM-5.2 auf DGX Spark.

GLM-5.3 release watch

Was über die nächste GLM-Veröffentlichung verifizierbar ist und was Gerücht.

Erste Schritte

Modelle

Konzepte

Referenz

GLM 5.2 und die GLM-Familie lokal ausführen und von überall nutzen

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Eignung

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Einschränkungen

FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

DGX Spark compatibility

GLM-5.3 release watch

​Lokal mit Ollama ausführen

​Varianten & Tags

​Quantisierung & Formate

​Hardware-Eignung

​Ausführen — vom Anfänger bis zum Fortgeschrittenen

​Fähigkeiten

​Mit Tokios verbinden

​Von überall aufrufen

​Einschränkungen

​FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

DGX Spark compatibility

GLM-5.3 release watch

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Eignung

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Einschränkungen

FAQ