Skip to main content
Zuletzt überprüft: 2026-07-21
Qwen3.6 zählt zu den am weitesten unterstützten Open-Weights-Modellen von Qwen: Es handelt sich um ein multimodales Mixture-of-Experts-Modell, das standardmäßig logisches Denken ermöglicht, einen Kontext von bis zu 1M Tokens verarbeitet und native Werkzeugaufrufe für agentenbasiertes Programmieren bietet. Sein Nachfolger, Qwen3.8-27B, erschien im August 2026 unter derselben Apache-2.0-Lizenz; bereits existieren Community-GGUF-Versionen, allerdings fehlt ein Ollama-Tag – weshalb Qwen3.6 nach wie vor die einfachste, bewährte lokale Einrichtung darstellt. Es gibt zwei Größenvarianten: ein 35B-A3B MoE-Modell (35B Parameter insgesamt, davon 3B aktiv) sowie ein 27B dichtes Modell. Wählen Sie die Variante, die zu Ihrer Hardware passt, und nutzen Sie anschließend den Tokios-Connector, um das Modell von jedem Gerät, Teammitglied oder gehosteten Agenten aus über https://api.tokios.com aufzurufen – ohne eingehende Ports oder VPN.
Führen Sie bereits lokal ein Qwen3.6-Modell aus? Registrieren Sie es bei Tokios, damit Sie es als https://api.tokios.com von jedem Client aus nutzen können.
Suchen Sie nach Qwen 3.5? Qwen3.6 ist die Nachfolgegeneration. Das dichte Qwen3.6-27B von Alibaba übertrifft trotz seiner geringeren Größe das Vorgängermodell Qwen3.5-397B-A17B-MoE in vielen agentenbasierten Programmieraufgaben – falls Sie also ursprünglich Qwen3.5 nutzen wollten, ist dies nun die bessere Wahl.

​
Führen Sie es lokal mit Ollama aus.

Qwen3.6 ist in der Ollama-Bibliothek enthalten. Laden Sie den Standardtag herunter und starten Sie das 35B-A3B MoE-Modell.
Für das kleinere dichte Modell geben Sie ollama run qwen3.6:27b ein. Auf der Ollama-Bibliotheksseite finden Sie die vollständige Liste aller Tags; diese Seite erläutert lediglich die Verbindungseinrichtung, nicht alle Laufzeitdetails.
Die Standardkontextfenstergröße von Ollama ist gering (2048 Token) – das liegt deutlich unter der nativen Kontextgröße von Qwen3.6, die 256K beträgt. Erhöhen Sie den Wert von num_ctx in Ihrer Modelfile-Datei bzw. in der Client-Anfrage, um mehr Kontext nutzen zu können. Qwen empfiehlt, diesen Wert auf mindestens 128K festzulegen, damit die Qualität der logischen Schlussfolgerungen bei komplexen Aufgaben erhalten bleibt.

​
Varianten und Tags

Alle unten aufgeführten Werte stammen aus der Modellbeschreibung sowie der Ollama-Bibliothek. Tags und Download-Größen ändern sich bei der Veröffentlichung neuer Quantisierungen – prüfen Sie daher vor der endgültigen Auswahl die Angaben auf ollama.com/library/qwen3.6. Quellen: ollama.com/library/qwen3.6, Qwen/Qwen3.6-35B-A3B-Modellbeschreibung, Qwen/Qwen3.6-27B.
Das Modell 35B-A3B ist ein Mixture-of-Experts-Modell; pro Token werden lediglich 3B aktive Parameter verwendet. Dadurch läuft die Dekodierung etwa so schnell wie bei einem Modell der Größe 3B, während die Denkleistung jener von deutlich größeren Modellen entspricht. Dennoch müssen alle 35B Parameter im Arbeitsspeicher Platz finden. Man sollte die Größe der GPU nicht allein anhand der Zahl der aktiven Parameter bemessen. Lesen Sie wie die Inferenz funktioniert, um die Gründe dafür zu erfahren.

​
Quantisierung und Formate

Ollama’s default tags are GGUF Q4_K_M. The library also publishes -q8_0, -bf16, -nvfp4 (NVIDIA Blackwell), -mxfp8, -mlx (Apple Silicon), and -mtp-* (multi-token-prediction speculative-decoding) variants for both sizes. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names. Im Gegensatz zu Gemma veröffentlicht Qwen keine offiziellen quantisierungsbewusst trainierten (QAT) Checkpoints; die oben genannten Tags bezeichnen lediglich nachträglich quantisierte Modelle. Falls Sie bei einer Quantisierung von 4 Bit eine Qualität auf QAT-Niveau erzielen möchten, trainieren Sie Ihr Modell selbst mithilfe von Tools wie Unsloth; siehe Quantisierungsbewusstes Training für die Voraussetzungen dafür.

​
Quantisierung des KV-Caches

Der KV-Cache ist der Speicher, den das Modell pro Token anlegt, während es Ihre Eingabe verarbeitet und eine Antwort generiert; dieser wächst mit jedem zusätzlichen Kontext-Token. Bei Modellen mit langer Kontextlänge wie Qwen3.6 (262K native Unterstützung, erweiterbar auf etwa 1M) kann der KV-Cache an Speicherbedarf dem der Modellgewichte gleichkommen oder diese sogar übertreffen. Die Quantisierung des KV-Caches stellt ein eigenständiges Mittel dar, der Speicherverbrauch wird dadurch etwa halbiert.

​
Aktivieren Sie den FP8 KV-Cache

Bei vLLM fügen Sie --kv-cache-dtype fp8 zu Ihrem Serve-Befehl hinzu:
Bei SGLang lautet das entsprechende Flag --kv-cache-dtype fp8:
Ollama sowie LM Studio verwalten den KV-Cache intern und bieten kein --kv-cache-dtype-Flag an. Falls Sie den FP8 KV-Cache benötigen, sollten Sie vLLM oder SGLang als Backend nutzen.

​
Was Sie erhalten

The practical payoff is longer context on the same hardware. A Qwen3.6 deployment that fits 32K tokens with FP16 KV cache can typically serve 64K or more with FP8 KV cache in the same memory budget — because the cache takes half the space per token. On memory-constrained hardware like a single DGX Spark, that difference can be the gap between a usable long-context deployment and an OOM. For hardware-specific tuning, see DGX Spark model compatibility.
Die Nutzung von FP8 KV-Cache stellt einen Kompromiss zwischen Qualität und Speichernutzung dar – es handelt sich nicht um einen kostenlosen Vorteil. Bei den meisten Aufgaben – etwa Chat, Zusammenfassungen oder Code-Generierung – ist der 2% Qualitätsverlust vernachlässigbar. Falls Ihre Anwendung jedoch besonders präzise Berechnungen erfordert (zum Beispiel komplexe logische Schlussfolgerungen oder mathematische Beweise), sollten Sie vor der endgültigen Entscheidung Benchmarks sowohl mit als auch ohne FP8 KV-Cache anhand Ihrer tatsächlichen Eingaben durchführen.

​
Kompatibilität mit der Hardware

Bei einer überschaubaren Kontextlänge ist ein Wert von etwa Q4 problemlos machbar. Jeder Wert stellt lediglich eine Schätzung dar; der tatsächliche Speicherbedarf ergibt sich aus der Größe des Modells GGUF sowie dem KV-Cache für den jeweiligen Kontext. Weitere Details zur Berechnung finden Sie unter Welches Modell passt zu Ihrer GPU?.

​
Kann DGX Spark Qwen3.6 ausführen?

Ja, und es ist eine der besten Optionen für diese Modellfamilie. Der dichte 27B belegt etwa 14 GB Speicherplatz bei NVFP4, während der 35B-A3B MoE etwa 18 GB beansprucht; im Vergleich dazu stehen insgesamt nur 128 GB an gemeinsamem Speicher zur Verfügung. Da die Gewichte nur einen geringen Teil dieses Speicherpools nutzen, bleibt genügend Platz für den KV-Cache – wodurch der 262K native Kontext hier tatsächlich nutzbar wird und nicht bloß theoretisch bleibt. Für eine höhere Durchsatzrate ist der MoE-Connector zu bevorzugen: pro Token werden lediglich 3B Parameter aktiv, wodurch die Verarbeitung deutlich schneller erfolgt, als es die Gesamtgröße des Modells vermuten ließe. Weitere Informationen zu Einstellungen sowie gemessenen Leistungsdaten finden Sie unter DGX Spark Modellkompatibilität.

​
Kann Strix Halo Qwen3.6 ausführen?

Ja. AMD Strix Halo kann bis zu 96 GB an den GPU-Speicher zuweisen, weshalb beide Varianten problemlos geladen werden können und noch ausreichend Speicherplatz für lange Kontexte bleibt. Die Kapazität stellt auf diesem System kein Limit dar – vielmehr ist es die Speicherbandbreite. Die Decodierung hinkt hinter einer diskreten GPU mit identischen Gewichten zurück, und die Verarbeitung von Eingabeanfragen fällt noch stärker ab; daher sollte man den 35B-A3B MoE bevorzugen, da seine geringe Anzahl aktiver Parameter hier am meisten Vorteile bringt. Unter Running vLLM on Strix Halo sowie Strix Halo model compatibility finden sich Informationen zu den ROCm- und Vulkan-Implementierungen.

​
Kann eine GPU mit 24 Gigabyte Speicher das Modell Qwen3.6 ausführen?

Ja, für den dichten 27B bei Q4_K_M, der etwa 17 Gigabyte benötigt und rund 7 Gigabyte für den KV-Cache übrig lässt – das reicht für übliche Kontextlängen. Der 35B-A3B MoE verbraucht hingegen etwa 24 Gigabyte; auf einer 24-Gigabyte-Grafikkarte ist das knapp bemessen. In diesem Fall sollte man den Kontext verkürzen oder auf eine 32-Gigabyte-Grafikkarte umsteigen. Bei 16 GB Arbeitsspeicher läuft das dichte 27B nur bei kurzen Kontextlängen; das MoE-Modell passt hingegen nicht in den Speicherbereich von Q4. Das Auslagern in den Systemspeicher ist möglich, mindert jedoch die Leistung – siehe dazu Speicherverwaltung und Auslagern.

​
Die schnellste Methode, um Qwen3.6 lokal auszuführen

For the most tokens per second on modest hardware, reach for the 35B-A3B MoE: only 3B of its 35B parameters are active per token, so it decodes about as fast as a 3B model while reasoning like a much larger one — provided all 35B fit in memory (~24 GB at Q4_K_M). If you specifically want the dense 27B, pull Q4_K_M on Ollama or LM Studio (~17 GB); on Apple Silicon the -mlx tag runs fastest. Raise num_ctx only as far as you actually need — a shorter context leaves more memory for weights and speeds up decode.

​
Führen Sie es aus – für Anfänger bis Fortgeschrittene

Lassen Sie Ollama im Standard-http://127.0.0.1:11434 weiterlaufen. Erhöhen Sie num_ctx, um mehr Kontext zu verarbeiten.

​
Fähigkeiten

  • Logisches Schließen: Qwen3.6 arbeitet standardmäßig im Denkmodus, wobei vor der Antwort ein <think>…</think>-Block ausgegeben wird. Um eine direkte Antwort zu erhalten, deaktivieren Sie diesen Modus mittels "chat_template_kwargs": {"enable_thinking": false} in Ihrer Anfrage (oder "enable_thinking": false im Alibaba Cloud Model Studio). Zudem existiert eine Option zur „Erhaltung des Denkprozesses“, die den logischen Kontext über mehrere Dialoge hinweg bewahrt.
  • Native Tool-Nutzung: Ja. Bei vLLM/SGLang muss --tool-call-parser qwen3_coder gesetzt werden (zusammen mit --reasoning-parser qwen3); Ollama übernimmt das Erstellen des Templates automatisch. Ideal für agentenbasierte Programmierung – ermöglicht logisches Denken auf Repository-Ebene sowie effiziente Frontend-Workflows.
  • Vision: Multimodal – verarbeitet Text, Bilder sowie Videos.
  • Long context: 262,144 tokens natively, extensible to ~1M. Keep at least 128K for complex reasoning tasks.

​
Verknüpfen Sie es mit Tokios.

Sobald Qwen3.6 lokal läuft, verbinden Sie den Tokios-Connector, sodass Sie es unter dem Namen https://api.tokios.com über Claude Code, Cline oder andere kompatible Clients nutzen können – nicht nur über localhost:11434.
1

Verknüpfen Sie den Tokios-Connector.

Melden Sie sich unter tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing, um einen einmalig gültigen Claim-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und starten Sie anschließend den Connector auf dem Rechner, auf dem Ollama läuft.
Windows
macOS
Linux
Then approve the device on the Setup or Connectors tab.
2

Richten Sie den Connector auf Ollamas /v1-API ein.

Ollama stellt eine OpenAI-kompatible Schnittstelle unter /v1 bereit. Bei einer einzelnen Modell-Installation füllt der Einrichtungs-Assistent diesen Wert automatisch als http://127.0.0.1:11434/v1 aus. Bei mehreren Modellen muss er explizit in tokios-connector.json festgelegt werden – siehe dazu Connector-Konfiguration.
3

Erstellen Sie eine Deployment-Instanz.

Im Reiter Models registrieren Sie das Modell und wählen einen öffentlichen Deployment-Namen, etwa qwen3.6-tunnel. Dieser Name – nicht die lokale Modell-ID von Ollama – wird von Clients im Feld model übermittelt.
4

Erstellen Sie einen API-Schlüssel

Wechseln Sie in den Keys-Reiter und klicken Sie auf Create key. Kopieren Sie anschließend den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

​
Sie können ihn anschließend von überall aus nutzen

Das Feld model enthält stets den von Ihnen registrierten Namen Ihrer Deployment-Instanz (siehe oben qwen3.6-tunnel); niemals die lokale Upstream-Modell-ID von Ollama. Für eine vollständige Einrichtung der Clients lesen Sie bitte Verwendung mit Claude Code sowie Verwendung mit Cline.

​
Hinweise und Einschränkungen

  • Qwen3.6 gibt standardmäßig <think>…</think>-Erklärungen aus. Falls ein Client die Rohdaten anzeigt oder Sie eine geringere Latenz wünschen, deaktivieren Sie die Denkprozess-Ausgabe wie oben beschrieben.
  • Das Verhalten von Werkzeugaufrufen hängt vom Runtime-System ab, das den qwen3_coder-Parser verwendet. Ollama übernimmt dies automatisch; bei einer Selbsthosting-Lösung mit vLLM/SGLang müssen Sie die oben genannten Einstellungen vornehmen, sonst funktionieren Werkzeugaufrufe nicht.
  • Bei der 35B-A3B-MoE-Architektur müssen alle 35B Parameter im Arbeitsspeicher vorhanden sein, obwohl pro Token nur 3B aktiv sind – planen Sie Ihre Hardware daher basierend auf der Gesamtgröße, nicht auf der aktiven Anzahl.
Neue Alternative derselben Klasse. Falls Sie zwischen der 27B-dichten Variante für Agenten-Anwendungen abwägen, stellt Meta nun mit Muse Glimmer 30B eine dritte Option bereit. Sie ist ebenfalls dicht aufgebaut, unterliegt der Apache 2.0-Lizenz und wurde speziell für Werkzeugaufrufe sowie komplexe Aufgaben entwickelt. Meta vergleicht sie direkt mit Qwen3.6 27B; die Ergebnisse sprechen für Muse Glimmer, doch diese Tests stammen von Meta selbst und wurden bislang nicht unabhängig bestätigt. Qwen3.6 verfügt über eine längere Historie sowie mehr Varianten – testen Sie beide Optionen, bevor Sie eine Agenten-Workflow-Entscheidung treffen.

Schnellstart

Verknüpfen Sie einen Connector und registrieren Sie Ihr erstes Modell in einem einzigen Vorgang.

Welche Modellgröße passt zu Ihrer GPU?

Stellen Sie vor dem Herunterladen sicher, dass die VRAM-Kapazität Ihres Systems ausreicht, um Qwen3.6 zu nutzen.

Quantisierung sowie Hardwareanforderungen

Welches der Formate von Qwen3.6 – nämlich GGUF, NVFP4 oder MLX – ist für Ihre Hardware geeignet?

Welches lokale Modell eignet sich für welche Aufgabe?

Erfahren Sie, wie Qwen3.6 im Vergleich zu anderen lokalen Modellen hinsichtlich verschiedener Aufgaben abschneidet.