Führen Sie Qwen3-VL lokal aus und nutzen Sie es von überall aus.

Qwen3-VL bildet die spezialisierte Vision-Sprache-Familie von Qwen; es verarbeitet Text, Bilder und Videos, unterstützt lange Kontexte bei kompakter Größe und ist sowohl in dichter Variante als auch als Mixture-of-Experts-Version (MoE) erhältlich, jeweils mit separaten Instruct- sowie reasoning-optimierten Thinking-Editionen. Es ersetzt das ältere Qwen2.5-VL; falls Sie heute ein Vision-Modell wählen möchten, beginnen Sie hier – es verfügt über geprüfte Ollama-Tags. Das neuere Qwen3.8-27B akzeptiert ebenfalls Bild- und Videodaten, lässt sich jedoch derzeit nur via llama.cpp, LM Studio oder einem Server-Runtime nutzen. Starten Sie die für Ihre Hardware passende Variante lokal und verknüpfen Sie anschließend den Tokios-Connector, um das Modell über https://api.tokios.com von jedem Rechner, Teammitglied oder gehosteten Agenten aus aufzurufen – ohne eingehende Ports oder VPN.

Starten Sie es lokal mit Ollama

Qwen3-VL ist in der Ollama-Bibliothek unter dem Bezeichner qwen3-vl zu finden. Laden Sie den Standard-Tag herunter und führen Sie das dichte Instruct-Modell 8B aus:

ollama run qwen3-vl

Für weitere Varianten fügen Sie einfach ein Tag hinzu – etwa ollama run qwen3-vl:30b-a3b für die MoE-Version oder ollama run qwen3-vl:8b-thinking für die reasoning-optimierte Edition. Auf der Ollama-Bibliotheksseite finden Sie die vollständige Tag-Liste; diese Seite erläutert die Verknüpfung, nicht alle technischen Details.

Die Standardkontextfenstergröße von Ollama ist gering (2048 Tokens) – das liegt deutlich unter der nativen Kontextgröße von Qwen3-VL, die 256K beträgt. Erhöhen Sie den Wert von num_ctx in Ihrer Modelfile-Datei bzw. in der Client-Anfrage, um mehr Kontext nutzen zu können.

Varianten & Tags

Alle unten aufgeführten Werte stammen aus den Modellbeschreibungen auf Hugging Face sowie der Ollama-Bibliothek. Tags und Download-Größen ändern sich bei neuen Quantisierungen – prüfen Sie daher vor der endgültigen Auswahl die Seite ollama.com/library/qwen3-vl/tags.

Eigenschaft	`8B` (dicht)	`30B-A3B` (MoE)
Ollama-Tag	`qwen3-vl:8b` (Alias: `:latest`)	`qwen3-vl:30b-a3b`
Downloadgröße (Standard-Quantisierung)	ca. 6.1 GB	ca. 20 GB
Downloadgröße (`bf16`)	ca. 18 GB	ca. 62 GB
Parameter	8B dichte Schicht	30B insgesamt / 3B aktiv (128 Experten, 8 zugewiesen)
Kontextfenster	262,144 nativ	262,144 nativ
Modalität	Text, Bild sowie Video	Text, Bild sowie Video
Ausgaben	Instruct- und Thinking-Modelle	Instruct- und Thinking-Modelle
Lizenz	Apache-2.0	Apache-2.0
Hugging Face	`Qwen/Qwen3-VL-8B-Instruct`	`Qwen/Qwen3-VL-30B-A3B-Instruct`

Quellen: ollama.com/library/qwen3-vl/tags, Qwen/Qwen3-VL-8B-Instruct-Konfiguration sowie Qwen/Qwen3-VL-30B-A3B-Instruct-Konfiguration. In der Ollama-Bibliothek werden zudem die Größen 2B, 4B, 32B und 235B-A22B aufgeführt; diese Tabelle konzentriert sich auf die lokal nutzbaren Größen, die sich bewährt haben.

Das Modell 30B-A3B arbeitet nach dem Mixture-of-Experts-Prinzip – pro Token sind lediglich 3B Parameter aktiv, wodurch die Verarbeitung schneller erfolgt als bei einem dichten Modell gleicher Gesamtgröße. Dennoch müssen alle Parameter in den Arbeitsspeicher passen. Planen Sie die GPU-Kapazität nicht allein anhand der Anzahl aktiver Parameter aus. Lesen Sie wie die Inferenz abläuft, um die Gründe zu erfahren.

Quantisierung und Formate

Die Ollama-Bezeichnungen umfassen eine Standard-Quantisierung sowie -q8; für jede Größe gibt es zudem separate -bf16-Bezeichnungen, jeweils in den Varianten -instruct und -thinking. Welches Format Sie nutzen können, hängt von Ihrer Hardware ab – siehe Quantisierungsformate und erforderliche Hardware für die vollständige Übersicht sowie was Quantisierung ist zur korrekten Interpretation von Bezeichnungen wie Q4_K_M.

Kompatibilität mit Hardware

Bei einer überschaubaren Kontextlänge ist ein Wert von etwa Q4 problemlos machbar. Jeder Wert stellt lediglich eine Schätzung dar; der tatsächliche Speicherbedarf ergibt sich aus der Größe des Modells GGUF sowie dem KV-Cache für den jeweiligen Kontext. Berechnen Sie die passende Größe mithilfe von welches Modell passt zu meiner GPU?.

Zielgröße	`8B` (~6 GB)	`30B-A3B` MoE (~20 GB)
RTX 3090 / 4090 (~24 GB)	Ideal für lange Kontexte	Angenehm zu verwenden
RTX 5090 (32 GB, Blackwell-Architektur)	Angenehm, unterstützt lange Kontexte	Angenehm zu verwenden
RTX 6000 Ada / A6000 (48 GB)	Angenehm, unterstützt lange Kontexte	Angenehm, unterstützt lange Kontexte
RTX 5080 / 4080 (16 GB)	Angenehm zu verwenden	Knapp bemessen – der Kontext sollte reduziert werden
Apple Silicon (36 GB oder mehr, universeller Speicher)	Angenehm zu verwenden	Angenehm zu nutzen
AMD Strix Halo (ROCm/Vulkan, bis zu 96 GB)	Angenehm zu nutzen	Angenehm zu nutzen

Ausführen – für Anfänger bis Fortgeschrittene

Ollama (am einfachsten)
LM Studio (grafische Oberfläche)
vLLM (für Fortgeschrittene)
SGLang (erweitert)

ollama run qwen3-vl

Lassen Sie Ollama im Standard-http://127.0.0.1:11434-Modus laufen. Erhöhen Sie den Wert von num_ctx, um mehr Kontext zu verwenden, und senden Sie Bilder in Ihrer Chat-Anfrage genauso wie bei jedem anderen Ollama-Visions-Modell.

Suchen Sie im Modellkatalog von LM Studio nach Qwen3-VL, laden Sie eine passende GGUF-Quantisierung herunter (beginnen Sie mit Q4_K_M), und starten Sie anschließend den lokalen Server von LM Studio. Dieser stellt eine OpenAI-kompatible API unter http://127.0.0.1:1234/v1 bereit, inklusive Unterstützung für visuelle Eingaben.

Qwen empfiehlt vLLM (vllm>=0.11.0) für eine schnelle Bereitstellung von Qwen3-VL. Das offizielle Beispiel ist für Systeme mit mehreren GPUs ausgelegt; passen Sie die Parameter entsprechend Ihrer Hardware an.

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

Fügen Sie --tensor-parallel-size <N> hinzu, um die Last auf mehrere GPUs zu verteilen. In Qwens offizieller Dokumentation werden weder ein --tool-call-parser- noch ein --reasoning-parser-Parameter für Qwen3-VL genannt – prüfen Sie daher vor der Nutzung strukturierter Werkzeugaufrufe oder der Auswertung von Denk-Tags in der Produktion die vLLM-Dokumentation zur Multimodalität sowie die Modellbeschreibung.

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

Fügen Sie --tp <N> für Tensor-Parallelismus hinzu. Die entsprechenden Parameter entnehmen Sie der Qwen3-VL GitHub README.

Fähigkeiten

Sehvermögen: Multimodal – verarbeitet Text, Bilder sowie Videos in derselben Anfrage; bietet native Unterstützung für OCR bei langen Dokumenten, GUI- und agentenbasiertes Bildverständnis sowie räumliche Zuordnung.
Langer Kontext: 262,144 Tokens können nativ verarbeitet werden (dies wurde für die Konfigurationen 8B sowie 30B-A3B bestätigt); laut Modellbeschreibung von Qwen lässt sich dieser Umfang mittels YaRN-Skalierung in Kombination mit vLLM noch weiter erweitern.
Schlussfolgern: Es stehen zwei Varianten pro Modellgröße zur Verfügung – Instruct (direkte Antworten) sowie Thinking (mit verbessertem logischem Denken, z. B. qwen3-vl:8b-thinking bei Ollama). Offizielle Beispiele zur Deployment von Qwen3-VL in vLLM oder SGLang nennen jedoch kein spezielles Flag für das Schlussfolgern.
Tool-Aufruf: Das Chat-Template auf Hugging Face definiert ein <tool_call> JSON-Format, welches Ollama automatisch verwendet. In offiziellen Beispielen zur Deployment von Qwen3-VL in vLLM/SGLang taucht kein --tool-call-parser-Flag auf – testen Sie daher bitte zunächst den Tool-Aufruf in Ihrer Umgebung.

Verknüpfen Sie es mit Tokios

Sobald Qwen3-VL lokal läuft, verbinden Sie den Tokios Connector, sodass Sie es unter https://api.tokios.com von Claude Code, Cline oder anderen kompatiblen Clients nutzen können – nicht nur über localhost:11434.

Verknüpfung des Tokios Connectors

Melden Sie sich unter tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing, um einen einmalig gültigen Claim-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und starten Sie anschließend den Connector auf dem Rechner, auf dem Ollama läuft.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Then approve the device on the Setup or Connectors tab.

Richten Sie den Connector auf Ollamas /v1-API aus.

Ollama stellt an der Adresse /v1 eine OpenAI-kompatible Schnittstelle bereit. Bei einer Einzelmodell-Setup-Konfiguration füllt der Einrichtungs-Assistent diese Angabe automatisch als http://127.0.0.1:11434/v1 aus. Bei mehreren Modellen müssen Sie sie in tokios-connector.json manuell festlegen – siehe dazu Connector-Konfiguration.

Erstellen Sie eine Deployment-Instanz.

Auf dem Reiter Models registrieren Sie das Modell und wählen einen öffentlichen Deployment-Namen, etwa qwen3-vl-tunnel. Dieser Name – nicht die lokale Upstream-Modell-ID von Ollama – wird von Clients im Feld model übermittelt.

Generieren Sie einen API-Schlüssel.

Auf dem Reiter Keys klicken Sie auf Create key. Kopieren Sie anschließend den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

Nutzen Sie die Schnittstelle von beliebigen Orten aus.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

Das Feld model enthält stets den von Ihnen registrierten Deployment-Namen (siehe oben qwen3-vl-tunnel), niemals die lokale Upstream-Modell-ID von Ollama. Für die vollständige Client-Konfiguration lesen Sie bitte Verwendung mit Claude Code sowie Verwendung mit Cline.

Hinweise und Einschränkungen.

Qwen3-VL wird als zwei getrennte Downloads – „Instruct“ und „Thinking“ – bereitgestellt; es gibt keinen Umschalter innerhalb eines Modells. Wählen Sie daher bereits zu Beginn die gewünschte Variante aus: qwen3-vl:8b oder qwen3-vl:8b-thinking.
Im offiziellen README sowie in den Modellbeschreibungen zu Qwen gibt es keine expliziten --tool-call-parser- oder --reasoning-parser-Parameter für Qwen3-VL unter vLLM/SGLang; im Gegensatz zu einigen anderen Qwen3-Versionen. Testen Sie daher zunächst das Tool-Calling-Verhalten sowie die korrekte Verarbeitung der „Thinking“-Tags in Ihrer Umgebung, bevor Sie das Modell im Produktivbetrieb einsetzen.
Bei dem 30B-A3B-MoE-Modell müssen alle Gesamtparameter im Arbeitsspeicher vorhanden sein, obwohl pro Token nur 3B aktiv sind. Planen Sie Ihre Hardwarekapazitäten daher anhand der Gesamtgröße des Downloads, nicht anhand der Anzahl der aktiven Parameter.
Die Varianten 32B und 235B-A22B erfordern mehr Hardware, als die meisten lokalen Tokios-Nutzer zur Verfügung haben. Betrachten Sie sie als fortgeschrittene Optionen und prüfen Sie vor einer weiteren Planung die genauen Dateien, Kontexteinstellungen sowie die Laufzeitunterstützung.

Schnellstart

Verknüpfen Sie einen Connector und registrieren Sie Ihr erstes Modell in einem einzigen Arbeitsgang.

Welche Modellgröße passt zu Ihrer GPU?

Bestimmen Sie vor dem Herunterladen die passende VRAM-Menge für Qwen3-VL.

Quantisierung und Hardware

Welches der Formate von Qwen3-VL – nämlich GGUF oder bf16 – ist mit Ihrer Hardware kompatibel?

Welches lokale Modell eignet sich für welche Aufgabe?

Erfahren Sie, wie Qwen3-VL im Vergleich zu anderen lokalen Vision-Modellen hinsichtlich verschiedener Aufgaben abschneidet.

Erste Schritte

Modelle

Konzepte

Referenz

Führen Sie Qwen3-VL lokal aus und nutzen Sie es von überall aus.

Starten Sie es lokal mit Ollama

Varianten & Tags

Quantisierung und Formate

Kompatibilität mit Hardware

Ausführen – für Anfänger bis Fortgeschrittene

Fähigkeiten

Verknüpfen Sie es mit Tokios

Nutzen Sie die Schnittstelle von beliebigen Orten aus.

Hinweise und Einschränkungen.

Schnellstart

Welche Modellgröße passt zu Ihrer GPU?

Quantisierung und Hardware

Welches lokale Modell eignet sich für welche Aufgabe?

​Starten Sie es lokal mit Ollama

​Varianten & Tags

​Quantisierung und Formate

​Kompatibilität mit Hardware

​Ausführen – für Anfänger bis Fortgeschrittene

​Fähigkeiten

​Verknüpfen Sie es mit Tokios

​Nutzen Sie die Schnittstelle von beliebigen Orten aus.

​Hinweise und Einschränkungen.

Schnellstart

Welche Modellgröße passt zu Ihrer GPU?

Quantisierung und Hardware

Welches lokale Modell eignet sich für welche Aufgabe?

Starten Sie es lokal mit Ollama

Varianten & Tags

Quantisierung und Formate

Kompatibilität mit Hardware

Ausführen – für Anfänger bis Fortgeschrittene

Fähigkeiten

Verknüpfen Sie es mit Tokios

Nutzen Sie die Schnittstelle von beliebigen Orten aus.

Hinweise und Einschränkungen.