Qwen3-VL lokal ausführen und von überall nutzen

Last verified: 2026-10-14

Qwen3-VL ist Qwens dedizierte Vision-Language-Familie — es liest Text, Bilder and Video, unterstützt langen Kontext bei den lokal freundlichen Größen und wird sowohl in dichten als auch in Mixture-of-Experts-Größen (MoE) mit separaten Instruct- und Thinking-Editionen geliefert. Es ersetzt das ältere Qwen2.5-VL; wenn Sie heute ein Vision-Modell auswählen, beginnen Sie hier — es ist die Reihe mit verifizierten Ollama-Tags, während das neuere Qwen3.8-27B ebenfalls Bild- und Videoeingaben verarbeitet, aber vorerst nur über llama.cpp, LM Studio oder einen Server-Runtime läuft. Führen Sie die Größe lokal aus, die zu Ihrer Hardware passt, und koppeln Sie dann den Tokios-Connector, um es von jedem Rechner, Teammitglied oder gehosteten Agenten über https://api.tokios.com aufzurufen — keine eingehenden Ports, kein VPN.

Lokal mit Ollama ausführen

Qwen3-VL befindet sich in der Ollama-Bibliothek unter dem Slug qwen3-vl. Ziehen Sie und führen Sie den Standard-Tag aus (das 8B dichte Instruct-Modell):

ollama run qwen3-vl

Für andere Größen fügen Sie einen Tag hinzu — zum Beispiel ollama run qwen3-vl:30b-a3b für das MoE-Modell oder ollama run qwen3-vl:8b-thinking für die Thinking-Edition. Auf der Ollama-Bibliotheksseite finden Sie die vollständige Tag-Liste — diese Seite behandelt das Verbinden, nicht jedes Runtime-Detail.

Ollamas Standard-Kontextfenster ist klein (2048 Tokens) — weit unter Qwen3-VLs nativen 256K. Erhöhen Sie num_ctx in Ihrer Modelfile oder Client-Anfrage, um mehr des Kontexts zu nutzen.

Varianten & Tags

Jeder Wert unten stammt aus den Hugging Face Modellkarten und der Ollama-Bibliothek. Tags und Downloadgrößen ändern sich mit neuen Quantisierungen — bestätigen Sie gegen ollama.com/library/qwen3-vl/tags, bevor Sie sich auf einen festlegen.

Property	`8B` (dense)	`30B-A3B` (MoE)
Ollama tag	`qwen3-vl:8b` (alias `:latest`)	`qwen3-vl:30b-a3b`
Download size (default quant)	~6.1 GB	~20 GB
Download size (`bf16`)	~18 GB	~62 GB
Parameters	8B dense	30B total / 3B active (128 experts, 8 routed)
Context window	262,144 native	262,144 native
Modality	Text + image + video	Text + image + video
Editions	Instruct and Thinking	Instruct and Thinking
License	Apache-2.0	Apache-2.0
Hugging Face	`Qwen/Qwen3-VL-8B-Instruct`	`Qwen/Qwen3-VL-30B-A3B-Instruct`

Quellen: ollama.com/library/qwen3-vl/tags, Qwen/Qwen3-VL-8B-Instruct config und Qwen/Qwen3-VL-30B-A3B-Instruct config. Die Ollama-Bibliothek listet auch 2B-, 4B-, 32B- und 235B-A22B-Größen; diese Tabelle konzentriert sich auf die verifizierten lokal freundlichen Größen.

Das 30B-A3B-Modell ist Mixture-of-Experts — nur 3B Parameter sind pro Token aktiv, also dekodiert es schneller als ein dichtes Modell derselben Gesamtgröße. Aber alle Parameter müssen dennoch in den Speicher passen. Dimensionieren Sie Ihre GPU nicht nur nach der aktiven Parameteranzahl. Siehe wie Inferenz funktioniert, warum.

Quantisierung & Formate

Ollamas Tags decken eine Standard-Quantisierung plus -q8 ab, sowie separate -bf16-Tags für jede Größe, jeweils in den Editionen -instruct und -thinking. Welches Format Sie ausführen können, hängt von Ihrer Hardware ab — siehe Quantisierungsformate und die Hardware, die sie benötigen für die vollständige Matrix, und was Quantisierung ist, um Quant-Namen wie Q4_K_M zu verstehen.

Hardware-Eignung

Komfort bei ungefähr Q4 für eine moderate Kontextlänge. Betrachten Sie jeden Eintrag als Schätzung — die Wahrheit ist die tatsächliche GGUF-Größe plus der KV-Cache für Ihren Kontext. Siehe welche Modellgröße zu Ihrer GPU passt? für die Berechnung.

Target	`8B` (~6 GB)	`30B-A3B` MoE (~20 GB)
RTX 3090 / 4090 (24 GB)	Comfortable, long context	Comfortable
RTX 5090 (32 GB, Blackwell)	Comfortable, long context	Comfortable
RTX 6000 Ada / A6000 (48 GB)	Comfortable, long context	Comfortable, long context
RTX 5080 / 4080 (16 GB)	Comfortable	Tight — reduce context
Apple Silicon (36 GB+ unified)	Comfortable	Comfortable
AMD Strix Halo (ROCm/Vulkan, ≤96 GB)	Comfortable	Comfortable

Ausführen — Anfänger bis Fortgeschrittene

Ollama (easiest)
LM Studio (GUI)
vLLM (advanced)
SGLang (advanced)

ollama run qwen3-vl

Lassen Sie Ollama auf dem Standard http://127.0.0.1:11434 lauschen. Erhöhen Sie num_ctx, um mehr Kontext zu nutzen, und senden Sie Bilder in Ihrer Chat-Anfrage wie bei jedem anderen Ollama-Vision-Modell.

Suchen Sie nach Qwen3-VL in LM Studios Modellkatalog, laden Sie eine GGUF-Quantisierung herunter, die in Ihren VRAM passt (beginnen Sie mit Q4_K_M), und starten Sie dann LM Studios lokalen Server. Er stellt eine OpenAI-kompatible API auf http://127.0.0.1:1234/v1 bereit, einschließlich Vision-Eingabe.

Qwen empfiehlt vLLM (vllm>=0.11.0) für schnelles Qwen3-VL-Serving. Das offizielle Beispiel zielt auf eine große Multi-GPU-Maschine; passen Sie die Flags für Ihre Hardware an:

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

Fügen Sie --tensor-parallel-size <N> hinzu, um über GPUs zu sharden. Qwens eigenes README veröffentlicht kein --tool-call-parser- oder --reasoning-parser-Flag für Qwen3-VL — prüfen Sie die vLLM-Multimodal-Serving-Docs und die Modellkarte, bevor Sie sich auf strukturierte Tool-Calls oder Thinking-Tag-Parsing in der Produktion verlassen.

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

Fügen Sie --tp <N> für Tensor-Parallelität hinzu. Flags stammen aus dem Qwen3-VL GitHub README.

Fähigkeiten

Vision: Multimodal — akzeptiert Text, Bilder und Video in derselben Anfrage, mit nativer Unterstützung für Langdokument-OCR, GUI/Agenten-Bildschirmverständnis und räumliche Verankerung.
Langer Kontext: 262,144 Tokens nativ (bestätigt für die 8B- und 30B-A3B-Konfigurationen); Qwens Modellkarte beschreibt es als erweiterbar mit YaRN-Skalierung auf vLLM.
Reasoning: Wird in zwei separaten Editionen pro Größe geliefert — Instruct (direkte Antworten) und Thinking (reasoning-enhanced, z.B. qwen3-vl:8b-thinking auf Ollama). Qwens öffentliche Bereitstellungsbeispiele veröffentlichen kein dediziertes Reasoning-Parser-Flag für Qwen3-VL auf vLLM oder SGLang.
Tool-calling: Das Chat-Template auf Hugging Face definiert ein <tool_call>-JSON-Format, und Ollama wendet es automatisch an. Qwens offizielle vLLM/SGLang-Bereitstellungsbeispiele für Qwen3-VL zeigen kein --tool-call-parser-Flag — testen Sie Function-Calling auf Ihrer Runtime, bevor Sie es produktiv einsetzen.

Mit Tokios verbinden

Sobald Qwen3-VL lokal läuft, koppeln Sie den Tokios-Connector, sodass Sie es als https://api.tokios.com von Claude Code, Cline oder jedem anderen kompatiblen Client erreichen können — statt nur von localhost:11434.

Pair the Tokios connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Tab Setup und klicken Sie auf Start pairing, um einen einmaligen Pairing-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und starten Sie den Connector auf dem Rechner, der Ollama ausführt:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Dann approve das Gerät im Tab Setup oder Connectors.

Point the connector at Ollama's /v1 API

Ollama stellt eine OpenAI-kompatible Oberfläche unter /v1 bereit. Für ein Single-Model-Setup füllt der Setup-Assistent der Konsole dies automatisch als http://127.0.0.1:11434/v1 aus. Für mehrere Modelle setzen Sie es explizit in tokios-connector.json — siehe Connector config.

Im Tab Models registrieren Sie das Modell und wählen einen öffentlichen Deployment-Namen, zum Beispiel qwen3-vl-tunnel. Dieser Name — nicht Ollamas lokale Modell-ID — ist, was Clients im model-Feld senden.

Create an API key

Im Tab Keys klicken Sie auf Create key. Kopieren Sie den sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.

Von überall aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

Das model-Feld ist immer Ihr registrierter deployment-Name (oben qwen3-vl-tunnel), niemals Ollamas lokale Modell-ID. Siehe Claude Code verwenden und Cline verwenden für die vollständige Client-Einrichtung.

Hinweise

Qwen3-VL liefert Instruct und Thinking als separate Downloads statt als ein Modell mit Umschalter — wählen Sie den benötigten Tag (qwen3-vl:8b vs. qwen3-vl:8b-thinking) von vornherein.
Qwens offizielles README und Modellkarten veröffentlichen keine expliziten --tool-call-parser- oder --reasoning-parser-Flags für Qwen3-VL auf vLLM/SGLang, im Gegensatz zu einigen anderen Qwen3-Veröffentlichungen. Testen Sie Tool-Calling- und Thinking-Tag-Verhalten auf Ihrer Runtime, bevor Sie sich produktiv darauf verlassen.
Das 30B-A3B-MoE-Modell benötigt alle seine Gesamtparameter im Speicher, obwohl nur 3B pro Token aktiv sind — dimensionieren Sie Ihre Hardware nach dem vollständigen Download, nicht nach der aktiven Anzahl.
Die Varianten 32B und 235B-A22B benötigen mehr Hardware, als die meisten lokalen Tokios-Benutzer haben werden. Behandeln Sie sie als fortgeschrittene Pulls und bestätigen Sie ihre genauen Dateien, Kontexteinstellungen und Runtime-Unterstützung, bevor Sie darauf planen.

FAQ

How much VRAM does Qwen3-VL need?

Das 8B-dichte Modell benötigt ~6.1 GB bei der Standard-Quantisierung (~18 GB bei bf16). Das 30B-A3B-MoE-Modell benötigt ~20 GB bei der Standard-Quantisierung (~62 GB bei bf16). Addieren Sie den KV-Cache für Ihre Kontextlänge hinzu — beide unterstützen nativ 262,144 Tokens, aber lange Kontexte multiplizieren den Speicherverbrauch.

Can Qwen3-VL run on a 24 GB GPU?

Ja — sowohl das 8B (~6 GB) als auch das 30B-A3B-MoE (~20 GB) passen auf eine 24-GB-Karte (RTX 3090 / 4090) bei der Standard-Quantisierung. Das 8B lässt reichlich Spielraum für langen Kontext; das 30B-A3B ist komfortabel, aber bei sehr großen Kontextlängen enger. Selbst eine 16-GB-Karte (RTX 5080 / 4080) betreibt das 8B komfortabel.

Is Qwen3-VL open source?

Ja — sowohl das 8B als auch das 30B-A3B sind unter Apache 2.0 veröffentlicht, was permissiv ist und keine Acceptable-Use-Policy oder Benutzeranzahl-Schwelle mit sich bringt. Beachten Sie, dass offene Gewichte und Open Source nicht dasselbe sind — die Trainingsdaten und -pipeline werden nicht veröffentlicht.

What is the difference between Thinking and Instruct variants?

Sie werden als separate Downloads geliefert, nicht als Umschalter. Instruct-Editionen geben direkte Antworten. Thinking-Editionen (z.B. qwen3-vl:8b-thinking) sind reasoning-enhanced und geben Schritt-für-Schritt-Reasoning vor der endgültigen Antwort aus. Wählen Sie den benötigten Tag von vornherein — Ollamas -thinking-Suffix wählt die Reasoning-Edition.

Does Qwen3-VL support video input?

Ja — die vollständige Qwen3-VL-Familie akzeptiert Text, Bilder und Video in derselben Anfrage, mit nativer Unterstützung für Langdokument-OCR, GUI/Agenten-Bildschirmverständnis und räumliche Verankerung. Dies ist einer der Unterschiede zum früheren Qwen2.5-VL.

Quickstart

Koppeln Sie einen Connector und registrieren Sie Ihr erstes Modell komplett.

What size model fits your GPU?

Passen Sie Qwen3-VL an Ihren verfügbaren VRAM an, bevor Sie es ziehen.

Quantization & hardware

Welches Format von Qwen3-VL — GGUF, bf16 — auf Ihrer Hardware läuft.

Which local model for which task?

Sehen Sie, wie sich Qwen3-VL mit anderen lokalen Vision-Modellen nach Aufgabe vergleicht.

Erste Schritte

Modelle

Konzepte

Referenz

Qwen3-VL lokal ausführen und von überall nutzen

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Eignung

Ausführen — Anfänger bis Fortgeschrittene

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Hinweise

FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

​Lokal mit Ollama ausführen

​Varianten & Tags

​Quantisierung & Formate

​Hardware-Eignung

​Ausführen — Anfänger bis Fortgeschrittene

​Fähigkeiten

​Mit Tokios verbinden

​Von überall aufrufen

​Hinweise

​FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Eignung

Ausführen — Anfänger bis Fortgeschrittene

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Hinweise

FAQ