Qwen3-VLをローカルで実行し、どこからでも利用可能にする

​

Ollamaを使ってローカルで実行する

ollama run qwen3-vl

​

バリエーションとタグ

​

量子化とフォーマット

​

ハードウェアへの適合性

​

実行方法 — 初心者から上級者まで

ollama run qwen3-vl

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

​

主な機能

• ビジョン機能： マルチモーダル対応 — 同一リクエスト内でテキスト・画像・動画を受け付け、長文文書のOCR処理やGUI・エージェントによる画面理解、空間位置の特定も可能です。
• 長文脈対応: 262,144トークンをネイティブに処理可能であり、8Bおよび30B-A3Bの設定においてもその点が確認されている。Qwenのモデル説明書によれば、vLLM上でYaRNスケーリングを用いることでさらに拡張も可能だ。
• 推論機能： サイズごとに二つのエディションが用意されており、Instruct（直接的な回答を生成）と Thinking（推論能力を強化した版、例えば Ollama上の qwen3-vl:8b-thinking など）があります。Qwenが公開しているvLLM/SGLang向けのデプロイ例では、Qwen3-VL用の専用推論パーサーフラグは記載されていません。
• ツール呼び出し: Hugging Face側のチャットテンプレートでは <tool_call> というJSON形式が定義されており、Ollamaがこれを自動的に適用します。Qwen3-VL用の公式 vLLM/SGLang デプロイ例では --tool-call-parser フラグが記載されていませんので、実際に製品をリリースする前にご自身の実行環境で関数呼び出し機能を試してみてください。

​

Tokiosコネクターとの連携

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

どこからでも呼び出せます

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

​

注意点

• Qwen3-VL では指示モードと思考モードがそれぞれ個別のダウンロードファイルとして提供されており、切り替え機能付きの単一モデルではありません。必要なタグ（qwen3-vl:8b または qwen3-vl:8b-thinking）を事前に選択しておく必要があります。
• Qwen’s official README and model cards don’t publish explicit --tool-call-parser or --reasoning-parser flags for Qwen3-VL on vLLM/SGLang, unlike some other Qwen3 releases. Test tool-calling and thinking-tag behavior on your runtime before relying on it in production.
• The 30B-A3B MoE model needs all of its total parameters in memory even though only 3B are active per token — size your hardware off the full download, not the active count.
• The 32B and 235B-A22B variants need more hardware than most local Tokios users will have. Treat them as advanced pulls and confirm their exact files, context settings, and runtime support before planning around them.