Last verified: 2026-07-21
35B-A3B MoE (35B total, 3B active) and a 27B dense model. Run whichever fits your hardware locally, then pair the Tokios connector to call it from any machine, teammate, or hosted agent through https://api.tokios.com — no inbound ports, no VPN.
Looking for Qwen 3.5? Qwen3.6 is the generation that replaced it. Alibaba’s dense Qwen3.6-27B outperforms the previous-generation Qwen3.5-397B-A17B MoE on several agentic coding tasks despite being far smaller — so if you were about to pull Qwen3.5, this is the model to run instead.
Ollamaを使ってローカルで実行する
Qwen3.6はOllamaライブラリに登録されています。デフォルトタグ（35B-A3BのMoE版）を取得して実行してください。
ollama run qwen3.6:27bを実行します。全タグ一覧はOllamaライブラリページをご覧ください。このページでは接続方法のみを説明しており、実行時の詳細は記載していません。
Ollamaのデフォルトコンテキストウィンドウは小さく2048トークン程度です。これはQwen3.6の標準値である256Kよりもかなり少ない数値です。より多くのコンテキストを活用したい場合は、Modelfileまたはクライアントリクエスト内で
num_ctxの値を増やしてください。複雑なタスクにおいて推論品質を維持するため、Qwen側では少なくとも128Kは確保することを推奨しています。バリエーションとタグ
以下の各値はすべてモデルカードおよびOllamaライブラリからの情報です。新たな量子化バージョンが公開されるたびにタグやダウンロードサイズは変動しますので、特定のバージョンを採用する前に ollama.com/library/qwen3.6 で確認してください。
情報源：ollama.com/library/qwen3.6、Qwen/Qwen3.6-35B-A3B モデルカード、Qwen/Qwen3.6-27B。
量子化とフォーマット
Ollama’s default tags areGGUF Q4_K_M. The library also publishes -q8_0, -bf16, -nvfp4 (NVIDIA Blackwell), -mxfp8, -mlx (Apple Silicon), and -mtp-* (multi-token-prediction speculative-decoding) variants for both sizes. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names.
Gemmaとは異なり、Qwenでは公式な 量子化適応型訓練（QAT） 用チェックポイントは公開されていない。上記のタグはすべて訓練後量子化版である。4ビットでQAT並みの品質を求める場合は、Unslothなどのツールを用いて独自にファインチューニングを行う必要がある。その必要性については 量子化適応型訓練 を参照されたい。
KVキャッシュの量子化
The KV cache is the per-token memory a model builds as it reads your prompt and generates a reply — and it grows with every token of context. For a long-context model like Qwen3.6 (262K native, extensible to ~1M), the KV cache can rival or exceed the weight footprint at full context. Quantizing the KV cache is a separate lever from weight quantization that cuts that memory cost roughly in half.FP8形式のKVキャッシュを有効化する
On vLLM, add--kv-cache-dtype fp8 to your serve command:
--kv-cache-dtype fp8:
OllamaおよびLM StudioではKVキャッシュは内部で管理されており、
--kv-cache-dtype フラグは公開されていない。FP8形式のKVキャッシュが必要な場合は、vLLMまたはSGLangをサービングバックエンドとして利用する必要がある。得られるメリット
The practical payoff is longer context on the same hardware. A Qwen3.6 deployment that fits 32K tokens with FP16 KV cache can typically serve 64K or more with FP8 KV cache in the same memory budget — because the cache takes half the space per token. On memory-constrained hardware like a single DGX Spark, that difference can be the gap between a usable long-context deployment and an OOM. For hardware-specific tuning, see DGX Spark model compatibility.
ハードウェアへの適合性
コンテキスト長がそれほど長くない場合、およそQ4 程度で問題なく利用できる。すべての数値は概算値であり、実際の必要容量は実際の GGUF サイズに加えてコンテキスト用のKVキャッシュ分となる。どのサイズのモデルが自身のGPUに適しているかは、どのサイズのモデルがGPUに適しているか？ をご参照ください。
DGX SparkではQwen3.6を実行できるか？
Yes, and it is one of the best matches for this family. The dense27B lands near 14 GB at NVFP4 and the 35B-A3B MoE near 18 GB, against 128 GB of unified memory. Because the weights claim so little of the pool, the rest is available for KV cache — which makes the 262K native context practical here rather than theoretical.
スループット重視ならMoE版が最適です。各トークン処理時に有効となるパラメータ数はわずか3Bに過ぎず、全体サイズから予想されるよりもはるかに高速にデコードできます。チューニングや実測値については DGX Sparkモデル互換性 をご覧ください。
Strix HaloでもQwen3.6を実行できるか？
可能です。AMD Strix Haloは最大で96ギガバイトをGPU用に割り当てられるため、どちらのバージョンも長いコンテキスト処理に必要な余裕を残しつつ読み込めます。 このマシンにおける制約は容量ではなくメモリ帯域幅です。同じ重みを持つ独立型GPUに比べてデコード速度は遅く、プロンプト処理時はさらに差が広がります。そのためパラメータ数が少ないMoE版である35B-A3Bを選ぶのが最善です。Strix Halo上でのvLLM実行 および Strix Haloモデル互換性 にROCmおよびVulkan関連の情報が記載されています。
サイズが24ギガバイトのGPUでもQwen3.6を動かせるか？
密度型の27Bは可能です。このモデルはQ4_K_M時点で約17ギガバイトを必要とし、残りの約7ギガバイトはKVキャッシュ用に使えるため、一般的なコンテキスト長でも問題ありません。一方MoE版の35B-A3Bは約24ギガバイトを要するため、24ギガバイトのカードでは厳しい状況です。コンテキスト長を短くするか、32ギガバイト版のカードへ移行する必要があります。
On 16 GB, the dense 27B runs only at short context, and the MoE does not fit at Q4. Offloading to system RAM works but costs throughput — see memory and offloading.
ローカル環境でQwen3.6を動かす最速の方法
For the most tokens per second on modest hardware, reach for the35B-A3B MoE: only 3B of its 35B parameters are active per token, so it decodes about as fast as a 3B model while reasoning like a much larger one — provided all 35B fit in memory (~24 GB at Q4_K_M). If you specifically want the dense 27B, pull Q4_K_M on Ollama or LM Studio (~17 GB); on Apple Silicon the -mlx tag runs fastest. Raise num_ctx only as far as you actually need — a shorter context leaves more memory for weights and speeds up decode.
実行方法 — 初心者から上級者まで
- Ollama（最も簡単）
- LM Studio（GUI版）
- vLLM（上級者向け）
- SGLang（上級者向け）
http://127.0.0.1:11434 で待機状態にしておきましょう。より多くのコンテキストを利用するには num_ctx の値を引き上げてください。機能概要
- 推論機能： Qwen3.6はデフォルトで 思考モード で動作し、回答の前に
<think>…</think>形式のブロックを出力します。直接回答のみを得たい場合はリクエスト内で"chat_template_kwargs": {"enable_thinking": false}を指定してこの機能を無効化してください（Alibaba Cloud Model Studioでは"enable_thinking": falseを利用）。また「思考内容の保持」オプションも用意されており、対話の各段階で推論内容が維持される仕組みです。 - ネイティブなツール呼び出し機能： 対応しています。 vLLM/SGLangを利用する場合は
--tool-call-parser qwen3_coderを設定し（--reasoning-parser qwen3も併せて設定）、Ollamaではテンプレートが自動的に適用されます。エージェント型コーディング向けに設計されており、リポジトリレベルでの推論やフロントエンドワークフローにも最適です。 - ビジョン機能： マルチモーダル対応で、テキストや画像、動画も受け付けます。
- Long context: 262,144 tokens natively, extensible to ~1M. Keep at least 128K for complex reasoning tasks.
Tokiosコネクターと接続する
Qwen3.6がローカル環境で稼働したら、Tokiosコネクターをペアリングしておきましょう。そうすればClaude CodeやCline、その他互換性のあるクライアントからhttps://api.tokios.com という名前でこのモデルにアクセスできるようになります。これにより localhost:11434 からのみアクセス可能だった状態から解放されます。
1
Tokiosコネクターをペアリングする
Sign in at tokios.com/console, open the Setup tab, and click Start pairing to get a one-time claim code (次に approve を押して、デバイスを Setup または Connectors タブに追加します。
TKS-XXXX-XXXX). Install and run the connector on the machine running Ollama:Windows
macOS
Linux
2
コネクターをOllamaの /v1 APIに向け設定する
Ollamaは
/v1 にてOpenAI互換のインターフェースを提供しています。単一モデル環境の場合はコンソールのセットアップウィザードが自動的に http://127.0.0.1:11434/v1 を設定します。複数モデルを利用する場合は tokios-connector.json で手動で設定する必要があります。詳細は コネクター設定 をご覧ください。3
デプロイを登録する
In the Models tab, register the model and choose a public deployment name, for example
qwen3.6-tunnel. This name — not Ollama’s local model id — is what clients send in the model field.4
APIキーを作成する
In the Keys tab, click Create key. Copy the
sk-tok-… key now — it’s shown only once.どこからでも呼び出せる
注意点
- Qwen3.6はデフォルトで
<think>…</think>推論処理を行います。下流のクライアントで生の思考内容が表示されたり、レイテンシーを低減したい場合は、上記の手順で推論機能を無効化してください。 - ツール呼び出しの挙動は、
qwen3_coderパーサーを適用するランタイム次第です。Ollamaでは自動的に処理されますが、vLLMやSGLangで自己ホスティングする場合は上記のフラグを設定しなければツール呼び出しが正しく解析されません。 - The
35B-A3BMoE needs all 35B parameters in memory even though only 3B are active per token — size your hardware off the full download, not the active count.
同クラスの新たな選択肢 エージェント用途向けに
27B の高密度モデルを検討中であれば、Meta社が提供する Muse Glimmer 30B も同クラスの第三の選択肢となります。こちらも高密度構造でApache 2.0 ライセンスを採用しており、ツール呼び出しや多段階タスクの遂行に特化して訓練されています。Meta社はQwen3.6 27B と直接比較テストを行っており、その結果はMuse Glimmerが優れているとされていますが、これらは同社主導のテストであり、まだ第三者による再現検証は行われていません。一方Qwen3.6 は長年の実績と豊富なバリエーションを誇ります。エージェントワークフローにどちらを採用するか決定する前に、両者を実際に試してみることをお勧めします。クイックスタート
コネクターをペアリングし、最初のモデルを一通り登録してみましょう。
ご自身のGPUに適したモデルサイズはどれでしょうか？
まずは利用可能なVRAM容量に合わせて、適切なQwen3.6のバージョンを選びましょう。
量子化処理とハードウェアの仕様
ご使用のハードウェアで動作可能なQwen3.6のフォーマットは、
GGUF、NVFP4、MLXのいずれかです。どのタスクに最適なローカルモデルは何か？
各タスクにおいてQwen3.6が他のローカルモデルとどのように比較されるかをご確認ください。