在本地运行 Qwen3.6，即可从任意位置调用它

Last verified: 2026-07-21

Qwen3.6属于目前兼容性最好的开源权重模型系列：这是一款默认具备推理能力的多模态混合专家模型，可处理多达1M个令牌的上下文内容，还自带用于智能编程的工具调用功能。其后续版本 Qwen3.8-27B 于2026年八月发布，同样采用 Apache-2.0许可证，目前已有社区制作的 GGUF 格式版本，但尚未被 Ollama 收录；因此 Qwen3.6仍是本地部署验证最简便的选择。该模型提供两种规格：一种为35B-A3B规模的混合专家模型（总参数量为35B，其中活跃参数量为3B），另一种为27B规模的密集模型。用户可依据自身硬件条件选择运行相应版本，再借助 Tokios 连接器即可通过https://api.tokios.com从任意设备、团队成员或托管代理程序调用该模型，全程无需开放入站端口或配置 VPN。

已在本地运行 Qwen3.6？点击在 Tokios 中注册，即可将模型以https://api.tokios.com身份接入任意客户端。

正在寻找 Qwen 3.5 吗？其实 Qwen3.6才是它的替代版本。阿里巴巴推出的密集型模型 Qwen3.6-27B，尽管参数量远少于前代产品，却在多项智能编程任务中表现优于旧版 Qwen3.5-397B-A17B混合专家模型；因此若您原本计划使用 Qwen3.5，现在不妨直接选用此版本。

使用 Ollama 在本地运行

Qwen3.6已收录至 Ollama 模型库。下载并运行默认标签版本（即35B-A3B规模的混合专家模型）：

ollama run qwen3.6

若需运行规模较小的密集模型，请执行ollama run qwen3.6:27b指令。完整的标签列表可查阅 Ollama 模型库页面；该页面主要说明连接方法，并未涵盖所有运行细节。

Ollama 默认的上下文窗口容量较小（仅2048个令牌），远低于 Qwen3.6原生支持的256K容量。您可在 Modelfile 或客户端请求中调高num_ctx数值以扩展上下文容量。为确保复杂任务下的推理质量，Qwen 建议至少保留128K的容量。

不同版本与标签说明

以下所有数值均源自模型说明文档以及 Ollama 库。随着更多量化版本陆续发布，相关标签与下载体积也会随之变动；在最终选定某一版本进行部署前，请务必前往 ollama.com/library/qwen3.6 进行核实。

属性	`35B-A3B`（混合专家架构）	`27B`（密集型架构）
Ollama 标签	`qwen3.6:35b`（别名为 `:latest`）	`qwen3.6:27b`
下载体积（`Q4_K_M`）	约 24 GB	约 17 GB
参数总量	35B total / 3B active (256 experts, 8 routed + 1 shared)	27B 密集型架构
上下文窗口	262,144 原生支持，可扩展至约 1M	262,144 原生支持
模态类型	文本、图片及视频	文本、图片及视频
推理能力	思考模式默认处于开启状态	思考模式默认处于开启状态
许可协议	Apache-2.0	Apache-2.0
Hugging Face	`Qwen/Qwen3.6-35B-A3B`	`Qwen/Qwen3.6-27B`

来源：ollama.com/library/qwen3.6、Qwen/Qwen3.6-35B-A3B 模型说明文档以及 Qwen/Qwen3.6-27B。

该 35B-A3B 属于混合专家型模型，每个令牌仅激活 3B 个参数，因此其解码速度与普通 3B 模型相当，但推理能力却堪比规模更大的模型。不过所有 35B 个参数依然需要占用内存空间。切勿仅依据激活参数数量来决定 GPU 的配置需求。具体原因可参阅推理机制详解。

量化处理与格式说明

Ollama’s default tags are GGUF Q4_K_M. The library also publishes -q8_0, -bf16, -nvfp4 (NVIDIA Blackwell), -mxfp8, -mlx (Apple Silicon), and -mtp-* (multi-token-prediction speculative-decoding) variants for both sizes. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names. 与 Gemma 不同，Qwen 并未发布官方 经过量化感知训练（QAT） 的模型版本；上述标签仅代表训练后的量化处理结果。若需在 4 位精度下获得接近 QAT 水平的性能，可借助 Unsloth 等工具自行微调模型；关于此类操作的适用场景可参阅量化感知训练指南。

KV 缓存的量化处理

The KV cache is the per-token memory a model builds as it reads your prompt and generates a reply — and it grows with every token of context. For a long-context model like Qwen3.6 (262K native, extensible to ~1M), the KV cache can rival or exceed the weight footprint at full context. Quantizing the KV cache is a separate lever from weight quantization that cuts that memory cost roughly in half.

启用 FP8 格式的 KV 缓存

在 vLLM 环境中，只需在启动指令中加入 --kv-cache-dtype fp8 参数即可：

vllm serve Qwen/Qwen3.6-35B-A3B \
  --max-model-len 262144 \
  --kv-cache-dtype fp8 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

在 SGLang 平台中，对应的参数标识为 --kv-cache-dtype fp8：

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-35B-A3B \
  --context-length 262144 \
  --kv-cache-dtype fp8 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

Ollama 与 LM Studio 均在内部自动管理 KV 缓存，并未提供 --kv-cache-dtype 参数设置选项。若需启用 FP8 格式的 KV 缓存，建议选用 vLLM 或 SGLang 作为服务后端。

您将获得的成果

衡量指标	FP16 键值缓存	FP8 键值缓存
每个缓存条目的字节数	2	1
内存占用缩减量	—	~50%
对模型质量的影响	基准水平	2% degradation on standard benchmarks

The practical payoff is longer context on the same hardware. A Qwen3.6 deployment that fits 32K tokens with FP16 KV cache can typically serve 64K or more with FP8 KV cache in the same memory budget — because the cache takes half the space per token. On memory-constrained hardware like a single DGX Spark, that difference can be the gap between a usable long-context deployment and an OOM. For hardware-specific tuning, see DGX Spark model compatibility.

FP8 键值缓存属于以牺牲部分质量为代价来节省内存的手段，并非毫无代价。在大多数任务场景下——如对话交互、文本摘要及代码生成——采用该缓存机制带来的 2% 质量损失微乎其微。不过若您的应用场景对精度要求极高（如长篇推理或数学证明），在正式部署前务必针对实际输入内容分别测试开启与关闭 FP8 键值缓存时的模型表现。

硬件适配性

在上下文长度适中时，占用内存量约为 Q4，处于较为轻松的范围。所有数值仅为估算值，实际占用量取决于具体的 GGUF 大小以及上下文所需的 KV 缓存容量。可查阅何种尺寸的模型适合您的显卡？以了解具体的计算方式。

目标显卡	`27B` 密集型模型（约 17 GB）	`35B-A3B` MoE 模型（约 24 GB）
RTX 3090 / 4090 系列（24 GB）	轻松适配	勉强可用 — 需缩减上下文长度
RTX 5090 系列（32 GB，Blackwell 架构）	轻松适配；现已提供 `nvfp4` 标签	轻松适配；现已提供 `nvfp4` 标签
RTX 6000 Ada / A6000 系列（48 GB）	轻松适配，可处理较长上下文	能够轻松处理较长的上下文
RTX 5080 / 4080（容量达 16 GB）	不太适合；仅能处理较短的上下文	无法适配 `Q4`
Apple Silicon 芯片（需具备 36 GB 及以上的统一内存）	使用体验良好；可提供 `mlx` 标签	使用体验良好；可提供 `mlx` 标签
AMD Strix Halo 芯片（支持 ROCm/Vulkan，最大容量 ≤96 GB）	使用体验良好	使用体验良好
DGX Spark 系统（具备 128 GB 的统一内存，采用 Blackwell 架构）	Comfortable (~14–15 GB at NVFP4, estimated 40–55 tok/s)	Excellent fit (~18 GB at NVFP4, estimated 47–50 tok/s; up to 120 tok/s with Atlas)

DGX Spark 能否运行 Qwen3.6 模型？

Yes, and it is one of the best matches for this family. The dense 27B lands near 14 GB at NVFP4 and the 35B-A3B MoE near 18 GB, against 128 GB of unified memory. Because the weights claim so little of the pool, the rest is available for KV cache — which makes the 262K native context practical here rather than theoretical. 若追求更高吞吐量建议选用 MoE 版：每个令牌仅需激活 3B 数量的参数，因此其解码速度远超其整体体积所暗示的水平。关于调优及实测表现详情请参阅 DGX Spark 模型兼容性说明。

Strix Halo 能否运行 Qwen3.6 模型？

可以。AMD Strix Halo 最多可向 GPU 分配 96 GB 显存，因此两种模型版本均可顺利加载且仍有余量支持长上下文处理。此硬件的性能瓶颈并非显存容量，而是显存带宽。其解码速度略逊于搭载相同模型参数的独立显卡，预处理速度差距更为明显。因此建议选用 ⟨35B-A3B⟩ MoE 版模型，其少量活跃参数能发挥最大效能。相关 ROCm 与 Vulkan 部署指南可参见 Strix Halo 上运行 vLLM 的方法及 Strix Halo 模型兼容性说明。

显存容量仅为 24 GB 的显卡能否运行 Qwen3.6 模型？

Yes for the dense 27B at Q4_K_M, which needs about 17 GB and leaves roughly 7 GB for KV cache — comfortable at everyday context lengths. The 35B-A3B MoE needs about 24 GB, so on a 24 GB card it is tight: shorten the context or move to a 32 GB card. 在 16 GB 的内存容量下，密集型 27B 模型仅能在较短上下文长度下运行，而 MoE 模型则无法适配 Q4 的容量需求。虽然将模型数据转存至系统随机存取记忆体也能实现运行，但会显著降低处理效能；详情请参阅记忆体与转存机制。

在本地运行 Qwen3.6 模型的最快捷方式

For the most tokens per second on modest hardware, reach for the 35B-A3B MoE: only 3B of its 35B parameters are active per token, so it decodes about as fast as a 3B model while reasoning like a much larger one — provided all 35B fit in memory (~24 GB at Q4_K_M). If you specifically want the dense 27B, pull Q4_K_M on Ollama or LM Studio (~17 GB); on Apple Silicon the -mlx tag runs fastest. Raise num_ctx only as far as you actually need — a shorter context leaves more memory for weights and speeds up decode.

# Fastest general pick: the MoE (only ~3B active per token)
ollama run qwen3.6

# Dense 27B at Q4_K_M
ollama run qwen3.6:27b

运行指南——从初学者到高级用户

Ollama（最为简便）
LM Studio（图形化界面）
vLLM（高级选项）
SGLang（高级选项）

ollama run qwen3.6

保持 Ollama 在默认的 http://127.0.0.1:11434 端口上持续监听。适当调高 num_ctx 数值即可支持更大的上下文容量。

在 LM Studio 的模型目录中搜索 Qwen3.6，下载符合自身显存容量的 GGUF 量化版本（建议先选 Q4_K_M 版本），随后启动 LM Studio 的本地服务器。该服务器会在 http://127.0.0.1:1234/v1 端口提供兼容 OpenAI 规范的 API。

使用 Qwen3.6 时须手动配置其推理逻辑与工具调用解析器。关于工具调用功能：

vllm serve Qwen/Qwen3.6-35B-A3B \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

添加 --tensor-parallel-size <N> 参数即可实现多 GPU 并行运算。相关参数说明可查阅对应模型说明文档中的 vLLM 章节。

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-35B-A3B \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

添加 --tp-size <N> 参数可启用张量并行机制。具体参数说明同样见于模型说明文档的 SGLang 章节。

功能特性

推理机制说明： Qwen3.6 默认以 思考模式 运行，在输出答案前会先生成一个 <think>…</think> 代码块。若需获取直接回复，可在请求中设置 "chat_template_kwargs": {"enable_thinking": false} 参数予以禁用（在阿里云模型控制台则需配置 "enable_thinking": false）。此外该模型还提供“保留思考过程”的选项，便于在多次交互时延续推理逻辑。
原生工具调用功能： 支持。在 vLLM/SGLang 环境中，只需设置 --tool-call-parser qwen3_coder（同时指定 --reasoning-parser qwen3）即可；Ollama 则会自动应用相应模板。该功能专为智能体编程场景设计，可助力代码库层面的推理及前端工作流处理。
视觉处理能力： 具备多模态特性，可处理文本、图片及视频内容。
Long context: 262,144 tokens natively, extensible to ~1M. Keep at least 128K for complex reasoning tasks.

将 Tokios 连接器与之对接

待 Qwen3.6 在本地成功部署后，即可配置 Tokios 连接器，如此便能通过 https://api.tokios.com 地址调用该模型，该地址适用于 Claude Code、Cline 及其他兼容客户端，而不仅限于 localhost:11434 地址。

配置 Tokios 连接器

首先登录 tokios.com/console 页面，进入 Setup 选项卡并点击 Start pairing 按钮以获取一次性使用的令牌（TKS-XXXX-XXXX）。随后在运行 Ollama 的计算机上安装并启动该连接器即可。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Then approve the device on the Setup or Connectors tab.

将连接器指向 Ollama 的 /v1 API 接口

Ollama 提供了与 OpenAI 规范兼容的接口服务，其访问地址为 /v1。若仅部署单一模型，控制台内的设置向导会自动填入 http://127.0.0.1:11434/v1 作为对应地址；若涉及多模型部署，则需在 tokios-connector.json 处手动指定具体地址，详情可参阅连接器配置说明。

创建部署实例

进入 Models 选项卡后注册所需模型并设定公开部署名称，例如 qwen3.6-tunnel。客户端在调用时实际发送的是该名称而非 Ollama 本地生成的上游模型 ID，该名称亦将填入 model 字段中。

创建一个 API 密钥

在 Keys 选项卡中点击 Create key。请立即复制 sk-tok-… 令牌，该令牌仅显示一次。

随时调用该令牌即可

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.6-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Refactor this function and explain your reasoning."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3.6-tunnel

The model field is always your registered deployment name (qwen3.6-tunnel above), never Ollama’s local model id. See Use Claude Code and Use Cline for full client setup.

注意事项

Qwen3.6 默认会输出 <think>…</think> 形式的推理内容。若下游客户端会直接显示原始推理过程，或您希望降低延迟，则可按上述方法关闭推理功能。
工具调用行为取决于执行 qwen3_coder 解析器的运行环境。Ollama 会自动处理此环节；若您自行通过 vLLM/SGLang 部署模型，则需设置上述参数，否则工具调用将无法正常解析。
该 35B-A3B MoE 模型要求将所有 35B 个参数都载入内存，即便每个令牌仅会使用其中 3B 个参数。因此，硬件配置规模应基于完整参数总量来规划，而非仅考虑活跃使用的参数数量。

同级别新选项。若您正权衡是否选用 27B 类型的密集模型用于智能体开发，Meta 推出的 Muse Glimmer 30B 现已成为该层级的第三种选择：它同样属于密集架构且采用 Apache 2.0 协议，专为工具调用与多步骤任务训练优化。Meta 的测试数据表明 Muse Glimmer 性能优于 Qwen3.6 27B，不过这些数据由厂商提供且尚未经独立验证。鉴于 Qwen3.6 拥有更悠久的应用历史与更丰富的变体型号，建议在最终选定前对两者均进行测试。

快速入门

配置连接器并完成首个模型的完整部署流程。

何种规模的模型最适合您的显卡呢？

在下载 Qwen3.6 之前，请先确认该模型所需的显存容量是否与您设备上的显存相匹配。

量化处理与硬件适配

在 Qwen3.6 提供的多种格式中，究竟哪一种——即 GGUF、NVFP4 或 MLX——能够兼容您的硬件设备呢？

针对各类任务，该选用哪一款本地模型呢？

通过此内容可了解 Qwen3.6 在不同任务场景下与其他本地模型的性能对比情况。

入门

模型

概念

参考

在本地运行 Qwen3.6，即可从任意位置调用它

使用 Ollama 在本地运行

不同版本与标签说明

量化处理与格式说明

KV 缓存的量化处理

启用 FP8 格式的 KV 缓存

您将获得的成果

硬件适配性

DGX Spark 能否运行 Qwen3.6 模型？

Strix Halo 能否运行 Qwen3.6 模型？

显存容量仅为 24 GB 的显卡能否运行 Qwen3.6 模型？

在本地运行 Qwen3.6 模型的最快捷方式

运行指南——从初学者到高级用户

功能特性

将 Tokios 连接器与之对接

随时调用该令牌即可

注意事项

快速入门

何种规模的模型最适合您的显卡呢？

量化处理与硬件适配

针对各类任务，该选用哪一款本地模型呢？

​使用 Ollama 在本地运行

​不同版本与标签说明

​量化处理与格式说明

​KV 缓存的量化处理

​启用 FP8 格式的 KV 缓存

​您将获得的成果

​硬件适配性

​DGX Spark 能否运行 Qwen3.6 模型？

​Strix Halo 能否运行 Qwen3.6 模型？

​显存容量仅为 24 GB 的显卡能否运行 Qwen3.6 模型？

​在本地运行 Qwen3.6 模型的最快捷方式

​运行指南——从初学者到高级用户

​功能特性

​将 Tokios 连接器与之对接

​随时调用该令牌即可

​注意事项

快速入门

何种规模的模型最适合您的显卡呢？

量化处理与硬件适配

针对各类任务，该选用哪一款本地模型呢？

使用 Ollama 在本地运行

不同版本与标签说明

量化处理与格式说明

KV 缓存的量化处理

启用 FP8 格式的 KV 缓存

您将获得的成果

硬件适配性

DGX Spark 能否运行 Qwen3.6 模型？

Strix Halo 能否运行 Qwen3.6 模型？

显存容量仅为 24 GB 的显卡能否运行 Qwen3.6 模型？

在本地运行 Qwen3.6 模型的最快捷方式

运行指南——从初学者到高级用户

功能特性

将 Tokios 连接器与之对接

随时调用该令牌即可

注意事项