在本地运行 Qwen3-VL 并从任意位置调用它

Last verified: 2026-10-14

Qwen3-VL 是 Qwen 专门打造的视觉语言模型系列——它可读取文本、图片和视频，在适合本地运行的规格上支持长上下文，并提供密集型与混合专家（MoE）两种架构，每种架构又分别推出 Instruct 版和具备推理增强能力的 Thinking 版。它取代了较早的 Qwen2.5-VL；如果您现在要选用一款视觉模型来运行，从这里开始就对了——它是拥有经过验证的 Ollama 标签的系列，而更新的 Qwen3.8-27B 同样支持图片和视频输入，但目前只能通过 llama.cpp、LM Studio 或服务器运行时来使用。在本地运行适合您硬件的规格，然后配对 Tokios 连接器，即可从任意机器、团队成员或托管代理通过 https://api.tokios.com 调用它——无需入站端口，无需 VPN。

利用 Ollama 在本地运行

Qwen3-VL 已收录于 Ollama 库中，标识名为 qwen3-vl。拉取并运行默认标签（即 8B 密集型 Instruct 模型）：

ollama run qwen3-vl

如需其他规格，可添加标签——例如 ollama run qwen3-vl:30b-a3b 对应 MoE 模型，或 ollama run qwen3-vl:8b-thinking 对应推理增强版。完整标签列表请查阅 Ollama 库页面——本页主要介绍连接方式，不涉及所有运行细节。

Ollama 的默认上下文窗口较小（2048 个令牌），远低于 Qwen3-VL 原生的 256K。如需使用更大的上下文容量，请在 Modelfile 或客户端请求中调高 num_ctx。

版本类型与标签

以下所有数据均引自 Hugging Face 模型说明文档及 Ollama 库信息。随着新量化版本的发布，标签与下载体积可能会有所变化——在最终选定某一版本前，请务必核对 ollama.com/library/qwen3-vl/tags。

属性	`8B`（密集型）	`30B-A3B`（MoE）
Ollama 标签	`qwen3-vl:8b`（别名 `:latest`）	`qwen3-vl:30b-a3b`
下载体积（默认量化）	~6.1 GB	~20 GB
下载体积（`bf16`）	~18 GB	~62 GB
参数数量	8B 密集型	30B total / 3B active（128 个专家，8 个路由）
上下文窗口	262,144 原生	262,144 原生
模态	文本 + 图片 + 视频	文本 + 图片 + 视频
版本	Instruct 和 Thinking	Instruct 和 Thinking
许可协议	Apache-2.0	Apache-2.0
Hugging Face	`Qwen/Qwen3-VL-8B-Instruct`	`Qwen/Qwen3-VL-30B-A3B-Instruct`

来源：ollama.com/library/qwen3-vl/tags、Qwen/Qwen3-VL-8B-Instruct 配置及 Qwen/Qwen3-VL-30B-A3B-Instruct 配置。Ollama 库还列出了 2B、4B、32B 和 235B-A22B 规格；本表仅聚焦于经过验证且适合本地运行的规格。

其中 30B-A3B 模型采用混合专家架构——每个令牌仅激活 3B 参数，因此解码速度比同等总参数量的密集型模型更快。但所有参数仍需装入显存。请勿仅依据活跃参数数量来选择 GPU。原因详见推理的工作原理。

量化方式与格式

Ollama 的标签涵盖默认量化版本和 -q8 版本，此外每种规格还分别提供 -bf16 标签，且各版本均有 -instruct 和 -thinking 两种版本可选。可运行的格式取决于您的硬件——完整对照表请查阅量化格式及其所需硬件，关于量化名称的解读方式可参阅什么是量化，例如 Q4_K_M。

硬件适配

在 Q4 左右、上下文长度适中时运行较为舒适。以下各项数值均为估算值——实际依据是 GGUF 文件大小加上您的上下文对应的 KV 缓存。关于显存需求的计算方式，请参阅何种尺寸的模型适合您的 GPU？。

目标硬件	`8B`（~6 GB）	`30B-A3B` MoE（~20 GB）
RTX 3090 / 4090（24 GB）	舒适，支持长上下文	舒适
RTX 5090（32 GB，Blackwell）	舒适，支持长上下文	舒适
RTX 6000 Ada / A6000（48 GB）	舒适，支持长上下文	舒适，支持长上下文
RTX 5080 / 4080（16 GB）	舒适	较紧张——需缩减上下文
Apple Silicon（36 GB+ 统一内存）	舒适	舒适
AMD Strix Halo（ROCm/Vulkan，≤96 GB）	舒适	舒适

运行方式——从入门到进阶

Ollama（最为简便）
LM Studio（图形界面）
vLLM（高级）
SGLang（高级）

ollama run qwen3-vl

保持 Ollama 在默认的 http://127.0.0.1:11434 上监听。调高 num_ctx 以使用更大的上下文，并在聊天请求中像使用其他 Ollama 视觉模型一样发送图片。

在 LM Studio 的模型目录中搜索 Qwen3-VL，下载一个适合您显存的 GGUF 量化版本（建议从 Q4_K_M 开始），然后启动 LM Studio 的本地服务器。它会在 http://127.0.0.1:1234/v1 上提供兼容 OpenAI 的 API，包括视觉输入。

Qwen 推荐使用 vLLM（vllm>=0.11.0）来高效部署 Qwen3-VL。官方示例针对大型多 GPU 服务器；请根据您的硬件相应缩减参数：

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

添加 --tensor-parallel-size <N> 以跨 GPU 分片。Qwen 自身的 README 未为 Qwen3-VL 发布 --tool-call-parser 或 --reasoning-parser 参数——在正式环境中依赖结构化工具调用或思考标签解析之前，请查阅 vLLM 多模态服务文档和模型说明文档。

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

添加 --tp <N> 以实现张量并行。参数来源于 Qwen3-VL GitHub README。

功能特性

视觉： 多模态——在同一请求中接受文本、图片和视频，原生支持长文档 OCR、GUI/智能体屏幕理解和空间定位。
长上下文： 原生支持 262,144 个令牌（已在 8B 和 30B-A3B 配置中确认）；Qwen 的模型说明文档描述其可在 vLLM 上通过 YaRN 扩展进一步增大。
推理： 每种规格均提供两种独立版本——Instruct（直接回答）和 Thinking（推理增强，例如 Ollama 上的 qwen3-vl:8b-thinking）。Qwen 官方的部署示例未为 Qwen3-VL 在 vLLM 或 SGLang 上发布专用的推理解析器参数。
工具调用： Hugging Face 上的聊天模板定义了 <tool_call> JSON 格式，Ollama 会自动应用。Qwen 官方的 Qwen3-VL vLLM/SGLang 部署示例中未出现 --tool-call-parser 参数——请在您的运行环境上测试函数调用功能后再正式使用。

通过 Tokios 连接

Qwen3-VL 在本地运行后，配对 Tokios 连接器即可从 Claude Code、Cline 或任何其他兼容客户端通过 https://api.tokios.com 访问它——而不仅仅从 localhost:11434 调用。

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 选项卡，点击 Start pairing 获取一次性配对码（TKS-XXXX-XXXX）。在运行 Ollama 的机器上安装并运行连接器：

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

然后 approve 该设备，可在 Setup 或 Connectors 选项卡上完成。

将连接器指向 Ollama 的 /v1 API

Ollama 在 /v1 处提供兼容 OpenAI 的接口。对于单模型设置，控制台的设置向导会自动将其填入为 http://127.0.0.1:11434/v1。对于多模型场景，需在 tokios-connector.json 中手动设置——详见连接器配置。

注册部署

在 Models 选项卡中，注册模型并选择一个公共部署名称，例如 qwen3-vl-tunnel。客户端在 model 字段中发送的是这个名称——而非 Ollama 的本地模型 ID。

创建 API 密钥

在 Keys 选项卡中，点击 Create key。请立即复制 sk-tok-… 密钥——它仅显示一次。

从任意位置调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

该 model 字段始终使用您注册的部署名称（上例中为 qwen3-vl-tunnel），而非 Ollama 的本地模型 ID。完整的客户端配置流程请参阅使用 Claude Code 和使用 Cline。

注意事项

Qwen3-VL 将 Instruct 和 Thinking 作为独立下载提供，而非单一模型加切换开关——请提前选定所需的标签（qwen3-vl:8b 或 qwen3-vl:8b-thinking）。
Qwen 官方 README 和模型说明文档未为 Qwen3-VL 在 vLLM/SGLang 上发布明确的 --tool-call-parser 或 --reasoning-parser 参数，这与部分其他 Qwen3 版本不同。请在您的运行环境上测试工具调用和思考标签行为后，再在生产环境中依赖它。
其中 30B-A3B MoE 模型需要将其全部参数装入显存，即使每个令牌仅激活 3B 参数——请根据完整下载体积而非活跃参数数量来选择硬件。
其中 32B 和 235B-A22B 变体所需的硬件超出了大多数本地 Tokios 用户的配置。请将它们视为进阶拉取，并在围绕它们做规划之前确认其确切文件、上下文设置和运行时支持。

常见问题

Qwen3-VL 需要多少显存？

其中 8B 密集型模型在默认量化下需要 ~6.1 GB，约 ~18 GB（使用 bf16 精度）。30B-A3B MoE 模型在默认量化下需要 ~20 GB，约 ~62 GB（使用 bf16 精度）。在此基础上还需加上您的上下文长度对应的 KV 缓存——两者均原生支持 262,144 个令牌，但长上下文会成倍增加显存占用。

Qwen3-VL 能在 24 GB 显卡上运行吗？

可以——8B（~6 GB）和 30B-A3B MoE（~20 GB）在默认量化下均可装入 24 GB 显卡（RTX 3090 / 4090）。8B 为长上下文留有充足的余量；30B-A3B 运行舒适，但在极大上下文长度时较为紧张。即使是 16 GB 显卡（RTX 5080 / 4080）也能舒适运行 8B。

Qwen3-VL 是开源的吗？

是的——8B 和 30B-A3B 均以 Apache 2.0 许可协议发布，该协议宽松且无使用政策限制或用户数量门槛。请注意，开放权重与开源并不相同——训练数据和训练流程并未公开。

Thinking 版和 Instruct 版有何区别？

它们作为独立下载提供，而非切换开关。Instruct 版直接给出答案。Thinking 版（例如 qwen3-vl:8b-thinking）具备推理增强能力，会在最终答案前逐步输出推理过程。请提前选定所需的标签——Ollama 的 -thinking 后缀用于选择推理增强版。

Qwen3-VL 支持视频输入吗？

支持——整个 Qwen3-VL 系列可在同一请求中接受文本、图片和视频，原生支持长文档 OCR、GUI/智能体屏幕理解和空间定位。这是它与早期 Qwen2.5-VL 的区别之一。

快速入门

配对连接器并端到端注册您的首个模型。

何种尺寸的模型适合您的 GPU？

在拉取 Qwen3-VL 之前，先将其与您可用的显存进行匹配。

量化与硬件

Qwen3-VL 的 GGUF、bf16 格式中，哪一种可在您的硬件上运行。

哪种本地模型适合哪种任务？

了解 Qwen3-VL 按任务与其他本地视觉模型的对比。

入门

模型

概念

参考

在本地运行 Qwen3-VL 并从任意位置调用它

利用 Ollama 在本地运行

版本类型与标签

量化方式与格式

硬件适配

运行方式——从入门到进阶

功能特性

通过 Tokios 连接

从任意位置调用

注意事项

常见问题

快速入门

何种尺寸的模型适合您的 GPU？

量化与硬件

哪种本地模型适合哪种任务？

​利用 Ollama 在本地运行

​版本类型与标签

​量化方式与格式

​硬件适配

​运行方式——从入门到进阶

​功能特性

​通过 Tokios 连接

​从任意位置调用

​注意事项

​常见问题

快速入门

何种尺寸的模型适合您的 GPU？

量化与硬件

哪种本地模型适合哪种任务？

利用 Ollama 在本地运行

版本类型与标签

量化方式与格式

硬件适配

运行方式——从入门到进阶

功能特性

通过 Tokios 连接

从任意位置调用

注意事项

常见问题