Skip to main content
최종 검증일: 2026-07-21
Qwen3.6 is Qwen’s most widely supported open-weight family: a multimodal mixture-of-experts model that reasons by default, handles up to a 1M-token context, and ships with native tool-calling for agentic coding. Its successor, Qwen3.8-27B, shipped in August 2026 under the same Apache-2.0 license and already has community GGUF builds, but no Ollama tag — so Qwen3.6 remains the easiest verified local setup. It comes in two sizes — a 35B-A3B MoE (35B total, 3B active) and a 27B dense model. Run whichever fits your hardware locally, then pair the Tokios connector to call it from any machine, teammate, or hosted agent through https://api.tokios.com — no inbound ports, no VPN.
이미 로컬에서 Qwen3.6을 실행 중이라면 Tokios에 등록하여 https://api.tokios.com 형태로 모든 클라이언트에서 접근할 수 있습니다.
Looking for Qwen 3.5? Qwen3.6 is the generation that replaced it. Alibaba’s dense Qwen3.6-27B outperforms the previous-generation Qwen3.5-397B-A17B MoE on several agentic coding tasks despite being far smaller — so if you were about to pull Qwen3.5, this is the model to run instead.

​
Ollama를 이용해 로컬에서 실행하기

Qwen3.6은 Ollama 라이브러리에 등록되어 있습니다. 기본 태그인 35B-A3B 크기의 MoE 버전을 다운로드해 실행하세요.
더 작은 크기의 일반 모델을 원하신다면 ollama run qwen3.6:27b 명령어를 사용하세요. 전체 태그 목록은 Ollama 라이브러리 페이지에서 확인할 수 있으며, 이 페이지는 모델 연결 방법만 다루고 세부 실행 사항은 다루지 않습니다.
Ollama의 기본 컨텍스트 창 크기는 작습니다(2048개 토큰). 이는 Qwen3.6의 기본 지원 크기인 256K에 비해 현저히 적습니다. 더 많은 컨텍스트를 활용하려면 Modelfile이나 클라이언트 요청에서 num_ctx 값을 상향 조정하세요. 복잡한 작업에서 추론 품질을 유지하려면 최소 128K 크기는 유지하는 것이 권장됩니다.

​
변형 모델 및 태그

아래에 나열된 모든 값은 모델 카드와 Ollama 라이브러리에서 가져온 것입니다. 새로운 양자화 버전이 출시될 때마다 태그와 다운로드 크기가 변경되므로, 특정 버전을 표준으로 정하기 전에 ollama.com/library/qwen3.6에서 최신 정보를 확인하시기 바랍니다. 출처: ollama.com/library/qwen3.6, Qwen/Qwen3.6-35B-A3B 모델 카드, Qwen/Qwen3.6-27B.
The 35B-A3B is a mixture-of-experts model with only 3B active parameters per token, so it decodes about as fast as a 3B model while reasoning like a much larger one — but all 35B parameters still have to fit in memory. Don’t size your GPU off the active-parameter count alone. See how inference works for why.

​
양자화 및 포맷

Ollama’s default tags are GGUF Q4_K_M. The library also publishes -q8_0, -bf16, -nvfp4 (NVIDIA Blackwell), -mxfp8, -mlx (Apple Silicon), and -mtp-* (multi-token-prediction speculative-decoding) variants for both sizes. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names. Gemma와 달리 Qwen은 공식적인 양자화 인식 학습(QAT) 체크포인트를 제공하지 않습니다. 위에 언급된 태그들은 모두 사후 양자화 결과물입니다. 4비트 수준에서 QAT 수준의 품질을 원한다면 Unsloth 같은 도구를 이용해 직접 미세 조정해야 합니다. 이 방법이 유용한 경우는 양자화 인식 학습에서 확인할 수 있습니다.

​
KV 캐시 양자화

The KV cache is the per-token memory a model builds as it reads your prompt and generates a reply — and it grows with every token of context. For a long-context model like Qwen3.6 (262K native, extensible to ~1M), the KV cache can rival or exceed the weight footprint at full context. Quantizing the KV cache is a separate lever from weight quantization that cuts that memory cost roughly in half.

​
FP8 KV 캐시 활성화

On vLLM, add --kv-cache-dtype fp8 to your serve command:
On SGLang, the equivalent flag is --kv-cache-dtype fp8:
Ollama와 LM Studio는 KV 캐시를 내부적으로 관리하며 --kv-cache-dtype 플래그를 제공하지 않습니다. FP8 KV 캐시가 필요하다면 vLLM이나 SGLang을 서빙 백엔드로 사용해야 합니다.

​
얻게 되는 혜택

The practical payoff is longer context on the same hardware. A Qwen3.6 deployment that fits 32K tokens with FP16 KV cache can typically serve 64K or more with FP8 KV cache in the same memory budget — because the cache takes half the space per token. On memory-constrained hardware like a single DGX Spark, that difference can be the gap between a usable long-context deployment and an OOM. For hardware-specific tuning, see DGX Spark model compatibility.
FP8 KV 캐시는 메모리 절감을 위한 품질 저하를 수반하는 방식이므로 무조건적인 이득이라고 볼 수는 없습니다. 대부분의 작업 — 채팅, 요약, 코드 생성 등 — 에서는 2% 품질 저하가 거의 느껴지지 않습니다. 다만 정밀도에 민감한 작업(장문 추론, 수학적 증명 등)을 다룬다면 실제 사용할 프롬프트를 대상으로 FP8 KV 캐시 사용 여부에 따른 성능을 반드시 벤치마킹해보시기 바랍니다.

​
하드웨어 호환성

맥락 길이가 적당한 수준일 때 약 Q4 정도로 사용하는 것이 무난합니다. 모든 수치는 추정치일 뿐이며 실제로는 GGUF 크기에 해당 맥락을 위한 KV 캐시까지 더한 값이 됩니다. GPU에 적합한 모델 크기를 계산하는 방법은 어떤 크기의 모델이 GPU에 적합한가?를 참고하세요.

​
DGX Spark에서 Qwen3.6을 실행할 수 있나요?

Yes, and it is one of the best matches for this family. The dense 27B lands near 14 GB at NVFP4 and the 35B-A3B MoE near 18 GB, against 128 GB of unified memory. Because the weights claim so little of the pool, the rest is available for KV cache — which makes the 262K native context practical here rather than theoretical. 처리 속도 측면에서는 MoE 모델을 추천합니다. 각 토큰마다 활성화되는 파라미터가 단지 3B개뿐이라 전체 크기에 비해 훨씬 빠르게 디코딩됩니다. 튜닝 및 실제 성능에 관해서는 DGX Spark 모델 호환성 문서를 참고하세요.

​
Strix Halo에서 Qwen3.6을 실행할 수 있나요?

네, AMD Strix Halo는 GPU에 최대 96 GB까지 할당할 수 있어 두 모델 모두 긴 컨텍스트 처리에 충분한 메모리를 확보할 수 있습니다. 이 시스템에서 한계 요소는 용량이 아니라 메모리 대역폭입니다. 동일한 가중치를 가진 개별 GPU에 비해 디코딩 속도가 느리며 프롬프트 처리 속도도 더 느립니다. 따라서 활성 파라미터 수가 적은 35B-A3B MoE 모델을 사용하는 것이 유리합니다. ROCm 및 Vulkan 관련 정보는 Strix Halo에서 vLLM 실행하기와 Strix Halo 모델 호환성 문서를 참고하세요.

​
Can a 24 GB GPU run Qwen3.6?

일반형 27B 모델은 가능합니다. 이 모델은 Q4_K_M 크기로 약 17 GB만 필요하며, 나머지 7 GB는 KV 캐시용으로 쓸 수 있어 일반적인 컨텍스트 길이 처리에 무리가 없습니다. 반면 35B-A3B MoE 모델은 약 24 GB가 필요하므로 24 GB 카드에서는 다소 부족합니다. 이 경우 컨텍스트 길이를 줄이거나 32 GB 카드로 교체해야 합니다. On 16 GB, the dense 27B runs only at short context, and the MoE does not fit at Q4. Offloading to system RAM works but costs throughput — see memory and offloading.

​
로컬 환경에서 Qwen3.6을 가장 빠르게 실행하는 방법

For the most tokens per second on modest hardware, reach for the 35B-A3B MoE: only 3B of its 35B parameters are active per token, so it decodes about as fast as a 3B model while reasoning like a much larger one — provided all 35B fit in memory (~24 GB at Q4_K_M). If you specifically want the dense 27B, pull Q4_K_M on Ollama or LM Studio (~17 GB); on Apple Silicon the -mlx tag runs fastest. Raise num_ctx only as far as you actually need — a shorter context leaves more memory for weights and speeds up decode.

​
실행 방법 — 초보자부터 고급 사용자까지

Ollama가 기본 http://127.0.0.1:11434에서 계속 대기하도록 두세요. 더 많은 컨텍스트를 활용하려면 num_ctx 값을 높이면 됩니다.

​
주요 기능들

  • 추론 기능: Qwen3.6은 기본적으로 사고 모드로 작동하여 답변 전에 <think>…</think> 형식의 블록을 출력합니다. 직접적인 답변만 얻고 싶다면 요청 시 "chat_template_kwargs": {"enable_thinking": false}을 사용해 이 기능을 비활성화하세요(또는 Alibaba Cloud Model Studio에서는 "enable_thinking": false을 이용). 또한 대화 과정에서 추론 맥락을 그대로 유지해주는 “사고 내용 보존” 옵션도 제공됩니다.
  • 네이티브 툴 호출 기능: 가능합니다. vLLM/SGLang에서는 --tool-call-parser qwen3_coder을 (--reasoning-parser qwen3와 함께) 설정하면 되고, Ollama는 자동으로 적절한 템플릿을 적용합니다. 에이전트 기반 코딩에 최적화되어 저장소 수준의 추론 및 프론트엔드 워크플로우를 지원합니다.
  • 시각 처리 기능: 멀티모달로서 텍스트, 이미지, 비디오를 모두 처리할 수 있습니다.
  • Long context: 262,144 tokens natively, extensible to ~1M. Keep at least 128K for complex reasoning tasks.

​
Tokios 커넥터와 연동하세요.

Once Qwen3.6 is running locally, pair the Tokios connector so you can reach it as https://api.tokios.com from Claude Code, Cline, or any other compatible client — instead of only from localhost:11434.
1

Tokios 커넥터를 연결하세요.

Sign in at tokios.com/console, open the Setup tab, and click Start pairing to get a one-time claim code (TKS-XXXX-XXXX). Install and run the connector on the machine running Ollama:
Windows
macOS
Linux
그런 다음 approve를 눌러 Setup 또는 Connectors 탭에 있는 기기를 선택하세요.
2

커넥터의 대상으로 Ollama의 /v1 API를 지정하세요.

Ollama는 /v1 주소에서 OpenAI 호환 인터페이스를 제공합니다. 단일 모델 환경에서는 콘솔의 설정 마법사가 http://127.0.0.1:11434/v1 값을 자동으로 입력해줍니다. 여러 모델을 사용할 경우 tokios-connector.json에서 직접 값을 지정해야 하며, 자세한 내용은 커넥터 설정을 참고하세요.
3

배포 환경을 등록하세요.

In the Models tab, register the model and choose a public deployment name, for example qwen3.6-tunnel. This name — not Ollama’s local model id — is what clients send in the model field.
4

API 키를 생성하세요

In the Keys tab, click Create key. Copy the sk-tok-… key now — it’s shown only once.

​
어디서든 이 키를 사용할 수 있습니다

The model field is always your registered deployment name (qwen3.6-tunnel above), never Ollama’s local model id. See Use Claude Code and Use Cline for full client setup.

​
주의사항

  • Qwen3.6은 기본적으로 <think>…</think> 추론 과정을 출력합니다. 하위 클라이언트에서 원본 사고 과정이 그대로 나타나거나 지연 시간을 줄이고 싶다면 위와 같이 추론 기능을 비활성화하세요.
  • 툴 호출 방식은 qwen3_coder 파서를 적용하는 런타임에 따라 달라집니다. Ollama가 이를 자동으로 처리해주지만, vLLM이나 SGLang을 직접 호스팅하는 경우 위 플래그를 설정해야만 툴 호출이 정상 작동합니다.
  • The 35B-A3B MoE needs all 35B parameters in memory even though only 3B are active per token — size your hardware off the full download, not the active count.
같은 등급의 새로운 대안입니다. 에이전트 작업용으로 27B 방식의 모델을 고려 중이라면, Meta에서 출시한 Muse Glimmer 30B도 해당 등급의 세 번째 선택지가 됩니다. 이 역시 밀집형 구조이며 Apache 2.0 라이선스를 따르고 툴 호출 및 다단계 작업 수행에 특화되어 훈련되었습니다. Meta는 이를 Qwen3.6 27B과 직접 비교했으며, 수치상으로는 Muse Glimmer가 우세합니다. 다만 이는 제조사 측 실험 결과일 뿐 아직 독립적인 검증이 이루어지지 않았습니다. Qwen3.6은 더 오랜 기간 사용되어온 검증된 모델이며 다양한 변형도 제공됩니다. 에이전트 워크플로우에 어떤 모델을 채택할지 결정하기 전에 두 모델을 모두 테스트해보시기 바랍니다.

빠른 시작 가이드

커넥터를 연결한 뒤 첫 번째 모델을 전체 과정에 걸쳐 등록해보세요.

어떤 크기의 모델이 귀하의 GPU에 적합할까요?

다운로드하기 전에 사용 가능한 VRAM 용량에 맞춰 Qwen3.6 버전을 선택하세요.

양자화 및 하드웨어 관련 정보

Qwen3.6의 어떤 형식, 즉 GGUF, NVFP4, MLX 중에서 귀하의 하드웨어에서 실행 가능한 것이 있을까요?

어떤 작업에 어떤 로컬 모델을 사용해야 할까요?

각 작업별로 Qwen3.6이 다른 로컬 모델들과 어떻게 비교되는지 살펴보세요.