Qwen3-VL을 로컬에서 실행하고 어디서든 사용해보세요

​

Ollama를 이용해 로컬에서 실행하기

ollama run qwen3-vl

​

변형 모델 및 태그

​

양자화 및 포맷

​

하드웨어 호환성

​

실행해보기 — 초보자부터 고급 사용자까지

ollama run qwen3-vl

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

​

주요 기능

• 시각 처리: 멀티모달 기능으로, 하나의 요청 내에 텍스트·이미지·동영상을 모두 입력할 수 있습니다. 또한 장문 문서의 OCR 처리, GUI 및 에이전트 기반 화면 이해, 공간 위치 인식 기능도 기본적으로 제공됩니다.
• 긴 컨텍스트 처리: 262,144개 토큰까지 기본적으로 지원되며 (8B 및 30B-A3B 설정에서 확인됨), Qwen 모델 설명서에 따르면 vLLM에서 YaRN 스케일링 기능을 활용해 더 확장할 수 있습니다.
• 추론 기능: 모델 크기에 따라 Instruct(직접적인 답변 제공)와 Thinking(추론 능력 강화형, 예: Ollama에서의 qwen3-vl:8b-thinking) 두 가지 버전으로 제공됩니다. 다만 Qwen에서 공개한 vLLM/SGLang 배포 예시에서는 Qwen3-VL용 추론 파서 플래그가 명시되어 있지 않습니다.
• 툴 호출: Hugging Face에 있는 채팅 템플릿에서는 <tool_call>이라는 JSON 형식을 정의하고 있으며, Ollama가 이를 자동으로 적용합니다. Qwen3-VL용으로 제공되는 Qwen 공식 vLLM/SGLang 배포 예시들에서는 --tool-call-parser 플래그가 나타나지 않습니다. 따라서 실제 서비스에 적용하기 전에 사용 중인 런타임 환경에서 함수 호출 기능을 꼭 테스트해보시기 바랍니다.

​

Tokios 커넥터와 연동하기

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

어디서든 해당 모델을 호출할 수 있습니다

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

​

주의사항

• Qwen3-VL은 토글 기능 없이 Instruct와 Thinking 기능이 각각 별도의 파일로 제공됩니다. 따라서 필요한 기능에 해당하는 qwen3-vl:8b 또는 qwen3-vl:8b-thinking 태그를 미리 선택해야 합니다.
• Qwen’s official README and model cards don’t publish explicit --tool-call-parser or --reasoning-parser flags for Qwen3-VL on vLLM/SGLang, unlike some other Qwen3 releases. Test tool-calling and thinking-tag behavior on your runtime before relying on it in production.
• The 30B-A3B MoE model needs all of its total parameters in memory even though only 3B are active per token — size your hardware off the full download, not the active count.
• The 32B and 235B-A22B variants need more hardware than most local Tokios users will have. Treat them as advanced pulls and confirm their exact files, context settings, and runtime support before planning around them.