Qwen3-VL을 로컬에서 실행하고 어디서든 사용해보세요

​

Ollama를 이용해 로컬에서 실행하기

ollama run qwen3-vl

​

변형 모델 및 태그

​

양자화 및 포맷

​

하드웨어 호환성

​

실행해보기 — 초보자부터 고급 사용자까지

ollama run qwen3-vl

vllm serve Qwen/Qwen3-VL-8B-Instruct \
  --max-model-len 262144 \
  --media-io-kwargs '{"video": {"num_frames": -1}}'

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-VL-8B-Instruct \
  --host 0.0.0.0 \
  --port 22002

​

주요 기능

• 시각 처리: 멀티모달 기능으로, 하나의 요청 내에 텍스트·이미지·동영상을 모두 입력할 수 있습니다. 또한 장문 문서의 OCR 처리, GUI 및 에이전트 기반 화면 이해, 공간 위치 인식 기능도 기본적으로 제공됩니다.
• 긴 컨텍스트 처리: 262,144개 토큰까지 기본적으로 지원되며 (8B 및 30B-A3B 설정에서 확인됨), Qwen 모델 설명서에 따르면 vLLM에서 YaRN 스케일링 기능을 활용해 더 확장할 수 있습니다.
• 추론 기능: 모델 크기에 따라 Instruct(직접적인 답변 제공)와 Thinking(추론 능력 강화형, 예: Ollama에서의 qwen3-vl:8b-thinking) 두 가지 버전으로 제공됩니다. 다만 Qwen에서 공개한 vLLM/SGLang 배포 예시에서는 Qwen3-VL용 추론 파서 플래그가 명시되어 있지 않습니다.
• 툴 호출: Hugging Face에 있는 채팅 템플릿에서는 <tool_call>이라는 JSON 형식을 정의하고 있으며, Ollama가 이를 자동으로 적용합니다. Qwen3-VL용으로 제공되는 Qwen 공식 vLLM/SGLang 배포 예시들에서는 --tool-call-parser 플래그가 나타나지 않습니다. 따라서 실제 서비스에 적용하기 전에 사용 중인 런타임 환경에서 함수 호출 기능을 꼭 테스트해보시기 바랍니다.

​

Tokios 커넥터와 연동하기

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

어디서든 해당 모델을 호출할 수 있습니다

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-vl-tunnel",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is in this image?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
      }
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-vl-tunnel

​

주의사항

• Qwen3-VL은 토글 기능 없이 Instruct와 Thinking 기능이 각각 별도의 파일로 제공됩니다. 따라서 필요한 기능에 해당하는 qwen3-vl:8b 또는 qwen3-vl:8b-thinking 태그를 미리 선택해야 합니다.
• Qwen의 공식 README 및 모델 카드에서는 다른 Qwen3 릴리스와 달리 vLLM/SGLang용 Qwen3-VL에 대한 명시적 --tool-call-parser 또는 --reasoning-parser 플래그를 제공하고 있지 않습니다. 실제 서비스에 적용하기 전에 사용 중인 런타임 환경에서 툴 호출 및 Thinking 태그 동작을 반드시 테스트하시기 바랍니다.
• MoE 모델인 30B-A3B는 전체 파라미터를 모두 메모리에 로드해야 합니다. 토큰당 3B만 활성화되더라도 하드웨어 사양은 전체 다운로드 크기를 기준으로 결정하세요.
• 대형 모델인 32B 및 235B-A22B 변형은 대부분의 로컬 Tokios 사용자가 보유한 것보다 많은 하드웨어가 필요합니다. 고급용으로 간주하고, 정확한 파일, 컨텍스트 설정, 런타임 지원을 확인한 뒤 계획하세요.

​

FAQ