Run DeepSeek-R1 locally: distills, hardware fit, and setup

DeepSeek-R1은 DeepSeek이 이전에 출시한 추론 모델 계열입니다. 대부분의 사용자들이 로컬에서 이 모델을 실행하는 방식은 디스틸 버전을 활용하는 것입니다. 이는 R1의 추론 데이터를 기반으로 미세조정된 크기가 더 작은 Qwen 또는 Llama 모델이므로 노트북급 GPU에서도 원활히 작동합니다. 하드웨어 사양이 제한적인 환경에서 사용하려면 이 페이지를 참고하시기 바랍니다. 현재 DeepSeek이 공개한 모델, 코딩 에이전트 개선 사항, 도구 호출 기능 및 1M 컨텍스트 처리에 관해서는 DeepSeek-V4-Flash-0731 페이지를 참조하십시오. Tokios를 함께 활용하면 어떤 기기나 팀원, 호스팅된 에이전트에서도 https://api.tokios.com을 통해 해당 모델에 접근할 수 있으며 인바운드 포트나 VPN 설정도 필요하지 않습니다.

Ollama를 이용해 로컬에서 실행하기

Ollama에 제공되는 deepseek-r1 태그는 전체 모델이 아닌 디스틸 버전을 포함합니다. 기본값인 7b Qwen 디스틸 버전을 다운로드하여 실행해 보세요.

ollama run deepseek-r1

원하는 크기의 모델을 지정하려면 해당 태그명을 직접 입력하면 됩니다. 예를 들어 ollama run deepseek-r1:14b과 같이요. 전체 태그 목록은 Ollama 라이브러리 페이지에서 확인할 수 있습니다.

Ollama의 기본 컨텍스트 창 크기는 2048 토큰으로, 해당 모델들이 지원하는 크기보다 훨씬 작습니다. 또한 R1 스타일의 추론 과정에서는 답변을 도출하는 동안 컨텍스트가 빠르게 소진됩니다. 따라서 아래 표에 명시된 컨텍스트 크기에 맞춰 num_ctx 값을 높여주시기 바랍니다. 이때 CLI에서 /set parameter num_ctx <value> 명령어를 사용하거나 Modelfile 또는 API 요청을 통해 설정할 수 있습니다.

변형 모델 및 태그

아래에 제시된 모든 정보는 Ollama 라이브러리와 각 모델의 Hugging Face 설정값을 기반으로 합니다. 새로운 양자화 방식이 도입될 때마다 태그, 크기, 기본값이 변경될 수 있으므로 표준화를 결정하기 전에 반드시 ollama.com/library/deepseek-r1 페이지를 확인하시기 바랍니다.

디스틸 버전	기본 모델	Ollama 태그 (`Q4_K_M`)	다운로드 크기	설명
1.5B	Qwen2.5-Math-1.5B	`deepseek-r1:1.5b`	약 1.1 GB	128K
7B	Qwen2.5-Math-7B	`deepseek-r1:7b` (기본값)	약 4.7 GB	128K
8B	Llama-3.1-8B	`deepseek-r1:8b`	약 4.9 GB	128K
8B (0528, Qwen3 기반)	Qwen3-8B	`deepseek-r1:8b-0528-qwen3-q4_K_M`	약 5.2 GB	128K
14B	Qwen2.5-14B	`deepseek-r1:14b`	약 9.0 GB	128K
32B	Qwen2.5-32B	`deepseek-r1:32b`	약 20 GB	128K
70B	Llama-3.3-70B-Instruct	`deepseek-r1:70b`	약 43 GB	128K
671B (전체 R1 버전)	—	`deepseek-r1:671b`	약 404 GB	160K
671B (R1-0528, 전체 버전)	—	`deepseek-r1:671b-0528-q4_K_M`	약 404 GB	160K

출처: ollama.com/library/deepseek-r1/tags, deepseek-ai/DeepSeek-R1 README.

The 671b tags are the full DeepSeek-R1 (and R1-0528), not distills — Ollama just publishes them under the same deepseek-r1 name. Everything from 1.5b through 70b is a distill: a Qwen or Llama model fine-tuned on R1’s reasoning traces, not R1 itself shrunk down. See how inference works for what that distinction means for output quality.

양자화 및 포맷

Ollama’s default tags are GGUF Q4_K_M. Every distill size and the full 671b also publish -q8_0 and -fp16 tags on the library page for less lossy (and much larger) downloads. See Quantization formats and the hardware they need for what runs on your GPU, and what quantization is for how to read the Q4_K_M-style names.

하드웨어 호환성

적당한 컨텍스트 길이를 처리할 때 대략 Q4 수준의 부담도를 보입니다. 모든 수치는 추정치일 뿐이며 실제 수치는 사용 중인 GGUF 크기에 컨텍스트에 필요한 KV 캐시 크기가 더해진 값입니다. 본인의 GPU에 적합한 모델 크기를 계산하려면 GPU에 적합한 모델 크기는?을 참고하시기 바랍니다.

대상 모델	1.5B–8B (약 1–5 GB)	14B (약 9 GB)	32B (약 20 GB)	70B (약 43 GB)	671B (약 404 GB)
노트북 / 8 GB 용량의 GPU	편안함	꽉 끼임	맞지 않음	맞지 않음	맞지 않음
RTX 3090 / 4090 (24 기가바이트)	편안함	편안함	편안함	맞지 않음	맞지 않음
RTX 5090 (32 기가바이트)	편안함	편안함	편안함, 더 긴 컨텍스트 지원	장착 불가	장착 불가
RTX 6000 Ada / A6000 (48 기가바이트)	편안함	편안함	편안함, 긴 컨텍스트 지원	다소 빡빡함, 짧은 컨텍스트 지원	장착 불가
Apple Silicon / Strix Halo (96–128 기가바이트 통합 메모리)	적합함	적합함	적합함	적합함	사용 불가능
멀티 GPU 서버 (8 × 80 GB급)	적합함	적합함	적합함	적합함	Comfortable at `Q4`

The full 671b needs roughly 404 GB just for weights at Q4_K_M — that’s multiple datacenter-class GPUs or an equivalent unified-memory cluster, not a single workstation. Everything 70b and under is realistic on the hardware hobbyists actually own.

실행해보세요 — 초보자부터 고급 사용자까지

Ollama (가장 간편함)
LM Studio (GUI 방식)
vLLM (고급 사용자용)
SGLang (고급 사용자용)

ollama run deepseek-r1:14b

기본 설정대로 Ollama가 http://127.0.0.1:11434에서 대기하도록 두세요. 더 많은 모델 컨텍스트 영역을 활용하려면 num_ctx 값을 높이면 됩니다.

LM Studio의 모델 카탈로그에서 DeepSeek R1를 검색한 뒤, 본인의 VRAM 용량에 맞는 크기의 모델을 선택하세요 (14b 또는 32b 크기부터 시작하는 것이 좋으며, 크기는 Q4_K_M 기준입니다). 이후 LM Studio의 로컬 서버를 실행하면 http://127.0.0.1:1234/v1에서 OpenAI 호환 API가 제공됩니다.

경량화된 모델을 사용할 경우:

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --tensor-parallel-size 2 \
  --max-model-len 32768

전체 모델을 사용하려면 약 404 GB (Q4) 이상의 용량을 갖춘 GPU 여러 개가 필요하며, 더 높은 정밀도를 원한다면 그 이상의 용량이 필요합니다. 관련 설정값은 모델 카탈로그의 vLLM 섹션을 참고하세요.

python3 -m sglang.launch_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --trust-remote-code \
  --tp 2

업스트림 모델 ID를 deepseek-ai/DeepSeek-R1로 변경하고 --tp 값을 높이면 전체 모델을 실행할 수 있습니다. 설정값은 모델 카탈로그의 SGLang 섹션을 참고하세요.

주요 기능

추론 기능: R1 및 모든 경량화 모델은 최종 답변 전에 <think>…</think> 형식의 블록을 출력합니다. DeepSeek 공식 문서에서는 온도값으로 0.5–0.7을 권장하며 (0.6도 적절한 값입니다), 시스템 프롬프트는 사용하지 말 것을 권합니다. 수학 문제의 경우 모델에게 “단계별로 추론하라”고 명시하고 최종 답변을 박스 형태로 표시하도록 요청하는 것이 좋습니다.
네이티브 툴 호출 기능: 디스틸 모델에서는 신뢰도가 낮습니다. Ollama의 R1 디스틸용 채팅 템플릿은 Llama 3.1/3.3 또는 Qwen3처럼 툴/함수 호출을 지원하지 않습니다. 자세한 내용은 ollama/ollama#8517을 참고하세요(디스틸 템플릿 관련 문제는 아직 해결되지 않았습니다). 툴 호출이 필요한 에이전트를 구축하려면 이에 적합한 모델을 선택하시기 바랍니다. 작업별 모델 선택도 참고해주세요.
Context: 128K for every distill (1.5b through 70b); 160K for the full 671b R1 and R1-0528.
시각 기능: 이 페이지에 소개된 모델 중 멀티모달 기능을 갖춘 모델은 없습니다. DeepSeek-R1과 그 디스틸 모델들은 텍스트 전용 모델입니다.

R1 이상의 모델을 사용할 경우 현재 최신 기술 수준에 맞춰 V4 Flash 0731을 활용하시기 바랍니다.

R1 is a reasoning-tuned checkpoint built on DeepSeek’s V3 architecture. The current official release is deepseek-ai/DeepSeek-V4-Flash-0731, which supersedes the V4 Flash preview. It is open-weight and MIT-licensed, but it needs a multi-device server rather than a typical single workstation. The DeepSeek family overview covers its 284B-target / 13B-active architecture, bundled DSpark head, tool calling, 1M context, and local hardware paths.

Tokios 커넥터를 연결해주세요.

DeepSeek 모델이 로컬에서 실행되면 Tokios 커넥터를 연결하여 Claude Code, Cline 또는 기타 호환되는 클라이언트에서도 https://api.tokios.com을 통해 해당 모델에 접근할 수 있도록 설정하세요. 이렇게 하면 localhost:11434에서만 접근 가능했던 제한이 사라집니다.

Tokios 커넥터를 연동하세요.

Sign in at tokios.com/console, open the Setup tab, and click Start pairing to get a one-time claim code (TKS-XXXX-XXXX). Install and run the connector on the machine running Ollama:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

그런 다음 approve에서 Setup 또는 Connectors 탭에 있는 기기를 선택하세요.

커넥터를 Ollama의 /v1 API에 연결하세요.

Ollama는 /v1에서 OpenAI 호환 인터페이스를 제공합니다. 단일 모델 환경에서는 콘솔의 설정 마법사가 http://127.0.0.1:11434/v1 값을 자동으로 입력해줍니다. 여러 모델을 사용할 경우 tokios-connector.json에서 직접 설정해야 합니다. 자세한 내용은 커넥터 설정을 참고하세요.

배포를 등록하세요

In the Models tab, register the model and choose a public deployment name, for example deepseek-r1-tunnel. This name — not Ollama’s local model id — is what clients send in the model field.

API 키를 생성하세요

In the Keys tab, click Create key. Copy the sk-tok-… key now — it’s shown only once.

어디서든 이를 호출할 수 있습니다

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Explain the halting problem."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model deepseek-r1-tunnel

The model field is always your registered deployment name (deepseek-r1-tunnel above), never Ollama’s local model id. Tokios turns whatever’s running on localhost into a stable, authenticated endpoint — it doesn’t change what the model can do. See Use Claude Code and Use Cline for full client setup.

주의사항

R1 기반의 경량 모델에서는 도구 호출 기능이 신뢰도가 낮습니다. 에이전트나 CLI, IDE 플러그인 등에서 모델이 외부 도구를 호출해야 한다면 기본적으로 도구 호출이 지원되는 모델을 선택하시기 바랍니다. 자세한 내용은 작업별 모델 선택 가이드를 참고하세요.
컨텍스트 윈도우 크기를 늘리세요. Ollama의 기본 설정값인 2048 토큰만으로는 R1 스타일의 추론 결과가 빠르게 잘려나가게 됩니다. 실제 사용을 위해서는 num_ctx 값을 늘려주어야 하며, 최대 128K까지 설정 가능합니다(디스틸 버전). 혹은 160K으로 설정하면 완전한 671b 모델을 활용할 수 있습니다.
A distill is not the full model. The 1.5b–70b tags are Qwen/Llama checkpoints fine-tuned on R1’s reasoning traces — they reproduce the reasoning behavior on light hardware, not R1’s full capability. Benchmark quality drops as size drops; see the DeepSeek-R1 model card for the distill evaluation table.
경량 모델마다 라이선스가 다릅니다. R1/R1-0528 본체 모델과 Qwen 기반 경량 모델들(1.5b, 7b, 14b, 32b)은 MIT 라이선스가 적용됩니다. 반면 Llama 기반 경량 모델들(8b, 70b)은 기반 모델에서 물려받은 Meta의 Llama 3.1/3.3 라이선스가 적용되므로 상업적 이용 전에 반드시 해당 라이선스를 확인하시기 바랍니다.
671B을 사용하려면 실제 멀티 GPU 하드웨어가 필요합니다. 단독으로도 약 404 GB 용량의 Q4_K_M 메모리가 요구되므로 일반적인 단일 워크스테이션 환경으로는 부족합니다. 현재 사용 가능한 V4 Flash 0731 체크포인트는 크기가 더 작지만, KV 캐시 및 런타임 오버헤드를 고려하면 여전히 약 162–167 GB 정도의 메모리가 필요합니다. 자세한 내용은 DeepSeek 제품군 개요를 참고해 주세요.
Tokios는 툴 호출 요청을 업스트림 모델이 지원하는 방식 그대로 전달합니다. 즉, 기본 모델에 없는 툴 호출 기능을 추가하지는 않습니다.

딥시크 제품군 개요

R1과 V3.x, 그리고 V4 프론티어의 차이점 — 귀하의 하드웨어에 적합한 등급은 무엇인가요?

작업별로 적합한 모델을 선택하세요

에이전트를 개발하려면 툴 호출 기능이 안정적으로 작동하는 모델을 고르는 것이 좋습니다.

사용 중인 GPU에 맞는 모델을 선택하세요

태그를 고르기 전에 다양한 압축 크기에 따른 VRAM 등급을 비교해보세요.

양자화 기법과 하드웨어의 관계

어떤 포맷들 — GGUF, FP16 및 기타 포맷들 —이 귀하의 하드웨어에서 실행 가능한지 알아보세요.

시작하기

모델

개념

참고

Run DeepSeek-R1 locally: distills, hardware fit, and setup

Ollama를 이용해 로컬에서 실행하기

변형 모델 및 태그

양자화 및 포맷

하드웨어 호환성

실행해보세요 — 초보자부터 고급 사용자까지

주요 기능

R1 이상의 모델을 사용할 경우 현재 최신 기술 수준에 맞춰 V4 Flash 0731을 활용하시기 바랍니다.

Tokios 커넥터를 연결해주세요.

어디서든 이를 호출할 수 있습니다

주의사항

딥시크 제품군 개요

작업별로 적합한 모델을 선택하세요

사용 중인 GPU에 맞는 모델을 선택하세요

양자화 기법과 하드웨어의 관계

​Ollama를 이용해 로컬에서 실행하기

​변형 모델 및 태그

​양자화 및 포맷

​하드웨어 호환성

​실행해보세요 — 초보자부터 고급 사용자까지

​주요 기능

​R1 이상의 모델을 사용할 경우 현재 최신 기술 수준에 맞춰 V4 Flash 0731을 활용하시기 바랍니다.

​Tokios 커넥터를 연결해주세요.

​어디서든 이를 호출할 수 있습니다

​주의사항

딥시크 제품군 개요

작업별로 적합한 모델을 선택하세요

사용 중인 GPU에 맞는 모델을 선택하세요

양자화 기법과 하드웨어의 관계

Ollama를 이용해 로컬에서 실행하기

변형 모델 및 태그

양자화 및 포맷

하드웨어 호환성

실행해보세요 — 초보자부터 고급 사용자까지

주요 기능

R1 이상의 모델을 사용할 경우 현재 최신 기술 수준에 맞춰 V4 Flash 0731을 활용하시기 바랍니다.

Tokios 커넥터를 연결해주세요.

어디서든 이를 호출할 수 있습니다

주의사항