DeepSeek-R1 lokal ausführen: Distills, Hardware-Passung und Setup

​

Lokal mit Ollama ausführen

ollama run deepseek-r1

​

Varianten & Tags

​

Quantisierung & Formate

​

Hardware-Passung

​

Ausführen — Anfänger bis Fortgeschrittene

ollama run deepseek-r1:14b

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --tensor-parallel-size 2 \
  --max-model-len 32768

python3 -m sglang.launch_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --trust-remote-code \
  --tp 2

​

Fähigkeiten

• Reasoning: R1 und jeder Distill geben einen <think>…</think>-Block vor der endgültigen Antwort aus. DeepSeeks eigene Modellkarte empfiehlt eine Temperatur von 0.5–0.7 (0.6 vorgeschlagen), keinen System-Prompt und — für Mathe — das Modell explizit aufzufordern, “reason step by step” und die endgültige Antwort einzukasten.
• Natives Tool-Calling: Auf den Distills nicht zuverlässig. Ollamas Chat-Template für die R1-Distills unterstützt kein Tool/Function-Calling so wie Llama 3.1/3.3 oder Qwen3 — siehe ollama/ollama#8517 (geschlossen, für das Distill-Template ungelöst). Wenn Ihre workload einen Agenten benötigt, der Tools aufruft, wählen Sie ein dafür gebautes Modell — siehe Choose a model by task.
• Kontext: 128K für jeden Distill (1.5b bis 70b); 160K für das vollständige 671b R1 und R1-0528.
• Vision: Keines der Modelle auf dieser Seite ist multimodal — DeepSeek-R1 und seine Distills sind text-only.

​

Über R1 hinaus: V4 Flash 0731 für die aktuelle Frontier

​

Mit Tokios verbinden

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Von überall aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Explain the halting problem."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model deepseek-r1-tunnel

​

Einschränkungen

• Tool-Calling ist auf den R1-Distills unzuverlässig. Wenn Sie einen Agenten, CLI oder IDE-Plugin anschließen, bei dem das Modell Tools aufrufen muss, verwenden Sie stattdessen ein Modell mit bestätigt nativer Tool-Unterstützung — siehe Choose a model by task.
• Das Kontextfenster erhöhen. Ollamas 2048-Token-Standard schneidet R1-artige Reasoning-Ausgabe schnell ab; erhöhen Sie num_ctx für echten Einsatz, bis zu 128K (Distills) oder 160K (vollständiges 671b).
• Ein Distill ist nicht das vollständige Modell. Die 1.5b–70b-Tags sind Qwen/Llama-Checkpoints, die auf R1s Reasoning-Traces fine-getunt wurden — sie reproduzieren das Reasoning-Verhalten auf leichter Hardware, nicht R1s vollständige Fähigkeit. Benchmark-Qualität sinkt mit der Größe; siehe die DeepSeek-R1 model card für die Distill-Evaluierungstabelle.
• Lizenzierung unterscheidet sich nach Distill. Die vollständigen R1/R1-0528-Gewichte und die Qwen-basierten Distills (1.5b, 7b, 14b, 32b) sind MIT. Die Llama-basierten Distills (8b, 70b) tragen stattdessen Metas Llama 3.1/3.3-Lizenz, geerbt von ihrem Basis-Modell — prüfen Sie diese Lizenz vor kommerzieller Nutzung dieser beiden spezifischen Tags.
• 671B benötigt echte Multi-GPU-Hardware — etwa 404 GB bei Q4_K_M allein — kein typisches Single-Workstation-Setup. Der aktuelle V4 Flash 0731-Checkpoint ist kleiner, benötigt aber immer noch etwa 162–167 GB vor KV-Cache und Laufzeit-Overhead; siehe die DeepSeek-Familienübersicht.
• Tokios reicht Tool-Calling-Anfragen direkt an das weiter, was das Upstream-Modell unterstützt — es fügt keine Tool-Calling-Fähigkeit hinzu, die dem zugrunde liegenden Modell fehlt.