Zum Hauptinhalt springen
Wählen Sie nach Auswahlkriterien, nicht nach dem Namen, der diese Woche trendet: native Tool-Aufrufe-Unterstützung, wenn Sie einen Agenten betreiben, Kontextfenster gegenüber Ihrem VRAM-Budget, Lizenz und wie gut das Modell Anweisungen folgt. Für DeepSeek ist der aktuelle Checkpoint, den Sie evaluieren sollten, deepseek-ai/DeepSeek-V4-Flash-0731; verwenden Sie R1-Destillate nur, wenn Ihre Hardware den V4-Gewichtungsboden nicht tragen kann.
Spezifische Modellnamen und Versionsnummern veralten schnell — ein Modell, das in diesem Quartal State-of-the-Art ist, kann innerhalb von Monaten abgelöst werden. Betrachten Sie die Tabellen unten als Ausgangspunkt für Familien und Kriterien, folgen Sie den Quell-Links und prüfen Sie den aktuellen besten Release in jeder Familie erneut, bevor Sie Hardware dafür festlegen.

​
Die Aufgabe einer Familie zuordnen

Tokios bietet heute keine Embeddings auf dem Gateway an — die API-Oberfläche deckt nur Chat- und Messages-Endpunkte ab. Die Embeddings-Zeile oben dient dazu, ein Modell auszuwählen, das Sie lokal mit Ihrem Backend direkt ausführen, nicht durch ein Tokios-Deployment.
Für den DeepSeek-V4-Flash-0731-Checkpoint beginnen Sie mit dem Local-Hardware-Guide. Seine 1M-Token-Spezifikation bedeutet nicht, dass jede lokale Konfiguration genügend KV-Cache-Kapazität für diese Kontextlänge hat.

​
Ein Modell speziell für Agenten wählen

Coding-Agenten und andere Tool-nutzende Clients sind wählerischer als eine Chat-UI. Verwenden Sie drei Kriterien:
  1. Natives Tool/Function-Calling. Agenten-Schleifen hängen davon ab, dass das Modell strukturierte Tool-Aufrufe zurückgibt, die der Client parsen kann. DeepSeek-V4-Flash-0731 ist die aktuelle DeepSeek-Option für diese workload. Validieren Sie es mit der genauen Serving-Laufzeit, Reasoning-Effort und Chat-Codierung, die Sie verwenden werden.
  2. Kontextfenster von mindestens 32–64K, idealerweise 128K oder mehr. Agenten sammeln über Turns hinweg Dateiinhalte, Diffs und Tool-Ausgaben an, sodass ein kurzer Kontext sich schnell füllt. Budgetieren Sie VRAM für den KV-Cache bei Ihrer Zielkontextlänge zusätzlich zu den Modellgewichten — siehe Fit a model to your GPU or unified memory.
  3. Instruction-Following, Structured Output und eine permissive Lizenz. Apache-2.0-Familien wie Qwen3 und gpt-oss sind einfacher ohne Lizenzreibung zu übernehmen.
Clients wie Roo Code erfordern zwingend natives Tool-Calling. Wenn das zugrunde liegende Modell es nicht unterstützt, kann der Client seine Antworten nicht in Aktionen parsen und wird stattdessen denselben Schritt wiederholen, anstatt Fortschritt zu machen — dies ist eine Modell-Einschränkung, kein Tokios- oder Connector-Problem.

​
An Ihre Hardware anpassen

Die richtige Familie zu wählen ist nur die halbe Entscheidung — das Modell muss auch in den VRAM oder Unified Memory passen, den Sie tatsächlich haben, bei der Kontextlänge, die Sie benötigen. Siehe Fit a model to your GPU or unified memory für Größenschätzungen nach Parameteranzahl und Quantisierung. Für die Workflow-, Backend- und Benennungsseite der Entscheidung — welches Backend auszuführen und wie das Deployment zu nennen, sobald Sie es registriert haben — siehe Choose a local model and backend.

​
Sobald Sie eines gewählt haben

Tokios wählt das Modell nicht für Sie; es gibt dem, was Sie betreiben, einen stabilen Deployment-Endpunkt, den Sie von überall aufrufen können.

Ihr Deployment registrieren

Machen Sie Ihr gewähltes Modell zu einem Tokios-Deployment mit einem öffentlichen Namen und API-Schlüssel.

Kandidaten vergleichen

Testen Sie zwei oder mehr Deployments nebeneinander, bevor Sie sich für eines entscheiden.