Skip to main content
Treffen Sie Ihre Auswahl anhand von Auswahlkriterien, nicht nach dem aktuell populärsten Modellnamen: etwa native Unterstützung für Werkzeugaufrufe bei Agenten, die Größe des Kontextfensters im Verhältnis zu Ihrem VRAM-Budget, die Lizenzbedingungen sowie die Fähigkeit des Modells, Anweisungen korrekt umzusetzen. Für DeepSeek ist derzeit das Modell deepseek-ai/DeepSeek-V4-Flash-0731 zu prüfen; nutzen Sie R1 Distill nur, falls Ihre Hardware die Mindestanforderungen an die V4-Gewichte nicht erfüllt.
Modellnamen sowie Versionsnummern veralten rasch – ein Modell, das in diesem Quartal als führend gilt, kann schon in wenigen Monaten durch ein besseres ersetzt werden. Betrachten Sie die nachfolgenden Tabellen lediglich als Ausgangspunkt für Modellfamilien und Auswahlkriterien; prüfen Sie stets die Quellen und aktuellen Best-Releases innerhalb jeder Familie, bevor Sie Hardware dafür anschaffen.

​
Zuordnung der Aufgabe zu einer Modellfamilie

Derzeit stellt Tokios keine Embeddings über das Gateway bereit; die API umfasst lediglich Endpunkte für Chats und Nachrichten. Die oben genannte Zeile zu Embeddings dient dazu, ein Modell auszuwählen, das Sie lokal mit Ihrem Backend nutzen können – nicht im Rahmen einer Tokios-Deployment.
Für das DeepSeek-V4-Flash-0731-Checkpoint sollten Sie zunächst den Leitfaden für lokale Hardware konsultieren. Die Angabe von 1M Token bedeutet nicht, dass jede lokale Konfiguration ausreichend KV-Cache-Kapazität für diese Kontextlänge bietet.

​
Auswahl eines Modells speziell für Agenten

Codierungsagenten sowie andere Clients, die Werkzeuge nutzen, stellen höhere Anforderungen als eine gewöhnliche Chat-Oberfläche. Beachten Sie dabei drei Kriterien:
  1. Native Unterstützung für Werkzeug- und Funktionsaufrufe. Agentenzyklen erfordern, dass das Modell strukturierte Werkzeugaufrufe generiert, die der Client verarbeiten kann. DeepSeek-V4-Flash-0731 ist derzeit die geeignete DeepSeek-Option für solche Aufgaben. Testen Sie es mit dem genauen Server-Runtime, dem gewünschten Reasoning-Aufwand sowie der passenden Chat-Kodierung.
  2. Ein Kontextfenster von mindestens 32 bis 64K, idealerweise 128K oder mehr. Agenten sammeln im Laufe der Zeit Dateiinhalte, Diffs sowie Werkzeugausgaben; daher füllt sich ein kleines Kontextfenster rasch. Planen Sie ausreichend VRAM für den KV-Cache bei der gewünschten Kontextlänge ein – siehe dazu Anpassung eines Modells an Ihre GPU oder Unified Memory.
  3. Gute Anweisungsverarbeitung, strukturierte Ausgaben sowie eine großzügige Lizenz. Modelle aus der Apache-2.0-Familie wie Qwen3 und gpt-oss lassen sich ohne rechtliche Hürden leichter integrieren.
Clients wie Roo Code verlangen zwingend native Werkzeugaufrufe. Fehlt diese Unterstützung beim zugrunde liegenden Modell, kann der Client die Antworten nicht in Aktionen umwandeln und wiederholt stattdessen denselben Schritt – dies ist eine Einschränkung des Modells, nicht ein Problem bei Tokios oder dem Connector.

​
Anpassung an Ihre Hardware

Die Wahl der Modellfamilie ist nur die halbe Miete; das Modell muss zudem in den vorhandenen VRAM oder das Unified Memory passen – und zwar bei der benötigten Kontextlänge. Für Schätzungen zur Größe anhand von Parameteranzahl und Quantisierung siehe Anpassung eines Modells an Ihre GPU oder Unified Memory. Hinsichtlich Workflow, Backend und Namensgebung – also welches Backend Sie nutzen und wie Sie die Deployment benennen – lesen Sie bitte Wahl eines lokalen Modells und Backends.

​
Sobald Sie sich für ein Modell entschieden haben

Tokios wählt das Modell nicht für Sie aus; es stellt lediglich einen stabilen Deployment-Endpunkt bereit, den Sie von überall aus aufrufen können.

Registrieren Sie Ihre Deployment

Wandeln Sie das von Ihnen ausgewählte Modell in eine Tokios-Deployment um, die einen öffentlichen Namen sowie einen API-Schlüssel erhält.

Kandidaten vergleichen

Führen Sie vor der endgültigen Entscheidung einen Benchmark von zwei oder mehr Deployments im direkten Vergleich durch.