model-Wert ändern.
Wählen Sie die API-Struktur
Verwenden Sie Ihren Tokios-API-Schlüssel als Client-API-Schlüssel. Verwenden Sie den registrierten Deployment-Namen als Client-Modellnamen.
Empfohlener Einrichtungsweg
1
Beginnen Sie mit einem bekannten, funktionierenden Backend
Führen Sie zunächst ein lokales Backend aus, z. B. Ollama, llama.cpp, vLLM oder LM Studio. Stellen Sie sicher, dass es einen OpenAI-kompatiblen
/v1/chat/completions-Endpunkt bereitstellt, bevor Sie den Coding-Agenten hinzufügen.2
Registrieren Sie ein Deployment
Geben Sie dem Deployment einen kurzen, stabilen Namen wie
qwen-coder-local oder gemma-tunnel. Dies ist der Wert, den der Coding-Agent im model-Feld sendet.3
Konfigurieren Sie den Agenten
Legen Sie die Basis-URL für die vom Agenten verwendete API-Struktur fest. Clients im OpenAI-Stil verwenden in der Regel
https://api.tokios.com/v1; Clients im Anthropic-Stil verwenden https://api.tokios.com.4
Führen Sie zunächst eine kleine Aufgabe aus
Bitten Sie den Agenten, eine kleine Datei zu erklären oder eine geringfügige Änderung vorzunehmen, bevor Sie eine größere Refaktorierung anstoßen. Dies bestätigt die Routing-, Streaming- und Modellfunktionen.
Vergleichskriterien
Wenn Sie Coding-Agents mit lokalen Modellen testen, vergleichen Sie den gesamten Arbeitsablauf und nicht nur die reine Modellgeschwindigkeit.Ein schnelleres Modell ist nicht immer das bessere Coding-Modell. Für Agenten-Arbeitsabläufe sind die Befolgung von Anweisungen und das Verständnis des Repositorys genauso wichtig wie die Generierungsgeschwindigkeit.
Nächste Schritte
Claude Code verwenden
Konfigurieren Sie
ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY.OpenAI Codex verwenden
Fügen Sie Tokios als Codex-Modellanbieter in
config.toml hinzu.Ihr Deployment benchmarken
Vergleichen Sie Latenz, Streaming und Aufgabenverhalten über verschiedene Deployments hinweg.
Mehrere Modelle routen
Behalten Sie einen Endpunkt bei und wechseln Sie Modelle mit dem
model-Feld.