model-Wert änderst.
Das API-Format wählen
Verwende deinen Tokios API-Schlüssel als Client-API-Schlüssel. Verwende den registrierten Deployment-Namen als Client-Modellname.
Empfohlener Einrichtungspfad
1
Beginne mit einem funktionierenden Backend
Starte zunächst ein lokales Backend, z. B. Ollama, llama.cpp, vLLM oder LM Studio. Bestätige, dass es einen OpenAI-kompatiblen
/v1/chat/completions-Endpunkt bereitstellt, bevor du den Coding-Agenten hinzufügst.2
Registriere ein Deployment
Gib dem Deployment einen kurzen, stabilen Namen wie
qwen-coder-local oder gemma-tunnel. Dies ist der Wert, den der Coding-Agent im model-Feld sendet.3
Konfiguriere den Agenten
Setze die Basis-URL für das API-Format, das der Agent verwendet. Clients im OpenAI-Stil verwenden üblicherweise
https://api.tokios.com/v1; Clients im Anthropic-Stil verwenden https://api.tokios.com.4
Starte zuerst mit einer kleinen Aufgabe
Bitte den Agenten, eine kleine Datei zu erklären oder eine winzige Änderung vorzunehmen, bevor du eine größere Refaktorierung anstößt. Dies bestätigt Routing, Streaming und Modellverhalten.
Vergleichskriterien
Wenn du Coding-Agents mit lokalen Modellen testest, vergleiche den gesamten Arbeitsablauf und nicht nur die reine Modellgeschwindigkeit.Ein schnelleres Modell ist nicht immer das bessere Coding-Modell. Für Agenten-Workflows sind die Befolgung von Anweisungen und das Verständnis des Repositorys genauso wichtig wie die Generierungsgeschwindigkeit.
Nächste Schritte
Use Claude Code
Konfiguriere
ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY.Use OpenAI Codex
Füge Tokios als Codex-Modellanbieter in
config.toml hinzu.Test your deployment
Vergleiche Latenz, Streaming und Aufgabenverhalten über verschiedene Deployments.
Route multiple models
Behalte einen Endpunkt und wechsle Modelle mit dem
model-Feld.