Verwenden Sie Coding Agents mit lokalen Modellen über Tokios

Jeder wichtige Coding Agent kommuniziert über eine OpenAI- oder Anthropic-kompatible API mit einem Modell-Backend. Richten Sie diese API auf Tokios, und Ihr Agent spricht mit einem lokalen Modell, das auf Ihrer eigenen Hardware läuft — von jedem Rechner aus, nicht nur von dem, auf dem der Inference-Server läuft. Wechseln Sie Modelle, indem Sie das 1-Feld ändern; die Agenten-Konfiguration bleibt unverändert.

Wie Coding Agents mit Backends verbunden werden

Coding Agents senden Chat-Vervollständigungen (und oft Tool-Aufrufe) über HTTP. Sie lesen eine Endpoint-URL und einen API-Schlüssel aus Umgebungsvariablen oder einer Konfigurationsdatei. Tokios bietet sowohl eine OpenAI-kompatible als auch eine Anthropic-kompatible Oberfläche unter derselben URL, sodass die meisten Agenten mit einer einzigen Konfigurationsänderung funktionieren.

Agent	API-Format	Schlüssel-Umgebungsvariable	Basis-URL
Claude Code	Anthropic	`ANTHROPIC_API_KEY`	`ANTHROPIC_BASE_URL`
OpenCode	OpenAI	`options.apiKey`	`options.baseURL`
Aider	OpenAI	`OPENAI_API_KEY`	`OPENAI_API_BASE`
Cline	OpenAI	API-Schlüssel in der Benutzeroberfläche	Benutzerdefinierter Endpunkt
Fortsetzen	OpenAI	API-Schlüssel in der Konfiguration	`apiBase`
Roo Code	OpenAI	API-Schlüssel in der Benutzeroberfläche	Benutzerdefinierter Endpunkt

Voraussetzungen

Ein laufender Connector, der mit Ihrem lokalen Modell gekoppelt ist — siehe Connector-Installation
Ein registrierter Deployment-Name — siehe Modell registrieren
Ein Tokios API-Schlüssel — siehe API-Schlüssel

Claude Code

Claude Code verwendet die Anthropic Messages API. Legen Sie die Umgebungsvariablen 2 fest und übergeben Sie Ihren Deployment-Namen mit --model:

macOS & Linux
Windows CMD
Windows PowerShell

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

set ANTHROPIC_BASE_URL=https://api.tokios.com
set ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

$env:ANTHROPIC_BASE_URL = "https://api.tokios.com"
$env:ANTHROPIC_API_KEY = "sk-tok-YOUR_KEY"
claude --model qwen3-coder

Der integrierte Modellauswähler von Claude Code listet nur claude-*-IDs auf. Übergeben Sie --model immer explizit zusammen mit dem Namen Ihrer Tokios-Deployment. Weitere Informationen zur Persistenz und Fehlerbehebung finden Sie im vollständigen Claude Code-Leitfaden.

OpenCode

OpenCode verwendet das AI SDK mit einem OpenAI-kompatiblen Provider. Fügen Sie Tokios zu opencode.json hinzu:

opencode.json

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "tokios": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Tokios",
      "options": {
        "baseURL": "https://api.tokios.com/v1",
        "apiKey": "sk-tok-YOUR_KEY"
      },
      "models": {
        "qwen3-coder": {
          "name": "qwen3-coder"
        }
      }
    }
  }
}

options.baseURL muss /v1 enthalten. OpenCode löst Anforderungspfade relativ zu dieser URL auf, sodass das Weglassen von /v1 zu 404-Fehlern führt.

Weitere Informationen zur detaillierten Einrichtung und Fehlerbehebung finden Sie im vollständigen OpenCode-Leitfaden.

Aider

Aider liest OpenAI-konforme Konfiguration aus Umgebungsvariablen:

export OPENAI_API_BASE=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --model openai/qwen3-coder

Das openai/-Präfix weist Aider an, das OpenAI-Chat-Vervollständigungsformat zu verwenden. Aider unterstützt Tool-Aufrufe mit den meisten Modellen, die das OpenAI-Funktionsaufrufschema implementieren.

Cline

Cline stellt über seine VS Code-Einstellungen eine Verbindung zu benutzerdefinierten OpenAI-kompatiblen Endpunkten her:

Öffnen Sie die Cline-Einstellungen in VS Code.
Under API Configuration, select OpenAI Compatible.
Legen Sie Base URL auf https://api.tokios.com/v1 fest.
Fügen Sie Ihren sk-tok-YOUR_KEY in das API Key-Feld ein.
Geben Sie Ihren Deployment-Namen (z. B. qwen3-coder) als Model ID ein.

Cline nutzt Tool-Aufrufe intensiv. Wählen Sie ein Modell mit starker Tool-Aufruf-Unterstützung — siehe Modell-Empfehlungen unten.

Weiter

Fügen Sie Tokios als benutzerdefinierten Anbieter in ~/.continue/config.json hinzu:

~/.continue/config.json

{
  "models": [
    {
      "title": "Tokios - Qwen3 Coder",
      "provider": "openai",
      "model": "qwen3-coder",
      "apiBase": "https://api.tokios.com/v1",
      "apiKey": "sk-tok-YOUR_KEY"
    }
  ]
}

Continue unterstützt sowohl Chat-Vervollständigungen als auch Tool-Aufrufe über diese Anbieterkonfiguration.

Roo Code

Roo Code verwendet das gleiche OpenAI-kompatible Endpunkt-Muster:

Öffnen Sie die Roo Code-Einstellungen.
Wählen Sie OpenAI Compatible als API-Anbieter aus.
Legen Sie Base URL auf https://api.tokios.com/v1 fest.
Geben Sie Ihren API-Schlüssel und den Deployment-Namen ein.

Modelle wechseln, ohne die Konfiguration neu vorzunehmen

Da jeder Agent den Modellnamen aus einem einzigen Feld liest — dem model-Parameter in der API-Anfrage — können Sie mehrere Deployments auf Tokios registrieren und zwischen ihnen wechseln, ohne die Agentenkonfiguration zu berühren:

# Use Qwen3-Coder for code tasks
claude --model qwen3-coder

# Use GLM-4.5-Air for general reasoning
claude --model glm-4-chat

# Use Gemma for lightweight tasks
claude --model gemma-tunnel

Der Endpunkt und der API-Schlüssel bleiben gleich. Tokios leitet jede Anfrage an den richtigen lokalen Backend weiter.

Modell-Empfehlungen für Coding

Nicht alle lokalen Modelle bewältigen Coding-Aufgaben gleich gut. Tool Calling — die Fähigkeit, Funktionen aufzurufen, Dateien zu lesen und Befehle auszuführen — ist für agentenbasierte Workflows entscheidend.

Modell	Gesamtanzahl Parameter	Am besten geeignet für	Tool Calling	Anmerkungen
Muse Glimmer 30B	29.6B	Agentices Coding, Werkzeugnutzung	Gut	Für die Werkzeugaufrufe gegen präzise Schemata mit Fehlerwiederherstellung trainiert; 4-Bit-Build passt auf eine einzelne 24 GB GPU
Qwen3-Coder-30B	30B	Codegenerierung, Refactoring	Gut	Bestätigt funktionsfähig mit Cline und Aider
Qwen3-32B	32B	Allgemein + Coding	Gut	Starker Allrounder; 43 tok/s auf DGX Spark
GLM-4.5-Air	106B MoE	Komplexe Schlussfolgerungen	Gut	12B aktive Parameter; Community-Favorit für Spark
Qwen3.5-35B-A3B	35B MoE	Schnelles Codieren	Gut	3B aktiv; 120 tok/s mit Atlas auf Spark
Gemma-4-26B-A4B	26B MoE	Leichtgewichtige Aufgaben	Moderat	4B aktiv; schnell, aber bei komplexen Bearbeitungen weniger leistungsfähig

vLLM auf AMD-GPUs hat bekannte Probleme mit dem Tool-Aufruf. Wenn Sie auf Strix Halo oder anderer AMD-Hardware laufen, verwenden Sie llama.cpp mit dem Vulkan-Backend für eine sauberere Tool-Aufruf-Unterstützung.

Tipps für die Programmierung mit lokalen Modellen

Verwenden Sie ein Modell, das Tool-Aufrufe unterstützt. Agents wie Claude Code, OpenCode und Cline verlassen sich auf strukturierte Funktionsaufrufe. Wenn Ihr Modell das OpenAI-Funktionsaufruf-Schema nicht unterstützt, fällt der Agent auf textbasierte Tool-Aufrufe zurück, was langsamer und weniger zuverlässig ist. Legen Sie die Kontextlänge angemessen fest. Coding-Agents senden große Prompts mit Dateiinhalten und Gesprächsverlauf. Legen Sie --max-model-len auf Ihrem Inference-Server auf mindestens 8192 Tokens fest. Modelle mit 32K+ Kontext bewältigen Multi-Datei-Aufgaben besser. Bevorzugen Sie MoE-Modelle für den Durchsatz. Mixture-of-Experts-Modelle wie Qwen3.5-35B-A3B aktivieren nur einen Bruchteil ihrer Parameter pro Token und liefern einen höheren Durchsatz als dichte Modelle mit ähnlicher Gesamtgröße. Bei iterativen Coding-Aufgaben, bei denen Latenz eine Rolle spielt, ist MoE oft die bessere Wahl. Testen Sie Tool-Aufrufe, bevor Sie sich darauf verlassen. Senden Sie einen schnellen Test mit einem Tool-Aufruf-Payload, um zu bestätigen, dass Ihr Modell und Ihr Backend Funktionsaufrufe korrekt verarbeiten:

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-coder",
    "messages": [{"role": "user", "content": "What is 2+2?"}],
    "tools": [{"type": "function", "function": {"name": "calculator", "parameters": {"type": "object", "properties": {"expression": {"type": "string"}}}}}]
  }'

Wenn die Antwort ein tool_calls-Array enthält, funktioniert der Tool-Aufruf.

Ein Endpunkt für alle Ihre Agents

Tokios gibt jedem Coding-Agent die gleiche URL und den gleichen API-Schlüssel. Registrieren Sie Ihre Modelle einmal, generieren Sie 1 API-Schlüssel und konfigurieren Sie eine beliebige Anzahl von Agents, um auf https://api.tokios.com zu verweisen. Wechseln Sie Modelle, fügen Sie neue Backends hinzu oder verschieben Sie Modelle auf andere Hardware — Ihre Agent-Konfigurationen ändern sich nicht.

Modell-Routing

Erfahren Sie, wie Sie mehrere Modelle registrieren und Anfragen nach Deployment-Name routen.

Wählen Sie ein lokales Modell

Vergleichen Sie Backends und Quantisierungsoptionen, bevor Sie ein Modell für agentic Workflows festlegen.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Verwenden Sie Coding Agents mit lokalen Modellen über Tokios

Wie Coding Agents mit Backends verbunden werden

Voraussetzungen

Claude Code

OpenCode

Aider

Cline

Weiter

Roo Code

Modelle wechseln, ohne die Konfiguration neu vorzunehmen

Modell-Empfehlungen für Coding

Tipps für die Programmierung mit lokalen Modellen

Ein Endpunkt für alle Ihre Agents

Modell-Routing

Wählen Sie ein lokales Modell

​Wie Coding Agents mit Backends verbunden werden

​Voraussetzungen

​Claude Code

​OpenCode

​Aider

​Cline

​Weiter

​Roo Code

​Modelle wechseln, ohne die Konfiguration neu vorzunehmen

​Modell-Empfehlungen für Coding

​Tipps für die Programmierung mit lokalen Modellen

​Ein Endpunkt für alle Ihre Agents

Modell-Routing

Wählen Sie ein lokales Modell

Wie Coding Agents mit Backends verbunden werden

Voraussetzungen

Claude Code

OpenCode

Aider

Cline

Weiter

Roo Code

Modelle wechseln, ohne die Konfiguration neu vorzunehmen

Modell-Empfehlungen für Coding

Tipps für die Programmierung mit lokalen Modellen

Ein Endpunkt für alle Ihre Agents