Programmier-Agenten, die mit lokalen Modellen über Tokios arbeiten

15 coding agents connect to local models through Tokios. All use standard OpenAI or Anthropic API format — you change 2 things: the base URL and your API key. Once your model is registered as a Tokios deployment, every agent below reaches it through the same endpoint.

Voraussetzungen: Bevor Sie einen der unten aufgeführten Agenten konfigurieren, benötigen Sie ein laufendes lokales Modell, einen zugehörigen Tokios-Connector, ein registriertes Deployment sowie einen sk-tok-… API-Schlüssel. Falls Sie diese Voraussetzungen noch nicht erfüllt haben, lesen Sie bitte den Schnellstart.

Kompatibilitätsmatrix der Agenten

Agent	Typ	API-Format	Tool-Aufruf	Einrichtungsanleitung
Claude Code	Terminal	Anthropic	Ja	/guides/claude-code
OpenAI Codex	Terminal	OpenAI (Responses)	Ja	/guides/openai-codex
Aider	Terminal	OpenAI	Ja	Hier klicken
Cline	IDE	OpenAI	Ja	Hier klicken
Continue	IDE	OpenAI	Ja	Hier klicken
Roo Code	IDE	OpenAI	Ja	/guides/roo-code
OpenCode	Terminal	OpenAI	Ja	/guides/opencode
Goose	IDE	OpenAI	Ja	/guides/goose
Pi	Terminal	OpenAI · Anthropic	Ja	/guides/pi
Cursor	IDE	OpenAI	Ja	/guides/cursor
Zed	Integrierte Entwicklungsumgebung	OpenAI · Anthropic	Unbekannt	/guides/zed
JetBrains AI Assistant	Integrierte Entwicklungsumgebung	OpenAI	Unbekannt	/guides/jetbrains-ai-assistant
VS Code Copilot	Integrierte Entwicklungsumgebung	OpenAI	Unbekannt	/guides/vscode-copilot
OMP (Oh-My-PI)	Terminal	OpenAI · Anthropic	Unbekannt	/guides/omp
Hermes-Agent	Terminal	OpenAI	Ja	/guides/hermes-agent

Unter „Tool-Aufruf“ versteht man, dass der Agent tools in die Anfrage einfügen und tool_calls aus der Antwort extrahieren kann. Ob dies im Gesamtsystem funktioniert, hängt sowohl vom Agenten als auch vom lokalen Modell ab – Qwen3-Coder-30B, Llama-3-70B sowie Mistral beherrschen Tool-Aufrufe unter vLLM problemlos.

Agenten, die in IDEs integriert sind

Diese Agenten laufen direkt in Ihrem Editor und senden bei der Programmierung Autovervollständigungsanfragen. Sie nutzen alle das Format der OpenAI Chat Completions API, sofern nicht anders angegeben.

Cline und Roo Code

Sowohl Cline als auch sein Fork Roo Code nutzen einen „OpenAI-kompatiblen“ Provider. Geben Sie in den Einstellungen des Erweiterungsmoduls folgende 3-Felder an:

API-Provider: OpenAI Compatible
Basis-URL: https://api.tokios.com/v1
API-Schlüssel: Ihr sk-tok-…-Schlüssel
Upstream-Modell-ID: Der Name Ihrer Deployment-Konfiguration (zum Beispiel qwen3-coder-tunnel)

Beide Agenten lassen sich ausschließlich über das Einstellungsmenü konfigurieren – es gibt keine separaten Konfigurationsdateien. Weitere Informationen zur Einrichtung finden Sie in den Anleitungen zu Cline und Roo Code.

Weitermachen

Weitermachen liest ~/.continue/config.yaml. Fügen Sie nun einen Modell-Eintrag hinzu:

models:
  - name: Tokios
    provider: openai
    model: qwen3-coder-tunnel
    apiBase: https://api.tokios.com/v1
    apiKey: sk-tok-YOUR_KEY

Lesen Sie die Anleitung zu Weitermachen. Beachten Sie, dass Weitermachen sowohl Chat Completions als auch Responses unterstützt – für lokale Modelle empfiehlt sich Chat Completions.

Cursor

Die Funktion zur Anpassung von Modellen in Cursor erfordert eine Basis-URL sowie einen API-Schlüssel. Die Unterstützung hängt von der jeweiligen Cursor-Version ab – prüfen Sie vor der Nutzung, ob die Konfiguration der Basis-URL in Ihrer Version funktioniert:

Öffnen Sie Cursor-Einstellungen → Models.
Erstellen Sie ein benutzerdefiniertes Modell mit der Basis-URL https://api.tokios.com/v1 sowie Ihrem sk-tok-…-Schlüssel.

Weitere Informationen zu Version-spezifischen Besonderheiten finden Sie in der Anleitung zu Cursor.

Zed

Zed ermöglicht die Integration von OpenAI-kompatiblen Anbietern über seinen settings.json:

{
  "language_models": {
    "openai_compatible": {
      "Tokios": {
        "api_url": "https://api.tokios.com/v1",
        "available_models": [
          { "name": "qwen3-coder-tunnel", "max_tokens": 128000 }
        ]
      }
    }
  }
}

The API key does not go in settings.json — enter it in Zed’s LLM provider UI, or export TOKIOS_API_KEY (Zed derives the variable name from the provider id). See the Zed guide.

JetBrains AI Assistant

Der JetBrains AI Assistant unterstützt BYOK (Bring Your Own Key) über die Einstellungen des Plugins. Geben Sie die Basis-URL sowie den API-Schlüssel in die Felder für benutzerdefinierte Anbieter ein:

Basis-URL: https://api.tokios.com/v1
API-Schlüssel: Ihr sk-tok-…-Schlüssel

Weitere Informationen finden Sie in der JetBrains AI Assistant-Anleitung.

VS Code Copilot

Die BYOK-Unterstützung bei GitHub Copilot befindet sich noch in der Entwicklung. Sobald Ihre VS Code-Version benutzerdefinierte Anbieter erlaubt, richten Sie diese auf folgende Angaben aus:

Basis-URL: https://api.tokios.com/v1
API-Schlüssel: Ihr sk-tok-…-Schlüssel

Aktuelle Informationen zur Kompatibilität entnehmen Sie der VS Code Copilot-Anleitung.

Terminal-Agenten

Diese werden in Ihrer Shell ausgeführt und nutzen Umgebungsvariablen bzw. Konfigurationsdateien zur Verbindung.

Claude Code

Claude Code nutzt das Anthropic-API-Format – nicht das OpenAI-Format. Legen Sie die 2 Umgebungsvariablen fest:

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder-tunnel

Hinweis: Im Anthropic-Format enthält die Basis-URL kein /v1-Suffix. Weitere Informationen finden Sie in der Claude Code-Anleitung zur dauerhaften Konfiguration dieser Variablen.

OpenAI Codex

OpenAI Codex nutzt die Responses API (wire_api=responses). Geben Sie die Basis-URL in ~/.codex/config.toml an:

[model_providers.tokios]
name = "Tokios"
base_url = "https://api.tokios.com/v1"
env_key = "OPENAI_API_KEY"
wire_api = "responses"

[profiles.tokios]
model = "qwen3-coder-tunnel"
model_provider = "tokios"
disable_response_storage = true

env_key bezeichnet die Variable, in der Ihr API-Schlüssel gespeichert ist, nicht den Schlüssel selbst; außerdem ist disable_response_storage erforderlich, da Tokios die Responses-Schnittstelle zustandslos bereitstellt. Anschließend führen Sie den Befehl aus:

OPENAI_API_KEY=sk-tok-YOUR_KEY codex --profile tokios

Weitere Details finden Sie in der OpenAI Codex-Anleitung.

Aider

Aider liest die Basis-URL sowie den API-Schlüssel aus der Umgebung; zudem ist das openai/ Modell-Präfix erforderlich:

export OPENAI_API_BASE=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --model openai/qwen3-coder-tunnel

Weitere Informationen finden Sie in der Aider-Anleitung.

OpenCode

OpenCode nutzt im Hintergrund das AI SDK (Vercel). Fügen Sie in opencode.json einen benutzerdefinierten Provider hinzu:

{
  "providers": {
    "tokios": {
      "type": "openai",
      "baseURL": "https://api.tokios.com/v1",
      "apiKey": "sk-tok-YOUR_KEY"
    }
  },
  "models": {
    "qwen3-coder": {
      "provider": "tokios",
      "model": "qwen3-coder-tunnel"
    }
  }
}

Lesen Sie die OpenCode-Anleitung.

Goose

Der im Goose integrierte openai-Provider akzeptiert einen benutzerdefinierten Host. Goose speichert diese Einstellungen in ~/.config/goose/config.yaml ab:

export GOOSE_PROVIDER=openai
export GOOSE_MODEL=qwen3-coder-tunnel
export OPENAI_HOST=https://api.tokios.com
export OPENAI_API_KEY=sk-tok-YOUR_KEY

Für einen benannten Provider legen Sie stattdessen eine JSON-Datei in ~/.config/goose/custom_providers/ ab. Lesen Sie die Goose-Anleitung.

Pi und omp

Pi nutzt einen benutzerdefinierten Provider mittels api: openai-completions. omp (oh-my-pi) verfolgt dasselbe Prinzip – providers enthält eine Zuordnung, deren Schlüssel nach Providernamen benannt sind und im camelCase-Format vorliegen. omp liest ~/.omp/agent/models.yml; Pi liest ~/.pi/agent/models.json:

providers:
  tokios:
    baseUrl: https://api.tokios.com/v1
    api: openai-completions
    apiKey: sk-tok-YOUR_KEY
    models:
      - id: qwen3-coder-tunnel
        input: [text]

Lesen Sie die Pi- sowie omp-Anleitungen.

Hermes Agent

Der Hermes Agent verbindet sich mit jedem OpenAI-kompatiblen /v1/chat/completions-Endpunkt. Er liest ~/.hermes/config.yaml, wobei die Provider-Schlüssel unter model: abgelegt sind:

model:
  default: qwen3-coder-tunnel
  provider: custom
  base_url: https://api.tokios.com/v1
  api_key: sk-tok-YOUR_KEY

Lesen Sie die Hermes Agent-Anleitung.

Allgemeines Einrichtungsmuster

Alle oben aufgeführten Agenten folgen dem gleichen 3-Schritte-Muster:

Legen Sie die Basis-URL auf https://api.tokios.com/v1 (für OpenAI) bzw. https://api.tokios.com (für Anthropic) fest.
Geben Sie den API-Schlüssel als Ihren sk-tok-…-Schlüssel ein.
Wählen Sie das Modell aus, das Sie bei der Deployment-Registrierung angegeben haben.

Falls Ihr Agent hier nicht aufgelistet ist, jedoch eine benutzerdefinierte OpenAI-kompatible Basis-URL unterstützt, funktioniert er mit hoher Wahrscheinlichkeit ebenfalls. Probieren Sie dazu die universellen Umgebungsvariablen aus:

export OPENAI_BASE_URL=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY

Kompatibilität von Tool-Calling je nach Engine

Für Tool-Calling sind sowohl Unterstützung durch den Agenten als auch durch das Backend erforderlich. Nachfolgend finden Sie die lokalen Engines, die diese Funktion beherrschen:

Engine	Tool-Calling	Hinweise
vLLM	Ja	Vollständiges OpenAI-Tool-Call-Format; gewährleistet beste Kompatibilität
Ollama	Ja (ab Version 0.3)	Über `/v1/chat/completions` mittels des `tools`-Feldes
llama.cpp	Teilweise	`--chat-template` mit entsprechendem Tool-Format; je nach Modell unterschiedlich
LM Studio	Ja	OpenAI-kompatibles Tool-Call-Format
SGLang	Ja	Kompatibel mit OpenAI; verhält sich wie vLLM.

Die Ausführung von Werkzeugaufrufen hängt vom Modell ab, nicht allein vom Engine-Modul. Ein Modell muss entweder feinabgestimmt oder mit geeigneten Anweisungen versehen sein, damit es strukturierte tool_calls in seinen Antworten generiert. Qwen3-Coder-30B, Llama-3-70B-Instruct sowie Mistral-7B-Instruct bewältigen Werkzeugaufrufe zuverlässig. Muse Glimmer 30B wurde speziell für diesen Zweck trainiert: Es ermöglicht Werkzeugaufrufe gemäß präzisen Schemata und gewährleistet die Fehlerbehebung in mehrstufigen Arbeitsabläufen.

Die besten lokalen Modelle für Coding-Agenten.

Modell	Parameter	Am besten geeignet für	Empfehlung für Engine-Module
Muse Glimmer 30B	29.6B dichtes Modell	Agentenbasiertes Programmieren, Werkzeugaufrufe – funktioniert auf GPUs mit lediglich 24 GB Speicher.	Ollama, llama.cpp
DeepSeek-V4-Flash-0731	284B Zielmodell / 13B aktiver MoE-Connector	Fortgeschrittene Kodierungsagenten, Werkzeugnutzung sowie große Code-Repositories	vLLM oder SGLang (mehrere Geräte)
Qwen3-Coder-30B	30B dichtes Modell	Allgemeine Programmierung sowie Aufruf von Werkzeugen	llama.cpp (Vulkan), vLLM
Qwen3-32B	32B dichtes Modell	Programmieraufgaben mit hohem logischen Aufwand	vLLM, Ollama
DeepSeek-R1	671B MoE	Komplexes logisches Denken sowie Architekturgestaltung	vLLM (erfordert mindestens 2 GPUs)
Mistral-7B-Instruct	7B dichte Modellstruktur	Schnelle Textgenerierung bei geringem Ressourcenbedarf	Ollama sowie llama.cpp
Llama-3-70B-Instruct	70B dichte Modellstruktur	Aufruf externer Werkzeuge sowie Bearbeitung mehrerer Dateien gleichzeitig	vLLM (mehrere GPUs)

Für DGX Spark mit insgesamt 128 GB gemeinsamem Speicher ist Qwen3-Coder-30B im Format Q4_K_M die optimale Wahl – es passt problemlos, generiert Texte schnell und verarbeitet Werkzeugaufrufe zuverlässig. Auf Strix Halo empfiehlt sich die Nutzung von llama.cpp in Kombination mit Vulkan, um maximale Geschwindigkeit bei der Token-Generierung zu erreichen.

DeepSeek-V4-Flash-0731 stellt die aktuelle Wahl von DeepSeek für Coding-Agenten dar. Laut der offiziellen Modelldokumentation verzeichnet es erhebliche Verbesserungen gegenüber der Vorabversion bei Tests auf Terminal Bench 2.1, DeepSWE sowie Toolathlon-Verified. Voraussetzung bleibt jedoch ein Host mit mehreren Geräten. Lesen Sie zunächst den Leitfaden zur lokalen Hardware und überprüfen Sie anschließend die Werkzeugaufrufe unter Verwendung der exakt geplanten Laufzeitumgebung, reasoning_effort, Kontextlänge sowie Abtastparameter.

Muse Glimmer 30B ist die Option, die vollständig auf einer einzelnen GPU mit 24 GB Speicher läuft; Meta entwickelte dieses Modell speziell für den Einsatz durch Agenten. Die veröffentlichten Benchmark-Ergebnisse stammen jedoch ausschließlich von Meta selbst und wurden bislang nicht unabhängig bestätigt. Nutzen Sie bitte die Abtastparameter von Meta (temperature 1.0, top_p 0.95, top_k 64); die Verwendung von Werten, die für andere lokale Modelle optimiert wurden, führt häufig zu schlechteren Ergebnissen.

Ein einziger Endpunkt dient allen Modellen gleichermaßen.

Beim Wechsel zwischen verschiedenen Agenten müssen Sie Ihr Modell nicht neu konfigurieren. Registrieren Sie Ihre Deployment einfach einmal in Tokios, legen Sie einen sk-tok-…-Schlüssel an und verweisen Sie alle Agenten auf denselben Endpunkt. Der Wechsel von Aider zu Claude Code erfolgt lediglich durch Anpassung der 2-Umgebungsvariablen – Ihr Modell, Ihr Connector sowie Ihre Deployment bleiben dabei unverändert.

Schnellstart

Richten Sie zunächst einen Connector ein und registrieren Sie Ihre erste Deployment.

Kompatible Clients

Hier finden Sie die vollständige Liste aller 39-kompatiblen Clients – nicht nur Coding-Agenten.

Wählen Sie ein lokales Modell

Treffen Sie die Auswahl des Modells entsprechend Ihrer Hardware und Anwendungszwecken.

API-Schlüssel

Erstellen, definieren und aktualisieren Sie API-Schlüssel für Teammitglieder sowie Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Programmier-Agenten, die mit lokalen Modellen über Tokios arbeiten

Kompatibilitätsmatrix der Agenten

Agenten, die in IDEs integriert sind

Cline und Roo Code

Weitermachen

Cursor

Zed

JetBrains AI Assistant

VS Code Copilot

Terminal-Agenten

Claude Code

OpenAI Codex

Aider

OpenCode

Goose

Pi und omp

Hermes Agent

Allgemeines Einrichtungsmuster

Kompatibilität von Tool-Calling je nach Engine

Die besten lokalen Modelle für Coding-Agenten.

Ein einziger Endpunkt dient allen Modellen gleichermaßen.

Schnellstart

Kompatible Clients

Wählen Sie ein lokales Modell

API-Schlüssel

​Kompatibilitätsmatrix der Agenten

​Agenten, die in IDEs integriert sind

​Cline und Roo Code

​Weitermachen

​Cursor

​Zed

​JetBrains AI Assistant

​VS Code Copilot

​Terminal-Agenten

​Claude Code

​OpenAI Codex

​Aider

​OpenCode

​Goose

​Pi und omp

​Hermes Agent

​Allgemeines Einrichtungsmuster

​Kompatibilität von Tool-Calling je nach Engine

​Die besten lokalen Modelle für Coding-Agenten.

​Ein einziger Endpunkt dient allen Modellen gleichermaßen.

Schnellstart

Kompatible Clients

Wählen Sie ein lokales Modell

API-Schlüssel

Kompatibilitätsmatrix der Agenten

Agenten, die in IDEs integriert sind

Cline und Roo Code

Weitermachen

Cursor

Zed

JetBrains AI Assistant

VS Code Copilot

Terminal-Agenten

Claude Code

OpenAI Codex

Aider

OpenCode

Goose

Pi und omp

Hermes Agent

Allgemeines Einrichtungsmuster

Kompatibilität von Tool-Calling je nach Engine

Die besten lokalen Modelle für Coding-Agenten.

Ein einziger Endpunkt dient allen Modellen gleichermaßen.