/v1, obwohl der Client etwas anderes erwartet; das Feld model enthält nicht den registrierten Namen der Deployment; der Connector für diese Deployment ist offline; oder das Modell unterstützt die vom Client angeforderten Funktionen nicht (z. B. Tool-Calling). Lesen Sie diese Seite von oben bis unten, bevor Sie weitere Ursachen vermuten.
Welche Basis-URL verwendet mein Client?
Wählen Sie die Basis-URL entsprechend der von Ihrem Client genutzten API-Struktur. Der Client fügt anschließend den restlichen Pfad hinzu (/chat/completions, /responses oder /messages); Sie legen lediglich den Root-Pfad fest.
Mit curl funktioniert es, doch in meinem Agenten schlägt es fehl.
Falls eine einfachecurl-Anfrage erfolgreich ist, der gleiche Aufruf jedoch aus einem Client, Framework oder Agent heraus scheitert, prüfen Sie bitte Folgendes in dieser Reihenfolge:
Die Basis-URL enthält den vollständigen Anfragepfad.
Die Basis-URL enthält den vollständigen Anfragepfad.
Einige Clients erwarten lediglich den Root-Endpunkt (
https://api.tokios.com/v1) und fügen /chat/completions selbst hinzu; andere benötigen den vollständigen Pfad. Kopieren Sie also niemals eine URL, die bereits mit /chat/completions, /responses oder /messages endet, in ein Feld, das ebenfalls einen Pfad anfügt – sonst entsteht ein doppelter oder fehlerhafter Pfad. Setzen Sie die Basis-URL stattdessen auf den Root-Endpunkt aus der obigen Tabelle und lassen Sie den Client den Rest ergänzen.Der Client erfordert Tool-Calling, doch das Modell unterstützt dies nicht.
Der Client erfordert Tool-Calling, doch das Modell unterstützt dies nicht.
Agent-Frameworks sowie Coding-Assistenten senden bei jeder Anfrage ein
tools-Array, selbst bei einfachen Prompts. Tokios leitet die tools-Struktur direkt an Ihr Modell weiter; dieses muss jedoch Tool-Calling unterstützen. Fehlt diese Unterstützung, kann die Anfrage scheitern oder die Tools werden vom Modell stillschweigend ignoriert. Stellen Sie vor weiteren Debug-Versuchen sicher, dass das zugrundeliegende Modell Tool-Calling beherrscht.Der Modellname entspricht nicht dem Deployment-Namen.
Der Modellname entspricht nicht dem Deployment-Namen.
Das
model-Feld muss den öffentlichen Deployment-Namen enthalten, den Sie in der Konsole unter dem Reiter Models registriert haben (zum Beispiel gemma-tunnel) – nicht die Upstream-Modell-ID, die Ihr Backend verwendet (zum Beispiel gemma:7b). Eine curl-Anfrage mit dem korrekten Deployment-Namen funktioniert einwandfrei; ein Client, der weiterhin die lokale ID des Backends nutzt, erhält hingegen einen 404-Fehler.Bedeutung der einzelnen Fehlercodes
Überprüfen Sie den Tunnel unabhängig davon erneut.
Bevor Sie die Konfiguration auf Client-Seite weiter debuggen, müssen Sie feststellen, ob das Problem beim Client oder beim Modell bzw. Connector liegt. Öffnen Sie dazu die Playground der Konsole und senden Sie eine Testanfrage an dieselbe Deployment; diese wird in Ihrer angemeldeten Sitzung ausgeführt, weshalb kein API-Schlüssel erforderlich ist. Funktioniert der Playground einwandfrei, so sind Tunnel und Modell in Ordnung, und das Problem liegt in der Basis-URL, dem Modellwert oder der Anfrage-Struktur Ihres Clients. Funktioniert der Playground ebenfalls nicht, so liegt das Problem vor dem Client – prüfen Sie in diesem Fall den Connector sowie die Deployment.Weitere Schritte
Kompatible Clients
In einer Tabelle finden Sie die Einstellungen zur Basis-URL sowie zum API-Schlüssel für alle unterstützten Clients.
Claude Code
Umgebungsvariablen sowie Modell-Parameter für eine Einrichtung im Stil von Anthropic.
SDKs und Frameworks
Konfigurationen für LangChain, LlamaIndex, Vercel AI SDK sowie Pydantic AI.
API-Endpunkte
Vollständige Anfrage- und Antwort-Schemata für alle Schnittstellen.