https://api.tokios.com gesendet; dabei dient Ihr sk-tok-...-API-Schlüssel als Bearer-Token. Tokios stellt Schnittstellen für OpenAI Chat Completions, OpenAI Responses sowie Anthropic Messages bereit, zudem Funktionen zum Auflisten von Modellen und Zählen von Tokens.
Base URL
Authentifizierung
Jede Anfrage erfordert folgende Header:model in jeder Anfrage bezeichnet den öffentlichen Deployment-Namen, den Sie registriert haben (z. B. gemma-tunnel), nicht die lokale Modell-ID.
Anwendungsbeispiele
POST
Typische Anfrageformate für /v1/chat/completionsOpenAI dialect/v1/chat/completions. Ersetzen Sie sk-tok-YOUR_KEY und gemma-tunnel durch Ihre eigenen Werte. Streaming und Tool-Aufrufe hängen davon ab, ob das jeweilige Upstream-Modell diese Funktionen unterstützt.
- Grundlagen
- Streaming
- Aufruf von Werkzeugen
- Windows
POST
/v1/chat/completionsOpenAI dialectPOST /v1/chat/completions
Kompatibel mit unterstützten OpenAI SDKs. Senden Sie eine Liste von Nachrichten und erhalten Sie eine Antwort von Ihrem registrierten Modell.Anfrageinhalt
string
erforderlich
Der öffentliche Name der Deployment-Konfiguration (z. B.
"gemma-tunnel").array
erforderlich
Ein Array von Nachrichtenobjekten. Jedes Objekt enthält ein
role ("system", "user" oder "assistant") sowie content. Der Inhalt kann entweder ein Textstring oder ein Array von Inhaltsblöcken (Text, Tool Calls, Bilder) sein – Tokios leitet diese Struktur unverändert weiter.boolean
Standard:"false"
Die Antwort wird mittels Server-Sent Events gestreamt.
number
Sampling-Temperatur. Höhere Werte führen zu zufälligerem Ausgabeinhalt.
integer
Maximale Anzahl an Tokens, die generiert werden dürfen.
Example request
Response · 200
POST
/v1/messagesAnthropic dialectPOST /v1/messages
Die Integration funktioniert mit den unterstützten Anthropic-SDKs. Senden Sie ein Array mit Nachrichten und erhalten Sie eine Antwort im Format von Anthropic. Tokios wandelt diese anschließend in Chat Completions für Ihr Modell um und gibt das Ergebnis zurück.Anfrageinhalt
string
erforderlich
Der öffentliche Name der Deployment-Instanz.
array
erforderlich
Ein Array von Nachrichtenobjekten, die jeweils ein
role ("user" oder "assistant") sowie ein content (einen String oder ein Array von Inhaltsblöcken) enthalten.integer
erforderlich
Die maximale Anzahl an Tokens, die generiert werden dürfen.
string
Ein System-Prompt, der vor die Konversation eingefügt wird.
boolean
Standard:"false"
Die Antwort wird mittels Server-Sent Events gestreamt.
Example request
Response · 200
POST
/v1/messages/count_tokensAnthropic dialectPOST /v1/messages/count_tokens
Die Integration funktioniert ebenfalls mit den unterstützten Anthropic-SDKs. Senden Sie dieselbe Struktur des Anfrageinhalts wie unter/v1/messages; es wird lediglich die Anzahl der eingegebenen Tokens zurückgegeben, ohne dass eine eigentliche Completion ausgeführt wird.Example request
Response · 200
POST
/v1/responsesOpenAI dialectPOST /v1/responses
Die Integration funktioniert mit den unterstützten OpenAI-SDKs, die das neuere Responses-Format nutzen (zum Beispiel OpenAI Codex). Tokios wandelt diese Anfragen ebenfalls in Chat Completions für Ihr Modell um.GET
/v1/modelsOpenAI dialectGET /v1/models
Hier werden alle Modell-Deployments aufgelistet, die mit Ihrem API-Schlüssel genutzt werden können. Die Ausgabe entspricht der üblichen Struktur, die von unterstützten OpenAI-SDKs erwartet wird.Example request
Response · 200
Der Modellauswähler in Claude Code listet ausschließlich
claude*-IDs auf; daher werden Ihre Tokios-Modelle dort nicht angezeigt. Geben Sie das Modell stattdessen explizit mit claude --model gemma-tunnel an – siehe die Anleitung zu Claude Code.