Zum Hauptinhalt springen
Alle Tokios-API-Anfragen werden an https://api.tokios.com gesendet; dabei dient Ihr sk-tok-...-API-Schlüssel als Bearer-Token. Tokios stellt Schnittstellen für OpenAI Chat Completions, OpenAI Responses sowie Anthropic Messages bereit, zudem Funktionen zum Auflisten von Modellen und Zählen von Tokens.
Base URL
Probieren Sie es aus – testen Sie beliebige registrierte Modelle in console Playground ohne Programmierung. Der Test erfolgt in Ihrer angemeldeten Sitzung, weshalb Sie für Experimente keinen API-Schlüssel benötigen.

Authentifizierung

Jede Anfrage erfordert folgende Header:
Das Feld model in jeder Anfrage bezeichnet den öffentlichen Deployment-Namen, den Sie registriert haben (z. B. gemma-tunnel), nicht die lokale Modell-ID.

Anwendungsbeispiele

POST/v1/chat/completionsOpenAI dialect
Typische Anfrageformate für /v1/chat/completions. Ersetzen Sie sk-tok-YOUR_KEY und gemma-tunnel durch Ihre eigenen Werte. Streaming und Tool-Aufrufe hängen davon ab, ob das jeweilige Upstream-Modell diese Funktionen unterstützt.

POST/v1/chat/completionsOpenAI dialect

POST /v1/chat/completions

Kompatibel mit unterstützten OpenAI SDKs. Senden Sie eine Liste von Nachrichten und erhalten Sie eine Antwort von Ihrem registrierten Modell.

Anfrageinhalt

string
erforderlich
Der öffentliche Name der Deployment-Konfiguration (z. B. "gemma-tunnel").
array
erforderlich
Ein Array von Nachrichtenobjekten. Jedes Objekt enthält ein role ("system", "user" oder "assistant") sowie content. Der Inhalt kann entweder ein Textstring oder ein Array von Inhaltsblöcken (Text, Tool Calls, Bilder) sein – Tokios leitet diese Struktur unverändert weiter.
boolean
Standard:"false"
Die Antwort wird mittels Server-Sent Events gestreamt.
number
Sampling-Temperatur. Höhere Werte führen zu zufälligerem Ausgabeinhalt.
integer
Maximale Anzahl an Tokens, die generiert werden dürfen.
Example request
Response · 200
POST/v1/messagesAnthropic dialect

POST /v1/messages

Die Integration funktioniert mit den unterstützten Anthropic-SDKs. Senden Sie ein Array mit Nachrichten und erhalten Sie eine Antwort im Format von Anthropic. Tokios wandelt diese anschließend in Chat Completions für Ihr Modell um und gibt das Ergebnis zurück.

Anfrageinhalt

string
erforderlich
Der öffentliche Name der Deployment-Instanz.
array
erforderlich
Ein Array von Nachrichtenobjekten, die jeweils ein role ("user" oder "assistant") sowie ein content (einen String oder ein Array von Inhaltsblöcken) enthalten.
integer
erforderlich
Die maximale Anzahl an Tokens, die generiert werden dürfen.
string
Ein System-Prompt, der vor die Konversation eingefügt wird.
boolean
Standard:"false"
Die Antwort wird mittels Server-Sent Events gestreamt.
Example request
Response · 200
POST/v1/messages/count_tokensAnthropic dialect

POST /v1/messages/count_tokens

Die Integration funktioniert ebenfalls mit den unterstützten Anthropic-SDKs. Senden Sie dieselbe Struktur des Anfrageinhalts wie unter /v1/messages; es wird lediglich die Anzahl der eingegebenen Tokens zurückgegeben, ohne dass eine eigentliche Completion ausgeführt wird.
Example request
Response · 200
POST/v1/responsesOpenAI dialect

POST /v1/responses

Die Integration funktioniert mit den unterstützten OpenAI-SDKs, die das neuere Responses-Format nutzen (zum Beispiel OpenAI Codex). Tokios wandelt diese Anfragen ebenfalls in Chat Completions für Ihr Modell um.

Anfrageinhalt

string
erforderlich
Der öffentliche Name der Deployment-Instanz.
string | array
erforderlich
Der Eingabetext bzw. ein Array aus Eingabeelementen, anhand dessen eine Antwort generiert wird.
boolean
Standard:"false"
Die Antwort wird mittels Server-Sent Events gestreamt.
Example request
GET/v1/modelsOpenAI dialect

GET /v1/models

Hier werden alle Modell-Deployments aufgelistet, die mit Ihrem API-Schlüssel genutzt werden können. Die Ausgabe entspricht der üblichen Struktur, die von unterstützten OpenAI-SDKs erwartet wird.
Example request
Response · 200
Der Modellauswähler in Claude Code listet ausschließlich claude*-IDs auf; daher werden Ihre Tokios-Modelle dort nicht angezeigt. Geben Sie das Modell stattdessen explizit mit claude --model gemma-tunnel an – siehe die Anleitung zu Claude Code.

Fehlercodes

Wenn der Wert 503 angezeigt wird, bedeutet das, dass der Connector für diese Deployment momentan nicht verbunden ist – oder die maximale Anzahl gleichzeitiger Verbindungen erreicht hat. Starten Sie den Connector und prüfen Sie, ob er im Konsolenfenster als online angezeigt wird, bevor Sie den Vorgang erneut versuchen.