Zum Hauptinhalt springen
Auf dieser Seite finden Sie Antworten auf die häufigsten Fragen und Probleme bei der Einrichtung und Nutzung von Tokios.

​
Einrichtung und Connectivity

Das Auftreten von 503 deutet darauf hin, dass das Tokios-Gateway keinen aktiven Connector-Tunnel für das angeforderte Modell erreichen kann. Bitte prüfen Sie Folgendes:
  1. Der Connector-Prozess läuft noch und ist mit dem Netzwerk verbunden.
  2. Der Modellname in Ihrer API-Anfrage entspricht exakt einer Deployment-Einstellung, die Sie in der Konsole hinterlegt haben.
  3. Das Gerät wurde während der Paarung freigegeben und erscheint in der Connectors-Registerkarte der Konsole als online. (Falls Sie die erweiterte Konfigurationsdatei für mehrere Modelle nutzen, vergewissern Sie sich zudem, dass ConnectorId sowie die Upstream-Modell-ID in tokios-connector.json mit dem in der Konsole angezeigten Connector übereinstimmen.)
Nein. Der Connector initiiert ausschließlich ausgehende Verbindungen zu Tokios über WebSockets (Port 443). Ihre Firewall muss hierfür nicht angepasst werden; außerdem nimmt Ihr System keine eingehenden Verbindungen entgegen.
Ja. Weisen Sie die Upstream-Modell-ID BaseUrl auf den anderen Rechner hin – etwa http://192.168.1.50:11434/v1. Es ist keine zusätzliche Einstellung erforderlich: Der Connector leitet Anfragen ausschließlich an Hosts weiter, die in seiner Konfigurationsdatei vermerkt sind, niemals an URLs, die vom Gateway vorgegeben werden. Um eine Upstream-Verbindung an einen bestimmten Host zu binden, tragen Sie diesen in AllowedHosts ein; eine spätere Änderung der Upstream-Modell-ID BaseUrl führt beim Start zu einem Fehler. Weitere Infos finden Sie unter Connector-Konfiguration.

​
API-Kompatibilität

Drei: OpenAI Chat Completions (/v1/chat/completions), Anthropic Messages (/v1/messages) sowie OpenAI Responses (/v1/responses), zusätzlich /v1/models und /v1/messages/count_tokens. Das Gateway wandelt Messages- und Responses-Anfragen in Chat Completions um, damit Ihr Modell sie verarbeiten kann. Funktionen, die auf spezifischen Backend-Systemen der Anbieter beruhen – etwa OpenAI Assistants, Files oder Fine-Tuning – sind hingegen nicht verfügbar.
Ja. Setzen Sie dazu "stream": true im Anfrage-Text. Tokios liefert Server-Sent Events im gängigen OpenAI- bzw. Anthropic-Streaming-Format aus.
Ja. SDK-Clients müssen die Basis-URL auf https://api.tokios.com/v1 setzen (inklusive des /v1-Suffixes). Bei Anthropic-kompatiblen Clients, die ANTHROPIC_BASE_URL verwenden, ist die Basis-URL https://api.tokios.com einzugeben – ohne /v1, da der Client den Pfad selbst hinzufügt. Prüfen Sie in der Dokumentation Ihres Clients, welche Form er erwartet.

​
Lokale Modelle

Standardmäßig nicht. Tokios leitet jede Anfrage über den Tunnel an Ihr lokales Modell weiter und gibt die Antwort direkt zurück. Die Statistik-Engine erfasst lediglich Token-Anzahl, Latenz, Status sowie Identifikatoren; Antwortinhalte werden niemals gespeichert.Ein Workspace-Administrator kann Anfragen-Protokollierung im Dashboard unter Settings aktivieren. Anschließend speichert Tokios den Inhalt jeder API-Anfrage für 7 Tage verschlüsselt; dabei werden Anhänge entfernt sowie Textabschnitte, die wie Geheimdaten wirken, ausgeblendet. Wenn Sie anschließend eine gespeicherte Anfrage öffnen, wird der Inhalt unter dem Bereich Prompt angezeigt. Nur Nutzer Ihres Workspaces können diese gespeicherten Inhalte einsehen: Administratoren haben Zugriff auf alle, Mitglieder lediglich auf jene, die mit ihren eigenen API-Schlüsseln gesendet wurden; Personen, denen Sie einen Schlüssel freigegeben haben, können sie ebenfalls sehen, sofern Sie dies explizit erlaubt haben. Die Funktion lässt sich jederzeit deaktivieren, und Sie können alle gespeicherten Inhalte löschen. Weitere Informationen finden Sie unter Anfragen-Protokollierung.
Jeder Server, der eine OpenAI-kompatible Chat-Completions-API bereitstellt: Ollama, llama.cpp, vLLM sowie LM Studio sind die gängigsten Beispiele. Geben Sie anschließend die Upstream-Modell-ID BaseUrl (einschließlich /v1) in tokios-connector.json ein. Weitere Informationen finden Sie unter Backends.
Ja. Ein einziger Connector kann mithilfe von Routes und Upstreams mehrere Modelle bedienen; für jedes Modell wird anschließend eine Deployment-Instanz (öffentlicher Name) registriert. Alternativ lässt sich auch für jedes Modell ein separater Connector einrichten. Nähere Informationen finden Sie unter Modell-Routing.

​
Konto und Abrechnung

Ja – der Community-Plan ist kostenlos und erfordert keine Kreditkarte; er gewährt uneingeschränkten Zugriff auf Tokios sowie die Möglichkeit, das Tool auf eigenen Hardware-Ressourcen zu betreiben und zu testen.
Gehen Sie im Konsole-Bereich zu API Keys, suchen Sie den gewünschten Schlüssel und klicken Sie auf Revoke. Ab diesem Moment ist der Schlüssel nicht mehr gültig.