Zum Hauptinhalt springen
SillyTavern ist das Frontend für erfahrene Benutzer und Rollenspiele für lokale Modelle, mit detaillierter Steuerung von Prompts, Sampling und Charakteren. Sein Chat Completion-Backend kann auf jeden benutzerdefinierten OpenAI-kompatiblen Endpunkt zeigen – stellen Sie die Quelle auf Custom (OpenAI-compatible) ein, geben Sie https://api.tokios.com/v1 und Ihren sk-tok-…-Schlüssel ein, und SillyTavern steuert ein Modell, das auf Ihrer eigenen Hardware läuft.

​
Voraussetzungen

Connector gepaart

Installieren und paaren Sie tokios-connector neben dem Modell, das SillyTavern erreichen soll.

Modell registriert

Registrieren Sie ein Deployment (öffentlicher Name) für dieses Modell.

API-Schlüssel erstellt

Erstellen Sie einen sk-tok-…-Schlüssel, optional auf dieses Deployment beschränkt.

Unterstützte Backends

Stellen Sie sicher, dass Ihr lokales Backend (Ollama, llama.cpp, vLLM, LM Studio) läuft.

​
SillyTavern mit Tokios verbinden

1

API-Verbindungen öffnen

Klicken Sie auf das plug-Symbol, um das API Connections-Panel zu öffnen.
2

Chat Completion → Custom (OpenAI-compatible) auswählen

Stellen Sie API auf Chat Completion und dann Chat Completion Source auf Custom (OpenAI-compatible) ein.
3

Endpunkt und Schlüssel festlegen

Füllen Sie die Felder für den benutzerdefinierten Endpunkt aus:
Verwenden Sie https://api.tokios.com/v1. SillyTavern fügt /chat/completions selbst hinzu, fügen Sie es also nicht an. Wenn eine Verbindung fehlschlägt und Sie /v1 weggelassen haben, ist das Hinzufügen der erste Schritt, den Sie versuchen sollten.
4

Ihr Deployment als Modell eingeben und verbinden

Geben Sie den öffentlichen Deployment-Namen ein, den Sie im Models-Tab registriert haben – beispielsweise gemma-tunnel – als Modell-ID und klicken Sie dann auf Connect. Dies ist der Wert, den SillyTavern im model-Feld sendet, nicht die lokale Modell-ID Ihres Backends.
Ersetzen Sie gemma-tunnel durch den Deployment-Namen, den Sie registriert haben, und sk-tok-YOUR_KEY durch Ihren eigenen Schlüssel. Geben Sie keines davon in einer gemeinsam genutzten Konfigurationsdatei ein.

​
Frontend für erfahrene Benutzer, Modell auf Ihrer Hardware

SillyTavern bietet Ihnen detaillierte Kontrolle über Prompting und Sampling; Tokios bietet Ihrem laufenden Modell einen stabilen, authentifizierten Endpunkt. Der Connector neben Ihrem Modell wählt Tokios an, und SillyTavern – auf derselben Maschine oder einer anderen – ruft https://api.tokios.com/v1 mit Ihrem sk-tok-…-Schlüssel auf. Ihre Prompts und Charaktere bleiben bei Ihnen; nur der ausgehende Tunnel des Connectors berührt Tokios.

​
Fehlerbehebung

Der von SillyTavern gesendete API-Schlüssel fehlt, ist fehlerhaft oder wurde widerrufen. Stellen Sie sicher, dass Sie den vollständigen sk-tok-…-Schlüssel ohne zusätzlichen Leerzeichen eingefügt haben, und überprüfen Sie seinen Status im Keys-Tab.
Der Modellwert stimmt nicht mit einem registrierten Deployment überein, oder die Basis-URL ist falsch. Stellen Sie sicher, dass der Modellname mit dem öffentlichen Namen im Models-Tab übereinstimmt, dass die Basis-URL https://api.tokios.com/v1 ist und dass Sie nicht /chat/completions angehängt haben.
Der Connector für dieses Deployment ist offline oder hat sein Parallelitätslimit erreicht. Überprüfen Sie den Connectors-Tab – der Connector muss als Online angezeigt werden, und die Maschine, auf der er läuft, muss noch hoch und erreichbar sein.

​
Nächste Schritte

Kompatible Clients

Sehen Sie sich die Einrichtung der Basis-URL und des Schlüssels für andere OpenAI- und Anthropic-kompatible Clients an.

API-Schlüssel

Erstellen, beschränken und rotieren Sie sk-tok-…-Schlüssel für Teammitglieder und Agenten.