https://api.tokios.com/v1 hin und nutzen Sie dabei Ihren sk-tok-… API-Schlüssel sowie den registrierten Deployment-Namen. Auf diese Weise ruft jede Anwendung Ihr lokales Modell auf – ohne host.docker.internal, ohne Portweiterleitung und ohne VPN.
Voraussetzungen
Installieren und paaren Sie den Connector
Starten Sie
tokios-connector neben Ihrem Modell und bestätigen Sie es in der Konsole.Registrieren Sie eine Deployment
Geben Sie Ihrem Modell einen öffentlichen Namen, etwa
gemma-tunnel – dieser Wert wird vom Client als model übermittelt.Erstellen Sie einen API-Schlüssel
Erstellen Sie einen
sk-tok-…-Schlüssel auf dem Reiter Keys; optional können Sie ihn auf diese Deployment beschränken.Prüfen Sie, ob Ihre Backend-Infrastruktur unterstützt wird
Ollama, llama.cpp, vLLM sowie LM Studio funktionieren alle problemlos über den Connector.
Tokios implementiert
GET /v1/models und passt die Oberfläche der OpenAI-API an, sodass AnythingLLM oder Dify bei der Überprüfung des Anbieters – etwa beim Auflisten von Modellen oder beim Testen des Endpunkts – dasselbe Ergebnis erhalten wie bei einer direkten Verbindung mit OpenAI.Fügen Sie Tokios als Anbieter hinzu.
- AnythingLLM
- Dify
1
Einstellungen für Open LLM-Anbieter.
In AnythingLLM navigieren Sie zu Settings → LLM Provider und wählen Sie aus der Liste der Anbieter Generic OpenAI aus. Der genaue Menüpfad sowie die Bezeichnung des Anbieters können je nach Version variieren – prüfen Sie daher Ihre Version.
2
Geben Sie die Basis-URL ein.
Geben Sie in Base URL Folgendes ein:
3
Geben Sie den API-Schlüssel ein.
Fügen Sie in API Key Ihren Tokios-API-Schlüssel ein.
4
Geben Sie den Modellnamen ein.
Im Feld Modellname (in manchen AnythingLLM-Versionen auch als Chat Model Name bezeichnet) tragen Sie den Namen Ihrer Tokios-Deployment ein – beispielsweise
gemma-tunnel. Dies ist nicht die Upstream-Modell-ID, die Ihr Backend lokal verwendet.5
Festlegen der Token- bzw. Kontextfenstergröße
Geben Sie in das Feld Token context window die Kontextlänge Ihres Modells ein; die genaue Bezeichnung des Feldes variiert je nach Version. In manchen Versionen ist diese Angabe zwingend erforderlich, damit die Einstellungen gespeichert werden können.
6
Speichern und testen
Speichern Sie die Provider-Einstellungen und senden Sie anschließend eine Nachricht in einem Workspace, um zu prüfen, ob AnythingLLM über Tokios mit Ihrem Modell kommunizieren kann.
No more host.docker.internal
Sowohl AnythingLLM als auch Dify werden üblicherweise in Docker ausgeführt; Ihr Modell läuft oft auf einem anderen Rechner oder in einem anderen Container als die Apps. Genau an dieser Stelle scheitern die meisten selbstgehosteten Installationen: localhost innerhalb eines Containers erreicht den Host nicht, host.docker.internal wird auf verschiedenen Plattformen unterschiedlich aufgelöst, und ein Modell auf einem separaten Rechner erfordert eigene Port-Weiterleitungen oder VPN-Zugänge.
Wenn Sie AnythingLLM oder Dify auf https://api.tokios.com/v1 verweisen lassen, entfällt dieses Problem vollständig. Der Endpunkt bleibt öffentlich und stabil – unabhängig davon, in welchem Container, auf welchem Host oder in welchem Netzwerk die Apps laufen. Lediglich der Connector neben Ihrem Modell benötigt ausgehenden Zugriff; dabei werden keine eingehenden Ports geöffnet.
Nach erfolgter Verbindung
Ihr Modell ist nun von AnythingLLM oder Dify aus erreichbar – unabhängig vom Standort dieser Apps. Die gleiche Deployment-Konfiguration sowie der gleiche API-Schlüssel funktionieren ebenfalls mit jedem anderen OpenAI- oder Anthropic-kompatiblen Client.Kompatible Clients
Hier finden Sie die vollständige Liste der Clients, mit denen Tokios zusammenarbeitet, sowie die jeweiligen Basis-URLs, die für deren Nutzung erforderlich sind.
API-Schlüssel
Erstellen Sie für jede Anwendung oder jedes Teammitglied einen separaten, auf das jeweilige Bereich beschränkten Schlüssel und entziehen Sie Zugriffsrechte, ohne Ihren Connector zu verändern.