Zum Hauptinhalt springen
LibreChat greift auf OpenAI-kompatible APIs über benutzerdefinierte Endpunkte zu, die in librechat.yaml definiert sind. Fügen Sie einen Eintrag unter endpoints.custom hinzu, wobei baseURL auf https://api.tokios.com/v1 gesetzt ist, apiKey auf Ihren sk-tok-…-Schlüssel und models Ihren Tokios-Deployment-Namen auflistet – dann kann LibreChat mit Ihrem lokalen Modell chatten, ohne dass der Port des Modells jemals exponiert wird.

​
Voraussetzungen

Bevor Sie librechat.yaml bearbeiten, halten Sie Folgendes bereit:

Connector gepaart

Installieren und paaren Sie tokios-connector neben Ihrem Modell.

Modell registriert

Registrieren Sie ein Deployment (öffentlicher Name) für das Modell, das LibreChat sehen soll.

API-Schlüssel erstellt

Erstellen Sie einen sk-tok-…-Schlüssel, optional auf dieses Deployment beschränkt.

Unterstützte Backends

Stellen Sie sicher, dass Ihr lokales Backend (Ollama, llama.cpp, vLLM, LM Studio) läuft.

​
Fügen Sie Tokios als benutzerdefinierten Endpunkt hinzu

1

librechat.yaml öffnen

Öffnen (oder erstellen) Sie LibreChats Konfigurationsdatei librechat.yaml im Stammverzeichnis Ihres LibreChat-Deployments. Der genaue Standarddateipfad kann je nach Version variieren – prüfen Sie dies bei Ihrer Installation.
2

Einen benutzerdefinierten Endpunkteintrag hinzufügen

Fügen Sie unter endpoints.custom einen Block für Tokios hinzu, wobei baseURL auf Tokios zeigt und models.default auf Ihren öffentlichen Deployment-Namen gesetzt ist – zum Beispiel gemma-tunnel:
models.default sollte den Deployment-Namen (die Deployment-Namen) auflisten, den Sie im Models-Tab registriert haben, nicht Ihre lokale Modell-ID von Ollama, llama.cpp, vLLM oder LM Studio. Die genauen YAML-Schlüsselnamen und die Verschachtelung können sich zwischen LibreChat-Versionen ändern, daher sollten Sie die Schlüssel mit Ihrer Installation abgleichen.
3

Den API-Schlüssel als Umgebungsvariable bereitstellen

Legen Sie TOKIOS_API_KEY (oder welchen Variablennamen Sie auch immer oben referenziert haben) auf Ihren sk-tok-…-Schlüssel in LibreChats .env-Datei fest, anstatt den Schlüssel direkt in librechat.yaml einzufügen:
.env
4

LibreChat neu starten

Starten Sie den LibreChat-Server neu, damit er librechat.yaml neu lädt. Der Tokios-Endpunkt sollte nun in LibreChats Endpunktauswahl erscheinen.
Fügen Sie niemals einen echten sk-tok-…-Schlüssel in librechat.yaml oder in die Versionskontrolle ein. Referenzieren Sie ihn stattdessen über eine Umgebungsvariable.

​
Ihre Modelle stammen aus Ihrer Modellliste

Die benutzerdefinierten Endpunkte von LibreChat entdecken Deployments nicht automatisch, wie es einige Clients tun – das models-Feld in Ihrem librechat.yaml-Block ist die einzige Quelle für die Wahrheit darüber, was in der Auswahl angezeigt wird. Listen Sie jedes Tokios-Deployment auf, das Sie unter models.default verfügbar haben möchten. Wenn Ihre LibreChat-Version das dynamische Abrufen von Modellen für benutzerdefinierte Endpunkte unterstützt, erfolgt dies durch Aufruf von GET /v1/models gegen Ihre baseURL. Tokios implementiert /v1/models und gibt die Deployments zurück, auf die Ihr Schlüssel beschränkt ist, sodass eine auf Abruf basierende Konfiguration ebenfalls funktioniert – prüfen Sie die Dokumentation der aktuellen Version auf die genaue Umschaltfläche (zum Beispiel models.fetch) und das Verhalten.

​
Gehostete UI, Heimmodell

Die häufige Konfiguration, die dies löst: Sie betreiben LibreChat auf einem VPS oder einem Container-Host und möchten, dass es ein Modell erreicht, das auf Ihrem Heimcomputer oder Ihrer Workstation lebt, ohne den Port dieses Computers dem Internet zu exponieren. Da der Tokios-Connector nur vom Computer aus, auf dem Ihr Modell läuft, nach außen wählt, müssen Sie nicht:
  • Ihr Backend an 0.0.0.0 binden (zum Beispiel OLLAMA_HOST=0.0.0.0), nur damit eine entfernte LibreChat-Instanz es erreichen kann.
  • Einen eingehenden Port öffnen oder ein Loch in Ihrem Heimrouter oder Ihrer Firewall bohren.
  • Ein VPN oder einen Reverse-Proxy zwischen den beiden Computern einrichten.
LibreChat, wo immer es gehostet ist, kommuniziert mit https://api.tokios.com/v1, authentifiziert mit Ihrem sk-tok-…-Schlüssel. Tokios leitet die Anfrage über den Tunnel an den Connector weiter, der neben Ihrem Modell läuft, das die ganze Zeit auf localhost bleibt.

​
Fehlerbehebung

Stellen Sie sicher, dass librechat.yaml im Pfad liegt, den LibreChat erwartet (der genaue Pfad zur Konfigurationsentdeckung variiert je nach Version) und dass Sie den Server nach der Bearbeitung neu gestartet haben.
Der von LibreChat gesendete API-Schlüssel fehlt, ist fehlerhaft oder wurde widerrufen. Stellen Sie sicher, dass die Umgebungsvariable, die von apiKey referenziert wird, den vollständigen sk-tok-…-Schlüssel ohne zusätzlichen Leerzeichen enthält, und prüfen Sie seinen Status im Keys-Tab.
Der Schlüssel existiert, ist aber nicht auf das Deployment beschränkt, das Sie in models aufgelistet haben, oder Ihr Konto wurde gesperrt. Prüfen Sie die Modellmuster des Schlüssels im Keys-Tab.
Der von LibreChat gesendete Modellwert stimmt nicht mit einem registrierten Deployment überein. Stellen Sie sicher, dass er genau mit dem öffentlichen Namen im Models-Tab übereinstimmt – nicht mit Ihrer lokalen Modell-ID von Ollama/llama.cpp/vLLM/LM Studio.
Der Connector für dieses Deployment ist offline oder hat seine Konkurrenzbegrenzung erreicht. Prüfen Sie den Connectors-Tab – der Connector muss als Online angezeigt werden, und der Computer, auf dem er läuft, muss noch hoch und erreichbar sein.

​
Nutzen Sie es nun überall else

Sobald LibreChat über Tokios mit Ihrem Modell kommuniziert, funktionieren dasselbe Deployment und derselbe Schlüssel von jedem anderen OpenAI- oder Anthropic-kompatiblen Client aus – keine zusätzliche Einrichtung pro Client.

Kompatible Clients

Sehen Sie sich die Basis-URL- und Schlüsseleinstellungen für andere Clients an.

API-Schlüssel

Erstellen Sie separate, beschränkte Schlüssel für Teammitglieder, die dieselbe LibreChat-Instanz verwenden.