Zum Hauptinhalt springen
Jan ist eine lokal-zentrierte Desktop-App, die Modelle normalerweise geräteintern ausführt, aber auch einen benutzerdefinierten / entfernten OpenAI-kompatiblen Anbieter hinzufügen kann. Richten Sie diesen Anbieter auf https://api.tokios.com/v1, fügen Sie einen sk-tok-…-Schlüssel ein und verwenden Sie Ihren Tokios Deployment-Namen als Modell – Jan kommuniziert dann mit einem Modell, das auf einem anderen Computer läuft, anstatt nur mit den lokal installierten Modellen.

​
Voraussetzungen

Connector gepairt

Installieren und pairen Sie tokios-connector neben dem Modell, das Jan erreichen soll.

Modell registriert

Registrieren Sie ein Deployment (öffentlicher Name) für dieses Modell.

API-Schlüssel erstellt

Erstellen Sie einen sk-tok-…-Schlüssel, optional auf dieses Deployment beschränkt.

Unterstützte Backends

Stellen Sie sicher, dass Ihr lokales Backend (Ollama, llama.cpp, vLLM, LM Studio) läuft.

​
Tokios als Modellanbieter in Jan hinzufügen

1

Öffnen Sie die Modellanbieter-Einstellungen von Jan

Öffnen Sie in Jan Settings → Model Providers. Der genaue Menüpfad und die Bezeichnungen können je nach Jan-Version leicht abweichen – vergleichen Sie dies mit der von Ihnen verwendeten Version.
2

Fügen Sie einen OpenAI-kompatiblen Anbieter hinzu

Fügen Sie einen benutzerdefinierten Anbieter unter Verwendung der OpenAI-compatible-Option von Jan hinzu.
3

Legen Sie die Basis-URL und den API-Schlüssel fest

Geben Sie den Tokios-Endpunkt und Ihren Schlüssel ein:
Speichern Sie den Anbieter.
4

Fügen Sie Ihr Deployment als Modell hinzu

Fügen Sie einen Modelleintrag unter Verwendung des öffentlichen Deployment-Namens hinzu, den Sie im Models-Tab registriert haben – zum Beispiel gemma-tunnel. Dies ist der Wert, den Jan im model-Feld sendet; es ist nicht die lokale Modell-ID von Ollama, llama.cpp, vLLM oder LM Studio.
Ersetzen Sie gemma-tunnel durch den von Ihnen registrierten Deployment-Namen und sk-tok-YOUR_KEY durch Ihren eigenen Schlüssel. Geben Sie keines davon in eine gemeinsam genutzte Konfigurationsdatei ein.

​
Laptop-Oberfläche, Desktop-Modell

Die häufige Konfiguration, die dies löst: Jan ist auf einem Laptop installiert, aber das Modell, das Sie tatsächlich verwenden möchten – größer als alles, was dieser Laptop ausführen kann – befindet sich auf einem Desktop oder Server an einem anderen Ort in Ihrem Netzwerk oder an einem ganz anderen Ort. Anstatt sich auf die geräteinternen Modelle von Jan zu beschränken oder zu versuchen, das Backend Ihres Desktops direkt dem Laptop zugänglich zu machen, wählt der Connector auf dem Desktop eine Verbindung zu Tokios, und Jan auf dem Laptop ruft https://api.tokios.com/v1 mit Ihrem sk-tok-…-Schlüssel auf. Sie erhalten die lokal-zentrierte Oberfläche von Jan mit einem Modell, das nicht lokal auf dem Computer ist, auf dem Sie tippen.

​
Fehlerbehebung

Der von Jan gesendete API-Schlüssel fehlt, ist fehlerhaft oder wurde widerrufen. Stellen Sie sicher, dass Sie den vollständigen sk-tok-…-Schlüssel ohne zusätzlichen Leerzeichen eingefügt haben, und überprüfen Sie seinen Status im Keys-Tab.
Der von Jan gesendete Modellwert stimmt nicht mit einem registrierten Deployment überein. Stellen Sie sicher, dass der Modellname in Jan genau mit dem öffentlichen Namen im Models-Tab übereinstimmt – nicht mit Ihrer lokalen Modell-ID von Ollama/llama.cpp/vLLM/LM Studio.
Der Connector für dieses Deployment ist offline oder hat sein Parallelitätslimit erreicht. Überprüfen Sie den Connectors-Tab – der Connector muss als Online angezeigt werden, und der Computer, auf dem er läuft, muss noch hochgefahren und erreichbar sein.

​
Nächste Schritte

Kompatible Clients

Sehen Sie sich die Einrichtung der Basis-URL und des Schlüssels für andere OpenAI- und Anthropic-kompatible Clients an.

API-Schlüssel

Erstellen, beschränken und rotieren Sie sk-tok-…-Schlüssel für Teammitglieder und Agenten.