Skip to main content
Der Tokios Connector leitet Anfragen an jeden Modell-Server weiter, der auf Ihrem Rechner eine OpenAI-kompatible Chat Completions API (/v1/chat/completions) bereitstellt. Ollama, llama.cpp, vLLM sowie LM Studio erfüllen diese Voraussetzung. Das Gateway wandelt eingehende Anfragen in Chat Completions um und leitet sie durch den Tunnel; anschließend sendet der Connector sie an die konfigurierte Upstream-Modell-ID BaseUrl aus tokios-connector.json. Richten Sie den Connector auf Ihren Server ein, indem Sie jenen BaseUrl festlegen – inklusive des /v1-Segments.
Achten Sie stets darauf, /v1 in BaseUrl einzufügen und nutzen Sie den OpenAI-kompatiblen Endpunkt Ihres Backends. Bei Ollama handelt es sich dabei um die /v1 API (nicht die native /api Schnittstelle).
Neuling bei lokalen Modellen? Beginnen Sie mit den einfachsten Optionen: Ollama (ein einziger Befehl) oder LM Studio (eine grafische Desktop-Anwendung). vLLM sowie SGLang sind leistungsstarke GPU-Server, erfordern jedoch mehr Konfigurationsaufwand – greifen Sie darauf zurück, sobald Sie Erfahrung gesammelt haben und höhere Durchsatzraten benötigen.

​
Einfachheit der Einrichtung

Unabhängig davon, welche Option Sie wählen, stellt Tokios stets die gleiche Verbindung her – legen Sie einfach die Upstream-Modell-ID BaseUrl fest (unter Verwendung von /v1) und erhalten Sie einen einzigen Endpunkt.
Diese Auflistung ist keineswegs vollständig. Der Connector leitet Anfragen an alle Server weiter, die eine OpenAI-kompatible Chat Completions API unter einer bestimmten Basis-URL /v1 anbieten – daher funktionieren auch SGLang, Xinference, TGI, LocalAI sowie ähnliche Systeme. Ollama, llama.cpp, vLLM und LM Studio sind lediglich diejenigen, die hier am ausführlichsten beschrieben werden.
Jan kann ebenfalls als Client genutzt werden – anstatt ein Modell lokal bereitzustellen, kann es über Tokios auf ein größeres Modell zugreifen, das an einem anderen Ort läuft. Weitere Informationen finden Sie unter Jan in Verbindung mit einem Modell auf eigener Hardware nutzen.

​
Standard-Ports

Fügen Sie die passende Upstream-Modell-ID Upstream in Ihre Konfigurationsdatei tokios-connector.json ein (siehe Connector-Konfiguration für Details):
Die Upstream-Modell-ID, die Ihr Server verwendet (bei Ollama handelt es sich dabei um den von Ihnen gewählten Wert ollama run), muss in den Feldern Models und Routes des Connectors eingetragen werden. Beim Registrieren einer Deployment vergeben Sie zudem einen öffentlichen API-Schlüssel.

​
Hintergrundinformationen zum Backend

​
Ollama

Upstream: http://127.0.0.1:11434/v1 Ollama stellt eine OpenAI-kompatible API unter der Adresse /v1 auf Port 11434 bereit. Laden Sie zunächst Ihr Modell herunter und führen Sie es aus – die von Ihnen angegebene Modell-ID dient als Upstream-Modell-ID für den Connector.

​
llama.cpp

Upstream-Modell-ID: http://127.0.0.1:8080/v1 Starten Sie den mitgelieferten OpenAI-kompatiblen Server, llama-server. Standardmäßig reagiert er auf Port 8080 und stellt /v1 bereit:

​
vLLM

Upstream-Modell-ID: http://127.0.0.1:8000/v1 Der OpenAI-kompatible Server von vLLM reagiert auf Port 8000. Starten Sie ihn mit folgendem Befehl:

​
LM Studio

Upstream-Modell-ID: http://127.0.0.1:1234/v1 LM Studio verfügt über einen integrierten OpenAI-kompatiblen Server:
  1. Öffnen Sie LM Studio und wechseln Sie zum Tab Developer (Lokaler Server).
  2. Laden Sie ein Modell und starten Sie den Server. Er reagiert auf Port 1234.
Wird der Server auf einem anderen Port ausgeführt? Ändern Sie einfach den Port in BaseUrl. Jeder Server, der OpenAI Chat Completions unterstützt, ist geeignet.