/v1/chat/completions) bereitstellt. Ollama, llama.cpp, vLLM, LM Studio, MLX Studio und MLX-LM Server tun das alle. Das Gateway übersetzt jede eingehende Anfrage in Chat Completions und sendet sie durch den Tunnel; der Connector leitet sie an die Upstream-BaseUrl weiter, die Sie in tokios-connector.json gesetzt haben. Richten Sie den Connector auf Ihren Server aus, indem Sie diese BaseUrl setzen — einschließlich des /v1-Segments.
Fügen Sie immer
/v1 in BaseUrl ein und verwenden Sie den OpenAI-kompatiblen Endpunkt Ihres Backends. Bei Ollama ist das die /v1-API (nicht die native /api).Einfachheit der Einrichtung
Für welche Option Sie sich entscheiden, Tokios verbindet sich immer auf die gleiche Weise — setzen Sie die Upstream-
BaseUrl (mit /v1) und Sie erhalten einen einzigen Endpunkt.
Diese Liste ist nicht abschließend. Der Connector leitet an jeden Server weiter, der eine OpenAI-kompatible Chat Completions API unter einer
/v1-Basis-URL bereitstellt — daher funktionieren auch SGLang, Xinference, LocalAI und ähnliche. Ollama, llama.cpp, vLLM und LM Studio sind einfach die hier am genauesten dokumentierten.Standard-Ports
Setzen Sie den passendenUpstream in Ihre tokios-connector.json (siehe Connector Config für die vollständige Datei):
Die Modell-ID, die Ihr Server verwendet (bei Ollama das, was Sie mit
ollama run ausführen), ist das, was Sie in Models / Routes des Connectors eintragen. Sie geben ihm einen öffentlichen API-Namen, wenn Sie ein Deployment registrieren.Backend-Details
Ollama
Upstream:http://127.0.0.1:11434/v1
Ollama bietet eine OpenAI-kompatible API unter /v1 auf Port 11434 an. Laden Sie zuerst Ihr Modell herunter und führen Sie es aus — die ID, die Sie Ollama geben, ist die Upstream-Modell-ID, die der Connector bereitstellt:
llama.cpp
Upstream:http://127.0.0.1:8080/v1
Führen Sie den mitgelieferten OpenAI-kompatiblen Server llama-server aus. Er lauscht standardmäßig auf Port 8080 und stellt /v1 bereit:
vLLM
Upstream:http://127.0.0.1:8000/v1
Der OpenAI-kompatible Server von vLLM lauscht auf Port 8000. Starten Sie ihn mit:
LM Studio
Upstream:http://127.0.0.1:1234/v1
LM Studio enthält einen integrierten OpenAI-kompatiblen Server:
- Öffnen Sie LM Studio und gehen Sie zum Tab Developer (Local Server).
- Laden Sie ein Modell und starten Sie den Server. Er lauscht auf Port
1234.
MLX Studio
Upstream:http://127.0.0.1:8000/v1
MLX Studio ist eine native macOS-App (macOS 14.0+ Sonoma, alle Apple Silicon M1–M4), die den vMLX-Inferenzserver umschließt. Sie wird mit einer mitgelieferten Python-3.12-Umgebung geliefert — kein Terminal, kein pip, kein venv erforderlich. Laden Sie die App herunter, wählen Sie ein Modell aus einem beliebigen mlx-community-Repository auf Hugging Face und starten Sie den integrierten API-Server.
MLX Studio umfasst Chat, Vision, Bildgenerierung, Text-to-Speech, Speech-to-Text und Tool-Aufrufe. Seine Inferenz-Engine unterstützt JANG-Mixed-Precision-Quantisierung, Continuous Batching mit PagedAttention, Speculative Decoding, KV-Cache-Quantisierung und Prefix Caching. Eine interaktive API-Dokumentation und Test-Playground ist eingebaut, und ein Menüleisten-Modus ermöglicht schnellen Zugriff ohne vollständiges Fenster.
- Öffnen Sie MLX Studio und laden Sie ein Modell aus dem Model Manager herunter.
- Starten Sie den API-Server im Tab Server. Er lauscht auf Port
8000.
Lemonade Server
Upstream:http://127.0.0.1:13305/v1
Lemonade Server ist ein Open-Source-Inferenzserver von AMD. Er erkennt automatisch Ihre Hardware und wählt das beste Backend — Vulkan, ROCm, CUDA oder Metal — sodass Sie kein Backend selbst wählen müssen. Er ist das einzige Backend hier, das AMD Ryzen AI NPUs unterstützt. Installation über MSI unter Windows, APT PPA unter Ubuntu oder AUR unter Arch. Siehe lemonade-server.ai für Details.
Lemonade Server bietet eine OpenAI-kompatible API unter /v1 auf Port 13305 standardmäßig an. Er unterstützt auch Ollama-kompatible und Anthropic-kompatible Endpunkte.
MLX-LM Server
Upstream:http://127.0.0.1:8080/v1
MLX-LM Server ist Teil des Python-Pakets mlx-lm und läuft nativ auf Apple Silicon. Er verwendet die Unified-Memory-Architektur des MLX-Frameworks mit Zero-Copy-Datenpfaden, sodass Modellgewichte im selben Speicher-Pool wie CPU und GPU liegen — kein separates VRAM zu verwalten. Installieren Sie das Paket und starten Sie den Server mit einem beliebigen mlx-community-Modell von Hugging Face:
8080 und bietet eine OpenAI-kompatible Chat Completions API unter /v1 an. Er unterstützt Continuous Batching, Tool-Aufrufe, strukturierte Ausgabe und Prompt Caching. Verfügbare Quantisierungen umfassen 4-Bit (Standard), 8-Bit und BF16.