/v1/chat/completions) sur votre machine. Ollama, llama.cpp, vLLM, LM Studio, MLX Studio et MLX-LM Server le font tous. La passerelle traduit chaque requête entrante en Chat Completions et l’envoie dans le tunnel ; le connecteur la transmet au BaseUrl upstream que vous avez défini dans tokios-connector.json. Pointez le connecteur vers votre serveur en définissant ce BaseUrl — y compris le /v1 segment.
Incluez toujours
/v1 dans BaseUrl, et utilisez le point de terminaison compatible OpenAI de votre backend. Pour Ollama, c’est l’API /v1 (pas le /api natif).Facilité de configuration
Quel que soit votre choix, Tokios s’y connecte de la même manière — définissez le
BaseUrl upstream (avec /v1) et vous obtenez un point de terminaison unique.
Cette liste n’est pas exhaustive. Le connecteur transmet à tout serveur qui expose une API Chat Completions compatible OpenAI à une URL de base
/v1 — donc SGLang, Xinference, LocalAI et similaires fonctionnent aussi. Ollama, llama.cpp, vLLM et LM Studio sont simplement les plus documentés ici.Ports par défaut
Placez leUpstream correspondant dans votre tokios-connector.json (consultez Connector Config pour le fichier complet) :
L’identifiant du modèle que votre serveur utilise (pour Ollama, celui que vous passez à
ollama run) est celui que vous listez dans Models / Routes du connecteur. Vous lui donnez un nom d’API public quand vous enregistrez un déploiement.Détails des backends
Ollama
Upstream :http://127.0.0.1:11434/v1
Ollama sert une API compatible OpenAI sur /v1 au port 11434. Téléchargez et lancez votre modèle d’abord — l’identifiant que vous donnez à Ollama est l’identifiant du modèle upstream que le connecteur sert :
llama.cpp
Upstream :http://127.0.0.1:8080/v1
Lancez le serveur compatible OpenAI intégré, llama-server. Il écoute par défaut sur le port 8080 et sert /v1 :
vLLM
Upstream :http://127.0.0.1:8000/v1
Le serveur compatible OpenAI de vLLM écoute sur le port 8000. Démarrez-le avec :
LM Studio
Upstream :http://127.0.0.1:1234/v1
LM Studio inclut un serveur compatible OpenAI intégré :
- Ouvrez LM Studio et allez dans l’onglet Developer (Local Server).
- Chargez un modèle et démarrez le serveur. Il écoute sur le port
1234.
MLX Studio
Upstream :http://127.0.0.1:8000/v1
MLX Studio est une application macOS native (macOS 14.0+ Sonoma, tous les Apple Silicon M1–M4) qui enveloppe le serveur d’inférence vMLX. Il est livré avec un environnement Python 3.12 intégré — pas de terminal, pas de pip, pas de venv nécessaire. Téléchargez l’application, choisissez un modèle depuis n’importe quel dépôt mlx-community sur Hugging Face, et démarrez le serveur API intégré.
MLX Studio inclut le chat, la vision, la génération d’images, la synthèse vocale, la reconnaissance vocale et l’appel d’outils. Son moteur d’inférence supporte la quantification mixte JANG, le batching continu avec PagedAttention, le décodage spéculatif, la quantification du cache KV et le cache de préfixes. Un playground interactif de documentation et de test de l’API est intégré, et un mode barre de menu donne un accès rapide sans fenêtre complète.
- Ouvrez MLX Studio et téléchargez un modèle depuis le Model Manager.
- Démarrez le serveur API depuis l’onglet Server. Il écoute sur le port
8000.
Lemonade Server
Upstream :http://127.0.0.1:13305/v1
Lemonade Server est un serveur d’inférence open source soutenu par AMD. Il détecte automatiquement votre matériel et sélectionne le meilleur backend — Vulkan, ROCm, CUDA ou Metal — pour que vous n’ayez pas à choisir vous-même. C’est le seul backend ici qui supporte les AMD Ryzen AI NPU. Installez via MSI sur Windows, APT PPA sur Ubuntu, ou AUR sur Arch. Consultez lemonade-server.ai pour les détails.
Lemonade Server expose une API compatible OpenAI sur /v1 au port 13305 par défaut. Il supporte aussi les points de terminaison compatibles Ollama et Anthropic.
MLX-LM Server
Upstream :http://127.0.0.1:8080/v1
MLX-LM Server fait partie du package Python mlx-lm et tourne nativement sur Apple Silicon. Il utilise l’architecture en mémoire unifiée du framework MLX avec des chemins de données sans copie, donc les poids du modèle vivent dans le même pool mémoire que le CPU et le GPU — pas de VRAM séparée à gérer. Installez le package et démarrez le serveur avec n’importe quel modèle mlx-community de Hugging Face :
8080 et expose une API Chat Completions compatible OpenAI sur /v1. Il supporte le batching continu, l’appel d’outils, la sortie structurée et le cache de prompts. Les quantifications disponibles incluent 4-bit (par défaut), 8-bit et BF16.