Modèles locaux dans LangChain, LlamaIndex et le SDK IA de Vercel

Les quatre frameworks permettent de définir une URL de base compatible OpenAI personnalisée pour leur fournisseur OpenAI — c’est là que se situe le point d’intégration. Indiquez-y l’adresse https://api.tokios.com/v1, saisissez une clé API sk-tok-…, puis renseignez model avec le nom de déploiement que vous avez enregistré (par exemple gemma-tunnel), et non l’ID de modèle amont de votre backend local. Si vous avez déjà lancé un serveur local sans clé, vous avez probablement saisi une chaîne aléatoire telle que "not-needed" pour satisfaire un client exigeant une clé API — avec Tokios, ce champ doit contenir une clé authentique et révocable.

Prérequis

Installez le connecteur

Associez tokios-connector à votre backend local.

Enregistrez un déploiement

Choisissez le nom public que le champ model utilisera.

Créez une clé API

Générez une clé sk-tok-… limitée aux déploiements souhaités.

Backends pris en charge

Vérifiez que Ollama, llama.cpp, vLLM ou LM Studio est correctement configuré en tant qu’ID de modèle amont.

Configurez votre framework.

LangChain.
LlamaIndex.
Vercel AI SDK.
Pydantic AI.

La classe ChatOpenAI de LangChain requiert un base_url ainsi qu’un api_key, tout comme le SDK OpenAI qu’elle encapsule.

langchain_tokios.py

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
)

print(llm.invoke("Summarize this code: print('hello')").content)

LlamaIndex communique avec des serveurs compatibles OpenAI via OpenAILike, lequel encapsule le client OpenAI mais utilise par défaut des paramètres adaptés à un serveur local générique plutôt qu’à un modèle capable de dialogues. Si votre déploiement prend en charge les échanges conversationnels et les appels d’outils, définissez explicitement is_chat_model et is_function_calling_model, ainsi que context_window en fonction de votre modèle. Dans le cas contraire, LlamaIndex recourt à des valeurs par défaut prudentes (is_chat_model=False et un petit context_window) qui altèrent discrètement le comportement. Ces valeurs peuvent varier selon la version de LlamaIndex, il convient donc de les vérifier en fonction de votre version installée.

llamaindex_tokios.py

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=8192,
)

print(llm.complete("Summarize this code: print('hello')"))

Le module @ai-sdk/openai-compatible propose une fonction createOpenAICompatible permettant de créer un fournisseur à partir de n’importe quelle URL de base compatible OpenAI ; vous pouvez ensuite l’utiliser comme le fournisseur OpenAI intégré.

vercel-ai-tokios.ts

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokios = createOpenAICompatible({
  name: 'tokios',
  baseURL: 'https://api.tokios.com/v1',
  apiKey: process.env.TOKIOS_API_KEY,
});

const { text } = await generateText({
  model: tokios('gemma-tunnel'),
  prompt: "Summarize this code: print('hello')",
});

console.log(text);

Définissez TOKIOS_API_KEY dans votre environnement plutôt que de coder en dur la clé sk-tok-….

Le composant OpenAIProvider de Pydantic AI accepte un base_url personnalisé, tandis que OpenAIChatModel prend ce fournisseur ainsi que le nom de votre déploiement.

pydantic_ai_tokios.py

from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "gemma-tunnel",
    provider=OpenAIProvider(
        base_url="https://api.tokios.com/v1",
        api_key="sk-tok-YOUR_KEY",
    ),
)

Dans les quatre frameworks, model correspond toujours au nom de déploiement Tokios que vous avez enregistré dans l’onglet Models — jamais à l’ID de modèle local fourni par votre backend — et l’URL de base doit impérativement contenir /v1. Omettre de spécifier /v1 constitue la erreur de configuration la plus fréquente lors de l’adaptation d’un extrait provenant d’un autre fournisseur compatible OpenAI.

FAQ

Pourquoi LlamaIndex exige-t-il que les paramètres is_chat_model et is_function_calling_model soient définis explicitement ?

OpenAILike constitue un wrapper générique destiné aux serveurs compatibles OpenAI dont le comportement ne correspond pas forcément à celui des modèles de chat d’OpenAI ; il ne suppose donc pas d’emblée la prise en charge du chat ou de l’appel de fonctions. Vérifiez les valeurs par défaut selon votre version de LlamaIndex et définissez ces deux paramètres de façon à refléter les capacités réelles de votre déploiement.

Faut-il encore indiquer une valeur fictive pour la clé API ?

Non. Les frameworks conçus pour des serveurs locaux sans authentification attendent souvent une chaîne de caractères factice, car le champ est obligatoire mais non validé. Les clés Tokios représentent en revanche de vraies identifiants sk-tok-… — créés, limités en droits et révoqués via l’onglet Keys — de sorte que le champ de la clé API assure bien l’authentification et non un simple test côté client.

Le streaming est-il pris en charge par ces frameworks ?

Absolument. Lorsqu’une requête contient "stream": true, Tokios renvoie des données SSE conformes au format OpenAI ; ainsi, les mécanismes de streaming natifs de chaque framework — tels que .stream() dans LangChain ou streamText dans le SDK d’IA de Vercel — fonctionnent exactement comme s’ils interagissaient directement avec OpenAI.

Désormais, il est possible d’y accéder depuis n’importe où.

Votre backend demeure hébergé sur localhost ; le connecteur se contente d’établir une connexion sortante, sans modifier quoi que ce soit de votre configuration. Ce qui change, c’est l’accès : dès qu’un collègue ou un agent déployé dispose d’une clé sk-tok-… dotée des droits nécessaires, le même code LangChain, LlamaIndex, SDK d’IA de Vercel ou Pydantic AI fonctionne désormais depuis leur poste.

Clients compatibles

Consultez la liste complète des clients compatibles OpenAI et Anthropic avec lesquels Tokios peut interagir.

Clés API

Créez une clé à portée distincte pour chaque membre d’équipe ou agent.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Modèles locaux dans LangChain, LlamaIndex et le SDK IA de Vercel

Prérequis

Installez le connecteur

Enregistrez un déploiement

Créez une clé API

Backends pris en charge

Configurez votre framework.

FAQ

Désormais, il est possible d’y accéder depuis n’importe où.

Clients compatibles

Clés API

​Prérequis

Installez le connecteur

Enregistrez un déploiement

Créez une clé API

Backends pris en charge

​Configurez votre framework.

​FAQ

​Désormais, il est possible d’y accéder depuis n’importe où.

Clients compatibles

Clés API

Prérequis

Configurez votre framework.

FAQ

Désormais, il est possible d’y accéder depuis n’importe où.