Lokale Modelle in LangChain, LlamaIndex sowie dem Vercel AI SDK

Alle vier Frameworks ermöglichen es, eine individuelle OpenAI-kompatible Basis-URL für deren OpenAI-Provider festzulegen – das ist der Integrationspunkt. Verweisen Sie auf https://api.tokios.com/v1, geben Sie einen sk-tok-…-API-Schlüssel an und setzen Sie model auf den registrierten Deployment-Namen (zum Beispiel gemma-tunnel), nicht auf die Upstream-Modell-ID Ihres lokalen Backends. Falls Sie bereits einen lokalen Server ohne API-Schlüssel betrieben haben, kennen Sie wohl solche Platzhalter wie "not-needed", die lediglich dazu dienten, einen Client zufriedenzustellen, der einen API-Schlüssel erwartet – bei Tokios wird dort jedoch ein echter, widerrufbarer Schlüssel benötigt.

Voraussetzungen

Installieren Sie den Connector

Verknüpfen Sie tokios-connector mit Ihrem lokalen Backend.

Registrieren Sie eine Deployment

Wählen Sie den öffentlichen Namen, der im Feld model verwendet werden soll.

Erstellen Sie einen API-Schlüssel

Generieren Sie einen sk-tok-…-Schlüssel, der auf die gewünschten Deployments zugreifen kann.

Unterstützte Backends

Stellen Sie sicher, dass Ollama, llama.cpp, vLLM oder LM Studio als Upstream-Modell-ID konfiguriert sind.

Konfigurieren Sie Ihr Framework.

LangChain
LlamaIndex
Vercel AI SDK
Pydantic AI

Die ChatOpenAI-Klasse von LangChain verwendet ein base_url sowie ein api_key, genauso wie das von ihr umschlossene OpenAI-SDK:

langchain_tokios.py

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
)

print(llm.invoke("Summarize this code: print('hello')").content)

LlamaIndex kommuniziert mit OpenAI-kompatiblen Servern über OpenAILike, welches den OpenAI-Client verwendet, jedoch standardmäßig Einstellungen nutzt, die eher für lokale Server ohne Chat-Funktionen geeignet sind. Falls Ihre Deployment-Einrichtung Chat und Tool-Aufrufe unterstützt, müssen Sie is_chat_model sowie is_function_calling_model explizit festlegen; zudem sollte context_window an Ihr Modell angepasst werden. Andernfalls greift LlamaIndex auf konservative Standardwerte zurück – nämlich is_chat_model=False sowie ein kleines context_window –, wodurch die Leistung unbemerkt abnimmt. Die genauen Standardwerte können je nach LlamaIndex-Version variieren; prüfen Sie daher stets die Angaben für Ihre installierte Version.

llamaindex_tokios.py

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=8192,
)

print(llm.complete("Summarize this code: print('hello')"))

The @ai-sdk/openai-compatible package’s createOpenAICompatible builds a provider from any OpenAI-compatible base URL, then you call it like the built-in OpenAI provider:

vercel-ai-tokios.ts

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokios = createOpenAICompatible({
  name: 'tokios',
  baseURL: 'https://api.tokios.com/v1',
  apiKey: process.env.TOKIOS_API_KEY,
});

const { text } = await generateText({
  model: tokios('gemma-tunnel'),
  prompt: "Summarize this code: print('hello')",
});

console.log(text);

Geben Sie den Wert von TOKIOS_API_KEY in Ihrer Umgebungsvariablen an, anstatt den sk-tok-…-Schlüssel direkt im Code zu verwenden.

Die Funktion OpenAIProvider von Pydantic AI akzeptiert einen benutzerdefinierten base_url-Wert; zudem benötigt OpenAIChatModel sowohl diesen Provider als auch den Namen Ihrer Deployment-Einrichtung.

pydantic_ai_tokios.py

from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "gemma-tunnel",
    provider=OpenAIProvider(
        base_url="https://api.tokios.com/v1",
        api_key="sk-tok-YOUR_KEY",
    ),
)

Across all four frameworks, model is always the Tokios deployment name you registered in the Models tab — never the local model id your backend serves — and the base URL must include /v1. Omitting /v1 is the most common misconfiguration when adapting a snippet from a different OpenAI-compatible provider.

Häufig gestellte Fragen

Warum müssen bei LlamaIndex die Einstellungen is_chat_model und is_function_calling_model explizit gesetzt werden?

OpenAILike stellt ein generisches Wrapper-Modul für OpenAI-kompatible Server dar, die nicht zwangsläufig das Verhalten von OpenAI-Chat-Modellen aufweisen; daher wird von vornherein weder Chat- noch Funktionen-Aufruf-Unterstützung angenommen. Prüfen Sie die tatsächlichen Standardwerte anhand Ihrer installierten LlamaIndex-Version und legen Sie beide Einstellungen explizit so fest, dass sie zu den Fähigkeiten Ihrer Deployment-Umgebung passen.

Benötige ich weiterhin einen Platzhalter-Wert für den API-Schlüssel?

Nein. Frameworks, die für lokale Server ohne Authentifizierung entwickelt wurden, erwarten oft einen Platzhalter-String, da das Feld zwar erforderlich ist, aber nicht überprüft wird. Die Tokios-Schlüssel sind echte sk-tok-…-Anmeldeinformationen – sie werden im Keys-Reiter erstellt, berechtigt und ggf. widerrufen – weshalb das Feld für den API-Schlüssel hier tatsächlich zur Authentifizierung dient und nicht nur eine bloße Plausibilitätsprüfung darstellt.

Funktioniert das Streaming in solchen Frameworks?

Ja. Wenn eine Anfrage "stream": true enthält, liefert Tokios SSE-Daten im Standard-OpenAI-Format; dadurch funktionieren die jeweiligen Streaming-Mechanismen der Frameworks – etwa LangChain’s .stream() oder das Vercel AI SDK’s streamText – genauso wie bei direkter Verbindung zu OpenAI.

Ab sofort von überall aus nutzbar

Ihr Backend läuft weiterhin auf localhost; der Connector initiiert lediglich ausgehende Verbindungen, weshalb Ihre bisherigen Konfigurationen unverändert bleiben. Verändert hat sich lediglich die Zugriffsberechtigung: Sobald ein Teammitglied oder ein deployed Agent über einen berechtigten sk-tok-…-Schlüssel verfügt, funktioniert derselbe LangChain-, LlamaIndex-, Vercel AI SDK- oder Pydantic AI-Code, der zuvor auf Ihrem Rechner lief, nun auch auf deren Systemen.

Kompatible Clients

Hier finden Sie die vollständige Liste der OpenAI- und Anthropic-kompatiblen Clients, mit denen Tokios zusammenarbeitet.

API-Schlüssel

Erstellen Sie für jeden Teammitglied oder Agenten einen separaten, begrenzten API-Schlüssel.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Lokale Modelle in LangChain, LlamaIndex sowie dem Vercel AI SDK

Voraussetzungen

Installieren Sie den Connector

Registrieren Sie eine Deployment

Erstellen Sie einen API-Schlüssel

Unterstützte Backends

Konfigurieren Sie Ihr Framework.

Häufig gestellte Fragen

Ab sofort von überall aus nutzbar

Kompatible Clients

API-Schlüssel

​Voraussetzungen

Installieren Sie den Connector

Registrieren Sie eine Deployment

Erstellen Sie einen API-Schlüssel

Unterstützte Backends

​Konfigurieren Sie Ihr Framework.

​Häufig gestellte Fragen

​Ab sofort von überall aus nutzbar

Kompatible Clients

API-Schlüssel

Voraussetzungen

Konfigurieren Sie Ihr Framework.

Häufig gestellte Fragen

Ab sofort von überall aus nutzbar