LangChain、LlamaIndex、Vercel AI SDKにおけるローカルモデル

どのフレームワークでも、OpenAI互換のベースURLをカスタマイズしてOpenAIプロバイダーに設定できます。これが統合のためのポイントです。このURLを https://api.tokios.com/v1 に指定し、sk-tok-… 形式のAPIキーを渡し、さらに model には登録済みのデプロイ名（例えば gemma-tunnel など）を入力します。ローカルバックエンドのアップストリームモデルIDではありません。これまでにキーなしのローカルサーバーを運用した経験があれば、APIキー欄が必須のクライアントに対応するため、"not-needed" のような仮の文字列を入力したことがあるでしょう。しかしTokiosでは、この欄には実際に無効化可能な有効なAPIキーを指定する必要があります。

前提条件

コネクターのインストール

Pair tokios-connector with your local backend.

デプロイの登録

ご自身の model フィールドで使用する公開名を選択してください。

APIキーの作成

必要なデプロイ先向けに sk-tok-… 形式のキーを生成する

対応しているバックエンド

Ollama、llama.cpp、vLLM、またはLM StudioがアップストリームモデルIDとして正しく設定されているか確認してください。

ご使用のフレームワークを設定します。

LangChain
LlamaIndex
Vercel AI SDK
Pydantic AI

LangChainの ChatOpenAI クラスは、ラップしているOpenAI SDKと同様に base_url および api_key を受け取ります。

langchain_tokios.py

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
)

print(llm.invoke("Summarize this code: print('hello')").content)

LlamaIndexは OpenAILike を通じてOpenAI互換サーバーと通信します。このコネクターはOpenAIクライアントをラップしていますが、デフォルトではチャット機能を持たない一般的なローカルサーバー向けの設定となっています。もしデプロイ環境でチャットやツール呼び出しが可能な場合は、明示的に is_chat_model および is_function_calling_model を設定し、さらに context_window にもご使用のモデルに合った値を指定してください。そうしないとLlamaIndexは控えめなデフォルト値（is_chat_model=False および小さな context_window）に戻り、動作が低下します。なおデフォルト値はLlamaIndexのバージョンによって異なるため、ご使用のバージョンに合った値をご確認ください。

llamaindex_tokios.py

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=8192,
)

print(llm.complete("Summarize this code: print('hello')"))

The @ai-sdk/openai-compatible package’s createOpenAICompatible builds a provider from any OpenAI-compatible base URL, then you call it like the built-in OpenAI provider:

vercel-ai-tokios.ts

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokios = createOpenAICompatible({
  name: 'tokios',
  baseURL: 'https://api.tokios.com/v1',
  apiKey: process.env.TOKIOS_API_KEY,
});

const { text } = await generateText({
  model: tokios('gemma-tunnel'),
  prompt: "Summarize this code: print('hello')",
});

console.log(text);

Set TOKIOS_API_KEY in your environment rather than hardcoding the sk-tok-… key.

Pydantic AIの OpenAIProvider はカスタムな base_url を受け取り、さらに OpenAIChatModel でデプロイ名と共にそのプロバイダーを指定します。

pydantic_ai_tokios.py

from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "gemma-tunnel",
    provider=OpenAIProvider(
        base_url="https://api.tokios.com/v1",
        api_key="sk-tok-YOUR_KEY",
    ),
)

Across all four frameworks, model is always the Tokios deployment name you registered in the Models tab — never the local model id your backend serves — and the base URL must include /v1. Omitting /v1 is the most common misconfiguration when adapting a snippet from a different OpenAI-compatible provider.

よくある質問

なぜLlamaIndexではis_chat_modelおよびis_function_calling_modelを明示的に設定する必要があるのですか？

OpenAILikeはOpenAI互換のサーバー用の汎用ラッパーですが、必ずしもOpenAI自身のチャットモデルと同じ挙動をするわけではないため、チャット機能や関数呼び出し機能をデフォルトで有効と見なしていません。ご使用のLlamaIndexバージョンにおける正確なデフォルト値を確認し、実際に利用可能なデプロイ環境に合わせて両方の値を明示的に設定してください。

ダミーのAPIキー値も必要ですか？

いいえ。ローカル環境のキー不要サーバー向けに作られたフレームワークでは、フィールドが必須だが検証されないためダミーの文字列が求められる場合があります。しかしTokiosのキーは実際のsk-tok-…認証情報であり、Keysタブから作成・スコープ設定・無効化が可能です。そのためAPIキーフィールドはクライアント側のチェックを通すためではなく、実際の認証に利用されます。

これらのフレームワークでもストリーミングは利用可能ですか？

はい。リクエスト時に"stream": trueが設定されるとTokiosは標準的なOpenAI形式のSSEを返すため、各フレームワークが備えるストリーミング機能（例えばLangChainの.stream()やVercel AI SDKのstreamTextなど）は、OpenAIを直接利用する場合と同様に機能します。

どこからでも呼び出せるように

バックエンドは依然としてlocalhost上で稼働しており、コネクターは外部への接続のみを行うため、これまでの設定内容に変更はありません。変わるのはアクセス可能なユーザーです。チームメンバーやデプロイ済みのエージェントがスコープ付きのsk-tok-…キーを取得すれば、ローカルマシン上で動作していたLangChainやLlamaIndex、Vercel AI SDK、Pydantic AIのコードがそのまま利用可能になります。

互換性のあるクライアント

Tokiosが対応するOpenAIおよびAnthropic互換のクライアント一覧をご覧ください。

APIキー

各チームメイトやエージェントごとに、個別のスコープ付きキーを作成してください。

ハードウェアと互換性

サービングとランタイム接続

クライアント接続

比較

LangChain、LlamaIndex、Vercel AI SDKにおけるローカルモデル

前提条件

コネクターのインストール

デプロイの登録

APIキーの作成

対応しているバックエンド

ご使用のフレームワークを設定します。

よくある質問

どこからでも呼び出せるように

互換性のあるクライアント

APIキー

​前提条件

コネクターのインストール

デプロイの登録

APIキーの作成

対応しているバックエンド

​ご使用のフレームワークを設定します。

​よくある質問

​どこからでも呼び出せるように

互換性のあるクライアント

APIキー

前提条件

ご使用のフレームワークを設定します。

よくある質問

どこからでも呼び出せるように