LangChain, LlamaIndex, Vercel AI SDK에서 사용하는 로컬 모델들

네 가지 프레임워크 모두 OpenAI 호환형 제공자를 위한 커스텀 기본 URL을 지정할 수 있습니다. 이 URL을 https://api.tokios.com/v1으로 설정하고 sk-tok-… 형태의 API 키를 입력한 뒤, model 항목에는 로컬 백엔드의 업스트림 모델 ID가 아닌 등록된 배포 이름(예: gemma-tunnel)을 입력해야 합니다. 이전에 API 키 없이 로컬 서버를 실행해본 적이 있다면, API 키 필드가 필요한 클라이언트를 만족시키기 위해 "not-needed" 같은 임시 문자열을 입력했을 것입니다. 하지만 Tokios에서는 이 필드에 실제로 취소 가능한 API 키를 입력해야 합니다.

사전 요구 사항

커넥터 설치하기

Pair tokios-connector with your local backend.

배포 환경 등록하기

Choose the public name your model field will use.

API 키 생성하기

필요한 배포 환경에 맞게 범위가 지정된 sk-tok-… API 키를 생성해 주세요.

지원되는 백엔드 목록

Ollama, llama.cpp, vLLM 또는 LM Studio가 업스트림 모델 ID로 올바르게 연결되었는지 확인하세요.

사용 중인 프레임워크를 설정하세요.

LangChain
LlamaIndex
Vercel AI SDK
Pydantic AI

LangChain의 ChatOpenAI 클래스는 래핑하는 OpenAI SDK와 마찬가지로 base_url 및 api_key 매개변수를 받아들입니다.

langchain_tokios.py

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
)

print(llm.invoke("Summarize this code: print('hello')").content)

LlamaIndex는 OpenAILike을 통해 OpenAI와 호환되는 서버들과 통신합니다. 이 커넥터는 OpenAI 클라이언트를 감싸주지만 기본 설정은 채팅 기능이 지원되는 모델이 아닌 일반 로컬 서버용으로 맞춰져 있습니다. 만약 배포 환경에서 채팅 및 도구 호출이 가능하다면 is_chat_model과 is_function_calling_model 값을 명시적으로 지정하고 context_window 역시 사용 중인 모델에 맞게 설정해야 합니다. 그렇지 않으면 LlamaIndex는 조용히 성능이 저하되는 보수적인 기본값들(is_chat_model=False과 작은 크기의 context_window)을 사용하게 됩니다. 실제 기본값은 LlamaIndex 버전에 따라 다를 수 있으므로 설치된 버전에 맞는 값을 꼭 확인하시기 바랍니다.

llamaindex_tokios.py

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=8192,
)

print(llm.complete("Summarize this code: print('hello')"))

The @ai-sdk/openai-compatible package’s createOpenAICompatible builds a provider from any OpenAI-compatible base URL, then you call it like the built-in OpenAI provider:

vercel-ai-tokios.ts

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokios = createOpenAICompatible({
  name: 'tokios',
  baseURL: 'https://api.tokios.com/v1',
  apiKey: process.env.TOKIOS_API_KEY,
});

const { text } = await generateText({
  model: tokios('gemma-tunnel'),
  prompt: "Summarize this code: print('hello')",
});

console.log(text);

Set TOKIOS_API_KEY in your environment rather than hardcoding the sk-tok-… key.

Pydantic AI의 OpenAIProvider 함수는 사용자 지정 base_url을 허용하며, OpenAIChatModel에서는 해당 프로바이더와 배포 이름을 함께 지정할 수 있습니다.

pydantic_ai_tokios.py

from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "gemma-tunnel",
    provider=OpenAIProvider(
        base_url="https://api.tokios.com/v1",
        api_key="sk-tok-YOUR_KEY",
    ),
)

Across all four frameworks, model is always the Tokios deployment name you registered in the Models tab — never the local model id your backend serves — and the base URL must include /v1. Omitting /v1 is the most common misconfiguration when adapting a snippet from a different OpenAI-compatible provider.

자주 묻는 질문

왜 LlamaIndex에서는 is_chat_model과 is_function_calling_model 값을 명시적으로 설정해야 하나요?

OpenAILike은 반드시 OpenAI의 채팅 모델처럼 작동하지는 않는 OpenAI 호환 서버들을 위한 일반적인 래퍼이므로 채팅 기능이나 함수 호출 지원 여부를 기본적으로 가정하지 않습니다. 설치된 LlamaIndex 버전에 따른 기본값을 확인한 뒤, 실제 배포 환경에서 지원되는 기능에 맞춰 두 값을 명시적으로 설정해 주세요.

더 이상 더미 API 키 값이 필요한가요?

아닙니다. 로컬 환경에서 키가 필요 없는 서버용으로 제작된 프레임워크들은 필수 항목이지만 검증되지 않는 API 키 필드에 임시 문자열을 요구하는 경우가 많습니다. 하지만 Tokios의 키는 실제 sk-tok-… 자격 증명으로 Keys 탭에서 생성 및 권한 지정, 취소가 가능합니다. 따라서 API 키 필드는 클라이언트 측 검증을 통과하기 위한 용도가 아니라 실제 인증에 사용됩니다.

이러한 프레임워크에서 스트리밍 기능도 사용할 수 있나요?

가능합니다. 요청 시 "stream": true 값이 지정되면 Tokios는 표준 OpenAI 형식의 SSE 데이터를 반환하므로 각 프레임워크의 기본 스트리밍 기능 — 예컨대 LangChain의 .stream()이나 Vercel AI SDK의 streamText — 이 OpenAI를 직접 사용할 때와 동일하게 작동합니다.

이제 어디서든 호출이 가능합니다

백엔드는 여전히 localhost에서 실행되며 커넥터는 단지 외부 연결만 담당할 뿐 위에서 설정한 내용은 변경되지 않습니다. 달라지는 점은 접근 권한입니다. 팀원이나 배포된 에이전트가 범위가 지정된 sk-tok-… 키를 보유하게 되면 사용자의 컴퓨터에서 실행되던 LangChain, LlamaIndex, Vercel AI SDK, Pydantic AI 코드가 그들의 환경에서도 그대로 작동하게 됩니다.

호환 가능한 클라이언트

Tokios와 연동 가능한 OpenAI 및 Anthropic 호환 클라이언트 목록 전체를 확인해 보세요.

API 키

각 팀원 또는 에이전트마다 별도의 범위 지정 키를 생성하세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

LangChain, LlamaIndex, Vercel AI SDK에서 사용하는 로컬 모델들

사전 요구 사항

커넥터 설치하기

배포 환경 등록하기

API 키 생성하기

지원되는 백엔드 목록

사용 중인 프레임워크를 설정하세요.

자주 묻는 질문

이제 어디서든 호출이 가능합니다

호환 가능한 클라이언트

API 키

​사전 요구 사항

커넥터 설치하기

배포 환경 등록하기

API 키 생성하기

지원되는 백엔드 목록

​사용 중인 프레임워크를 설정하세요.

​자주 묻는 질문

​이제 어디서든 호출이 가능합니다

호환 가능한 클라이언트

API 키

사전 요구 사항

사용 중인 프레임워크를 설정하세요.

자주 묻는 질문

이제 어디서든 호출이 가능합니다