Tokios를 통해 로컬 모델과 함께 코딩 에이전트 사용하기

모든 주요 코딩 에이전트는 OpenAI 또는 Anthropic 호환 API를 통해 모델 백엔드와 통신합니다. 해당 API를 Tokios로 지정하면 에이전트가 자체 하드웨어에서 실행되는 로컬 모델과 대화합니다. 추론 서버를 실행하는 머신뿐만 아니라 모든 머신에서 가능합니다. 1 필드를 변경하여 모델을 전환하세요. 에이전트 구성은 그대로 유지됩니다.

코딩 에이전트가 백엔드에 연결하는 방법

코딩 에이전트는 HTTP를 통해 채팅 완성(및 종종 도구 호출)을 전송합니다. 엔드포인트 URL과 API 키를 환경 변수나 구성 파일에서 읽습니다. Tokios는 동일한 URL에서 OpenAI 호환 및 Anthropic 호환 인터페이스를 모두 제공하므로 대부분의 에이전트는 단

에이전트	API 형식	핵심 환경 변수	기본 URL
Claude Code	Anthropic	`ANTHROPIC_API_KEY`	`ANTHROPIC_BASE_URL`
OpenCode	OpenAI	`options.apiKey`	`options.baseURL`
Aider	OpenAI	`OPENAI_API_KEY`	`OPENAI_API_BASE`
Cline	OpenAI	UI에서 API 키	사용자 지정 엔드포인트
계속	OpenAI	config에서 API 키	`apiBase`
Roo Code	OpenAI	UI의 API 키	사용자 지정 엔드포인트

사전 요구 사항

A running Tokios connector paired with your local model — see Connector install
A registered deployment name — see Register a model
A Tokios API key — see API keys

Claude Code

Claude Code는 Anthropic Messages API를 사용합니다. 2 환경 변수를 설정하고 --model로 배포 이름을 전달하세요.

macOS 및 Linux
Windows CMD
Windows PowerShell

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

set ANTHROPIC_BASE_URL=https://api.tokios.com
set ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

$env:ANTHROPIC_BASE_URL = "https://api.tokios.com"
$env:ANTHROPIC_API_KEY = "sk-tok-YOUR_KEY"
claude --model qwen3-coder

Claude Code의 내장 모델 선택기는 claude-* ID만 나열합니다. Tokios 배포 이름과 함께 --model를 항상 명시적으로 전달하세요. 지속성 및 문제 해결에 대한 전체 Claude Code 가이드를 참조하세요.

OpenCode

OpenCode는 OpenAI 호환 제공자와 함께 AI SDK를 사용합니다. Tokios를 opencode.json에 추가하세요.

opencode.json

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "tokios": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Tokios",
      "options": {
        "baseURL": "https://api.tokios.com/v1",
        "apiKey": "sk-tok-YOUR_KEY"
      },
      "models": {
        "qwen3-coder": {
          "name": "qwen3-coder"
        }
      }
    }
  }
}

options.baseURL에는 /v1가 포함되어야 합니다. OpenCode는 이 URL을 기준으로 요청 경로를 확인하므로 /v1를 생략하면 404 오류가 발생합니다.

자세한 설정 및 문제 해결에 대한 전체 OpenCode 가이드를 참조하세요.

Aider

Aider는 환경 변수에서 OpenAI 호환 구성을 읽습니다.

export OPENAI_API_BASE=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --model openai/qwen3-coder

이 openai/ 접두사는 Aider가 OpenAI 채팅 완성 형식을 사용하도록 지시합니다. Aider는 OpenAI 함수 호출 스키마를 구현하는 대부분의 모델에서 도구 호출을 지원합니다.

Cline

Cline은 VS Code 설정을 통해 사용자 지정 OpenAI 호환 엔드포인트에 연결합니다.

VS Code에서 Cline 설정을 엽니다.
Under API Configuration, select OpenAI Compatible.
Set Base URL to https://api.tokios.com/v1.
당신의 sk-tok-YOUR_KEY을(를) API Key 필드에 붙여넣으세요.
배포 이름(예를 들어 qwen3-coder)을 Model ID로 입력하세요.

Cline은 도구 호출을 광범위하게 사용합니다. 도구 호출 지원이 강력한 모델을 선택하세요 — 아래 모델 추천을 참조하세요.

Continue

Tokios를 ~/.continue/config.json에서 사용자 지정 공급자로 추가하세요.

~/.continue/config.json

{
  "models": [
    {
      "title": "Tokios - Qwen3 Coder",
      "provider": "openai",
      "model": "qwen3-coder",
      "apiBase": "https://api.tokios.com/v1",
      "apiKey": "sk-tok-YOUR_KEY"
    }
  ]
}

Continue는 이 공급자 구성을 통해 채팅 완성 기능과 도구 호출을 모두 지원합니다.

Roo Code

Roo Code는 동일한 OpenAI 호환 엔드포인트 패턴을 사용합니다.

Roo Code 설정을 엽니다.
API 제공자로 OpenAI Compatible를 선택하세요.
Set Base URL to https://api.tokios.com/v1.
API 키와 배포 이름을 입력하세요.

재구성 없이 모델 전환하기

모든 에이전트가 API 요청의 model 매개변수라는 단일 필드에서 모델 이름을 읽기 때문에 Tokios에 여러 배포를 등록하고 에이전트 구성을 건드리지 않고도 모델을 전환할 수 있습니다.

# Use Qwen3-Coder for code tasks
claude --model qwen3-coder

# Use GLM-4.5-Air for general reasoning
claude --model glm-4-chat

# Use Gemma for lightweight tasks
claude --model gemma-tunnel

엔드포인트와 API 키는 동일하게 유지됩니다. Tokios는 각 요청을 올바른 로컬 백엔드로 라우팅합니다.

코딩을 위한 모델 추천

모든 로컬 모델이 코딩 작업을 동등하게 잘 처리하지는 않습니다. 도구 호출, 즉 함수 호출, 파일 읽기, 명령 실행 기능은 에이전트 기반 워크플로에 필수적입니다.

모델	총 매개변수	최적 용도	도구 호출	참고 사항
Muse Glimmer 30B	29.6B	에이전트형 코딩, 도구 사용	좋음	정밀한 스키마에 대한 도구 호출과 실패 복구를 위해 훈련되었으며, 4-비트 빌드는 단일 24 GB GPU에 맞습니다
Qwen3-Coder-30B	30B	코드 생성, 리팩터링	좋음	Cline 및 Aider와 함께 작동하는 것이 확인됨
Qwen3-32B	32B	일반 + 코딩	좋음	강력한 올라운더이며, 43 tok/s (DGX Spark 기준)
GLM-4.5-Air	106B MoE	복잡한 추론	좋음	12B 활성 파라미터, 커뮤니티 선호 (Spark용)
Qwen3.5-35B-A3B	35B MoE	빠른 코딩	좋음	3B 활성, 120 tok/s (Atlas on Spark 사용 시)
Gemma-4-26B-A4B	26B MoE	경량 작업	중간	4B 활성, 빠르지만 복잡한 편집에는 능력이 떨어짐

AMD GPU에서 vLLM은 도구 호출에 알려진 문제가 있습니다. Strix Halo 또는 다른 AMD 하드웨어에서 실행하는 경우, Vulkan 백엔드와 함께 llama.cpp를 사용하여 더 깔끔한 도구 호출 지원을 얻으세요.

로컬 모델로 코딩하기 위한 팁

도구 호출을 지원하는 모델을 사용하세요. Claude Code, OpenCode, Cline과 같은 에이전트는 구조화된 함수 호출에 의존합니다. 모델이 OpenAI 함수 호출 스키마를 지원하지 않으면 에이전트는 텍스트 기반 도구 호출로 대체되는데, 이는 더 느리고 신뢰성이 낮습니다. 컨텍스트 길이를 적절히 설정하세요. 코딩 에이전트는 파일 내용과 대화 기록이 포함된 대형 프롬프트를 보냅니다. 추론 서버에서 --max-model-len을(를) 최소 8192 토큰으로 설정하세요. 32K+ 컨텍스트를 가진 모델은 다중 파일 작업을 더 잘 처리합니다. 처리량을 위해 MoE 모델을 선호하세요. Qwen3.5-35B-A3B와 같은 전문가 혼합 모델은 토큰당 매개변수의 일부만 활성화하여, 비슷한 전체 크기의 밀집 모델보다 더 높은 처리량을 제공합니다. 지연 시간이 중요한 반복 코딩 작업에서는 MoE가 종종 더 나은 선택입니다. 도구 호출을 신뢰하기 전에 테스트하세요. 모델과 백엔드가 함수 호출을 올바르게 처리하는지 확인하기 위해 도구 호출 페이로드로 빠른 테스트를 보내세요.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-coder",
    "messages": [{"role": "user", "content": "What is 2+2?"}],
    "tools": [{"type": "function", "function": {"name": "calculator", "parameters": {"type": "object", "properties": {"expression": {"type": "string"}}}}}]
  }'

응답에 tool_calls 배열이 포함되면 도구 호출이 작동합니다.

모든 에이전트를 위한 하나의 엔드포인트

Tokios는 모든 코딩 에이전트에게 동일한 URL과 API 키를 제공합니다. 모델을 한 번 등록하고, 1 API 키를 생성한 다음, 원하는 수의 에이전트가 https://api.tokios.com를 가리키도록 구성하세요. 모델을 전환하거나, 새 백엔드를 추가하거나, 모델을 다른 하드웨어로 이동해도 에이전트 구성은 변경되지 않습니다.

모델 라우팅

여러 모델을 등록하고 배포 이름으로 요청을 라우팅하는 방법을 알아보세요.

로컬 모델 선택

모델을 에이전트 워크플로우에 적용하기 전에 백엔드와 양자화 옵션을 비교하세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

Tokios를 통해 로컬 모델과 함께 코딩 에이전트 사용하기

코딩 에이전트가 백엔드에 연결하는 방법

사전 요구 사항

Claude Code

OpenCode

Aider

Cline

Continue

Roo Code

재구성 없이 모델 전환하기

코딩을 위한 모델 추천

로컬 모델로 코딩하기 위한 팁

모든 에이전트를 위한 하나의 엔드포인트

모델 라우팅

로컬 모델 선택

​코딩 에이전트가 백엔드에 연결하는 방법

​사전 요구 사항

​Claude Code

​OpenCode

​Aider

​Cline

​Continue

​Roo Code

​재구성 없이 모델 전환하기

​코딩을 위한 모델 추천

​로컬 모델로 코딩하기 위한 팁

​모든 에이전트를 위한 하나의 엔드포인트

모델 라우팅

로컬 모델 선택

코딩 에이전트가 백엔드에 연결하는 방법

사전 요구 사항

Claude Code

OpenCode

Aider

Cline

Continue

Roo Code

재구성 없이 모델 전환하기

코딩을 위한 모델 추천

로컬 모델로 코딩하기 위한 팁

모든 에이전트를 위한 하나의 엔드포인트