메인 콘텐츠로 건너뛰기
15 코딩 에이전트들은 Tokios를 통해 로컬 모델에 연결됩니다. 이들 모두 표준 OpenAI 또는 Anthropic API 형식을 사용하므로 2 항목만 변경하면 됩니다: base URL과 귀하의 API 키입니다. 모델이 Tokios 배포로 등록되면 아래 나열된 모든 에이전트가 동일한 엔드포인트를 통해 해당 모델에 접근할 수 있습니다.
사전 요구 사항: 아래 에이전트들을 설정하기 전에 실행 중인 로컬 모델, 연동된 Tokios 커넥터, 등록된 배포 환경, 그리고 sk-tok-… 형식의 API 키가 필요합니다. 아직 설정하지 않았다면 Quickstart 문서를 참고하시기 바랍니다.

에이전트 호환성 표

“툴 호출”이란 에이전트가 요청 시 tools을 전송하고 응답에서 tool_calls을 파싱할 수 있음을 의미합니다. 이 기능이 엔드투엔드로 작동하려면 에이전트와 로컬 모델 양쪽 모두가 지원해야 하는데, Qwen3-Coder-30B, Llama-3-70B, Mistral 같은 모델들은 vLLM 환경에서 툴 호출을 잘 처리합니다.

IDE 기반 에이전트들

이 에이전트들은 사용자의 편집기 내부에서 작동하며 코딩 중에 자동 완성 요청을 전송합니다. 별도의 언급이 없는 한 모두 OpenAI Chat Completions API 형식을 사용합니다.

Cline과 Roo Code

Cline과 그 포크인 Roo Code는 둘 다 “OpenAI 호환” 프로바이더를 사용합니다. 확장 프로그램 설정에서 3 필드들을 다음과 같이 지정해주세요:
  1. API 프로바이더: OpenAI Compatible
  2. 기본 URL: https://api.tokios.com/v1
  3. API 키: 사용자의 sk-tok-… 키 값
  4. 업스트림 모델 ID: 배포 시 지정한 이름 (예: qwen3-coder-tunnel)
두 에이전트 모두 설정 패널을 통해서만 구성되며 별도의 설정 파일 편집은 필요하지 않습니다. 전체 설정 방법은 Cline 및 Roo Code 가이드를 참고하시기 바랍니다.

계속하기

계속하기는 ~/.continue/config.yaml을 읽습니다. 모델 항목을 추가하려면 다음을 수행하세요:
See the Continue guide. Note that Continue supports both Chat Completions and Responses — use Chat Completions for local models.

커서

커서의 커스텀 모델 오버라이드 기능에서는 기본 URL과 API 키를 지정할 수 있습니다. 지원 여부는 커서 버전에 따라 다르므로 실제 사용 전에 커스텀 기본 URL 라우팅이 정상 작동하는지 확인하시기 바랍니다:
  1. Open Cursor Settings → Models.
  2. 기본 URL로 https://api.tokios.com/v1을 입력하고 sk-tok-… API 키를 지정하여 커스텀 모델을 추가합니다.
버전별 참고 사항은 커서 안내서를 확인하세요.

제드

제드는 settings.json 내에서 오픈AI 호환 커스텀 제공업체를 지원합니다:
The API key does not go in settings.json — enter it in Zed’s LLM provider UI, or export TOKIOS_API_KEY (Zed derives the variable name from the provider id). See the Zed guide.

젯브레인 AI 어시스턴트

JetBrains AI Assistant는 플러그인 설정을 통해 BYOK(Bring Your Own Key) 기능을 제공합니다. 사용자 지정 제공업체 필드에 기본 URL과 API 키를 입력해 주세요.
  • 기본 URL: https://api.tokios.com/v1
  • API 키: 귀하의 sk-tok-… 키입니다
See the JetBrains AI Assistant guide.

VS Code Copilot

GitHub Copilot 역시 BYOK 기능을 점차 지원하고 있습니다. VS Code 버전에서 사용자 지정 제공업체 기능이 지원된다면 다음 주소를 입력해 주세요:
  • 기본 URL: https://api.tokios.com/v1
  • API 키: 귀하의 sk-tok-… 키입니다
최신 호환성 정보는 VS Code Copilot 안내서를 참고해 주세요.

터미널 에이전트

이 에이전트들은 사용자의 셸 환경에서 실행되며 환경 변수나 설정 파일을 통해 연결됩니다.

Claude Code

Claude Code는 OpenAI가 아닌 Anthropic API 형식을 사용합니다. 2 환경 변수를 설정해 주세요:
참고: Anthropic 형식에서는 기본 URL에 /v1 접미사가 없습니다. 세션 간에도 설정을 유지하려면 Claude Code 안내서를 참고하시기 바랍니다.

OpenAI Codex

OpenAI Codex는 Responses API (wire_api=responses)를 사용합니다. ~/.codex/config.toml에 기본 URL을 설정해 주세요:
env_key은 API 키 자체가 아니라 키를 저장하는 변수명이며, Tokios가 상태 없이 Responses 서비스를 제공하므로 disable_response_storage도 필수입니다. 이후 다음 명령을 실행하세요:
See the OpenAI Codex guide.

Aider

Aider는 환경 변수에서 기본 URL과 API 키를 읽어들이며, openai/ 모델 접두사도 필요합니다:
See the Aider guide.

OpenCode

OpenCode는 내부적으로 AI SDK (Vercel)를 사용합니다. opencode.json에 사용자 정의 프로바이더를 추가해 주세요:
See the OpenCode guide.

구스

구스에 내장된 openai 제공자는 사용자 지정 호스트를 지원합니다. 구스는 이 설정들을 ~/.config/goose/config.yaml에 저장합니다:
특정 이름의 제공자를 사용하려면 ~/.config/goose/custom_providers/ 위치에 JSON 파일을 배치하면 됩니다. See the Goose guide.

파이와 옴프

파이는 api: openai-completions을 이용해 사용자 지정 제공자를 활용합니다. 옴프(오마이파이) 역시 동일한 방식을 따르는데, providers은 제공자 이름을 키로 하는 맵 구조이며 키는 캐멀케이스 형식입니다. 옴프는 ~/.omp/agent/models.yml을 읽고 파이는 ~/.pi/agent/models.json을 읽습니다:
See the Pi and omp guides.

허미스 에이전트

허미스 에이전트는 OpenAI 호환 /v1/chat/completions 엔드포인트에 연결할 수 있습니다. 이 에이전트는 ~/.hermes/config.yaml을 읽으며 제공자 키들은 model: 아래에 중첩되어 저장됩니다:
See the Hermes Agent guide.

범용 설정 패턴

위에 나열된 모든 에이전트는 동일한 3단계 패턴을 따릅니다:
  1. 기본 URL 설정 시에는 https://api.tokios.com/v1(OpenAI) 또는 https://api.tokios.com(Anthropic)을 입력하세요.
  2. API 키 설정 시에는 본인의 sk-tok-… API 키를 입력하시면 됩니다.
  3. 모델 설정 시에는 등록해둔 배포 이름을 지정하세요.
만약 사용 중인 에이전트가 여기에 없더라도 OpenAI 호환 기본 URL을 지원한다면 대부분 정상 작동할 것입니다. 다음과 같은 범용 환경 변수들을 시도해보세요:

엔진별 툴 호출 호환성

툴 호출 기능은 에이전트와 백엔드 양측의 지원이 모두 필요합니다. 아래는 이 기능을 지원하는 로컬 엔진 목록입니다:
툴 호출 기능은 엔진뿐만 아니라 모델에도 의존합니다. 모델은 응답 시 구조화된 tool_calls 형식을 출력하도록 미세 조정되거나 프롬프트가 주어져야 합니다. Qwen3-Coder-30B, Llama-3-70B-Instruct, Mistral-7B-Instruct 등은 모두 툴 호출을 안정적으로 처리합니다. Muse Glimmer 30B은 특히 이 목적을 위해 훈련되었으며, 정밀한 스키마에 기반한 툴 호출과 다단계 워크플로우에서의 오류 복구 기능을 갖추고 있습니다.

코딩 에이전트용으로 최적화된 로컬 모델들

DGX Spark 환경에서는 (128GB의 통합 메모리를 갖춘) Qwen3-Coder-30B 모델의 Q4_K_M 설정이 가장 적합합니다. 이 설정은 메모리 부담이 적고 생성 속도가 빠르며 도구 호출도 원활히 처리합니다. Strix Halo 환경에서는 Vulkan을 활용한 llama.cpp를 사용하면 가장 빠른 토큰 생성 속도를 얻을 수 있습니다.
DeepSeek-V4-Flash-0731은 현재 코딩 에이전트용으로 가장 추천되는 모델입니다. 공식 모델 설명서에 따르면 Terminal Bench 2.1, DeepSWE, Toolathlon-Verified 테스트에서 이전 프리뷰 버전보다 크게 향상된 성능을 보였습니다. 다만 여러 기기에 걸쳐 호스팅해야 한다는 제약이 있습니다. 로컬 하드웨어 가이드를 먼저 살펴보신 뒤 실제 사용할 reasoning_effort, 컨텍스트 길이, 샘플링 설정과 동일한 환경에서 도구 호출 기능을 검증해보시기 바랍니다.
Muse Glimmer 30B은 단일 24 GB GPU에서 완전히 구동 가능한 옵션으로, Meta에서 에이전트 기반 도구 활용을 위해 특별히 훈련시킨 모델입니다. 다만 현재까지는 제조사 측에서만 벤치마크 결과가 공개되었으며 독립적인 검증은 이루어지지 않았습니다. Meta가 제시한 샘플링 설정값(temperature 1.0, top_p 0.95, top_k 64)을 그대로 사용하시기 바랍니다. 다른 로컬 모델용으로 조정된 값을 그대로 적용하는 경우 출력 품질이 저하될 수 있습니다.

하나의 엔드포인트로 모든 모델을 지원합니다

에이전트를 교체할 때마다 모델 설정을 다시 변경할 필요가 없습니다. Tokios에 한 번만 배포 정보를 등록하고 sk-tok-… API 키를 생성해두면 어떤 에이전트든 동일한 엔드포인트를 사용할 수 있습니다. 2 환경 변수만 변경해주면 Aider에서 Claude Code로 전환도 가능합니다. 이 과정에서 사용 중인 모델, 커넥터, 배포 설정은 그대로 유지됩니다.

빠른 시작 가이드

커넥터를 설정하고 첫 번째 배포 작업을 등록해보세요

호환 가능한 클라이언트 목록

코딩 에이전트뿐만 아니라 39과 호환되는 모든 클라이언트의 전체 목록입니다

로컬 모델 선택하기

사용 중인 하드웨어와 활용 목적에 적합한 모델을 고르세요

API 키 관리

팀원 및 에이전트들이 사용할 API 키를 생성하고 권한을 설정하며 주기적으로 교체할 수 있습니다