Use Zed with your own local model — over OpenAI or Anthropic

Zed can call a custom model through two separate provider slots in settings.json — language_models.openai_compatible and language_models.anthropic_compatible. Both accept a custom api_url, so Zed is the cleanest place to show off both sides of Tokios — the OpenAI-compatible endpoint at https://api.tokios.com/v1 and the Anthropic-compatible endpoint at https://api.tokios.com. Pick either one, or configure both and switch per-assistant.

Prerequisites

A running Tokios connector paired with your local model — see Connector Install
A registered model deployment name — see Register a Model
A Tokios API key (sk-tok-…) — see API Keys
Zed installed

Option A, OpenAI-compatible provider

Open Zed's settings.json

Open the command palette and run zed: open settings, or edit settings.json directly.

openai_compatible 항목을 추가하세요

다음 정보가 포함된 language_models.openai_compatible 블록을 추가하십시오. Tokios 기본 URL, 배포 이름, API 키.

settings.json

{
  "language_models": {
    "openai_compatible": {
      "Tokios": {
        "api_url": "https://api.tokios.com/v1",
        "available_models": [
          {
            "name": "gemma-tunnel",
            "display_name": "Tokios: gemma-tunnel",
            "max_tokens": 128000
          }
        ]
      }
    }
  }
}

Replace gemma-tunnel with the public deployment name you registered on the Models tab — not your Ollama/llama.cpp/vLLM/LM Studio local model id. Note that the key is deliberately absent here — see the next step.

settings.json 파일 밖에서 API 키를 설정하세요.

Zed는 settings.json에서 API 키를 읽지 않습니다. 어느 쪽이든 sk-tok-… 키를 제공하세요.

UI를 통해 — 명령 팔레트에서 agent: open settings를 실행하고, Tokios를 LLM Providers 아래에서 찾은 다음, 키를 붙여넣으세요. Zed는 시스템 키체인에 저장합니다.
환경 변수를 통한 방법 — Zed는 settings.json의 프로바이더 id에서 이름을 도출하며, 이를 대문자 스네이크 케이스로 변환하고 _API_KEY를 접미사로 추가합니다. 따라서 위의 Tokios id는 TOKIOS_API_KEY로 읽힙니다.

export TOKIOS_API_KEY=sk-tok-YOUR_KEY

$env:TOKIOS_API_KEY = "sk-tok-YOUR_KEY"

비어 있지 않은 환경 변수는 키체인 값보다 우선하므로, 나중에 UI 흐름으로 전환할 경우 해당 변수를 설정 해제하세요.

어시스턴트 패널에서 모델을 선택하세요.

Zed의 어시스턴트 패널을 열고 모델 선택기에서 Tokios: gemma-tunnel(또는 구성한 display_name)을 선택하세요.

옵션 B：Anthropic 호환 제공자

anthropic_compatible 항목을 추가하세요.

In the same settings.json, add a language_models.anthropic_compatible block pointing at the Tokios Anthropic-compatible endpoint. Note there is no /v1 on this base URL:

settings.json

{
  "language_models": {
    "anthropic_compatible": {
      "Tokios": {
        "api_url": "https://api.tokios.com",
        "available_models": [
          {
            "name": "gemma-tunnel",
            "display_name": "Tokios (Anthropic): gemma-tunnel",
            "max_tokens": 128000
          }
        ]
      }
    }
  }
}

Zed가 anthropic_compatible.available_models 아래에서 기대하는 정확한 필드 이름은 openai_compatible 형태와 약간 다를 수 있으며, 릴리스에 따라 달라질 수 있으므로 설치된 버전에서 확인하세요.

API 키를 설정하세요

Option A와 같은 방식으로 sk-tok-… 키를 제공하세요 — custom_headers 또는 Zed의 키 프롬프트를 통해. Zed가 Anthropic 호환 슬롯에 대해 보내는 정확한 헤더 이름을 확인하세요 (Anthropic 클라이언트는 일반적으로 x-api-key를 사용하며 Authorization: Bearer는 사용하지 않습니다).

어시스턴트 패널에서 모델을 선택하세요.

Zed의 모델 선택기에서 구성한 Anthropic 호환 모델을 OpenAI 호환 모델과 함께 또는 대신 선택하세요.

등록한 배포 이름으로 gemma-tunnel를 대체하고, 자신의 키로 sk-tok-YOUR_KEY를 대체하십시오. 둘 중 어느 것도 공유되거나 버전 관리되는 settings.json에 커밋하지 마십시오.

두 제공자를 한 번에 구성하고 별도의 항목을 유지할 수 있습니다 — 하나는 https://api.tokios.com/v1 (OpenAI 호환)을, 다른 하나는 https://api.tokios.com (Anthropic 호환)을 가리킵니다 — 그런 다음 모델 선택기에서 전환하여 동일한 기본 배포에 대한 동작을 비교할 수 있습니다.

이것이 터널 없이 작동하는 이유

Zed의 공급자 슬롯 두 개 모두 Zed의 모델 요청이 발생하는 곳에서 도달할 수 있는 URL이 필요합니다. Tokios의 커넥터는 아웃바운드 전용입니다. 모델 옆에서 아웃바운드 연결을 만들고 인바운드 포트를 열지 않으므로, https://api.tokios.com(또는 /v1)은 한 번 설정하면 되는 안정적이고 인증된 URL입니다. 유지할 ngrok 프로세스도 없고, LAN에 인증되지 않은 포트가 열려 있을 일도 없습니다.

문제 해결

401 오류

Zed가 보낸 API 키가 없거나, 형식이 잘못되었거나, 취소되었습니다. 전체 sk-tok-… 키가 추가 공백 없이 설정되어 있는지 확인하고, Keys 탭에서 상태를 확인하세요.

404 오류

해당 name 값은 available_models의 등록된 배포와 일치하지 않습니다. 이 값이 Models 탭의 공개 이름과 정확히 일치하는지 확인하세요.

503 오류

그 배포용 커넥터가 오프라인 상태이거나 동시 실행 한도에 도달했습니다. Connectors 탭을 확인하세요 — Online로 표시되어야 합니다.

다음 단계

빠른 시작

커넥터를 페어링하고 처음부터 첫 번째 배포를 등록하세요.

호환되는 클라이언트

다른 OpenAI 및 Anthropic 호환 클라이언트의 기본 URL 및 키 설정을 참조하세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

Use Zed with your own local model — over OpenAI or Anthropic

Prerequisites

Option A, OpenAI-compatible provider

옵션 B：Anthropic 호환 제공자

이것이 터널 없이 작동하는 이유

문제 해결

다음 단계

빠른 시작

호환되는 클라이언트

​Prerequisites

​Option A, OpenAI-compatible provider

​옵션 B：Anthropic 호환 제공자

​이것이 터널 없이 작동하는 이유

​문제 해결

​다음 단계

빠른 시작

호환되는 클라이언트

Prerequisites

Option A, OpenAI-compatible provider

옵션 B：Anthropic 호환 제공자

이것이 터널 없이 작동하는 이유

문제 해결

다음 단계