RTX 워크스테이션을 프라이빗 모델 엔드포인트로 전환하세요.

​

실행 후의 엔드포인트 격차

• 다른 곳에서 접근 가능한 엔드포인트. 런타임은 기본적으로 127.0.0.1에 바인딩됩니다. 랩톱, 다른 곳에서 실행 중인 코딩 에이전트, 또는 팀원의 머신에서 접근하려면 0.0.0.0에 바인딩하거나, 홈 라우터에서 포트를 전달하거나, 터널을 설정해야 합니다 — 각각 자체 설정이 필요하고 앞에 클라이언트별 인증이 없습니다.
• API 형태. Claude Code는 Anthropic Messages 포맷을 사용하고, Ollama, LM Studio, llama.cpp, vLLM은 OpenAI Chat Completions 포맷을 사용합니다. 이 둘을 연결하려면 보통 작은 프록시를 작성하고 유지 관리해야 합니다.
• 도구를 가리킬 안정적인 장소. 같은 머신에서 Ollama, LM Studio, llama.cpp 또는 vLLM 사이를 전환하거나 로드된 모델을 바꾸는 것이, 그와 통신하는 모든 클라이언트를 재구성하는 것을 의미해서는 안 됩니다.

​

워크스테이션에서 설정하세요.

ollama run llama3.1

vllm serve meta-llama/Llama-3.1-8B-Instruct

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

노트북이나 에이전트에서 사용하세요.

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model rtx-coder

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="rtx-coder",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

​

얼마나 큰 모델을 실행할 수 있나요?

​

하나의 엔드포인트를 사용하는 이유

• 클라이언트 설정 변경 없이 백엔드를 전환하세요. 같은 머신에서 Ollama에서 LM Studio 또는 vLLM으로 전환하면, 이미 rtx-coder를 대상으로 하는 모든 에이전트와 스크립트는 계속 작동합니다 — 커넥터의 업스트림만 변경하면 되고, 클라이언트는 변경하지 않습니다.
• 홈 게이밍 PC의 인바운드 포트 없음. 커넥터는 아웃바운드 연결만 수행하므로 라우터에서 포트를 전달하거나 0.0.0.0에 런타임을 바인딩하거나 노트북이나 코딩 에이전트에서 접근하기 위해 자체 터널을 유지할 필요가 없습니다.
• 공유 바인드 주소 대신 범위가 제한된 키. 런타임의 포트를 네트워크에 개방하는 대신 팀원에게 특정 배포 패턴으로 제한된 키를 제공하세요.

​

다음 단계