RTX 워크스테이션을 프라이빗 모델 엔드포인트로 만들기

​

실행 후의 엔드포인트 격차

• 다른 곳에서 접근 가능한 엔드포인트. 런타임은 기본적으로 127.0.0.1에 바인딩됩니다. 노트북, 다른 곳에서 실행 중인 코딩 에이전트, 팀원의 머신에서 접근하려면 0.0.0.0에 바인딩하거나 홈 라우터에서 포트를 전달하거나 터널을 설정해야 하며, 각각 자체 설정이 필요하고 클라이언트별 인증이 없습니다.
• API 형식. Claude Code는 Anthropic Messages 포맷을 사용하고, Ollama, LM Studio, llama.cpp, vLLM은 OpenAI Chat Completions 포맷을 사용합니다. 둘을 연결하려면 보통 작은 프록시를 작성하고 유지보수해야 합니다.
• 도구를 가리킬 안정적인 장소. 같은 머신에서 Ollama, LM Studio, llama.cpp, vLLM 사이를 전환하거나 로드된 모델을 바꾸더라도, 해당 머신과 통신하는 모든 클라이언트를 재구성할 필요는 없습니다.

​

워크스테이션에 설정하기

    ollama run llama3.1

    vllm serve meta-llama/Llama-3.1-8B-Instruct

    irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

    curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

노트북이나 에이전트에서 사용

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model rtx-coder

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="rtx-coder",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

​

얼마나 큰 모델을 실행할 수 있나요?

​

왜 하나의 엔드포인트인가

• 클라이언트 설정을 건드리지 않고 백엔드 교체. 같은 머신에서 Ollama에서 LM Studio 또는 vLLM으로 전환하면, 이미 rtx-coder를 대상으로 하는 모든 에이전트와 스크립트가 계속 작동합니다. 커넥터의 업스트림만 변경하면 되고 클라이언트는 변경하지 않습니다.
• 홈 게이밍 PC에 인바운드 포트 없음. 커넥터는 아웃바운드 연결만 수행하므로 노트북이나 코딩 에이전트에서 접근하기 위해 라우터에서 포트를 전달하거나 0.0.0.0에 런타임을 바인딩하거나 자체 터널을 유지할 필요가 없습니다.
• 공유 바인드 주소 대신 범위가 지정된 키. 런타임의 포트를 네트워크에 개방하는 대신 특정 배포 패턴으로 제한된 키를 팀원에게 제공하세요.

​

다음 단계