NVIDIA DGX Spark를 프라이빗 모델 엔드포인트로 만들기

​

”작동한다” 이후의 격차

• 연결 작업. 여러 모델 환경에서 OpenAI 호환 엔드포인트를 하나 꺼내려면 LiteLLM, llama-swap, 런타임 자체를 서로 연결하고 동기화를 위한 폴링 데몬까지 추가해야 합니다. 일부 DGX Spark 커뮤니티 프로젝트에서는 이를 명시적 목표로 설명하며, 많은 사용자들은 이런 연결 작업을 “차라리 건너뛰고 싶은 배관 작업”으로 표현합니다.
• 원격 접속. 다른 기기에서 Spark에 접속하는 일반적인 경로로는 런타임을 0.0.0.0에 바인딩하는 것(snap set ollama host="0.0.0.0:11434"), SSH 터널, 또는 Tailscale이 있습니다. 각각 ARM64 / DGX OS 환경에서 번거로운 설정이 필요하며, 단순히 열어둔 포트에는 클라이언트별 인증이 없습니다.
• API 형식. Claude Code는 Anthropic Messages 형식을 사용하고, 로컬 런타임은 OpenAI Chat Completions 형식을 사용합니다. 두 형식을 연결하려면 보통 작은 프록시를 작성하고 유지보수해야 합니다.

​

DGX Spark 클러스터에서 Kimi K3을 실행할 수 있나요?

​

Spark에 설정하기

ollama run llama3.1

vllm serve meta-llama/Llama-3.1-8B-Instruct

lemonade-server serve --model your-model

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

어디서든 사용하세요

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model spark-llama

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="spark-llama",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

​

왜 하나의 엔드포인트인가

• 클라이언트 설정을 건드리지 않고 모델을 교체. 배포 이름을 다른 업스트림 모델이나 백엔드로 지정하면 spark-llama를 대상으로 하는 모든 에이전트와 스크립트가 계속 작동합니다.
• 팀원을 위한 범위 제한 키. 팀원에게 Spark에 대한 원시 접근 권한을 공유하는 대신 특정 배포 패턴으로 제한된 키를 제공하세요.
• Spark에 인바운드 포트 없음. 커넥터는 아웃바운드 연결만 수행하므로 노트북에서 접근하기 위해 런타임을 0.0.0.0에 바인딩하거나 SSH 터널 또는 Tailscale 노드를 유지할 필요가 없습니다.

​

다음 단계