https://api.tokios.com 주소에서 인증이 필요한 엔드포인트가 생성되며, 이 엔드포인트는 OpenAI와 Anthropic 양쪽의 요청 형식을 모두 지원합니다. 따라서 노트북, Claude Code 및 초대된 사용자들도 방화벽 설정을 건드릴 필요 없이 Spark에 접속할 수 있습니다.
“작동한다”라는 문구 뒤에 오는 공백
DGX Spark 및 GB10 사용자들은 대개 Ollama, llama.cpp, vLLM을 통해 모델을 실행시키지만, Spark 자체 외의 다른 장소에서도 해당 모델을 활용하는 데 어려움을 겪게 됩니다.- 인프라 구축. 여러 모델이 존재하는 환경에서 OpenAI 규격에 호환되는 엔드포인트를 만들려면 LiteLLM,
llama-swap, 런타임 자체를 서로 연결하고 동기화를 위한 데몬까지 설정해야 합니다. 일부 DGX Spark 커뮤니티 프로젝트에서는 이 과정을 핵심 목표로 삼고 있으나, 많은 사용자들은 이런 인프라 구축을 피하고 싶어 합니다. - 원격 접속. 다른 기기에서 Spark에 접속하는 일반적인 방법으로는 런타임을
0.0.0.0(snap set ollama host="0.0.0.0:11434")에 바인딩하거나 SSH 터널, Tailscale을 이용하는 것이 있습니다. 하지만 ARM64/DGX OS 환경에서는 각각의 설정이 복잡하며, 단순히 포트를 열어둔 상태에서는 클라이언트별 인증 기능도 제공되지 않습니다. - API 형식 차이. Claude Code는 Anthropic의 Messages 형식을 사용하는 반면, 로컬 런타임들은 OpenAI Chat Completions 형식을 따릅니다. 이 둘을 연결하려면 별도의 프록시를 작성하고 유지관리해야 합니다.
2 DGX Spark는
DeepSeek-V4-Flash-0731을 분할 처리할 만큼 충분한 메모리를 제공합니다. 다만 DeepSeek 전용 클러스터 설정은 아직 커뮤니티 차원에서 검증 중이며 0731 재확인이 필요합니다. 커넥터는 헤드 노드의 /v1 엔드포인트에 설치해 주세요. 성숙도 분류 및 설정 범위에 관해서는 DeepSeek V4 Flash 로컬 하드웨어 문서를 참고하시기 바랍니다.DGX Spark 클러스터에서 Kimi K3을 실행할 수 있나요?
No. Kimi K3’s 2.8T parameters (~50B active per token through MoE) need roughly 1.4 TB at their native 4-bit floor, while NVIDIA’s documented Spark clusters top out at 4 nodes and 512 GB — and Moonshot targets K3 at supernodes with 64 or more accelerators. Even 8 DGX Sparks (1 TB pooled) fall 376 GB short of just the raw weight floor. 현재 Spark 환경에서는 NVIDIA에서 명시한 120B 단일 노드, 400B 두 개 노드, 또는 700B 네 개 노드 구성 범위 내에서 모델을 선택하시면 됩니다. 전체 모델 목록은 DGX Spark 모델 호환성 페이지를, 각 Spark 설정에 가장 적합한 모델은 Kimi K3 대체 모델 안내 페이지를 참고해주세요. K3 모델의 메모리 요구량 및 클러스터 계산 방식에 관해서는 Kimi K3 하드웨어 심층 분석 페이지를 확인하시기 바랍니다.Spark 환경에 해당 모델을 설정해주세요.
1
Spark에서 런타임 환경을 시작하시기 바랍니다.
평소와 같이 모델 서버를 실행하면 됩니다. 예시는 다음과 같습니다:혹은커넥터를 연결하기 전에 해당 모델이 OpenAI와 호환되는
/v1 API를 통해 정상적으로 응답하는지 확인해주세요.2
클레임 코드를 발급받고 커넥터를 페어링하시기 바랍니다.
In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped Tokios에서는 DGX Spark에 탑재된 Grace CPU와 호환되는 Linux arm64용
TKS-XXXX-XXXX (valid for about 15 minutes). On the Spark, run:tokios-connector 패키지를 제공합니다. 시스템d 통합 및 패키징 절차는 DGX OS 버전에 따라 차이가 있을 수 있으니 설치 스크립트 작성 전에 본인의 OS 버전을 확인하시기 바랍니다.대시보드로 돌아가 Setup 혹은 Connectors 탭에서 해당 기기를 승인해주세요. 커넥터용 토큰은 보안 터널을 통해 자동 전달되므로 사용자가 직접 파일에 입력할 필요가 없습니다.3
커넥터를 런타임의 /v1 엔드포인트로 지정하세요
커넥터의 업스트림은 외부에 노출된 포트가 아니라 Spark 상의 런타임 자체 OpenAI 호환 API입니다. 기본 포트는 Ollama
11434, vLLM 8000이며 둘 다 뒤에 /v1이 추가됩니다. 인바운드 방화벽 규칙은 필요하지 않으며, 커넥터는 아웃바운드 연결만 수행합니다.4
배포를 등록하세요
On the Models tab, map your upstream model id (for example
llama3.1) to a public deployment name such as spark-llama. Clients send this deployment name in the model field, not the upstream id.5
API 키를 생성하세요
On the Keys tab, create a key. Keys are
sk-tok-… Bearer tokens, shown once, and can be scoped to specific deployment name patterns.어디서든 이를 활용하세요
커넥터가 연결되고 배포가 등록되면, 클라이언트를 Spark의 IP 주소 대신 Tokios로 지정하세요.Claude Code의 모델 선택기에는
claude* 형태의 ID만 표시되므로 Tokios 배포가 목록에 나타나지 않습니다. 따라서 --model spark-llama 값을 명시적으로 입력해야 합니다.왜 하나의 엔드포인트인가
- 클라이언트 설정을 수정하지 않고도 모델을 교체할 수 있습니다. 배포 이름을 다른 업스트림 모델이나 백엔드로 지정해도
spark-llama을 대상으로 설정된 모든 에이전트와 스크립트는 정상 작동합니다. - 팀원들을 위한 범위 제한 키 설정. 팀원에게 Spark에 대한 전체 접근 권한을 주는 대신 특정 배포 패턴에만 적용되는 키를 부여할 수 있습니다.
- Spark에는 인바운드 포트가 존재하지 않습니다. 커넥터는 아웃바운드 연결만 수행하므로 노트북에서 Spark에 접근하기 위해
0.0.0.0에 런타임을 바인딩하거나 SSH 터널 혹은 Tailscale 노드를 유지할 필요가 없습니다.
다음 단계들
빠른 시작 가이드
아무것도 없던 상태에서부터 작동 가능한 커넥터, 배포 환경 및 API 키까지 설정하는 방법입니다.
커넥터 설치 방법
모든 플랫폼에서 커넥터를 설치하고 페어링하는 상세 안내서입니다.
Claude Code 활용법
Configure
ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY in detail.커넥터 설정 관련 참고 자료
Serve multiple models from one Spark with
tokios-connector.json.