https://api.tokios.com에서 OpenAI 또는 Anthropic과 호환되는 안정적인 엔드포인트를 제공할 수 있습니다.
NVIDIA GB10 또는 DGX Spark 시스템, AMD Strix Halo나 Ryzen AI Max 시스템, 통합 메모리가 풍부한 Apple Silicon Mac, GPU 워크스테이션, 미니 PC, 홈랩 서버 등의 하드웨어에서 로컬 모델을 실행할 경우 이 대시보드 페이지를 활용하시기 바랍니다.
Tokios가 제공하는 기능들
Tokios는 사용자의 로컬 모델 런타임을 대체하지 않습니다. 이는 클라이언트와 워크스테이션에서 이미 실행 중인 백엔드 사이에 위치하는 역할을 수행합니다.이 페이지에서 다루는 하드웨어입니다
기기에 로컬 모델을 실행할 만큼 충분한 메모리와 연산 능력이 있지만, 사용 중인 도구는 노트북, 에디터, 코딩 에이전트, 노트북, 서버 프로세스 혹은 팀원의 클라이언트 등 다른 곳에 위치할 때 Tokios가 유용합니다권장되는 설정 방법
1
로컬 백엔드를 시작합니다
워크스테이션에서 모델 서버를 실행하세요. Tokios는 Ollama, LM Studio, llama.cpp, vLLM처럼 OpenAI 호환 Chat Completions API를 제공하는 백엔드와 연동됩니다.
2
워크스테이션에 커넥터를 설치합니다
Run
tokios-connector on the same machine, or on a nearby machine that can reach the backend. The connector dials out to Tokios, so you do not need to open inbound ports.3
배포 작업을 등록합니다
백엔드의 업스트림 모델 ID를
strix-coder, gb10-chat, local-qwen 같은 공개 배포 이름으로 매핑합니다. 클라이언트는 model 필드에 이 배포 이름을 입력하게 됩니다.4
사용 중인 도구들을 Tokios로 지정합니다
OpenAI 스타일 클라이언트에는
https://api.tokios.com/v1을, Anthropic 스타일 클라이언트에는 https://api.tokios.com을 사용하시면 됩니다.하드웨어 중심 워크플로우
배포 이름 지정 방법
하드웨어 정보만이 아니라 수행 작업을 반영하는 이름을 사용하세요. 그러면 클라이언트 설정을 안정적으로 유지하기가 더 쉬워집니다어떤 항목을 벤치마크할지
로컬 AI 워크스테이션 구매자들은 보통 모델 크기나 초당 생성되는 토큰 수를 기준으로 하드웨어를 비교합니다. 하지만 Tokios의 경우 실제로 실행하려는 워크플로우를 측정하는 것이 중요합니다.
동일한 프롬프트와 하드웨어 환경에서 여러 배포 방식을 비교하려면 Tokios 배포 벤치마크를 활용하세요
다음 단계들
백엔드를 커넥터에 연결합니다
Ollama, LM Studio, llama.cpp, vLLM을 로컬 업스트림 모델 ID로 설정합니다
커넥터를 설치합니다
워크스테이션 모델 서버 옆에서 커넥터를 실행합니다
코딩 에이전트들을 활용합니다
Claude Code, OpenAI Codex 및 기타 호환 가능한 코딩 클라이언트들을 연결합니다
배포 방식을 벤치마크합니다
동일한 Tokios 엔드포인트를 통해 로컬 모델과 백엔드들을 비교해보세요.