https://api.tokios.com에서 제공합니다.
NVIDIA GB10 또는 DGX Spark 시스템, AMD Strix Halo 또는 Ryzen AI Max 시스템, 통합 메모리가 풍부한 Apple silicon Mac, GPU 워크스테이션, 미니 PC, 홈랩 서버 등에서 로컬 모델을 실행하는 경우 이 페이지를 참고하세요.
Tokios가 추가하는 기능
Tokios는 로컬 모델 런타임을 대체하지 않습니다. 클라이언트와 워크스테이션에서 이미 실행 중인 백엔드 사이에 위치합니다.이 페이지가 대상하는 하드웨어
Tokios는 로컬 모델을 실행할 충분한 메모리와 연산 능력이 있는 머신에서, 사용 중인 도구가 노트북, 에디터, 코딩 에이전트, 노트북, 서버 프로세스, 팀원의 클라이언트 등 다른 곳에 위치할 때 유용합니다.권장 설정
1
로컬 백엔드 시작
워크스테이션에서 모델 서버를 실행합니다. Tokios는 Ollama, LM Studio, llama.cpp, vLLM처럼 OpenAI 호환 Chat Completions API를 제공하는 백엔드와 작동합니다.
2
워크스테이션에 커넥터 설치
같은 머신 또는 백엔드에 접근할 수 있는 근처 머신에서
tokios-connector를 실행합니다. 커넥터는 Tokios로 아웃바운드 연결하므로 인바운드 포트를 열 필요가 없습니다.3
배포 등록
백엔드의 업스트림 모델 ID를
strix-coder, gb10-chat, local-qwen 같은 공개 배포 이름에 매핑합니다. 클라이언트는 이 배포 이름을 model 필드에 전송합니다.4
도구를 Tokios로 향하게 설정
OpenAI 스타일 클라이언트에는
https://api.tokios.com/v1을 사용하고, Anthropic 스타일 클라이언트에는 https://api.tokios.com을 사용합니다.하드웨어 중심 워크플로우
배포 이름 짓기
하드웨어뿐 아니라 수행 작업을 설명하는 이름을 사용하세요. 클라이언트 설정을 안정적으로 유지하기가 더 쉬워집니다.벤치마크 항목
로컬 AI 워크스테이션 구매자는 보통 모델 크기나 초당 토큰 수로 하드웨어를 비교합니다. Tokios에서는 실제로 실행할 워크플로우를 측정하세요.
동일한 프롬프트와 하드웨어로 배포를 비교하려면 배포 테스트를 사용하세요.
다음 단계
백엔드 연결
Ollama, LM Studio, llama.cpp, vLLM을 로컬 업스트림으로 구성합니다.
커넥터 설치
워크스테이션 모델 서버 옆에서 커넥터를 실행합니다.
코딩 에이전트 사용
Claude Code, OpenAI Codex 및 호환 코딩 클라이언트를 연결합니다.
배포 테스트
동일한 Tokios 엔드포인트를 통해 로컬 모델과 백엔드를 비교합니다.