홈랩 GPU 서버에 있는 모델들을 팀원들에게 제공하기

​

홈랩 서버 접근성 문제

• 포워딩할 공용 IP가 없음. ISP가 CGNAT를 적용하는 경우, 포트 포워딩 규칙을 적용할 고유한 인바운드 주소 자체가 존재하지 않습니다. 왜 이 설정이 사용자 스스로 변경할 수 없는 라우터 설정인지에 대해서는 CGNAT 환경에서 로컬 LLM 제공하기 문서를 참고하시기 바랍니다.
• 설령 가능하더라도 노출시키고 싶지 않음. 런타임을 0.0.0.0에 바인딩하고 포트를 포워딩하면 GPU 서버가 인터넷 상에 인증 없이 공개되는 서비스가 됩니다. 포트를 알게 된 누구나 요청을 보낼 수 있게 되죠.
• 접근 권한 공유는 모든 자원의 공유를 의미함. 팀원에게 Tailscale 노드나 포트 접근 권한을 부여하면 그 사람과 그의 기기에 연결된 모든 요소들이 사용자와 동일한 권한을 갖게 됩니다. 개별 사용자별 인증 키가 없으며, 한 명의 접근만 차단하려 해도 다른 모든 사용자까지 영향을 받게 됩니다.

​

서버에 설치하기

ollama serve

vllm serve meta-llama/Llama-3.1-8B-Instruct

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

tokios-connector TKS-XXXX-XXXX

​

여러 모델을 동시에 서비스하기

​

어디서든 활용 가능

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "homelab-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="homelab-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

​

왜 팀 전체에 하나의 엔드포인트만 제공하는가

• 서버 측에 인바운드 포트가 전혀 열리지 않습니다. 커넥터는 오직 아웃바운드 연결만 수행하므로 팀원들은 VPN 피어링, SSH 터널, 혹은 특정 0.0.0.0 포트 설정 없이도 서버에 접근할 수 있습니다. 이는 CGNAT 환경에서도 마찬가지입니다.
• 특정 팀원의 API 키만 취소해도 다른 이들에게는 영향이 없습니다. 각 사용자마다 고유한 sk-tok-… 키가 부여되므로 Keys 탭에서 특정 키를 비활성화하거나 삭제하면 해당 사용자만 즉시 접근이 차단되며 나머지 사용자들은 정상적으로 서비스를 이용할 수 있습니다.
• 클라이언트 설정을 수정하지 않고도 모델을 교체할 수 있습니다. 배포 이름을 다른 업스트림 모델이나 백엔드로 지정해도 homelab-llama을 대상으로 설정된 모든 팀원 및 스크립트는 별다른 변경 없이 계속 작동합니다.

​

다음 단계