로컬 LLM에 대한 원격 접근 — 보안 비교

​

간단한 결론

​

로컬 LLM API를 위한 위협 모델

​

방법 1: SSH 터널

​

작동 원리

ssh -L 8000:127.0.0.1:8000 user@your-server-ip

​

보안 특성

• 암호화: SSH는 강력한 암호화 기능을 제공합니다.
• 인증: 운영체제 수준의 인증 정보인 비밀번호나 키 쌍을 사용합니다.
• 접근 범위: SSH 키를 보유한 사람은 API 포트뿐만 아니라 머신에 대한 전체 셸 접근 권한을 갖게 됩니다.

​

LLM 활용 시의 단점

• SSH를 사용하려면 안정적인 공용 IP나 중간에 위치한 호스트가 필요합니다. CGNAT 환경에서는 전혀 사용할 수 없습니다.
• 네트워크 환경이 변경되면 터널이 끊어지며 자동으로 재연결되지 않습니다.
• 각 사용자는 각자 별도의 터널과 SSH 인증 정보가 필요합니다. 범위가 제한된 API 키라는 개념 자체가 존재하지 않습니다.
• 스트리밍 기능이 내장되어 있지 않아 클라이언트 측에서 재연결 처리를 직접 구현해야 합니다.

​

사용 시기

​

방법 2: Tailscale

​

작동 원리

# Install Tailscale on the model server
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up

# Access the model at the Tailscale IP from any tailnet device
curl http://100.x.y.z:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello!"}]}'

​

보안 특성

• 암호화: 각 기기에 할당된 키를 사용하는 WireGuard 방식입니다.
• 인증: Tailscale 조정 서버가 기기의 신원을 확인합니다.
• 접근 범위: 사용자가 tailnet에 추가한 기기들만 모델에 접근할 수 있습니다.

​

LLM 활용 시의 한계점

• 모든 호출자는 먼저 tailnet에 가입해야 합니다. 이 방식은 사용자 본인의 기기에는 적합하지만, 팀원이나 SaaS 고객, 혹은 API 키가 필요한 코딩 에이전트들에게는 VPN 없이 적용하기 어렵습니다.
• Tailscale Funnel을 이용하면 서비스를 공개적으로 제공할 수 있으나, 사용 가능한 포트는 443, 8443, 10000으로 제한됩니다. 대역폭 역시 제한적이며 설정 변경이 불가능합니다.
• API 키 관리 기능이 없어 기기 접근 권한만 관리할 수 있을 뿐, 개별 요청 단위의 인증은 처리되지 않습니다.
• 모델 서버 자체에도 인증 레이어가 없으므로 tailnet에 속한 누구나 어떠한 인증 정보 없이도 해당 모델을 호출할 수 있습니다.

​

언제 이 방법을 사용해야 할까

​

방법 3: Cloudflare Tunnel

​

작동 원리

# cloudflared config.yml
tunnel: ct-tok-XXXX
credentials-file: /etc/cloudflared/creds.json

ingress:
  - hostname: llm.example.com
    service: http://127.0.0.1:8000
  - service: http_status:404

cloudflared tunnel run llm-tunnel

​

보안 특성

• 암호화: 클라이언트에서 Cloudflare 엣지까지는 TLS로 보호되며, 이후 Cloudflare에서 원본 서버까지도 암호화됩니다.
• 인증: 사용자가 직접 설정할 수 있습니다. Cloudflare Access, API 토큰 또는 자체 미들웨어를 활용할 수 있죠.
• 접근 범위: 기본적으로는 누구나 접근 가능합니다. 원할 경우 인증 절차를 추가할 수 있습니다.

​

LLM 활용 시 주의사항

• 버퍼링: 기본적으로 Cloudflare는 응답 내용을 버퍼링합니다. 다만 응답에 text/event-stream content-type 헤더가 포함되어 있다면 예외입니다. 이로 인해 SSE 스트리밍이 중단되거나 지연될 수 있습니다.
• 프록시 타임아웃: 무료 요금제에서는 Cloudflare의 프록시 타임아웃이 약 100초 정도입니다. 컨텍스트가 길거나 max_tokens 값이 높아서 생성 시간이 길어지는 경우 스트림이 중간에 끊길 가능성이 있습니다.
• API 키 레이어가 없음: 인증 처리는 직접 구현해야 합니다. Cloudflare Access, 미들웨어, 혹은 API 게이트웨이를 앞단에 배치해야 합니다.
• 복잡성: DNS 레코드 설정, Cloudflare Access 정책 구성, 터널 수명 주기 관리 등이 복합적으로 작용합니다.

​

사용 시점

​

방법 4: Tokios 커넥터 활용

​

작동 원리

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "llama3-tunnel", "messages": [{"role": "user", "content": "Hello!"}]}'

​

보안 특성

• 암호화: 클라이언트에서 api.tokios.com까지는 TLS로 연결되며, 이후 아웃바운드 터널을 통해 사용자 기기까지 다시 TLS가 적용됩니다.
• 인증 방식: 요청마다 베어러 토큰(sk-tok-…)이 사용되며, 필요 시 업스트림 모델 ID 기준으로 범위를 제한할 수 있습니다.
• 접근 권한 범위: 각 API 키는 특정 배포 환경에만 적용되도록 설정 가능합니다. 키를 취소하면 커넥터나 백엔드 설정에 영향을 주지 않고 즉시 접근이 차단됩니다.

​

아키텍처

Your machine                    api.tokios.com              Caller
─────────────                   ──────────────              ──────
vLLM/Ollama ─┐                                            sk-tok-… key
  (localhost) ├─ connector ──── outbound tunnel ────►  gateway ──► HTTPS request
             └─ no inbound     (initiates connection)    (auth +
                port open                                routing)

​

활용 시기

• 각 팀원에게 별도의 API 키를 부여하여 모델 접근 권한을 공유해야 할 때.
• 표준 OpenAI 또는 Anthropic 기반 URL을 요구하는 코딩 에이전트(Claude Code, Codex, Cline 등)와 연동해야 할 때.
• CGNAT, 기업용 NAT 등 인바운드 연결이 차단된 네트워크 환경에서 작업해야 할 때.
• 자체 인증 레이어를 구축하고 관리하는 수고를 줄이고 싶을 때.

​

비교 매트릭스

​

사용 사례별 권장 사항

​

그냥 포트만 열어도 되지 않을까요?

​

모델은 계속 로컬에 보관되며 엔드포인트는 어디서나 사용 가능합니다

​

심층 분석 내용