tokios-connector을 실행해 보세요. 이 프로그램은 아웃바운드 방식으로 https://api.tokios.com에 연결되므로 공용 IP나 포트 포워딩, 라우터 설정 변경, ISP 개입이 전혀 필요하지 않습니다. 그 결과 어디서든 호출 가능한 안정적이고 인증된 엔드포인트가 제공됩니다.
인바운드 연결은 인터넷 서비스 제공업체의 CGNAT 단계에서 차단되며 포워딩할 포트도 존재하지 않습니다. 반면 커넥터의 아웃바운드 연결은 그 장벽을 자유롭게 통과합니다.
현재 CGNAT 환경에 처해있는지 확인해보세요.
단 2분만 투자하면 알아낼 수 있습니다. 라우터 관리 페이지에서 WAN 혹은 인터넷 주소를 확인한 뒤 ifconfig.me 같은 사이트에서 제공하는 공용 주소와 비교해보세요.- WAN address between
100.64.0.0and100.127.255.255— you’re behind CGNAT. That range (RFC 6598) is reserved specifically for carrier-grade NAT. - WAN 주소가 사설 주소 범위(
10.x.x.x,172.16–31.x.x,192.168.x.x)에 속한다면 라우터 위에 또 다른 NAT 계층이 존재하며 이 역시 인바운드 트래픽을 차단합니다. - WAN 주소가 공용 주소와 일치한다면 실제 공용 IP를 보유한 상태이며 기본적인 포트 포워딩도 가능합니다. 다만 모델 API가 공개 인터넷상에서 인증되지 않은 상태로 남아있다는 점은 유의해야 합니다.
왜 CGNAT가 포트 포워딩을 차단하는가
포트 포워딩은 라우터에 “공용 IP의 특정 포트로 들어오는 트래픽은 내 LAN 내의 특정 기기로 전달하라”고 지시하는 방식입니다. 이 기능이 작동하려면 라우터가 반드시 자체적인 공용 IPv4 주소를 보유하고 있어야 합니다. 하지만 CGNAT 환경에서는 그렇지 않습니다. ISP는 가입자 수에 비해 공용 IPv4 주소가 부족하므로 여러 가입자를 하나의 공용 IP 뒤에 배치하고 각 가정에는 사설 주소만 할당합니다. 따라서 라우터의 “공용” 측면도 사실은 ISP 내부 네트워크상의 사설 주소에 불과하며, 포트 포워딩 규칙을 적용할 수 있는 고유한 수신용 주소가 존재하지 않습니다. 이로 인해 다음과 같은 제약이 생깁니다:- 라우터를 아무리 설정해도 포트
11434(또는 그 외 어떤 포트도)에 대한 수신 트래픽을 허용할 수 없습니다. - 이 문제는 사용자가 직접 해결할 수 없습니다. 이는 사용자 측 장비가 아닌 ISP 네트워크 내부 장비의 설정에 의해 결정되기 때문입니다.
- ISP에 연락하여 전용 공용 IP를 요청하는 것도 가능한 경우가 있습니다(보통 유료 비즈니스 등급 서비스로 제공됨). 하지만 직접 설정할 수 없으며 반드시 제공된다는 보장도 없습니다.
스타링크, 5G 및 아파트형 주거지 ISP
CGNAT는 예외적인 사례가 아닙니다. 여러 유형의 인터넷 연결에서 기본적으로 사용되고 있습니다:- 스타링크 역시 일반 가정용 서비스에 CGNAT를 적용합니다. 공용 IPv4 주소는 상위 등급 서비스 플랜에서만 제공됩니다. 스타링크를 통해 모델을 제공하려는 경우, 첫날부터 포트 포워딩은 불가능합니다 1.
- 4G/5G 가정용 인터넷(T-Mobile Home Internet 등) 역시 거의 대부분 CGNAT를 사용하며, 일반 가정용 플랜에서는 공용 IP 옵션 자체가 제공되지 않습니다.
- 아파트 및 광섬유 인터넷 서비스 제공업체에서 제공하는 건물 공유형 또는 ISP-NAT 방식의 주소도 동일한 방식으로 작동합니다.
아웃바운드 전용 해결 방법
Thetokios-connector never listens for inbound traffic. It opens a wss:// connection outward to Tokios, the same direction your browser already uses to load a webpage — so CGNAT, your router’s NAT, and most firewalls never see it as anything unusual.
1
평소처럼 모델을 로컬에서 실행하세요.
백엔드를 평소대로 시작하면 됩니다. Leave it listening on
OLLAMA_HOST=0.0.0.0 설정이나 모든 인터페이스에 바인딩하는 플래그, 라우터 변경도 필요 없습니다. 예를 들어 Ollama를 사용할 경우:http://127.0.0.1:11434 (Ollama’s default). Tokios also works with llama.cpp, vLLM, and LM Studio — see Supported backends.2
커넥터를 페어링하세요.
Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code shaped 이미 Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.
TKS-XXXX-XXXX, valid for about 15 minutes.모델이 실행 중인 기기에서 사용 중인 OS에 맞는 설치 명령어를 실행하세요.Windows
macOS
Linux
tokios-connector이 설치되어 있다면 코드만 직접 입력해주시면 됩니다.3
배포를 등록하세요
In the Models tab, register your local model and choose a public name — for example,
llama3-tunnel. Clients send this public name, not your backend’s local model id, in the model field of every request.4
API 키를 생성하세요
In the Keys tab, click Create key. Optionally scope it to specific deployments with model-name patterns (comma-separated globs,
* for all). Copy the sk-tok-… key now — it’s shown only once.어디서든 이 서비스를 활용하세요
엄격한 기업용 또는 캠퍼스 방화벽 역시 CGNAT와 유사한 문제를 일으킵니다. 공용 IP가 있더라도 인바운드 연결이 차단되기 때문입니다. 하지만 커넥터는 오직 아웃바운드
wss:// 연결만 수행하므로, 별도의 예외 요청 없이도 이러한 방화벽 뒤에서도 정상 작동합니다.모델은 계속 귀하의 하드웨어에 머물며, 엔드포인트는 어디서든 사용 가능합니다
CGNAT로 인해 ISP가 가정용 네트워크로의 인바운드 접근을 통제하게 됩니다. 대여한 릴레이 장치나 역방향 SSH 터널을 이용해 이를 우회하려면 별도의 서버를 구축하고 보안 설정까지 해야 합니다. 커넥터는 인바운드 요구사항을 완전히 없애줍니다. 한 번만 연결을 승인하면 이후https://api.tokios.com이 클라이언트가 사용할 안정적인 주소가 되며, ISP가 IP 주소를 어떻게 처리하든 상관없습니다.
빠른 시작 가이드
커넥터를 연동하고 첫 번째 모델을 단계별로 등록해보세요
터널링 솔루션과 Tokios의 비교
LLM 트래픽 스트리밍 시 이 솔루션이 Cloudflare Tunnel, ngrok, Tailscale과 어떻게 다른지 살펴보세요.
Tokios를 사용해야 하는 경우
CGNAT은 제약 요소 중 하나일 뿐입니다. 이 의사결정 프레임워크에서는 팀 규모, 에이전트 호환성, 에어갭 요구사항 및 다른 도구가 더 적합한 상황 등 다양한 요소를 고려합니다.