OLLAMA_HOST=0.0.0.0 설정 없이 Ollama 원격 접속하기

기본적으로 Ollama는 127.0.0.1:11434 포트에서만 수신 대기하므로 오직 본인의 기기에서만 접속 가능합니다. OLLAMA_HOST=0.0.0.0 값을 설정하면 모든 네트워크 인터페이스에서 수신 대기하게 되지만, Ollama에는 내장 인증 기능이 전혀 없습니다. 따라서 11434 포트에 접근 가능한 누구나 인증 없이 API를 호출할 수 있습니다. 그러므로 Ollama를 로컬호스트에 그대로 두고 Tokios 커넥터를 병행 실행하는 것이 좋습니다. 이 커넥터가 https://api.tokios.com으로 연결되면 여러분의 도구나 팀원, 에이전트들은 어디서든 인증된 형태로 1 엔드포인트에 접속할 수 있습니다.

초보자도 쉽게 사용 가능. Ollama는 로컬 모델을 실행하는 가장 간편한 수단입니다. ollama run <model> 절차만 거치면 즉시 서비스가 시작되며 Tokios의 초기 백엔드로도 훌륭합니다.

대부분의 사용자가 먼저 시도하는 방법과 그에 따른 문제점

위에 언급된 도구들은 모두 범용 용도로 적합합니다. 하지만 “로컬 추론 API를 인터넷에 공개”하는 목적으로 설계된 것은 없으므로 각각 특정 워크로드에서 한계가 발생합니다.

OLLAMA_HOST=0.0.0.0 (모든 인터페이스에 바인딩)

이 설정을 적용하면 Ollama가 루프백뿐만 아니라 모든 네트워크 인터페이스에서 수신 대기하게 됩니다. 그러나 내장 인증 기능이 없으므로 포트에 접근 가능한 주체는 누구든 인증 없이 API를 호출할 수 있습니다. 모델 목록 조회, 추론 실행, 모델 다운로드 등이 모두 가능합니다. 보안 연구 기관인 SentinelLABS/Censys(2026)에 따르면 약 175,000개의 Ollama 서버가 이 방식으로 인터넷에 노출된 상태였습니다.

라우터에서 포트 포워딩 설정하기

포트 11434를 내 기기로 포워딩하면 두 가지 문제가 생깁니다. ISP가 CGNAT를 사용하는 경우 애초에 포워딩할 안정적인 공용 IP가 없습니다. 운 좋게 포트를 열었다 하더라도 Shodan이나 Censys 같은 인터넷 전체 스캐너가 몇 시간에서 며칠 내로 노출된 서비스를 인덱싱합니다. 그리고 위와 마찬가지로 직접 인증을 구축하지 않는 한 포트 뒤에는 인증이 없습니다.

Tailscale

Tailscale은 개인용 접근 환경을 아주 잘 해결해줍니다. 사용자의 기기들이 비공개 메시 네트워크인 “테일넷”에 참여하여 서로 안전하게 통신할 수 있죠. 다만 개인 사용 이외의 경우에는 문제가 생깁니다. 팀원이나 SaaS 클라이언트가 사용자의 모델을 호출하려면 먼저 테일넷에 가입해야 하는데, 이는 공개적인 API 키 모델과는 맞지 않습니다. Tailscale Funnel을 이용하면 서비스를 공개적으로 배포할 수 있지만, 지정된 포트만 사용 가능하며 대역폭도 설정할 수 없습니다.

Cloudflare Tunnel

Cloudflare Tunnel은 인바운드 포트 없이도 Cloudflare 엣지를 통해 트래픽을 라우팅하므로 요구사항에 부합합니다. 하지만 기본적으로 Cloudflare는 응답에 text/event-stream content-type 헤더가 포함되지 않는 한 응답 내용을 스트림 형태로 전송하지 않고 버퍼링합니다. 또한 프록시된 요청은 Cloudflare의 타임아웃 규칙을 따르게 되는데, 무료 요금제에서는 약 100초 정도이며 일부 요금제에서는 그보다 짧습니다. 따라서 긴 생성 작업이 진행 중일 때 중간에 연결이 끊길 가능성이 있습니다.

ngrok (무료 요금제)

ngrok은 설정이 간편하고 데모용으로도 적합합니다. 무료 요금제에서는 월간 데이터 사용량이 1 GB, 요청 횟수가 20,000회로 제한됩니다. 또한 무료 터널을 이용할 경우 방문자들은 서비스에 접속하기 전에 경고 페이지를 보게 됩니다. 이 정도는 데모용 링크로는 괜찮지만, 팀원이나 에이전트가 하루 종일 API를 프로그램적으로 호출하는 용도로는 부적절합니다.

위 도구들을 폄하하려는 의도는 아닙니다. 각각은 서로 다른 문제를 해결하기 위한 것이니까요 — 기기 간 메시 네트워킹, 엣지 프록시, 빠른 데모 링크 등이 그 예입니다. Tokios는 오직 한 가지 목적을 위해 만들어졌습니다. 바로 로컬에 있는 모델 엔드포인트를 어디서든 호출 가능한 인증된 API로 변환하는 것입니다.

아웃바운드 전용 방식

평소처럼 로컬에서 Ollama를 실행합니다.

Ollama를 127.0.0.1 상태로 유지하되 OLLAMA_HOST 값은 설정하지 마세요. 그런 다음 원하는 모델을 다운로드하고 실행합니다.

ollama run llama3

기본 설정된 http://127.0.0.1:11434 포트에서 계속 수신 대기하도록 둡니다.

Tokios 커넥터와 페어링합니다.

먼저 tokios.com/console에 로그인하고 Setup 탭을 열어 Start pairing을 클릭하세요. Tokios가 일회성 페어링 코드인 TKS-XXXX-XXXX를 표시하며, 약 15분 동안 유효합니다.Ollama가 실행 중인 머신에서 사용 중인 운영체제에 맞는 설치 명령어를 실행해 주세요.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

이미 tokios-connector이 설치되어 있으신가요? 그 경우 해당 코드를 직접 입력하시면 됩니다.

tokios-connector TKS-XXXX-XXXX

콘솔로 돌아가서 기기를 approve합니다. Setup 또는 Connectors 탭에서 승인할 수 있습니다. 승인이 완료되면 커넥터의 토큰이 터널을 통해 전달되며, 화면에 표시되거나 파일에 직접 입력하는 일은 없습니다.

커넥터가 Ollama의 /v1 API를 가리키도록 설정해 주세요.

Ollama는 /v1 주소에서 OpenAI와 호환되는 인터페이스를 제공하며, Tokios는 Ollama의 기본 /api 엔드포인트가 아닌 이 인터페이스와 통신합니다. 단일 모델만 사용하는 경우 콘솔의 설정 마법사가 자동으로 http://127.0.0.1:11434/v1을 업스트림 모델 ID로 지정합니다. 여러 모델을 tokios-connector.json 설정으로 제공하려면 업스트림 모델 ID를 BaseUrl로 명시적으로 지정해야 합니다.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:11434/v1"
  }
}

여러 모델을 지원하는 설정 파일의 형식에 대해서는 커넥터 설정 문서를 참고해 주세요.

배포 작업을 등록해 주세요.

먼저 Models 탭에서 Ollama 모델을 등록하고 public name을 선택하세요. 예를 들어 llama3-tunnel처럼 지정합니다. 클라이언트가 model 필드에 전송하는 것은 Ollama의 로컬 모델 ID가 아닌 이 공개 이름입니다.

API 키를 생성해 주세요.

다음으로 Keys 탭에서 Create key를 클릭하세요. 필요하면 모델 이름 패턴(쉼표로 구분된 글롭, 전체는 *)으로 특정 배포에만 범위를 지정할 수 있습니다. sk-tok-… 키는 지금 바로 복사하세요. 한 번만 표시됩니다.

어디서든 해당 모델을 활용할 수 있습니다.

배포 이름과 API 키를 확보하셨다면 OpenAI나 Anthropic과 호환되는 모든 클라이언트에서 Ollama 모델에 접근할 수 있습니다. 다른 머신이나 팀원의 노트북, 호스팅된 에이전트에서도 마찬가지입니다.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="llama3-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model llama3-tunnel

여기서 model 필드는 항상 등록된 deployment 이름(위의 llama3-tunnel)이며 Ollama의 로컬 모델 ID가 아닙니다. 세션 간 환경 변수를 유지하는 방법은 Claude Code 사용하기를 참고하세요.

Tokios와 Ollama Cloud의 차이점

Ollama에서는 Ollama Cloud도 제공합니다. 이는 ollama run <model>:cloud 또는 Ollama API 키를 통해 접근할 수 있는 호스팅된 모델들로, 가중치 데이터는 Ollama의 인프라에서 실행되며 사용자가 로그인한 상태에서는 로컬 ollama 데몬을 통해 프록시 처리됩니다. 훌륭한 관리형 옵션이지만 자체 호스팅과는 정반대 개념입니다. 사용자의 프롬프트는 Ollama 서버로 전송되며 :cloud 태그에는 사용자가 제어할 수 있는 로컬 가중치가 존재하지 않습니다. (Kimi, MiniMax, 가장 큰 규모의 Nemotron 계층과 같은 일부 최신 모델들은 바로 이 이유로 Ollama에서는 :cloud 전용으로만 제공됩니다.) Tokios는 그 반대 경우에 사용됩니다. 모델은 사용자의 하드웨어에서 실행되며 Tokios는 단지 인증된 엔드포인트만 제공할 뿐입니다. 가중치 데이터와 데이터 경로, 그리고 API 키 역시 모두 사용자가 직접 관리하게 됩니다.

	Ollama Cloud	Tokios와 로컬 Ollama의 결합
모델이 실행되는 위치	Ollama의 서버들	사용자의 컴퓨터
사용자의 프롬프트 및 데이터	Ollama 클라우드로 전송됨	사용자의 하드웨어에 그대로 보존됨
인증	Ollama 계정 / API 키	각 팀원별로 할당되며 권한이 제한되고 취소도 가능한 `sk-tok-…` 키들입니다
사용할 모델 선택	Ollama의 클라우드 카탈로그	로컬에서 실행 가능한 모든 모델

두 방식이 함께 사용될 수 있습니다. Tokios를 통해 소형 모델을 로컬에서 실행하면서 필요할 때는 :cloud 모델도 활용할 수 있죠. 다만 로컬 경로를 사용할 경우에만 데이터가 본인 소유의 하드웨어에 저장됩니다.

자주 묻는 질문

Ollama는 어떤 포트를 사용하나요?

Ollama는 기본적으로 11434 포트에서 127.0.0.1(로컬호스트 전용)에 연결됩니다. OLLAMA_HOST 환경 변수를 통해 포트와 바인딩 주소를 변경할 수 있습니다. 예를 들어 OLLAMA_HOST=0.0.0.0:11435 설정 시 모든 인터페이스에서 11435 포트로 접속 가능합니다. curl http://localhost:11434 명령어로 Ollama가 실행 중인지 확인할 수 있습니다.

네트워크 전체에 Ollama를 공개하려면 어떻게 해야 하나요?

환경 변수 OLLAMA_HOST=0.0.0.0(또는 OLLAMA_HOST=0.0.0.0:11434)를 설정하고 Ollama를 재시작하세요. systemd를 사용하는 Linux에서는 Environment="OLLAMA_HOST=0.0.0.0:11434"를 [Service] 섹션 아래(ollama.service 파일)에 추가하고 systemctl daemon-reload && systemctl restart ollama를 실행합니다. macOS에서는 launchctl setenv OLLAMA_HOST "0.0.0.0:11434"를 사용하세요. Windows에서는 사용자 환경 변수에 OLLAMA_HOST를 설정하고 Ollama를 재시작합니다.

Ollama에서 API 키를 사용할 수 있나요?

아니요. Ollama 자체에는 인증 기능이 내장되어 있지 않습니다. 이는 다중 사용자 접근 제어를 위해 설계된 것이 아니라 로컬 환경에서 서비스하기 위해 만들어졌기 때문입니다. Ollama 유지보수진은 인증이 필요한 경우 리버스 프록시인 nginx나 Caddy를 앞단에 배치할 것을 권장합니다. Tokios에서는 리버스 프록시 없이도 범위가 지정된 sk-tok-… API 키를 생성할 수 있습니다. 커넥터를 연결하고 배포 정보를 등록한 뒤 키를 만들면, 호출 측에서는 원본 Ollama 포트 대신 https://api.tokios.com을 통해 인증하게 됩니다.

curl을 이용해 Ollama를 호출하려면 어떻게 해야 하나요?

Ollama는 기본 API와 OpenAI 호환형 엔드포인트를 모두 제공합니다. 기본 API 사용 시에는 curl http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "Hello"}'을, OpenAI 호환형 인터페이스 사용 시에는

curl http://localhost:11434/v1/chat/completions -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello"}]}'

을 사용하시면 됩니다. 원격 머신에서 호출할 경우 localhost 부분에 서버의 IP 주소를 입력해야 하며, 이를 위해서는 OLLAMA_HOST=0.0.0.0이 필요합니다.

OLLAMA_ORIGINS 설정을 통해 크로스 오리진 요청을 Ollama에서 처리할 수 있나요?

가능합니다. Ollama는 기본적으로 127.0.0.1 및 0.0.0.0에서 오는 크로스 오리진 요청을 허용합니다. 더 많은 출처를 추가하려면 OLLAMA_ORIGINS 값을 설정하면 됩니다. 브라우저 확장 프로그램의 경우에는 OLLAMA_ORIGINS=chrome-extension://*,moz-extension://*을 사용하시면 됩니다. 이 설정은 브라우저 기반 클라이언트에만 적용되며, curl이나 SDK를 사용하는 API 클라이언트에는 CORS 규칙이 적용되지 않습니다.

스트리밍 기능도 사용할 수 있나요?

네. "stream": true 값을 설정하면 Tokios가 호출 시 사용한 API 종류에 따라 OpenAI 또는 Anthropic 형식의 서버 전송 이벤트(SSE)를 반환합니다.

내 Ollama 인스턴스를 직접 공유하지 않고도 팀원들과 접근 권한을 나눌 수 있나요?

네. 팀원별로 별도의 sk-tok-… 키를 Keys 탭에서 생성하고 각 키의 범위를 필요한 배포로만 지정하세요. 키를 취소하면 즉시 인증이 중단되므로 Ollama나 커넥터를 건드리지 않고도 접근을 차단할 수 있습니다.

Ollama 모델을 1개 이상 공개할 수 있나요?

물론입니다. Models 탭에서 추가적인 배포 정보를 등록하거나 tokios-connector.json 설정 파일을 활용해 하나의 커넥터에 여러 업스트림 모델과 라우팅 규칙을 지정할 수 있습니다. 자세한 내용은 커넥터 설정 문서를 참고하시기 바랍니다.

이 서비스는 Ollama의 기본 /api 엔드포인트를 사용하나요?

아닙니다. Tokios는 OpenAI 채팅 완성 기능 인터페이스를 따르므로 Ollama의 /v1 OpenAI 호환 API와 통신하며, 기본 /api/generate 또는 /api/chat 엔드포인트는 사용하지 않습니다.

사용 중인 모델은 절대 사용자의 기기 밖으로 나가지 않습니다. 해당 엔드포인트는 어디서든 작동합니다.

Ollama는 여전히 로컬호스트에서 기존 방식대로 작동하며, 외부 접속용 포트나 공개된 API도 없습니다. 커넥터는 오직 아웃바운드 연결만 수행합니다. 인증, 라우팅, 스트리밍 등 모든 처리는 사용자가 키를 부여한 기기나 팀원, 에이전트가 호출할 수 있는 단일 엔드포인트에서 이루어집니다.

빠른 시작 가이드

커넥터를 연결하고 최초의 모델 엔드포인트를 등록해보세요.

API 키 관리

팀원 및 에이전트용 sk-tok-… 키를 생성하고 권한을 설정하며 교체할 수 있습니다.

코딩 에이전트와 연동하기

Claude Code, Codex, Cline, Cursor와 같은 도구를 Tokios를 통해 사용자의 Ollama 모델에 연결해보세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

OLLAMA_HOST=0.0.0.0 설정 없이 Ollama 원격 접속하기

대부분의 사용자가 먼저 시도하는 방법과 그에 따른 문제점

아웃바운드 전용 방식

어디서든 해당 모델을 활용할 수 있습니다.

Tokios와 Ollama Cloud의 차이점

자주 묻는 질문

사용 중인 모델은 절대 사용자의 기기 밖으로 나가지 않습니다. 해당 엔드포인트는 어디서든 작동합니다.

빠른 시작 가이드

API 키 관리

코딩 에이전트와 연동하기

​대부분의 사용자가 먼저 시도하는 방법과 그에 따른 문제점

​아웃바운드 전용 방식

​어디서든 해당 모델을 활용할 수 있습니다.

​Tokios와 Ollama Cloud의 차이점

​자주 묻는 질문

​사용 중인 모델은 절대 사용자의 기기 밖으로 나가지 않습니다. 해당 엔드포인트는 어디서든 작동합니다.

빠른 시작 가이드

API 키 관리

코딩 에이전트와 연동하기

대부분의 사용자가 먼저 시도하는 방법과 그에 따른 문제점

아웃바운드 전용 방식

어디서든 해당 모델을 활용할 수 있습니다.

Tokios와 Ollama Cloud의 차이점

자주 묻는 질문

사용 중인 모델은 절대 사용자의 기기 밖으로 나가지 않습니다. 해당 엔드포인트는 어디서든 작동합니다.