로컬 LLM 레시피 모음

Recipe 1: Personal coding assistant (8 GB VRAM, 10 min)

하드웨어: 8 GB 이상의 VRAM을 갖춘 GPU (RTX 3060, 4060 또는 유사 모델) 사용 사례: 편집기 내에서의 코드 자동완성 및 채팅 기능 백엔드: Ollama와 Continue 또는 Cline 연동

Install Ollama and pull a 7B coder model

# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Pull a coding-optimized 7B model
ollama pull qwen2.5-coder:7b

Verify the model responds

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'

Install the Tokios connector and register a deployment

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

대시보드 dashboard에서 my-coder라는 배포를 등록하고 업스트림 qwen2.5-coder:7b를 가리키세요. API 키를 생성하세요.

Configure Continue or Cline

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "my-coder"
}

예상 성능: 약 40 tok/s (RTX 4060). 4K 컨텍스트에서 반응 빠른 탭 완성 및 인라인 편집.

Recipe 2: Family chatbot server (16 GB VRAM, 15 min)

하드웨어: 16 GB 용량의 VRAM을 갖춘 GPU (RTX 4080, 4070 Ti Super 또는 이와 유사한 모델) 사용 사례: 가정용으로 활용할 수 있는 셀프 호스팅형 ChatGPT 스타일 인터페이스 백엔드: Ollama와 Open WebUI, 그리고 Tokios가 연동되어 작동합니다

Start a 14B chat model with Ollama

ollama pull qwen2.5:14b

Run Open WebUI with Docker

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

URL http://localhost:3000을 열고 관리자 계정을 생성하세요.

Expose through Tokios for remote access

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

등록 family-chat이라는 배포를 qwen2.5:14b를 가리키도록 생성하세요. 각 가족 구성원에게 API 키를 생성하세요 — 범위 제한 키로 개별적으로 접근 권한을 취소할 수 있습니다.

예상 성능: 약 25 tok/s (RTX 4080, 8K 컨텍스트). 멀티턴 대화에 충분합니다.

각 가족 구성원마다 별도의 API 키를 생성하면 특정 사용자의 접근 권한만 취소해도 다른 구성원에게는 영향을 주지 않습니다.

Recipe 3: Team API endpoint (48 GB+ VRAM, 30 min)

하드웨어: 48 GB 이상의 VRAM이 필요합니다 (A6000, 2x RTX 4090 또는 A100 모델 권장) 사용 사례: 개발 팀 전용으로 공유되는 모델 엔드포인트 백엔드: vLLM과 Tokios를 함께 사용합니다

Install vLLM and launch a 70B model

pip install vllm

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

Verify the server responds

curl http://127.0.0.1:8000/v1/models

Install the Tokios connector

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

해당 커넥터가 http://127.0.0.1:8000/v1을 가리키도록 설정하세요

등록 team-70b라는 배포를 등록하세요. Keys 탭에서 팀원당 1개의 키를 생성하세요. 각 키를 team-* 패턴으로 범위 제한하면 팀원은 공유 배포에만 접근할 수 있습니다.

예상 성능: AWQ 양자화 기법을 적용하면 약 30 토큰/초의 총 처리량을 기대할 수 있습니다. 또한 3부터 5까지의 동시 요청도 허용하며 지연 시간도 적절한 수준입니다.

2개의 GPU에서는 텐서 병렬 처리가 단일 노드의 파이프라인 병렬 처리보다 더 나은 디코드 처리량을 제공합니다. Tensor vs pipeline parallelism을 참조하세요.

Recipe 4: Document Q&A pipeline (24 GB VRAM, 45 min)

하드웨어: 24 GB VRAM을 갖춘 GPU (RTX 3090, 4090 또는 유사 모델) 활용 사례: PDF 및 기타 문서에 관한 질문을 클라우드로 전송하지 않고도 처리할 수 있습니다 백엔드 구성: Ollama (임베딩 및 채팅 기능) + 맞춤형 RAG 스크립트 + Tokios

Pull an embedding model and a 32B chat model

ollama pull nomic-embed-text
ollama pull qwen2.5:32b

임베딩 모델(~270 MB 크기)은 문서 내용을 벡터 형태로 변환합니다. 이후 32B 모델이 이 벡터 데이터를 바탕으로 질문에 답변하게 됩니다.

Build a simple RAG pipeline

import requests, json

EMBED_MODEL = "nomic-embed-text"
CHAT_MODEL  = "qwen2.5:32b"
OLLAMA_URL  = "http://127.0.0.1:11434"

def embed(text: str) -> list[float]:
    r = requests.post(f"{OLLAMA_URL}/api/embeddings",
                       json={"model": EMBED_MODEL, "prompt": text})
    return r.json()["embedding"]

def ask(question: str, context: str) -> str:
    prompt = f"Answer based on this context:\n\n{context}\n\nQuestion: {question}"
    r = requests.post(f"{OLLAMA_URL}/v1/chat/completions",
                       json={"model": CHAT_MODEL,
                             "messages": [{"role": "user", "content": prompt}],
                             "max_tokens": 512})
    return r.json()["choices"][0]["message"]["content"]

Expose the chat model through Tokios

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

등록 doc-qa라는 배포를 qwen2.5:32b를 가리키도록 생성하세요. 이제 RAG 스크립트는 임베딩을 로컬에 유지하면서 어떤 머신에서든 https://api.tokios.com/v1을 통해 모델을 호출할 수 있습니다.

예상 성능: 약 15 tok/s (32B 모델, RTX 4090). 짧은 구간에 대해 임베딩은 거의 즉시 완료됩니다.

임베딩 모델은 로컬에 유지하고 채팅 모델만 Tokios를 통해 외부에 공개하는 것이 좋습니다. 이렇게 하면 문서 텍스트가 네트워크를 통해 전송되는 일을 방지할 수 있습니다.

Recipe 5: DGX Spark max throughput (128 GB, 20 min)

하드웨어: NVIDIA DGX Spark (통합 메모리 128 GB) 활용 사례: 대규모 MoE 모델의 최대 처리량 확보 백엔드: vLLM과 Tokios가 연동됩니다

Launch a 120B MoE model at FP8

vllm serve Qwen/Qwen3-235B-A22B-FP8 \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 16384 \
  --trust-remote-code

DGX Spark의 128 GB 통합 메모리는 2~3 수준의 소비자용 GPU가 필요한 모델에도 적합합니다. Qwen3-235B-A22B 같은 MoE 모델은 각 토큰당 약 22B개의 파라미터만 활성화하므로 전체 파라미터 수가 많음에도 추론 속도가 빠릅니다.

Verify and benchmark

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-235B-A22B-FP8",
    "messages": [{"role": "user", "content": "Explain quantum entanglement"}],
    "max_tokens": 256
  }'

Expose through Tokios

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

등록 spark-moe라는 배포를 등록하세요. 접근이 필요한 각 클라이언트에 대해 키를 생성하세요.

예상 성능: 현재 설정된 파라미터 기준으로 DGX Spark 환경에서 약 35 토큰/초의 속도가 기대됩니다. 16K 크기의 컨텍스트도 통합 메모리에 무리 없이 저장됩니다.

상세한 설정 옵션은 DGX Spark에서의 vLLM 사용법 및 DGX Spark 메모리 튜닝 가이드를 참고하시기 바랍니다.

Recipe 6: Laptop-friendly offline AI (16 GB RAM, 5 min)

하드웨어: 16 GB RAM의 모든 노트북(전용 GPU 불필요) 사용 사례: 인터넷 없이 작동하는 비공개 AI 어시스턴트 백엔드: Ollama (CPU 모드)

Install Ollama and pull a quantized 7B model

# macOS
curl -fsSL https://ollama.com/install.sh | sh

# Or download from https://ollama.com for Windows/Linux
ollama pull qwen2.5:7b-instruct-q4_K_M

Q4_K_M 양자화 방식을 사용하면 모델 크기가 5 GB 이하로 유지되어 16 GB RAM만으로도 CPU에서 원활히 실행됩니다.

Chat locally — no internet required

ollama run qwen2.5:7b-instruct-q4_K_M

이로써 설정이 완료됩니다. 모델은 전적으로 사용자의 노트북 내에서만 작동합니다. 네트워크 통신이나 텔레메트리, API 키도 전혀 필요하지 않습니다.

Optionally expose through Tokios when online

인터넷에 접속 가능한 상태에서 다른 기기에서도 모델을 사용하고 싶다면 다음 절차를 따르세요:

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

등록 laptop-offline이라는 배포를 등록하세요. 커넥터는 네트워크가 사용 가능할 때만 외부로 연결합니다 — 오프라인에서는 모델이 로컬에서 계속 작동합니다.

예상 성능: 최신 노트북의 CPU 환경에서 약 5 토큰/초의 속도가 기대됩니다. 대화나 초안 작성에는 적합하나 실시간 코딩 보조 용도로는 부적합합니다.

만약 사용 중인 노트북에 Apple 실리콘 칩이 탑재되어 있다면 Ollama가 자동으로 Neural Engine과 Metal을 활용하므로 M 시리즈 칩에서는 20–30 토큰/초의 속도를 기대할 수 있습니다.

Recipe 7: Multi-model routing (24 GB+ VRAM, 30 min)

하드웨어: 24 GB+ VRAM GPU 사용 사례: 3개의 모델을 크기에 따라 1개의 Tokios 엔드포인트로 서비스 백엔드: Ollama 또는 vLLM + 설정 파일이 포함된 Tokios

Pull 3 models at different sizes

ollama pull qwen2.5:3b     # fast-small: quick classification
ollama pull qwen2.5:14b    # medium: general chat
ollama pull qwen2.5:32b    # large: complex reasoning

Create a multi-route connector config

파일 tokios-connector.json을 생성하세요:

{
  "Routes": [
    { "Deployment": "fast-small", "Upstream": "local-ollama" },
    { "Deployment": "medium",     "Upstream": "local-ollama" },
    { "Deployment": "large",      "Upstream": "local-ollama" }
  ],
  "Upstreams": {
    "local-ollama": {
      "BaseUrl": "http://127.0.0.1:11434/v1"
    }
  }
}

대시보드의 Models 탭에서 다음 모델을 등록하세요:

배포 이름	업스트림 모델 ID
`fast-small`	`qwen2.5:3b`
`medium`	`qwen2.5:14b`
`large`	`qwen2.5:32b`

Route by sending the model field

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

# Fast classification
client.chat.completions.create(
    model="fast-small",
    messages=[{"role": "user", "content": "Is this email spam? ..."}],
)

# Complex reasoning
client.chat.completions.create(
    model="large",
    messages=[{"role": "user", "content": "Analyze this contract clause..."}],
)

예상 성능: 3B 모델은 1초 이내에 응답합니다. 32B 모델은 첫 토큰까지 2–3초가 걸리지만 더 높은 품질의 출력을 생성합니다. 동일한 엔드포인트, 동일한 키, 다른 model 필드.

기본적으로 Ollama는 한 번에 VRAM에 1개의 모델만 유지하며 요청 시에만 교체합니다. 3개의 모델을 동시에 로드해야 한다면 별도의 백엔드를 실행하거나 LoRA 어댑터가 적용된 vLLM을 사용하시기 바랍니다. 자세한 내용은 모델 라우팅을 참고하세요.

Recipe 8: Benchmarking your setup (any hardware, 10 min)

하드웨어: 로컬 모델을 실행할 수 있는 모든 GPU 또는 CPU 활용 사례: 서로 다른 모델, 양자화 방식, 하드웨어 간의 처리량 및 지연 시간을 비교합니다 백엔드: 어떤 백엔드든 상관없으며 Tokios도 사용 가능합니다

Start your model server

Ollama, vLLM, llama.cpp, LM Studio 등 원하는 백엔드를 사용하세요. 해당 백엔드가 /v1 엔드포인트에서 정상 응답하는지 확인하시기 바랍니다.

Run a throughput benchmark

# Simple throughput test with curl and timing
for i in 1 2 3 4 5; do
  time curl -s http://127.0.0.1:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "qwen2.5:7b",
      "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
      "max_tokens": 256,
      "stream": false
    }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}, Time: check wall clock\")
"
done

Benchmark through Tokios to measure end-to-end latency

# Same test through the Tokios endpoint
time curl -s https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-deployment",
    "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
    "max_tokens": 256,
    "stream": false
  }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}\")
"

Compare quantizations

동일한 모델을 서로 다른 양자화 방식으로 다운로드한 뒤 각각에 대해 벤치마크를 진행합니다:

ollama pull qwen2.5:7b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q5_K_M
ollama pull qwen2.5:7b-instruct-q8_0

동일한 프롬프트를 각 모델에 입력한 뒤 초당 생성되는 토큰 수를 비교합니다. Q5_K_M 방식이 7B 조건에서 품질과 속도 측면에서 최적의 균형을 제공합니다.

예상 결과: 이 터널을 사용하면 각 요청마다 50–150밀리초 정도의 지연 시간이 추가됩니다(Tokios 게이트웨이까지의 왕복 시간은 1밀리초입니다). 스트림 처리량은 로컬 환경과 거의 동일하며, 터널이 SSE 데이터를 버퍼링하지 않습니다.

보다 체계적인 벤치마크를 원하신다면 배포 환경 성능 측정하기를 참고하시기 바랍니다.

사례 연구들

로컬 모델을 사용하는 팀 및 개인들이 실제로 적용한 배포 패턴들입니다.

로컬 모델 선택하기

사용 중인 하드웨어와 워크플로우에 적합한 모델 및 양자화 방식을 고르세요.

모델 라우팅

여러 배포 환경을 등록한 뒤 모델 필드 값만 변경해 원하는 모델으로 전환할 수 있습니다.

빠른 시작 가이드

아무것도 없던 상태에서 바로 사용 가능한 커넥터와 배포 환경, 그리고 API 키까지 설정할 수 있습니다.

시작하기

모델

개념

참고

로컬 LLM 레시피 모음

다음 단계들

사례 연구들

로컬 모델 선택하기

모델 라우팅

빠른 시작 가이드

​다음 단계들

사례 연구들

로컬 모델 선택하기

모델 라우팅

빠른 시작 가이드

다음 단계들