로컬 LLM 레시피 모음

레시피 1: 개인용 코딩 어시스턴트 (VRAM 8 GB 이상, 최소 요구사항 10)

하드웨어: 8 GB 이상의 VRAM을 갖춘 GPU (RTX 3060, 4060 또는 유사 모델) 사용 사례: 편집기 내에서의 코드 자동완성 및 채팅 기능 백엔드: Ollama와 Continue 또는 Cline 연동

Ollama를 설치한 뒤 7B 크기의 코더 모델을 다운로드합니다.

# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Pull a coding-optimized 7B model
ollama pull qwen2.5-coder:7b

모델이 정상적으로 응답하는지 확인합니다.

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'

Tokios 커넥터를 설치하고 배포 정보를 등록합니다.

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

In the dashboard, register a deployment named my-coder pointing at upstream qwen2.5-coder:7b. Create an API key.

Continue 또는 Cline을 설정합니다.

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "my-coder"
}

Expected performance: ~40 tok/s on an RTX 4060. Responsive tab completion and inline edits with 4K context.

레시피 2: 가족용 챗봇 서버 (VRAM 16 GB 이상, 최소 요구사항 15)

하드웨어: 16 GB 용량의 VRAM을 갖춘 GPU (RTX 4080, 4070 Ti Super 또는 이와 유사한 모델) 사용 사례: 가정용으로 활용할 수 있는 셀프 호스팅형 ChatGPT 스타일 인터페이스 백엔드: Ollama와 Open WebUI, 그리고 Tokios가 연동되어 작동합니다

Ollama를 이용해 14B 챗 모델을 실행합니다.

ollama pull qwen2.5:14b

Docker를 통해 Open WebUI를 실행합니다.

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Open http://localhost:3000 and create an admin account.

Tokios를 통해 외부 접근이 가능하도록 설정합니다.

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Register a deployment named family-chat pointing at qwen2.5:14b. Create an API key for each family member — scoped keys let you revoke access individually.

Expected performance: ~25 tok/s on an RTX 4080 with 8K context. Comfortable for multi-turn conversations.

각 가족 구성원마다 별도의 API 키를 생성하면 특정 사용자의 접근 권한만 취소해도 다른 구성원에게는 영향을 주지 않습니다.

레시피 3: 팀용 API 엔드포인트 (VRAM 48 GB 이상, 최소 요구사항 30)

하드웨어: 48 GB 이상의 VRAM이 필요합니다 (A6000, 2x RTX 4090 또는 A100 모델 권장) 사용 사례: 개발 팀 전용으로 공유되는 모델 엔드포인트 백엔드: vLLM과 Tokios를 함께 사용합니다

vLLM을 설치한 뒤 70B 모델을 실행하세요

pip install vllm

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

서버가 정상적으로 응답하는지 확인하세요

curl http://127.0.0.1:8000/v1/models

Tokios 커넥터를 설치하세요

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

해당 커넥터가 http://127.0.0.1:8000/v1을 가리키도록 설정하세요

배포 항목을 등록하고 범위가 지정된 API 키를 생성하세요

Register a deployment named team-70b. In the Keys tab, create 1 key per teammate. Scope each key to the team-* pattern so teammates can only reach shared deployments.

예상 성능: AWQ 양자화 기법을 적용하면 약 30 토큰/초의 총 처리량을 기대할 수 있습니다. 또한 3부터 5까지의 동시 요청도 허용하며 지연 시간도 적절한 수준입니다.

With 2 GPUs, tensor parallelism gives better decode throughput than pipeline parallelism on a single node. See Tensor vs pipeline parallelism.

레시피 4: 문서 기반 질의응답 파이프라인 (VRAM 필요량: 24 GB, 예상 소요 시간: 45분)

하드웨어: 24 GB VRAM을 갖춘 GPU (RTX 3090, 4090 또는 유사 모델) 활용 사례: PDF 및 기타 문서에 관한 질문을 클라우드로 전송하지 않고도 처리할 수 있습니다 백엔드 구성: Ollama (임베딩 및 채팅 기능) + 맞춤형 RAG 스크립트 + Tokios

임베딩 모델과 32B 채팅 모델을 모두 다운로드하세요

ollama pull nomic-embed-text
ollama pull qwen2.5:32b

임베딩 모델(~270 MB 크기)은 문서 내용을 벡터 형태로 변환합니다. 이후 32B 모델이 이 벡터 데이터를 바탕으로 질문에 답변하게 됩니다.

간단한 RAG 파이프라인을 구축해보세요

import requests, json

EMBED_MODEL = "nomic-embed-text"
CHAT_MODEL  = "qwen2.5:32b"
OLLAMA_URL  = "http://127.0.0.1:11434"

def embed(text: str) -> list[float]:
    r = requests.post(f"{OLLAMA_URL}/api/embeddings",
                       json={"model": EMBED_MODEL, "prompt": text})
    return r.json()["embedding"]

def ask(question: str, context: str) -> str:
    prompt = f"Answer based on this context:\n\n{context}\n\nQuestion: {question}"
    r = requests.post(f"{OLLAMA_URL}/v1/chat/completions",
                       json={"model": CHAT_MODEL,
                             "messages": [{"role": "user", "content": prompt}],
                             "max_tokens": 512})
    return r.json()["choices"][0]["message"]["content"]

Tokios를 통해 채팅 모델을 외부에 공개합니다

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Register a deployment named doc-qa pointing at qwen2.5:32b. Your RAG script can now call the model through https://api.tokios.com/v1 from any machine, while embeddings stay local.

Expected performance: ~15 tok/s for the 32B model on an RTX 4090. Embedding is near-instant for short passages.

임베딩 모델은 로컬에 유지하고 채팅 모델만 Tokios를 통해 외부에 공개하는 것이 좋습니다. 이렇게 하면 문서 텍스트가 네트워크를 통해 전송되는 일을 방지할 수 있습니다.

레시피 5: DGX Spark의 최대 처리량 설정 (128 GB 메모리, 20분 소요)

하드웨어: NVIDIA DGX Spark (통합 메모리 128 GB) 활용 사례: 대규모 MoE 모델의 최대 처리량 확보 백엔드: vLLM과 Tokios가 연동됩니다

Launch a 120B MoE model at FP8

vllm serve Qwen/Qwen3-235B-A22B-FP8 \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 16384 \
  --trust-remote-code

DGX Spark의 128 GB 통합 메모리는 2~3 수준의 소비자용 GPU가 필요한 모델에도 적합합니다. Qwen3-235B-A22B 같은 MoE 모델은 각 토큰당 약 22B개의 파라미터만 활성화하므로 전체 파라미터 수가 많음에도 추론 속도가 빠릅니다.

설정이 올바른지 확인하고 성능 벤치마크를 수행합니다

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-235B-A22B-FP8",
    "messages": [{"role": "user", "content": "Explain quantum entanglement"}],
    "max_tokens": 256
  }'

Tokios를 통해 모델을 외부에 공개합니다

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

예상 성능: 현재 설정된 파라미터 기준으로 DGX Spark 환경에서 약 35 토큰/초의 속도가 기대됩니다. 16K 크기의 컨텍스트도 통합 메모리에 무리 없이 저장됩니다.

상세한 설정 옵션은 DGX Spark에서의 vLLM 사용법 및 DGX Spark 메모리 튜닝 가이드를 참고하시기 바랍니다.

레시피 6: 노트북에서도 사용 가능한 오프라인 AI 환경 (RAM 필요량: 16 GB, 최소 요구 사양: 5)

Hardware: Any laptop with 16 GB RAM (no dedicated GPU required) Use case: Private AI assistant that works without internet Backend: Ollama (CPU mode)

Ollama를 설치한 뒤 양자화된 7B 모델을 다운로드하세요.

# macOS
curl -fsSL https://ollama.com/install.sh | sh

# Or download from https://ollama.com for Windows/Linux
ollama pull qwen2.5:7b-instruct-q4_K_M

Q4_K_M 양자화 방식을 사용하면 모델 크기가 5 GB 이하로 유지되어 16 GB RAM만으로도 CPU에서 원활히 실행됩니다.

인터넷 연결 없이도 로컬 환경에서 대화가 가능합니다.

ollama run qwen2.5:7b-instruct-q4_K_M

이로써 설정이 완료됩니다. 모델은 전적으로 사용자의 노트북 내에서만 작동합니다. 네트워크 통신이나 텔레메트리, API 키도 전혀 필요하지 않습니다.

인터넷에 연결된 상태라면 Tokios를 통해 모델을 외부에 공개할 수도 있습니다.

인터넷에 접속 가능한 상태에서 다른 기기에서도 모델을 사용하고 싶다면 다음 절차를 따르세요:

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Register a deployment named laptop-offline. The connector only dials out when the network is available — offline, your model keeps working locally.

예상 성능: 최신 노트북의 CPU 환경에서 약 5 토큰/초의 속도가 기대됩니다. 대화나 초안 작성에는 적합하나 실시간 코딩 보조 용도로는 부적합합니다.

만약 사용 중인 노트북에 Apple 실리콘 칩이 탑재되어 있다면 Ollama가 자동으로 Neural Engine과 Metal을 활용하므로 M 시리즈 칩에서는 20–30 토큰/초의 속도를 기대할 수 있습니다.

레시피 7: 멀티 모델 라우팅 (24 GB 이상의 VRAM, 최소 30분 필요)

Hardware: 24 GB+ VRAM GPU Use case: Serve 3 models of different sizes through 1 Tokios endpoint Backend: Ollama or vLLM + Tokios with config file

서로 다른 크기의 3개 모델을 불러오세요

ollama pull qwen2.5:3b     # fast-small: quick classification
ollama pull qwen2.5:14b    # medium: general chat
ollama pull qwen2.5:32b    # large: complex reasoning

멀티 라우트 커넥터 설정 파일을 생성합니다

Create tokios-connector.json:

{
  "Routes": [
    { "Deployment": "fast-small", "Upstream": "local-ollama" },
    { "Deployment": "medium",     "Upstream": "local-ollama" },
    { "Deployment": "large",      "Upstream": "local-ollama" }
  ],
  "Upstreams": {
    "local-ollama": {
      "BaseUrl": "http://127.0.0.1:11434/v1"
    }
  }
}

대시보드에 모든 3개 배포 항목을 등록합니다

In the Models tab, register:

배포 이름	업스트림 모델 ID
`fast-small`	`qwen2.5:3b`
`medium`	`qwen2.5:14b`
`large`	`qwen2.5:32b`

모델 필드 값을 지정해 라우팅을 수행합니다

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

# Fast classification
client.chat.completions.create(
    model="fast-small",
    messages=[{"role": "user", "content": "Is this email spam? ..."}],
)

# Complex reasoning
client.chat.completions.create(
    model="large",
    messages=[{"role": "user", "content": "Analyze this contract clause..."}],
)

Expected performance: The 3B model responds in under 1 second. The 32B model takes 2–3 seconds for the first token but produces higher-quality output. Same endpoint, same key, different model field.

기본적으로 Ollama는 한 번에 VRAM에 1개의 모델만 유지하며 요청 시에만 교체합니다. 3개의 모델을 동시에 로드해야 한다면 별도의 백엔드를 실행하거나 LoRA 어댑터가 적용된 vLLM을 사용하시기 바랍니다. 자세한 내용은 모델 라우팅을 참고하세요.

레시피 8: 사용 중인 환경의 성능 측정하기 (하드웨어 종류 무관, 최소 10분 소요)

하드웨어: 로컬 모델을 실행할 수 있는 모든 GPU 또는 CPU 활용 사례: 서로 다른 모델, 양자화 방식, 하드웨어 간의 처리량 및 지연 시간을 비교합니다 백엔드: 어떤 백엔드든 상관없으며 Tokios도 사용 가능합니다

모델 서버를 실행합니다

Ollama, vLLM, llama.cpp, LM Studio 등 원하는 백엔드를 사용하세요. 해당 백엔드가 /v1 엔드포인트에서 정상 응답하는지 확인하시기 바랍니다.

처리량 측정용 벤치마크를 실행합니다

# Simple throughput test with curl and timing
for i in 1 2 3 4 5; do
  time curl -s http://127.0.0.1:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "qwen2.5:7b",
      "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
      "max_tokens": 256,
      "stream": false
    }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}, Time: check wall clock\")
"
done

Tokios를 통해 벤치마크를 수행하여 엔드투엔드 지연 시간을 측정합니다

# Same test through the Tokios endpoint
time curl -s https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-deployment",
    "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
    "max_tokens": 256,
    "stream": false
  }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}\")
"

다양한 양자화 방식을 비교합니다

동일한 모델을 서로 다른 양자화 방식으로 다운로드한 뒤 각각에 대해 벤치마크를 진행합니다:

ollama pull qwen2.5:7b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q5_K_M
ollama pull qwen2.5:7b-instruct-q8_0

동일한 프롬프트를 각 모델에 입력한 뒤 초당 생성되는 토큰 수를 비교합니다. Q5_K_M 방식이 7B 조건에서 품질과 속도 측면에서 최적의 균형을 제공합니다.

예상 결과: 이 터널을 사용하면 각 요청마다 50–150밀리초 정도의 지연 시간이 추가됩니다(Tokios 게이트웨이까지의 왕복 시간은 1밀리초입니다). 스트림 처리량은 로컬 환경과 거의 동일하며, 터널이 SSE 데이터를 버퍼링하지 않습니다.

보다 체계적인 벤치마크를 원하신다면 배포 환경 성능 측정하기를 참고하시기 바랍니다.

사례 연구들

로컬 모델을 사용하는 팀 및 개인들이 실제로 적용한 배포 패턴들입니다.

로컬 모델 선택하기

사용 중인 하드웨어와 워크플로우에 적합한 모델 및 양자화 방식을 고르세요.

모델 라우팅

여러 배포 환경을 등록한 뒤 모델 필드 값만 변경해 원하는 모델으로 전환할 수 있습니다.

빠른 시작 가이드

아무것도 없던 상태에서 바로 사용 가능한 커넥터와 배포 환경, 그리고 API 키까지 설정할 수 있습니다.

시작하기

모델

개념

참고

로컬 LLM 레시피 모음

다음 단계들

사례 연구들

로컬 모델 선택하기

모델 라우팅

빠른 시작 가이드

​다음 단계들

사례 연구들

로컬 모델 선택하기

모델 라우팅

빠른 시작 가이드

다음 단계들