> ## Documentation Index > Fetch the complete documentation index at: https://docs.tokios.com/llms.txt > Use this file to discover all available pages before exploring further. > ## Agent Instructions > Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel. > Use 'connector' for the local tokios-connector process. > Use 'deployment' for the public model name in the API model field. > Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend. > API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-. # Lemonade Server へのリモートアクセス — AMD NPU と GPU > Lemonade Server の API にどこからでもアクセスできます（AMD NPU、Vulkan、ROCm、CUDA）。Tokios コネクタで安全なリモートアクセスを設定し、5 分で提供を開始できます。 デフォルトでは、Lemonade Server は `http://127.0.0.1:13305/v1` で待ち受けします — ポートを geniş にバインドするかフォワードしない限り、別のマシンからアクセスできません。Lemonade Server にはリモートアクセス用の認証機能が組み込まれていません。ローカルホストに置いたまま隣接して Tokios コネクターを実行してください。コネクターが `https://api.tokios.com` に発信し、ツール、チームメンバー、エージェントはどこからでも一つの認証済みエンドポイントを呼び出せます。 > [!NOTE] > > **Last verified: 2026-10-14.** Lemonade Server は活発に開発されています — 最新リリースについては [lemonade-server.ai](https://lemonade-server.ai/) を確認してください。 > [!TIP] > > **AMD NPU support.** Lemonade Server は AMD Ryzen AI NPU（Ryzen AI 300/400 シリーズ）で推論をアクセラレートできる唯一のローカル LLM サーバーです。Vulkan、ROCm、CUDA、Metal バックエンドも自動検出するため、手動設定なしで AMD、NVIDIA、Apple Silicon ハードウェアで動作します。 ## What is Lemonade Server Lemonade Server は AMD が支援するオープンソースのローカル LLM サーバーです。`http://localhost:13305/v1` で OpenAI 互換の API を公開し、複数のバックエンドで複数のモデルフォーマット（GGUF、ONNX、FLM）をサポートします： * **AMD Ryzen 7000/8000/200 series** — Vulkan による GPU アクセラレーション（llama.cpp バックエンド） * **AMD Ryzen AI MAX+ (Strix Halo)** — vLLM または llama.cpp を使用した ROCm * **AMD Ryzen AI 300/400 series** — ONNX Runtime GenAI による NPU アクセラレーション（ハイブリッド NPU+iGPU 実行） * **NVIDIA GPUs** — CUDA アクセラレーション * **Apple Silicon** — Metal バックエンド Lemonade Server はハードウェアを自動検出し、最適なバックエンドを選択します。必要に応じて手動でバックエンドをオーバーライドすることもできます。 > **Why not just bind Lemonade Server to 0.0.0.0?** > > Lemonade Server をすべてのインターフェース（`0.0.0.0`）にバインドするとネットワークからアクセスできますが、Lemonade Server にはリモート呼び出し元の認証機能が組み込まれていません — ポート `13305` に到達できる人は誰でも API を呼び出せます。ISP が CGNAT を使用している場合、そもそもフォワード先の安定したパブリック IP がありません。Tokios はインバウンドポートを開かずにスコープ付き `sk-tok-…` API キーを追加します。 > **Why not use Tailscale or Cloudflare Tunnel?** > > Tailscale は個人アクセスにうまく対応します — 自分のデバイスがプライベートメッシュネットワークに参加し、安全に相互アクセスできます。ただし個人利用 beyond の場合、チームメンバーやモデルを呼び出したい SaaS クライアントが先に tailnet に参加する必要があり、パブリック API キーモデルには合いません。Cloudflare Tunnel はインバウンドポート不要で Cloudflare のエッジ経由でトラフィックをルーティングしますが、デフォルトではレスポンスがストリーミングされずにバッファリングされます（レスポンスに `text/event-stream` コンテンツタイプヘッダーがない限り）。プロキシされたリクエストは Cloudflare のプロキシタイムアウト（無料枠で約 100 秒）の影響を受け、長い生成が途中で切断される場合があります。 > [!NOTE] > > これらのツールを批判する意図はありません — それらは別の問題（デバイスメッシュネットワーキング、エッジプロキシング）を解決しています。Tokios は 一つのことに特化して構築されています：ローカルモデルエンドポイントをどこからでも呼び出せる認証済み API に変換すること。 ## Prerequisites 始める前に、以下を準備してください： * **Lemonade Server installed** — 以下の [How to install Lemonade Server](#how-to-install-lemonade-server) を参照 * **A model downloaded** — `lemonade pull ` を使用してモデルをダウンロード * **Tokios connector** — セットアップ中にインストールします ## How to install Lemonade Server Lemonade Server は Windows、Linux、macOS、Docker 用のインストーラーを提供します。v10.1 現在、CLI コマンドは `lemonade` です（古い `lemonade-server` CLI は非推奨）。 ```powershell Windows (MSI) theme={"theme":{"light":"github-light","dark":"css-variables"}} Download the MSI installer from the [Lemonade Server releases page](https://github.com/lemonade-sdk/lemonade/releases) and run it. The `lemond` service auto-starts on install. ``` ```bash Linux (Snap) theme={"theme":{"light":"github-light","dark":"css-variables"}} sudo snap install lemonade-server ``` ```bash Linux (APT, Ubuntu/Debian) theme={"theme":{"light":"github-light","dark":"css-variables"}} sudo apt update sudo apt install lemonade-server ``` ```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}} Download the macOS installer from the [Lemonade Server releases page](https://github.com/lemonade-sdk/lemonade/releases). ``` ```bash Docker theme={"theme":{"light":"github-light","dark":"css-variables"}} docker run -p 13305:13305 lemonade-sdk/lemonade-server ``` インストール後、Lemonade Server が動作していることを確認します： ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} lemonade status ``` サーバーのステータスと検出されたバックエンド（Vulkan、ROCm、CUDA、Metal、または NPU）が表示されます。 ## How to serve a model with Lemonade Server 2 つのコマンドでモデルをダウンロードしてサーブします： ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} # Download a model lemonade pull Qwen3-0.6B-GGUF # Serve the model lemonade run Qwen3-0.6B-GGUF ``` Lemonade Server はハードウェアを自動検出し、最適なバックエンドを選択します。モデルは `http://localhost:13305/v1` でサーブされています。 > [!TIP] > > **NPU acceleration on AMD Ryzen AI.** AMD Ryzen AI 300/400 シリーズプロセッサをお持ちの場合、Lemonade Server は NPU を推論に使用できます。NPU 実行用に最適化された ONNX モデルをプルしてください： > > ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} > lemonade pull Llama-3.2-1B-Instruct-NPU > lemonade run Llama-3.2-1B-Instruct-NPU > ``` > > NPU モデルはハイブリッド NPU+iGPU 実行を使用し、`-NPU` サフィックスで識別されます。 ### Common Lemonade Server CLI commands | Command | Description | | - | - | | `lemonade pull ` | Download a model | | `lemonade run ` | Serve a model | | `lemonade run --ctx-size 8192` | Serve with custom context size | | `lemonade list` | List available models | | `lemonade list --downloaded` | List downloaded models | | `lemonade status` | Check server status and detected backend | | `lemonade status --json` | Check status in JSON format | | `lemonade bench ` | Benchmark a model | ## The outbound-only way **1. Run Lemonade Server locally, as usual** Lemonade Server を `127.0.0.1` に維持します — ループバックより広くバインドしないでください。モデルをプルして実行します： ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} lemonade pull Qwen3-0.6B-GGUF lemonade run Qwen3-0.6B-GGUF ``` デフォルトの `http://127.0.0.1:13305` で待ち受けさせたままにします。 **2. Pair the Tokios connector** サインイン - [tokios.com/console](https://tokios.com/console)、**Setup** タブで **Start pairing** をクリック。Tokios から一度だけ使える **ペアリングコード** が `TKS-XXXX-XXXX` のような形式で発行されます（約 15 分間有効）。 Lemonade Server が動作しているマシンで、OS 用のインストールワンライナーを実行します： ```powershell Windows theme={"theme":{"light":"github-light","dark":"css-variables"}} irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX' ``` ```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}} curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX ``` ```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}} curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX ``` すでに `tokios-connector` がインストール済みですか？コードを直接渡してください： ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} tokios-connector TKS-XXXX-XXXX ``` コンソールでデバイスを **approve** します — **Setup** または **Connectors** タブで確認できます。コネクターのトークンは approve 後にトンネル経由で配信されます — 画面に表示したりファイルに貼り付けたりすることはありません。 **3. Point the connector at Lemonade Server's /v1 API** Lemonade Server は `/v1` で OpenAI 互換の surface を公開しており、それが Tokios の通信先です。基本的な単一モデルパスでは、コンソールの Setup ウィザードが `http://127.0.0.1:13305/v1` をアップストリームとして自動的に使用します。`tokios-connector.json` 設定を通じて複数のモデルをサーブしている場合、アップストリームの `BaseUrl` を明示的に設定します： ```json theme={"theme":{"light":"github-light","dark":"css-variables"}} { "Upstream": { "BaseUrl": "http://127.0.0.1:13305/v1" } } ``` 完全なマルチモデルファイル形式については [Connector config](/ja/reference/connector-config.md) を参照してください。 **4. Register a deployment** モデル登録 - [Models](https://tokios.com/console/models) タブで、Lemonade Server モデルを登録し、**public name** を選択します — たとえば `qwen3-tunnel` です。この public name がクライアントが `model` フィールドで送信するものであり、Lemonade のローカルモデル ID ではありません。 **5. Create an API key** API キー - [Keys](https://tokios.com/console/keys) タブで **Create key** をクリックします。オプションで、モデル名パターン（カンマ区切りのグロブ、`*` ですべて）で特定のデプロイメントにスコープを設定できます。`sk-tok-…` キーを今すぐコピーしてください — 一回しか表示されません。 ## Use it from anywhere デプロイメント名と API キーがあれば、OpenAI または Anthropic 互換のクライアントから Lemonade Server モデルにアクセスできます — 別のマシン、チームメンバーのラップトップ、またはホストされたエージェントから。 ```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}} curl https://api.tokios.com/v1/chat/completions \ -H "Authorization: Bearer sk-tok-YOUR_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3-tunnel", "stream": true, "messages": [{"role": "user", "content": "Hello!"}] }' ``` ```python Python (OpenAI SDK) theme={"theme":{"light":"github-light","dark":"css-variables"}} from openai import OpenAI client = OpenAI( base_url="https://api.tokios.com/v1", api_key="sk-tok-YOUR_KEY", ) response = client.chat.completions.create( model="qwen3-tunnel", messages=[{"role": "user", "content": "Hello!"}], stream=True, ) for chunk in response: print(chunk.choices[0].delta.content or "", end="") ``` ```bash Claude Code theme={"theme":{"light":"github-light","dark":"css-variables"}} export ANTHROPIC_BASE_URL=https://api.tokios.com export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY claude --model qwen3-tunnel ``` > [!TIP] > > 送信する `model` フィールドは常に登録済みの **deployment** 名（上記の `qwen3-tunnel`）であり、Lemonade のローカルモデル ID ではありません。セッションを超えて環境変数を保持するには [Use Claude Code](/ja/guides/claude-code.md) を参照してください。 ## What is AMD NPU support AMD Ryzen AI 300/400 シリーズプロセッサには、AI ワークロード用の専用 Neural Processing Unit（NPU）が搭載されています。Lemonade Server はハイブリッド NPU+iGPU 実行を使用して AMD NPU 上で推論をアクセラレートできる唯一のローカル LLM サーバーです。 ### How NPU acceleration works * **Model format**: NPU 最適化モデルは ONNX フォーマットを使用します（`-NPU` サフィックスで識別、例：`Llama-3.2-1B-Instruct-NPU`） * **Execution**: Lemonade Server は OnnxRuntime GenAI を使用して NPU と iGPU 間で推論を分割します * **Backend**: NPU バックエンドは自動です — Lemonade Server が Ryzen AI プロセッサを検出し、NPU 最適化モデルを実行する際に NPU 実行を選択します * **Performance**: NPU アクセラレーションは CPU と GPU からの作業をオフロードし、消費電力を削減して他のタスク用にリソースを解放します ### Which AMD processors support NPU inference | Processor series | NPU support | Backend | | - | - | - | | AMD Ryzen AI 300 series (Strix Point) | Yes | NPU via ONNX | | AMD Ryzen AI 400 series | Yes | NPU via ONNX | | AMD Ryzen AI MAX+ (Strix Halo) | No NPU, but powerful iGPU | ROCm/vLLM or Vulkan | | AMD Ryzen 7000/8000 series | No NPU | Vulkan (llama.cpp) | > [!NOTE] > > NPU サポートには AMD Ryzen AI Software ドライバーが必要です。Lemonade Server は必要なランタイムをバンドルしていますが、システムに最新の AMD Adrenalin ドライバーがインストールされていることを確認してください。 ## Lemonade Server vs other backends Lemonade Server は Tokios がサポートする複数のバックエンドの 一つです。比較は以下の通りです： | Feature | Lemonade Server | Ollama | llama.cpp | vLLM | | - | - | - | - | - | | **AMD NPU support** | Yes (Ryzen AI 300/400) | No | No | No | | **Auto-detect backend** | Yes (Vulkan/ROCm/CUDA/Metal) | Manual | Manual | Manual | | **Setup complexity** | Low (installer) | Low (one command) | Medium (build) | High (Python GPU server) | | **Model formats** | GGUF, ONNX, FLM | GGUF | GGUF | Hugging Face | | **Best for** | AMD hardware; cross-platform | Beginners; quickest start | Hands-on GGUF serving | High-throughput GPU serving | > [!TIP] > > Lemonade Server は、AMD ハードウェア（特に NPU 搭載の Ryzen AI）をお持ちの場合や、バックエンドを自動検出するクロスプラットフォームサーバーが必要な場合に最適な選択です。どのハードウェアでも最速で始めたい場合は、[Ollama](/ja/guides/ollama-remote-access.md) が最も簡単です。 ## FAQ > **What port does Lemonade Server use?** > > Lemonade Server はデフォルトでポート **13305** を `127.0.0.1`（ローカルホストのみ）にバインドして待ち受けします。OpenAI 互換の API は `http://localhost:13305/v1` にあります。`lemonade status` または `curl http://localhost:13305/v1/models` で Lemonade Server が動作していることを確認できます。 > **How do I know which backend Lemonade Server is using?** > > 確認 - `lemonade status` を実行して検出されたバックエンド（Vulkan、ROCm、CUDA、Metal、または NPU）を表示します。Lemonade Server はハードウェアを自動検出し、最適なバックエンドを選択します。機械可読の出力は `lemonade status --json` でも得られます。 > **Does Lemonade Server support AMD NPU?** > > はい。Lemonade Server は AMD Ryzen AI 300/400 シリーズの NPU で推論をアクセラレートできる唯一のローカル LLM サーバーです。`lemonade pull -NPU` で NPU 最適化モデルをプルし、`lemonade run -NPU` で実行します。NPU バックエンドは OnnxRuntime GenAI を介したハイブリッド NPU+iGPU 実行を使用します。 > **Can I use Lemonade Server with NVIDIA GPUs?** > > はい。Lemonade Server は NVIDIA GPU を自動検出し、CUDA バックエンドを使用します。Vulkan、ROCm、CUDA、または Metal をサポートする任意のハードウェアで動作します — AMD、NVIDIA、Apple Silicon すべてサポートされています。 > **How do I expose Lemonade Server to my network?** > > Lemonade Server を直接公開しないでください — 代わりに Tokios を使用してください。Tokios はインバウンドポートを開かずに認証済みリモートアクセスを追加します。完全なウォークスルーについては[上記のセットアップステップ](#the-outbound-only-way)を参照してください。 > **Does streaming work?** > > はい。`"stream": true` を設定すると、Tokios は呼び出した API surface に応じて OpenAI または Anthropic フォーマットの標準 SSE（Server-Sent Events）を返します。 > **Can I share access with teammates without exposing Lemonade Server directly?** > > はい。チームメンバーごとに別の `sk-tok-…` キーを [Keys](https://tokios.com/console/keys) タブで作成し、各キーが必要なデプロイメントのみにスコープを設定します。キーを失効すると即座に認証が停止されるため、Lemonade Server やコネクターに触れることなくアクセスを遮断できます。 > **Can I expose more than 1 Lemonade Server model?** > > はい。[Models](https://tokios.com/console/models) タブで追加のデプロイメントを登録するか、`tokios-connector.json` 設定ファイルを使用して 一つのコネクターに複数のアップストリームとルートを定義します。[Connector config](/ja/reference/connector-config.md) を参照してください。 > **How do I update Lemonade Server?** > > Linux では、`sudo apt update && sudo apt upgrade lemonade-server`（APT）または `sudo snap refresh lemonade-server`（Snap）を実行します。Windows では、[releases page](https://github.com/lemonade-sdk/lemonade/releases) から最新の MSI インストーラーをダウンロードします。 > **What model architectures does the NPU support?** > > NPU は ONNX 実行に最適化された特定のモデルアーキテクチャをサポートします。`lemonade list` を実行して利用可能な NPU モデルを確認します（`-NPU` サフィックスで識別）。すべてのモデルが NPU 互換というわけではありません — GGUF モデルは代わりに GPU/CPU バックエンドで実行されます。NPU サポートアーキテクチャの完全なリストについては [Lemonade FAQ](https://lemonade-server.ai/docs/guide/faq/) を参照してください。 ## Your model never leaves your machine — your endpoint works everywhere Lemonade Server はローカルホスト上で今まで通り動作し続け、インバウンドポートも公開 API もありません。コネクターは発信するだけです。その後すべて — 認証、ルーティング、ストリーミング — はキーを渡すマシン、チームメンバー、エージェントから呼び出せる 一つのエンドポイントになります。 > **[Quickstart](/ja/quickstart.md)** > > コネクターをペアリングして、最初のモデルをエンドツーエンドで登録します。 > **[API keys](/ja/setup/api-keys.md)** > > チームメンバーやエージェント用の `sk-tok-…` キーを作成、スコープ設定、ローテーションします。 > **[Strix Halo setup](/ja/use-cases/strix-halo.md)** > > AMD Strix Halo ボックスを Lemonade Server でモデルエンドポイントに変換します。 > **[Supported backends](/ja/setup/supported-backends.md)** > > Tokios がサポートするすべてのバックエンドを確認できます — Ollama、llama.cpp、vLLM、LM Studio など。 ## Sources * [Lemonade SDK GitHub repository](https://github.com/lemonade-sdk/lemonade) * [Lemonade Server official documentation](https://lemonade-server.ai/docs/guide/faq/) * [AMD: Unlocking a Wave of LLM Apps on Ryzen AI Through Lemonade Server](https://www.amd.com/en/developer/resources/technical-articles/unlocking-a-wave-of-llm-apps-on-ryzen-ai-through-lemonade-server.html) * [Getting Started with Lemonade | AMD AI Playbooks](https://developer.amd.com/playbooks/lemonade-getting-started/) * [Lemonade Server CLI documentation](https://lemonade-server.ai/docs/guide/cli/) This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.