http://127.0.0.1:13305/v1 で待ち受けします — ポートを geniş にバインドするかフォワードしない限り、別のマシンからアクセスできません。Lemonade Server にはリモートアクセス用の認証機能が組み込まれていません。ローカルホストに置いたまま隣接して Tokios コネクターを実行してください。コネクターが https://api.tokios.com に発信し、ツール、チームメンバー、エージェントはどこからでも一つの認証済みエンドポイントを呼び出せます。
What is Lemonade Server
Lemonade Server は AMD が支援するオープンソースのローカル LLM サーバーです。http://localhost:13305/v1 で OpenAI 互換の API を公開し、複数のバックエンドで複数のモデルフォーマット(GGUF、ONNX、FLM)をサポートします:
- AMD Ryzen 7000/8000/200 series — Vulkan による GPU アクセラレーション(llama.cpp バックエンド)
- AMD Ryzen AI MAX+ (Strix Halo) — vLLM または llama.cpp を使用した ROCm
- AMD Ryzen AI 300/400 series — ONNX Runtime GenAI による NPU アクセラレーション(ハイブリッド NPU+iGPU 実行)
- NVIDIA GPUs — CUDA アクセラレーション
- Apple Silicon — Metal バックエンド
Why not just bind Lemonade Server to 0.0.0.0?
Why not just bind Lemonade Server to 0.0.0.0?
0.0.0.0)にバインドするとネットワークからアクセスできますが、Lemonade Server にはリモート呼び出し元の認証機能が組み込まれていません — ポート 13305 に到達できる人は誰でも API を呼び出せます。ISP が CGNAT を使用している場合、そもそもフォワード先の安定したパブリック IP がありません。Tokios はインバウンドポートを開かずにスコープ付き sk-tok-… API キーを追加します。Why not use Tailscale or Cloudflare Tunnel?
Why not use Tailscale or Cloudflare Tunnel?
text/event-stream コンテンツタイプヘッダーがない限り)。プロキシされたリクエストは Cloudflare のプロキシタイムアウト(無料枠で約 100 秒)の影響を受け、長い生成が途中で切断される場合があります。Prerequisites
始める前に、以下を準備してください:- Lemonade Server installed — 以下の How to install Lemonade Server を参照
- A model downloaded —
lemonade pull <model>を使用してモデルをダウンロード - Tokios connector — セットアップ中にインストールします
How to install Lemonade Server
Lemonade Server は Windows、Linux、macOS、Docker 用のインストーラーを提供します。v10.1 現在、CLI コマンドはlemonade です(古い lemonade-server CLI は非推奨)。
How to serve a model with Lemonade Server
2 つのコマンドでモデルをダウンロードしてサーブします:http://localhost:13305/v1 でサーブされています。
Common Lemonade Server CLI commands
The outbound-only way
Run Lemonade Server locally, as usual
127.0.0.1 に維持します — ループバックより広くバインドしないでください。モデルをプルして実行します:http://127.0.0.1:13305 で待ち受けさせたままにします。Pair the Tokios connector
TKS-XXXX-XXXX のような形式で発行されます(約 15 分間有効)。Lemonade Server が動作しているマシンで、OS 用のインストールワンライナーを実行します:tokios-connector がインストール済みですか?コードを直接渡してください:Point the connector at Lemonade Server's /v1 API
/v1 で OpenAI 互換の surface を公開しており、それが Tokios の通信先です。基本的な単一モデルパスでは、コンソールの Setup ウィザードが http://127.0.0.1:13305/v1 をアップストリームとして自動的に使用します。tokios-connector.json 設定を通じて複数のモデルをサーブしている場合、アップストリームの BaseUrl を明示的に設定します:Register a deployment
qwen3-tunnel です。この public name がクライアントが model フィールドで送信するものであり、Lemonade のローカルモデル ID ではありません。Create an API key
* ですべて)で特定のデプロイメントにスコープを設定できます。sk-tok-… キーを今すぐコピーしてください — 一回しか表示されません。Use it from anywhere
デプロイメント名と API キーがあれば、OpenAI または Anthropic 互換のクライアントから Lemonade Server モデルにアクセスできます — 別のマシン、チームメンバーのラップトップ、またはホストされたエージェントから。What is AMD NPU support
AMD Ryzen AI 300/400 シリーズプロセッサには、AI ワークロード用の専用 Neural Processing Unit(NPU)が搭載されています。Lemonade Server はハイブリッド NPU+iGPU 実行を使用して AMD NPU 上で推論をアクセラレートできる唯一のローカル LLM サーバーです。How NPU acceleration works
- Model format: NPU 最適化モデルは ONNX フォーマットを使用します(
-NPUサフィックスで識別、例:Llama-3.2-1B-Instruct-NPU) - Execution: Lemonade Server は OnnxRuntime GenAI を使用して NPU と iGPU 間で推論を分割します
- Backend: NPU バックエンドは自動です — Lemonade Server が Ryzen AI プロセッサを検出し、NPU 最適化モデルを実行する際に NPU 実行を選択します
- Performance: NPU アクセラレーションは CPU と GPU からの作業をオフロードし、消費電力を削減して他のタスク用にリソースを解放します
Which AMD processors support NPU inference
Lemonade Server vs other backends
Lemonade Server は Tokios がサポートする複数のバックエンドの 一つです。比較は以下の通りです:FAQ
What port does Lemonade Server use?
What port does Lemonade Server use?
127.0.0.1(ローカルホストのみ)にバインドして待ち受けします。OpenAI 互換の API は http://localhost:13305/v1 にあります。lemonade status または curl http://localhost:13305/v1/models で Lemonade Server が動作していることを確認できます。How do I know which backend Lemonade Server is using?
How do I know which backend Lemonade Server is using?
lemonade status を実行して検出されたバックエンド(Vulkan、ROCm、CUDA、Metal、または NPU)を表示します。Lemonade Server はハードウェアを自動検出し、最適なバックエンドを選択します。機械可読の出力は lemonade status --json でも得られます。Does Lemonade Server support AMD NPU?
Does Lemonade Server support AMD NPU?
lemonade pull <model>-NPU で NPU 最適化モデルをプルし、lemonade run <model>-NPU で実行します。NPU バックエンドは OnnxRuntime GenAI を介したハイブリッド NPU+iGPU 実行を使用します。Can I use Lemonade Server with NVIDIA GPUs?
Can I use Lemonade Server with NVIDIA GPUs?
How do I expose Lemonade Server to my network?
How do I expose Lemonade Server to my network?
Does streaming work?
Does streaming work?
"stream": true を設定すると、Tokios は呼び出した API surface に応じて OpenAI または Anthropic フォーマットの標準 SSE(Server-Sent Events)を返します。Can I expose more than 1 Lemonade Server model?
Can I expose more than 1 Lemonade Server model?
tokios-connector.json 設定ファイルを使用して 一つのコネクターに複数のアップストリームとルートを定義します。Connector config を参照してください。How do I update Lemonade Server?
How do I update Lemonade Server?
sudo apt update && sudo apt upgrade lemonade-server(APT)または sudo snap refresh lemonade-server(Snap)を実行します。Windows では、releases page から最新の MSI インストーラーをダウンロードします。What model architectures does the NPU support?
What model architectures does the NPU support?
lemonade list を実行して利用可能な NPU モデルを確認します(-NPU サフィックスで識別)。すべてのモデルが NPU 互換というわけではありません — GGUF モデルは代わりに GPU/CPU バックエンドで実行されます。NPU サポートアーキテクチャの完全なリストについては Lemonade FAQ を参照してください。Your model never leaves your machine — your endpoint works everywhere
Lemonade Server はローカルホスト上で今まで通り動作し続け、インバウンドポートも公開 API もありません。コネクターは発信するだけです。その後すべて — 認証、ルーティング、ストリーミング — はキーを渡すマシン、チームメンバー、エージェントから呼び出せる 一つのエンドポイントになります。Quickstart
API keys
sk-tok-… キーを作成、スコープ設定、ローテーションします。