> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# MLX-LM Server をどこからでも安全に使用する

> Apple Silicon 上の MLX-LM Server にどこからでもアクセスできます。Tokios コネクタと API キー認証で安全なリモートアクセスを設定し、5 分で提供を開始できます。

デフォルトでは、`mlx_lm.server`は`http://127.0.0.1:8080/v1`でリッスンし、ポート`8080`に到達できるものはすべて認証情報なしでAPIを呼び出せます。MLX-LM Serverには組み込みの認証がありません。MLX-LM Serverをローカルホストに留め、その隣でTokiosコネクタを実行します: コネクタは`https://api.tokios.com`にアウトバウンド接続し、ツール、チームメイト、またはエージェントはどこからでも認証済みエンドポイントを呼び出します。

> [!NOTE]
>
> Last verified: 2026-10-14. MLX-LM ServerはAppleのml-exploreチームの[`mlx-lm`](https://github.com/ml-explore/mlx-lm) Pythonパッケージに同梱されています。本ガイドは現在のリリースを対象としています。

> [!TIP]
>
> **Apple Silicon native.** MLX-LM ServerはApple Silicon向けのリファレンス推論サーバーです。MLXフレームワークの統合メモリアーキテクチャをゼロコピーデータパスで利用します — モデルウェイトはCPUおよびGPUと同じメモリプールに存在するため、管理すべき個別のVRAMはありません。M5チップでは、Neural Acceleratorsにより最大4x高速なプロンプト処理を実現します（M4と比較して）。

## What is Apple Silicon native inference

MLX-LM ServerはTokiosがサポートする他のバックエンドとは異なります: Apple Silicon Mac（M1以降）でのみ動作し、すべてのApple Siliconチップが共有する統合メモリアーキテクチャを直接活用します。

| Feature | MLX-LM Server | llama.cpp on Mac | vLLM |
| - | - | - | - |
| Hardware | Apple Silicon only | Cross-platform (CPU + GPU) | NVIDIA GPU (CUDA) |
| Memory model | Unified memory, zero-copy | Unified memory via Metal | Separate VRAM |
| Neural Accelerators (ANE) | Yes — automatic on M5 | No | No |
| Installation | `pip install mlx-lm` | Build from source or prebuilt binary | `pip install vllm` + CUDA |
| Quantization | 4-bit, 8-bit, BF16 | GGUF (Q2\_K through Q8\_0) | AWQ, GPTQ, FP16, BF16 |
| Prompt processing on M5 | Up to 4x vs M4 | Baseline | N/A |

MLXは統合メモリを使用するため、192 GBのRAMを搭載したMac Studioは、他のプラットフォームで必要なマルチGPUセットアップなしに、70Bモデルをフル精度でサービングできます。VRAMの境界はありません — モデル、KV cache、作業メモリはすべて同じプールを共有します。

## MLX-LM Server's auth is off by default

`mlx_lm.server`はポート`8080`でOpenAI互換のHTTPサーバーを起動します。実行すると、ポートに到達できる誰でもリクエストを受け付けます — 認証情報不要です:

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit
```

MLX-LM Serverには認証レイヤーが付属していません。[公式ドキュメント](https://github.com/ml-explore/mlx-lm/blob/main/mlx_lm/SERVER.md)では、リバースプロキシなしでの本番使用は推奨されていないと記載されています。ローカル専用の使用では問題ありませんが、`--host 0.0.0.0`、ポートフォワーディング、またはトンネル経由でポートをループバック以外に公開すると、到達できるすべての人に認証なしのAPIアクセスを与えることになります。

> [!NOTE]
>
> これはMLX-LM Serverの欠点ではありません — 軽量なApple Siliconネイティブの推論サーバーであり、認証を外部プロキシに任せることでサーバーをシンプルに保っています。Tokiosは別の問題のために設計されています: そのローカルエンドポイントをどこからでも呼び出せる認証済みAPIに変換すること、インバウンドポートを開けたりTLSを手動設定したりすることなく。

## The outbound-only way

**1. Install MLX-LM and start the server locally**

MLX-LM ServerにはApple Silicon Mac（M1以降）とmacOS 14.0（Sonoma）以降が必要です。パッケージをインストールしてサーバーを起動します:

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit
```

サーバーは初回使用時に[mlx-community](https://huggingface.co/mlx-community)からモデルをダウンロードし、`http://127.0.0.1:8080`でリッスンします。デフォルトの`127.0.0.1`のままにしてください — `--host 0.0.0.0`は渡さないでください。

> [!TIP]
>
> **Choosing a quantization.** mlx-communityのモデルは4-bit（デフォルト、最小）、8-bit、BF16（フル精度）のバリエーションで提供されます。70Bモデルは4-bitで約35 GBの統合メモリ、8-bitで約70 GB、BF16で約140 GBを必要とします。Macのメモリに合う量子化を選択してください。

**2. Pair the Tokios connector**

サインイン [tokios.com/console](https://tokios.com/console)、**Setup**タブを開き、**Start pairing**をクリックします。Tokiosは約15分間有効なワンタイムの**ペアリングコード**（`TKS-XXXX-XXXX`のような形式）を表示します。

MLX-LM Serverが動作しているMacで、macOSインストールのワンライナーを実行します:

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX
```

すでに`tokios-connector`がインストール済みですか？ コードを直接渡してください:

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
tokios-connector TKS-XXXX-XXXX
```

コンソールに戻り、デバイスを**approve**します（**Setup**または**Connectors**タブで）。コネクタのトークンはapprove後にトンネル経由で配信されます — 画面に表示したりファイルに貼り付けたりすることはありません。

**3. Point the connector at MLX-LM Server's /v1 API**

MLX-LM ServerはすでにTokiosが期待するOpenAI Chat Completionsのインターフェースを提供しています。基本的なシングルモデルのパスでは、コンソールのSetupウィザードが`http://127.0.0.1:8080/v1`をアップストリームとして自動的に使用します。`tokios-connector.json`設定ファイル経由で複数のモデルをサービングする場合は、アップストリームの`BaseUrl`を明示的に設定します:

```json theme={"theme":{"light":"github-light","dark":"css-variables"}}
{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8080/v1"
  }
}
```

完全なマルチモデルファイル形式については[Connector config](/ja/reference/connector-config.md)を参照してください。

**4. Register a deployment**

登録 [Models](https://tokios.com/console/models) タブで、MLX-LMモデルを登録し**公開名**を選択します — 例: `mlx-qwen-tunnel`。HuggingFaceモデルIDではなく、この公開名をクライアントが`model`フィールドに送信します。

**5. Create an API key**

操作 [Keys](https://tokios.com/console/keys) タブで**Create key**をクリックします。オプションで、モデル名パターン（カンマ区切りのグロブ、`*`で全部）を使用して特定のデプロイメントにスコープを限定できます。`sk-tok-...`キーを今すぐコピーしてください — 表示は一度のみです。

## Use it from anywhere

デプロイメント名とAPIキーがあれば、任意のOpenAI互換またはAnthropic互換クライアントが他のマシン、チームメイトのラップトップ、またはホストされたエージェントからMLX-LMモデルにアクセスできます。

```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mlx-qwen-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'
```

```python Python (OpenAI SDK) theme={"theme":{"light":"github-light","dark":"css-variables"}}
from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mlx-qwen-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")
```

```bash Claude Code theme={"theme":{"light":"github-light","dark":"css-variables"}}
export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mlx-qwen-tunnel
```

> [!TIP]
>
> 登録済み `model` フィールドは常に**デプロイメント**名（上記の`mlx-qwen-tunnel`）であり、HuggingFaceモデルIDではありません。セッション間で環境変数を保持するには[Use Claude Code](/ja/guides/claude-code.md)を参照してください。

## Server configuration reference

MLX-LM Serverは推論をチューニングするための複数のフラグを公開しています。主なものを以下に示します:

| Flag | Default | Purpose |
| - | - | - |
| `--model` | (required) | HuggingFace model id or local path |
| `--host` | `127.0.0.1` | Bind address — keep on `127.0.0.1` for Tokios |
| `--port` | `8080` | Listen port |
| `--adapter-path` | — | Path to a LoRA adapter for serving fine-tuned models |
| `--max-tokens` | `512` | Default maximum tokens per generation |
| `--temp` | `0.0` | Sampling temperature |
| `--top-p` | `1.0` | Top-p (nucleus) sampling |
| `--top-k` | `0` | Top-k sampling (0 = disabled) |
| `--kv-bits` | — | KV cache quantization bits (reduces memory) |
| `--kv-group-size` | `64` | Group size for KV cache quantization |
| `--prefill-step-size` | `2048` | Prefill chunk size for long contexts |
| `--draft-model` | — | Model for speculative decoding |
| `--num-draft-tokens` | `3` | Draft tokens per speculative decoding step |
| `--prompt-cache-size` | `10` | Number of prompts to cache |
| `--decode-concurrency` | `32` | Maximum concurrent decode operations |
| `--prompt-concurrency` | `8` | Maximum concurrent prompt operations |
| `--trust-remote-code` | `false` | Trust remote code from HuggingFace repos |

サーバーは以下のエンドポイントを公開しています:

| Endpoint | Purpose |
| - | - |
| `/v1/chat/completions` | Chat Completions (OpenAI-compatible) |
| `/v1/completions` | Text Completions (OpenAI-compatible) |
| `/v1/models` | List loaded models |
| `/health` | Health check |

> [!TIP]
>
> **Speculative decoding**は大型モデルで生成速度を2-3x向上させることができます。`--draft-model`に同じファミリーの小型モデルを渡します — 例えば、4Bモデルを32Bモデルのドラフトとして使用します。MLX-LM Serverはドラフトトークンを並列に検証し、不一致のみを再計算します。

## FAQ

> **What are the prerequisites for MLX-LM Server?**
>
> Apple Silicon Mac（M1、M2、M3、M4、M5）でmacOS 14.0（Sonoma）以降が動作するもの、Python 3.9以降、`pip`または`conda`が必要です。`pip install mlx-lm`でインストールします。MLXフレームワークはGPUアクセラレーションにMetalを、モデルウェイトに統合メモリを使用します — 個別のGPUドライバやCUDAツールキットは不要です。

> **How do I install MLX-LM Server?**
>
> Pythonパッケージを`pip install mlx-lm`（または`conda install -c conda-forge mlx-lm`）でインストールします。その後、`mlx_lm.server --model <model-id>`でサーバーを起動します。モデルは初回使用時にHuggingFaceからダウンロードされます。[mlx-community](https://huggingface.co/mlx-community)組織のモデルはMLX形式に事前変換済みで、すぐに使用できます。

> **What port does MLX-LM Server use?**
>
> MLX-LM Serverはデフォルトでポート**8080**でリッスンし、`127.0.0.1`（ローカルホストのみ）にバインドされます。`--port`でポートを、`--host`でバインドアドレスを変更できます。Tokiosの場合はデフォルトのままにしてください — コネクタは`http://127.0.0.1:8080/v1`でサーバーにアクセスします。

> **Does MLX-LM Server support streaming?**
>
> はい。リクエストボディに`"stream": true`を設定すると、サーバーは標準のserver-sent events（SSE）を返します。Tokios経由では、ストリーミングはエンドツーエンドで動作します — `"stream": true`を設定すると、Tokiosは呼び出したAPIサーフェスに応じてOpenAIまたはAnthropic形式でSSEを返します。

> **Does MLX-LM Server support tool calling?**
>
> はい。MLX-LM Serverは構造化されたツール呼び出しをサポートしています。ツール定義を含むチャットテンプレートをサポートするモデルを使用してください — [mlx-community](https://huggingface.co/mlx-community)のQwen 3.5やLlama 3などのモデルには、必要なチャットテンプレートが含まれています。リクエストのOpenAI互換`tools`フィールドでツールを渡します。

> **Can I use LoRA adapters with MLX-LM Server?**
>
> はい。LoRAアダプタウェイトを含むディレクトリを指す`--adapter-path`を渡します。同じパッケージに含まれる`mlx_lm.lora`でアダプタをファインチューンし、ベースモデルにアダプタをオーバーレイしてサービングします。アダプタを独自の公開名を持つTokiosデプロイメントとして登録してください。

> **How does MLX-LM Server compare to llama.cpp on Apple Silicon?**
>
> どちらもApple Siliconで統合メモリを使用します。MLX-LM ServerはAppleネイティブのパスです — Metal GPUアクセラレーションを直接使用し、M5チップではNeural Acceleratorsを活用して最大4x高速なプロンプト処理を実現します。llama.cppはクロスプラットフォームで、より幅広い量子化フォーマット（GGUFバリアント）をサポートします。純粋なApple Siliconパフォーマンスでは、MLX-LM ServerはMシリーズチップでllama.cppと同等またはやや上位です。

> **Can I serve more than one model?**
>
> はい。異なるポートで複数の`mlx_lm.server`プロセスを実行するか、[Models](https://tokios.com/console/models) タブで追加のデプロイメントを登録します。`tokios-connector.json`設定ファイルを使用して、単一のコネクタで複数のアップストリームとルートを定義します。完全なマルチモデルファイル形式については[Connector config](/ja/reference/connector-config.md)を参照してください。

> **Can I share access with teammates without exposing MLX-LM Server directly?**
>
> はい。チームメイトごとに個別の`sk-tok-...`キーを[Keys](https://tokios.com/console/keys)タブで作成し、各キーを必要なデプロイメントのみにスコープ限定します。キーを失効すると即座に認証が停止されるため、MLX-LM Serverやコネクタに触れることなくアクセスを遮断できます。

> **What models work with MLX-LM Server?**
>
> HuggingFace上でMLX形式に変換されたモデルであればどれでも動作します。[mlx-community](https://huggingface.co/mlx-community)組織は、Llama、Qwen、Mistral、Gemma、Phiなどの人気モデルの事前変換版を、4-bit、8-bit、BF16量子化で提供しています。`mlx_lm.convert`でモデルを自分で変換することもできます。

## Your model never leaves your machine — your endpoint works everywhere

MLX-LM Serverは現在とまったく同じ動作をローカルホストで続けます。インバウンドポートも公開されたAPIもありません。コネクタはアウトバウンド接続のみを行います。それ以降のすべて — 認証、ルーティング、ストリーミング — は、キーを渡す選択をした任意のマシン、チームメイト、またはエージェントから呼び出せるエンドポイントです。

> **[Quickstart](/ja/quickstart.md)**
>
> コネクタをペアリングして最初のモデルをエンドツーエンドで登録します。

> **[API keys](/ja/setup/api-keys.md)**
>
> チームメイトやエージェント用の`sk-tok-...`キーを作成、スコープ限定、ローテーションします。

> **[Mac Studio setup](/ja/use-cases/mac-studio.md)**
>
> Mac Studioを70B+モデル向けの統合メモリを持つヘッドレス推論ボックスに変えます。

## Sources

* [ml-explore/mlx-lm](https://github.com/ml-explore/mlx-lm) — MLX-LM Pythonパッケージとサーバーの公式リポジトリ
* [MLX-LM Server documentation (SERVER.md)](https://github.com/ml-explore/mlx-lm/blob/main/mlx_lm/SERVER.md) — サーバーAPIリファレンスとサポートされているエンドポイント
* [MLX framework](https://github.com/ml-explore/mlx) — Apple Silicon向け基盤配列フレームワーク
* [mlx-framework.org](https://mlx-framework.org/) — MLXフレームワークの概要とエコシステムリンク
* [mlx-community on HuggingFace](https://huggingface.co/mlx-community) — サービング-readyの事前変換MLXモデル
* [Exploring LLMs with MLX and the Neural Accelerators in M5](https://machinelearning.apple.com/research/exploring-llms-mlx-m5) — M5 ANEパフォーマンスに関するApple Machine Learning Research
* [Run local agentic AI on the Mac using MLX (WWDC26)](https://developer.apple.com/videos/play/wwdc2026/232/) — MLX-LM Server、継続的バッチング、分散推論に関するAppleセッション


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.