MLX-LM Server をどこからでも安全に使用する

デフォルトでは、mlx_lm.serverはhttp://127.0.0.1:8080/v1でリッスンし、ポート8080に到達できるものはすべて認証情報なしでAPIを呼び出せます。MLX-LM Serverには組み込みの認証がありません。MLX-LM Serverをローカルホストに留め、その隣でTokiosコネクタを実行します: コネクタはhttps://api.tokios.comにアウトバウンド接続し、ツール、チームメイト、またはエージェントはどこからでも認証済みエンドポイントを呼び出します。

Last verified: 2026-10-14. MLX-LM ServerはAppleのml-exploreチームのmlx-lm Pythonパッケージに同梱されています。本ガイドは現在のリリースを対象としています。

Apple Silicon native. MLX-LM ServerはApple Silicon向けのリファレンス推論サーバーです。MLXフレームワークの統合メモリアーキテクチャをゼロコピーデータパスで利用します — モデルウェイトはCPUおよびGPUと同じメモリプールに存在するため、管理すべき個別のVRAMはありません。M5チップでは、Neural Acceleratorsにより最大4x高速なプロンプト処理を実現します（M4と比較して）。

What is Apple Silicon native inference

MLX-LM ServerはTokiosがサポートする他のバックエンドとは異なります: Apple Silicon Mac（M1以降）でのみ動作し、すべてのApple Siliconチップが共有する統合メモリアーキテクチャを直接活用します。

Feature	MLX-LM Server	llama.cpp on Mac	vLLM
Hardware	Apple Silicon only	Cross-platform (CPU + GPU)	NVIDIA GPU (CUDA)
Memory model	Unified memory, zero-copy	Unified memory via Metal	Separate VRAM
Neural Accelerators (ANE)	Yes — automatic on M5	No	No
Installation	`pip install mlx-lm`	Build from source or prebuilt binary	`pip install vllm` + CUDA
Quantization	4-bit, 8-bit, BF16	GGUF (Q2_K through Q8_0)	AWQ, GPTQ, FP16, BF16
Prompt processing on M5	Up to 4x vs M4	Baseline	N/A

MLXは統合メモリを使用するため、192 GBのRAMを搭載したMac Studioは、他のプラットフォームで必要なマルチGPUセットアップなしに、70Bモデルをフル精度でサービングできます。VRAMの境界はありません — モデル、KV cache、作業メモリはすべて同じプールを共有します。

MLX-LM Server’s auth is off by default

mlx_lm.serverはポート8080でOpenAI互換のHTTPサーバーを起動します。実行すると、ポートに到達できる誰でもリクエストを受け付けます — 認証情報不要です:

mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit

MLX-LM Serverには認証レイヤーが付属していません。公式ドキュメントでは、リバースプロキシなしでの本番使用は推奨されていないと記載されています。ローカル専用の使用では問題ありませんが、--host 0.0.0.0、ポートフォワーディング、またはトンネル経由でポートをループバック以外に公開すると、到達できるすべての人に認証なしのAPIアクセスを与えることになります。

これはMLX-LM Serverの欠点ではありません — 軽量なApple Siliconネイティブの推論サーバーであり、認証を外部プロキシに任せることでサーバーをシンプルに保っています。Tokiosは別の問題のために設計されています: そのローカルエンドポイントをどこからでも呼び出せる認証済みAPIに変換すること、インバウンドポートを開けたりTLSを手動設定したりすることなく。

The outbound-only way

Install MLX-LM and start the server locally

MLX-LM ServerにはApple Silicon Mac（M1以降）とmacOS 14.0（Sonoma）以降が必要です。パッケージをインストールしてサーバーを起動します:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit

サーバーは初回使用時にmlx-communityからモデルをダウンロードし、http://127.0.0.1:8080でリッスンします。デフォルトの127.0.0.1のままにしてください — --host 0.0.0.0は渡さないでください。

Choosing a quantization. mlx-communityのモデルは4-bit（デフォルト、最小）、8-bit、BF16（フル精度）のバリエーションで提供されます。70Bモデルは4-bitで約35 GBの統合メモリ、8-bitで約70 GB、BF16で約140 GBを必要とします。Macのメモリに合う量子化を選択してください。

Pair the Tokios connector

サインイン tokios.com/console、Setupタブを開き、Start pairingをクリックします。Tokiosは約15分間有効なワンタイムのペアリングコード（TKS-XXXX-XXXXのような形式）を表示します。MLX-LM Serverが動作しているMacで、macOSインストールのワンライナーを実行します:

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

すでにtokios-connectorがインストール済みですか？コードを直接渡してください:

tokios-connector TKS-XXXX-XXXX

コンソールに戻り、デバイスをapproveします（SetupまたはConnectorsタブで）。コネクタのトークンはapprove後にトンネル経由で配信されます — 画面に表示したりファイルに貼り付けたりすることはありません。

Point the connector at MLX-LM Server's /v1 API

MLX-LM ServerはすでにTokiosが期待するOpenAI Chat Completionsのインターフェースを提供しています。基本的なシングルモデルのパスでは、コンソールのSetupウィザードがhttp://127.0.0.1:8080/v1をアップストリームとして自動的に使用します。tokios-connector.json設定ファイル経由で複数のモデルをサービングする場合は、アップストリームのBaseUrlを明示的に設定します:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8080/v1"
  }
}

完全なマルチモデルファイル形式についてはConnector configを参照してください。

登録 Models タブで、MLX-LMモデルを登録し公開名を選択します — 例: mlx-qwen-tunnel。HuggingFaceモデルIDではなく、この公開名をクライアントがmodelフィールドに送信します。

Create an API key

操作 Keys タブでCreate keyをクリックします。オプションで、モデル名パターン（カンマ区切りのグロブ、*で全部）を使用して特定のデプロイメントにスコープを限定できます。sk-tok-...キーを今すぐコピーしてください — 表示は一度のみです。

Use it from anywhere

デプロイメント名とAPIキーがあれば、任意のOpenAI互換またはAnthropic互換クライアントが他のマシン、チームメイトのラップトップ、またはホストされたエージェントからMLX-LMモデルにアクセスできます。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mlx-qwen-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mlx-qwen-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mlx-qwen-tunnel

登録済み model フィールドは常にデプロイメント名（上記のmlx-qwen-tunnel）であり、HuggingFaceモデルIDではありません。セッション間で環境変数を保持するにはUse Claude Codeを参照してください。

Server configuration reference

MLX-LM Serverは推論をチューニングするための複数のフラグを公開しています。主なものを以下に示します:

Flag	Default	Purpose
`--model`	(required)	HuggingFace model id or local path
`--host`	`127.0.0.1`	Bind address — keep on `127.0.0.1` for Tokios
`--port`	`8080`	Listen port
`--adapter-path`	—	Path to a LoRA adapter for serving fine-tuned models
`--max-tokens`	`512`	Default maximum tokens per generation
`--temp`	`0.0`	Sampling temperature
`--top-p`	`1.0`	Top-p (nucleus) sampling
`--top-k`	`0`	Top-k sampling (0 = disabled)
`--kv-bits`	—	KV cache quantization bits (reduces memory)
`--kv-group-size`	`64`	Group size for KV cache quantization
`--prefill-step-size`	`2048`	Prefill chunk size for long contexts
`--draft-model`	—	Model for speculative decoding
`--num-draft-tokens`	`3`	Draft tokens per speculative decoding step
`--prompt-cache-size`	`10`	Number of prompts to cache
`--decode-concurrency`	`32`	Maximum concurrent decode operations
`--prompt-concurrency`	`8`	Maximum concurrent prompt operations
`--trust-remote-code`	`false`	Trust remote code from HuggingFace repos

サーバーは以下のエンドポイントを公開しています:

Endpoint	Purpose
`/v1/chat/completions`	Chat Completions (OpenAI-compatible)
`/v1/completions`	Text Completions (OpenAI-compatible)
`/v1/models`	List loaded models
`/health`	Health check

Speculative decodingは大型モデルで生成速度を2-3x向上させることができます。--draft-modelに同じファミリーの小型モデルを渡します — 例えば、4Bモデルを32Bモデルのドラフトとして使用します。MLX-LM Serverはドラフトトークンを並列に検証し、不一致のみを再計算します。

FAQ

What are the prerequisites for MLX-LM Server?

Apple Silicon Mac（M1、M2、M3、M4、M5）でmacOS 14.0（Sonoma）以降が動作するもの、Python 3.9以降、pipまたはcondaが必要です。pip install mlx-lmでインストールします。MLXフレームワークはGPUアクセラレーションにMetalを、モデルウェイトに統合メモリを使用します — 個別のGPUドライバやCUDAツールキットは不要です。

How do I install MLX-LM Server?

Pythonパッケージをpip install mlx-lm（またはconda install -c conda-forge mlx-lm）でインストールします。その後、mlx_lm.server --model <model-id>でサーバーを起動します。モデルは初回使用時にHuggingFaceからダウンロードされます。mlx-community組織のモデルはMLX形式に事前変換済みで、すぐに使用できます。

What port does MLX-LM Server use?

MLX-LM Serverはデフォルトでポート8080でリッスンし、127.0.0.1（ローカルホストのみ）にバインドされます。--portでポートを、--hostでバインドアドレスを変更できます。Tokiosの場合はデフォルトのままにしてください — コネクタはhttp://127.0.0.1:8080/v1でサーバーにアクセスします。

Does MLX-LM Server support streaming?

はい。リクエストボディに"stream": trueを設定すると、サーバーは標準のserver-sent events（SSE）を返します。Tokios経由では、ストリーミングはエンドツーエンドで動作します — "stream": trueを設定すると、Tokiosは呼び出したAPIサーフェスに応じてOpenAIまたはAnthropic形式でSSEを返します。

Does MLX-LM Server support tool calling?

はい。MLX-LM Serverは構造化されたツール呼び出しをサポートしています。ツール定義を含むチャットテンプレートをサポートするモデルを使用してください — mlx-communityのQwen 3.5やLlama 3などのモデルには、必要なチャットテンプレートが含まれています。リクエストのOpenAI互換toolsフィールドでツールを渡します。

Can I use LoRA adapters with MLX-LM Server?

はい。LoRAアダプタウェイトを含むディレクトリを指す--adapter-pathを渡します。同じパッケージに含まれるmlx_lm.loraでアダプタをファインチューンし、ベースモデルにアダプタをオーバーレイしてサービングします。アダプタを独自の公開名を持つTokiosデプロイメントとして登録してください。

How does MLX-LM Server compare to llama.cpp on Apple Silicon?

どちらもApple Siliconで統合メモリを使用します。MLX-LM ServerはAppleネイティブのパスです — Metal GPUアクセラレーションを直接使用し、M5チップではNeural Acceleratorsを活用して最大4x高速なプロンプト処理を実現します。llama.cppはクロスプラットフォームで、より幅広い量子化フォーマット（GGUFバリアント）をサポートします。純粋なApple Siliconパフォーマンスでは、MLX-LM ServerはMシリーズチップでllama.cppと同等またはやや上位です。

Can I serve more than one model?

はい。異なるポートで複数のmlx_lm.serverプロセスを実行するか、Models タブで追加のデプロイメントを登録します。tokios-connector.json設定ファイルを使用して、単一のコネクタで複数のアップストリームとルートを定義します。完全なマルチモデルファイル形式についてはConnector configを参照してください。

What models work with MLX-LM Server?

HuggingFace上でMLX形式に変換されたモデルであればどれでも動作します。mlx-community組織は、Llama、Qwen、Mistral、Gemma、Phiなどの人気モデルの事前変換版を、4-bit、8-bit、BF16量子化で提供しています。mlx_lm.convertでモデルを自分で変換することもできます。

Your model never leaves your machine — your endpoint works everywhere

MLX-LM Serverは現在とまったく同じ動作をローカルホストで続けます。インバウンドポートも公開されたAPIもありません。コネクタはアウトバウンド接続のみを行います。それ以降のすべて — 認証、ルーティング、ストリーミング — は、キーを渡す選択をした任意のマシン、チームメイト、またはエージェントから呼び出せるエンドポイントです。

Quickstart

コネクタをペアリングして最初のモデルをエンドツーエンドで登録します。

API keys

チームメイトやエージェント用のsk-tok-...キーを作成、スコープ限定、ローテーションします。

Mac Studio setup

Mac Studioを70B+モデル向けの統合メモリを持つヘッドレス推論ボックスに変えます。

Sources

ml-explore/mlx-lm — MLX-LM Pythonパッケージとサーバーの公式リポジトリ
MLX-LM Server documentation (SERVER.md) — サーバーAPIリファレンスとサポートされているエンドポイント
MLX framework — Apple Silicon向け基盤配列フレームワーク
mlx-framework.org — MLXフレームワークの概要とエコシステムリンク
mlx-community on HuggingFace — サービング-readyの事前変換MLXモデル
Exploring LLMs with MLX and the Neural Accelerators in M5 — M5 ANEパフォーマンスに関するApple Machine Learning Research
Run local agentic AI on the Mac using MLX (WWDC26) — MLX-LM Server、継続的バッチング、分散推論に関するAppleセッション

ハードウェアと互換性

サービングとランタイム接続

クライアント接続

比較

MLX-LM Server をどこからでも安全に使用する

What is Apple Silicon native inference

MLX-LM Server’s auth is off by default

The outbound-only way

Use it from anywhere

Server configuration reference

FAQ

Your model never leaves your machine — your endpoint works everywhere

Quickstart

API keys

Mac Studio setup

Sources

​What is Apple Silicon native inference

​MLX-LM Server’s auth is off by default

​The outbound-only way

​Use it from anywhere

​Server configuration reference

​FAQ

​Your model never leaves your machine — your endpoint works everywhere

Quickstart

API keys

Mac Studio setup

​Sources

What is Apple Silicon native inference

MLX-LM Server’s auth is off by default

The outbound-only way

Use it from anywhere

Server configuration reference

FAQ

Your model never leaves your machine — your endpoint works everywhere

Sources