どこからでも安全にXinferenceサーバーを利用する

Xinference（Xorbits Inference）はローカルマシン上でOpenAI互換APIを通じてモデルを提供する。デフォルトではそのAPIはlocalhostでのみ応答するため、別のマシンからはアクセスできない。その代わりにローカルでXinferenceをそのまま動作させ、隣でTokiosコネクターを起動すればよい。コネクターが https://api.tokios.com に接続し、各種ツールやチームメンバー、エージェントはどこからでも認証済みエンドポイントを呼び出せるようになる。

高度なランタイム機能 Xinferenceはより複雑な環境向けに設計されたモデル提供フレームワークだ。単純にモデルを提供したいだけなら、まずは Ollama または LM Studio から始めることをお勧めする。

XinferenceはOpenAI互換のチャット補完APIを提供するため、他のOpenAI互換サーバーと同様にTokiosでも利用可能だ。コネクターは設定した任意の /v1 BaseUrl へリクエストを転送する。Ollama、llama.cpp、vLLM、LM StudioがTokiosで最も詳細に説明されているバックエンドだが、OpenAI互換であればXinferenceを含めどのサーバーでも同様に動作する。

送信専用の接続方法

通常通りローカルでXinferenceを実行する

例えば xinference-local を使ってローカルのXinferenceサーバーを起動し、UIまたはCLIからモデルをロードする。起動コマンドやオプションはバージョンによって異なるため、ご自身の環境を確認してほしい。

xinference-local

Xinferenceは通常ポート 9997 でOpenAI互換APIを提供する。ご使用環境のデフォルトポートを確認してほしい。ポートは 127.0.0.1 に限定して設定し、0.0.0.0 へは転送しないようにする。またルーター側でもポート転送は行わないこと。

Tokiosコネクターをペアリングする

Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code like TKS-XXXX-XXXX, valid for about 15 minutes.Xinferenceを実行しているマシン上で、ご使用のOS向けのインストール用コマンドを実行してください。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

すでにtokios-connectorがインストール済みですか？その場合はコードを直接渡してください。

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

コネクターの接続先としてXinferenceの/v1 APIを指定します。

単一モデルを利用する場合、コンソールのセットアップウィザードでアップストリームのベースURLを入力するよう求められます。ここにXinferenceのOpenAI互換エンドポイントであるhttp://127.0.0.1:<port>/v1を記入してください（ポート番号はインストール時の設定を確認してください）。複数モデルをtokios-connector.json設定で運用する場合は、アップストリームのBaseUrlも明示的に指定する必要があります。

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:9997/v1"
  }
}

実際に使用する前に、9997が正しく動作しているかご自身のXinferenceインスタンスで確認してください。複数モデル向けの設定ファイル形式の詳細はコネクター設定をご覧ください。

デプロイを登録します。

In the Models tab, register the Xinference model and choose a public name — for example, xinference-tunnel. That public name, not the model id you launched in Xinference, is what clients send in the model field.

APIキーを作成します。

In the Keys tab, click Create key. Optionally scope it to specific deployments with model-name patterns (comma-separated globs, * for all). Copy the sk-tok-… key now — it’s shown only once.

どこからでも利用可能です。

デプロイ名とAPIキーが揃えば、OpenAIやAnthropic互換のクライアントであればどこからでもXinferenceモデルにアクセスできます。別のマシンやチームメンバーのノートPC、ホスティングされたエージェントからでも利用可能です。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "xinference-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="xinference-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model xinference-tunnel

The model field is always your registered deployment name (xinference-tunnel above), never the model id you launched in Xinference. See Use Claude Code for persisting the environment variables across sessions.

よくある質問

Xinferenceは公式にサポートされているか？

Ollama、llama.cpp、vLLM、LM StudioがTokiosドキュメントで最も詳細に説明されているバックエンドです。しかしこのコネクターは、/v1ベースURL上でOpenAI互換のチャット補完APIを提供するどのサーバーにも対応します。Xinferenceもその条件を満たすため、汎用的なOpenAI互換アップストリームとして機能します。本番環境で利用する前に、ご自身のXinferenceバージョンでの挙動を必ず確認してください。

ストリーミング機能は利用可能か？

はい。Xinference側のモデルおよびサーバーがストリーミング応答をサポートしていれば利用できます。"stream": trueを設定すれば、呼び出したAPIの種類に応じてTokiosがOpenAI形式またはAnthropic形式の標準的なサーバー送信イベント（SSE）を返します。

複数のXinferenceモデルを同時に提供できるか？

可能です。Modelsタブから複数のデプロイを登録するか、tokios-connector.json設定ファイルを用いて単一のコネクター下で複数のアップストリームおよびルートを定義できます。Xinferenceで複数モデルを起動する場合に便利です。Connector configもご覧ください。

Xinferenceを直接公開せずにチームメイトとアクセス権を共有できるか？

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching Xinference or the connector.

モデルデータは一切外部に流出せず、エンドポイントはどこからでも利用可能

Xinferenceはこれまで通りローカルホスト上で動作し続け、/v1以外に外部に公開されるポートやエンドポイントは存在しません。コネクターは外部への接続のみ行います。それ以降の認証、ルーティング、ストリーミング処理はすべて、キーを付与した任意のマシンやチームメイト、エージェントから呼び出せる単一のエンドポイントとして実装されています。

対応しているバックエンド

現在 Tokios が正式にテストし、対応しているローカルランタイムをご確認ください。

APIキー

チームメンバーやエージェント向けに sk-tok-… というAPIキーを作成・スコープ設定・更新する方法を説明します。

ハードウェアと互換性

サービングとランタイム接続

クライアント接続

比較

どこからでも安全にXinferenceサーバーを利用する

送信専用の接続方法

どこからでも利用可能です。

よくある質問

モデルデータは一切外部に流出せず、エンドポイントはどこからでも利用可能

対応しているバックエンド

APIキー

​送信専用の接続方法

​どこからでも利用可能です。

​よくある質問

​モデルデータは一切外部に流出せず、エンドポイントはどこからでも利用可能

対応しているバックエンド

APIキー

送信専用の接続方法

どこからでも利用可能です。

よくある質問

モデルデータは一切外部に流出せず、エンドポイントはどこからでも利用可能