https://api.tokios.comにてOpenAIやAnthropicと互換性のある安定したエンドポイントを各ツールに提供可能です。
NVIDIA GB10やDGX Sparkシステム、AMD Strix HaloやRyzen AI Maxシステム、統合メモリ容量が豊富なAppleシリコン搭載Mac、GPUワークステーション、ミニPC、あるいはホームラボ用サーバーといったハードウェア上でローカルモデルを運用する場合は、このダッシュボードをご利用ください。
Tokiosがもたらす利点
Tokiosはローカルモデルの実行環境を置き換えるものではありません。クライアントとワークステーション上で既に稼働しているバックエンドの間に位置する仕組みです。このページで紹介するハードウェア
マシン側にローカルモデルを実行するための十分なメモリと演算能力がある場合でも、利用するツールが別の場所にある場合にはTokiosが役立ちます。例えばノートパソコン、エディター、コーディングエージェント、サーバープロセス、あるいはチームメイトが使うクライアントなどです。推奨されるセットアップ手順
1
ローカルのバックエンドを起動する
ワークステーション上でモデルサーバーを実行します。TokiosはOllama、LM Studio、llama.cpp、vLLMなど、OpenAI互換のチャット補完APIを提供するバックエンドと連携可能です。
2
ワークステーションにコネクターをインストールする
Run
tokios-connector on the same machine, or on a nearby machine that can reach the backend. The connector dials out to Tokios, so you do not need to open inbound ports.3
デプロイを登録する
バックエンドのアップストリームモデルIDを
strix-coderやgb10-chat、local-qwenといった公開用デプロイ名にマッピングします。クライアントはmodelフィールドにこのデプロイ名を指定します。4
各種ツールをTokiosに向ける
OpenAI形式のクライアントには
https://api.tokios.com/v1を、Anthropic形式のクライアントにはhttps://api.tokios.comを利用します。ハードウェア指向のワークフロー
デプロイ名の付け方
ハードウェアの仕様だけでなく、実行される処理内容を表す名前を選ぶことでクライアント側の設定維持が容易になる何をベンチマークすべきか
Local AI workstation buyers often compare hardware by model size or raw tokens per second. For Tokios, measure the workflow you actually plan to run.
同じプロンプトとハードウェア環境で複数のデプロイを比較するには、Tokiosデプロイのベンチマークを利用してください。
次に行うべき手順
バックエンドを接続する
Ollama、LM Studio、llama.cpp、vLLMをローカルのアップストリームモデルIDとして設定する
コネクターをインストールする
ワークステーション上のモデルサーバーの隣でコネクターを実行する
コーディングエージェントを利用する
Claude CodeやOpenAI Codex、その他互換性のあるコーディングクライアントを接続する
デプロイのベンチマーク
同一のTokiosエンドポイントを通じて、ローカルにあるモデルやバックエンドを比較することが可能だ。