baseUrl を https://api.tokios.com/v1 に指定すれば、コネクターを介して背後にある任意のモデルにアクセス可能となる。しかもその際モデルのポートを外部に公開する必要は一切ない。
前提条件
- A running Tokios connector paired with your local model — see Connector install
- A registered deployment — see Register a model
- A Tokios API key (
sk-tok-…) — see API keys - omp のインストール済み状態:
自身のデプロイ名を確認する
omp sends the deployment name — the public name you registered in the console — not the upstream model id your local backend uses. The 2 are often different strings, and confusing them is the most common cause of a 404. 自身の APIキーでアクセス可能なデプロイ一覧を確認する:id は、models.yml で利用可能な値となります。
ompが設定情報を保存する場所
omp reads 2 files from a dot-prefixed.omp directory in your home folder:
カスタムプロバイダーの設定方法
これをmodels.yml に貼り付け、2 のプレースホルダー部分を適切な値に置き換えてください。これは断片ではなく完全なファイル内容です。
models.yml
models にエントリを追加してください。
models.yml
Replace
gemma-tunnel with a deployment name from GET /v1/models — not the upstream model id your backend (Ollama, llama.cpp, vLLM, or LM Studio) serves, and not the Routes[].Model value in your connector config, which is the upstream id. Replace sk-tok-YOUR_KEY with your own key, and avoid committing models.yml with a real key into version control.omp.sh/docs を参照)。まずは上記の最小限のブロックから始め、ompが /model にモデルを表示するようになったら、以下の任意項目を追加してください。
ロールをご自身のモデルに割り当てる(任意)
ompでは名前付きのロールとモデルが対応付けられ、各ロールにはフォールバックチェーンも設定可能です。settings.yml 内で provider/model の構文を用いて、ご自身の Tokiosプロバイダーをロールに紐付けてください。
settings.yml
/model コマンドを使い、実行時点でプロバイダーとモデルを選択することも可能です。
コンテキストウィンドウの値を指定する(任意)
ompはモデルのコンテキストウィンドウサイズに基づいてプロンプトの長さを決定します。Ollama、llama.cpp、LM Studio、vLLMはいずれもモデルが ロード された時点でのコンテキスト長を提供するため、理論上の最大値ではありません。そのため、実際の値をompに伝える必要があります。Anthropicのエンドポイントを利用したい?(任意)
omp can also speak the Anthropic messages protocol. To route through Tokios’s Anthropic surface instead, setapi to anthropic-messages and drop the /v1 from baseUrl — Anthropic-style clients use the root base.
ツール対応型のモデルを選ぶ
ompのエージェントはツール呼び出し機能を活用してファイルの読み取りやコマンド実行、コード編集を行う。すべてのローカルモデルがツール呼び出しを確実に処理できるわけではない。本格的なコード編集にompを活用する前に、ツール呼び出し機能が充実したモデルをベースにしたデプロイを選ぶべきだ。タスク別モデル選定ガイドを参照して、エージェント型コーディング作業に適したモデルを選んでほしい。トラブルシューティング
Tokiosが/modelに表示されない
Tokiosが/modelに表示されない
ompがファイルを読み込めない。ファイルが
~/.omp/agent/models.ymlに存在するか確認してほしい。該当ディレクトリは.ompで先頭にドットが付いており、Windows環境ではC:\Users\<you>\.omp\agent\models.ymlとして解釈される。またファイルが有効なYAML形式かも確認すること。providersはプロバイダー名をキーとするマッピング構造であり、modelsはリスト形式であるはずだ。401エラー
401エラー
ompから送信されたAPIキーが存在しない、形式が不正、あるいは無効化されている可能性がある。
apiKeyに余分な空白を含まず完全なsk-tok-…キーが記載されているか確認し、Keysタブでその状態を調べてほしい。正常に動作しているPlaygroundセッションがあってもこの問題は発生し得る。PlaygroundではユーザーのAPIキーが使用されないからだ。404エラー
404エラー
The model
id under models doesn’t match a registered deployment. Run GET /v1/models and copy an id from the response exactly. A common near-miss is using the upstream model id from your connector’s Routes[].Model instead of the deployment name.403エラー
403エラー
キー自体は存在するが設定したデプロイに適用範囲が設定されていない、あるいはアカウントが一時停止状態にある可能性がある。Keysタブで該当キーのモデルパターンを確認してほしい。
503 エラーが発生しています
503 エラーが発生しています
該当デプロイ用のコネクターがオフライン状態であるか、同時接続数の上限に達しています。Connectors タブを確認してください。コネクターの状態が Online と表示されており、実行中のマシンが正常に稼働し通信可能である必要があります。
長時間のセッションは失敗しますが、短時間のものは問題なく動作します
長時間のセッションは失敗しますが、短時間のものは問題なく動作します
ompから送信されるコンテキスト量がバックエンド側で処理可能な量を超えています。モデル設定画面で
contextWindow の値をサーバーが実際に扱えるコンテキスト長に設定し、Ollamaやllama.cpp、LM Studio、vLLM側の設定値も確認してください。次に行うべき手順
Pi
ompはPiのフォーク版であり、アップストリームエージェントも同様にTokiosに接続します
タスクに応じて適切なモデルを選択する
ompで利用する前に、ローカル環境のモデルがエージェント駆動型コーディング作業に適しているか確認しましょう