自宅ラボのGPUサーバーからチームメンバーへモデルを提供する

​

自宅ラボ環境におけるアクセス性の問題

• 外部に転送可能なパブリックIPが存在しない。 ISPがキャリアグレードNAT（CGNAT）を適用している場合、ポートフォワーディング用の固有な外部アドレスそのものが存在しない。なぜこれが自分で修正できないルーター設定なのかは、CGNAT環境下でローカルLLMを公開する方法を参照されたい。
• たとえ可能でも外部公開したくない。 ランタイムを0.0.0.0にバインドしポートを開放すれば、GPUサーバーはインターネット上で認証なしのサービスとなってしまう。該当ポートを知った者なら誰でもリクエストを送信できる。
• アクセス権を共有すれば全機能が共有される。 チームメンバーにTailscaleノードや直接バインドされたポートを渡せば、その者やその端末上の全アプリケーションが自分と同等のアクセス権を得ることになる。個人ごとにキーを設定することもできず、一人のアクセスを制限しようとすると他全員の利用も阻害されてしまう。

​

サーバー上で設定を行う

ollama serve

vllm serve meta-llama/Llama-3.1-8B-Instruct

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

tokios-connector TKS-XXXX-XXXX

​

複数のモデルを同時に提供する方法

​

どこからでも利用可能

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "homelab-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="homelab-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

​

なぜチーム全体で一つのエンドポイントで良いのか

• サーバー側に受信用ポートは一切存在しません。 コネクターは送信接続のみ行うため、チームメイトはVPNピアやSSHトンネル、あるいは開放された 0.0.0.0 ポートすら必要とせずにサーバーにアクセスできます。CGNAT環境下でも同様です。
• 特定のチームメイトのAPIキーのみ無効化しても他者に影響はない。 各ユーザーはそれぞれ固有の sk-tok-… キーを持つため、Keysタブで該当者のキーを無効化または削除すれば即座にその人物のアクセスが停止し、他の全ユーザーのキーは引き続き有効なままです。
• クライアント側の設定変更なしにモデルを切り替え可能。 デプロイ名を別のアップストリームモデルやバックエンドに紐付け直すだけで、homelab-llamaを利用している全チームメイトやスクリプトがそのまま正常に動作し続けます。

​

次のステップ