Skip to main content
A local LLM (also called a self-hosted LLM) is an open-weight model you run on your own hardware — a laptop, a workstation GPU, a Mac, or a homelab server — instead of calling a hosted API you don’t control. This section covers the open-weight families that run well locally and how to pick between them. Tokiosはモデルの選定やホスティング、ファインチューニングは行いません。ユーザーが自らモデルを選んでローカルで実行します。そしてTokiosがそのモデルを https://api.tokios.com という場所に安定した認証付きエンドポイントとして提供します。これにより、OpenAIやAnthropic互換のクライアントであれば、インバウンドポートやVPNなしで簡単に接続可能です。

三つのステップで選ぶ方法

1

用途に合わせる

コーディングエージェント、一般的なチャット、推論処理、画像認識、あるいはエッジ環境やCPU向け処理か?用途によって適切なモデル群がすぐに絞り込めます。どの用途にどのローカルモデルが適しているか のページでは、各用途ごとの詳細な選定基準をご確認いただけます。
2

ハードウェアに合わせる

必要なコンテキスト長に対してVRAMや統合メモリに収まるモデルでなければ意味がありません。どのサイズのモデルがご使用のGPUに適しているか のページでサイズ計算の仕組みを、また 量子化 のページでサイズと品質の関係性をご確認ください。
3

ライセンスを確認する

ライセンスは多種多様です。Apache-2.0やMITは比較的緩やかな条件ですが、他のライセンス(Llama Community、Gemma、NVIDIA Open Model Licenseなど)には制限が設けられています。モデルカードの読み方 のページで、モデルを利用する前に確認すべき事項をご確認ください。

各ファミリーと現在の状況

以下の各ファミリーには、タグやサイズ情報、ハードウェア互換性表、セットアップ手順が記載された専用ページがあります。モデルバージョンは頻繁に更新されるため、この表はあくまで出発点としてご利用ください。最新リリース情報は各ページをご確認ください。
「現在利用可能なモデル」とは、ご自身でダウンロードして実行可能な最新のオープンウェイトモデルを指します。現在利用可能なモデルの中には、DeepSeek-V4-Flash-0731やGLM-5.2、さらに大規模なKimiやMiniMax MoEなど、複数のGPUが必要となるものも存在します。各モデルファミリーのページでは、現在ダウンロード可能なモデル、サーバーが必要なモデル、まだ利用できないモデルが明記されています。
ご自身の環境でホスト可能な最新の大規模モデルをお探しですか? DeepSeek-V4-Flash-0731用ローカルハードウェアでは、2基のRTX PRO 6000や2基のDGX Spark、2基のStrix Haloといった構成を比較しており、それぞれのサポート状況やメモリ制限も記載されています。

用途に応じて選択しましょう

一般的なチャットやエージェント用途

Qwen3.6、Llama、Gemma、gpt-ossは汎用性に優れたモデルです。Qwen3.8-27Bは最新のQwenリリースで、現時点ではvLLMやSGLangでのみ利用可能です。Qwen3.6は導入しやすい実績ある選択肢であり、Muse Glimmerは24GBのメモリを備えたカード上で常駐動作するエージェント向けモデルです。

プログラミング用途

Qwen3-CoderやMistralのDevstral、GLMはリポジトリ規模のコーディングやエージェント用途に適しています。

推論処理やエージェント用途

現在のDeepSeek推論・コーディングエージェント・ツール呼び出し機能を利用するには、まずDeepSeek-V4-Flash-0731を選択しましょう。より低スペックな環境向けにはR1 distillsが適しています。

画像認識やマルチモーダル用途

Qwen3-VLやGemma 4はテキスト・画像・動画の認識に対応しており、まずはQwen3-VLから試すのが良いでしょう。

小型デバイスやエッジ環境、CPU向けモデル

GemmaのE2BやPhi-4-mini、Granite、そしてMistralのMinistralは、ノートパソコンやエッジボックス上でも動作します。

フォーマットとハードウェア

どのウェイトフォーマット、すなわちGGUF、MLX、NVFP4、AWQのいずれがご使用のGPUまたはMacで利用可能かを確認できます。

ひとつを選択し終えたら

Tokiosはユーザーの代わりにモデルを選定するわけではなく、実行中のモデルに対してどこからでも呼び出せる安定した認証済みエンドポイントを提供します。

クイックスタート

コネクターをペアリングし、デプロイを登録した上で、最初のAPIキーを作成するまでの手順を紹介します。

モデルとバックエンドの選択

ご自身のワークフローやバックエンド、デプロイ名に合ったモデルを選定してください。