インタラクティブなモデル適合性検索ツール — ハードウェアまたはモデルを選択し、量子化とコンテキストを調整します。
仕組み
ウィジェットは、メモリ要件を以下を使用して推定します。
MoEモデル（Qwen3.8-2.4T-A95B や DeepSeek-V3 など）は、すべてのエキスパートの重みをメモリにロードします。そのため、メモリ使用量は総パラメータ数によって決まります。トークンごとに実行されるのはアクティブなサブセットのみですが、それでも総パラメータ数がメモリ使用量を決定します。
サイズ計算式
モデルの重みはパラメータごとに固定のバイト数を使用し、そのバイト数は完全に精度に依存します。
生の重みのサイズがすべてではありません。中程度のコンテキスト長では、KVキャッシュ、アクティベーション、フレームワークメモリ用に、おおよそ20% のオーバーヘッド（
×1.2）を加算してください。コンテキストが長くなると、さらにKVキャッシュが増加します。これにより、実用的な計算式が得られます。
~Q4 (4-bit), including the ~1.2 overhead:
参考までに、高精度では単一のコンシューマーカードが保持できる範囲を大きく超えるサイズになります。
70B を FP16 にすると約 140 GB、120B を FP16 にすると約 230 GB になります。
Hugging Face measured a similar pattern on a 15B+ model: about 29 GB at bf16, ~15 GB at 8-bit, and ~9.5 GB at 4-bit. See the Hugging Face guide to optimizing LLMs and the llama.cpp quantize README for the underlying numbers — GGUF Q4_K_M uses mixed precision that averages out to about 0.5–0.56 bytes per parameter.
これらの数式は重みのサイズを推定するものです。実際に重要なのは、実行予定の量子化レベルの Hugging Face に記載されている
GGUF ファイルサイズと、対象コンテキスト長に対する KV キャッシュです。ハードウェアを決定する前に必ず確認してください。GPU VRAM の概要
出典: NVIDIA GeForce RTX 50 シリーズ, NVIDIA プロフェッショナル GPU, Wikipedia: GeForce RTX 40 シリーズ, Wikipedia: GeForce RTX 30 シリーズ, AMD Ryzen AI Max, Apple 技術仕様。
専用GDDRメモリ（上記のNVIDIAカード）は高速ですが容量が固定されており、後から増やすことはできません。統一メモリ（Apple Silicon、Strix Halo）はCPUとGPUで一つのプールを共有するため、はるかに大容量にできますが、専用カードよりも帯域幅が低くなります。
何がどこに収まるか
下表は、~Q4量子化で modest なコンテキスト長における快適度を推定しています。すべての項目を推定値として扱い、コミットする前に実際のGGUFファイルサイズとKVキャッシュを確認してください。
正解は常に、選択した量子化の Hugging Face 上の
GGUF ファイルサイズと、コンテキスト長に必要な KV キャッシュです。
モデルを選択しましたか？接続しましょう
One authenticated endpoint at
https://api.tokios.com — no inbound ports, about 5 minutes.統合メモリが大きなモデルを読み込めるが、実行速度が遅くなる理由
モデルの読み込みには、重みを保持するのに十分なメモリ容量のみが必要です。高速な実行には、計算ユニットに継続的に供給するための十分なメモリ帯域幅が必要です。これは、シングルストリームデコーディングがメモリ帯域幅制約であるためです。生成される各トークンについて、モデルの重み（または、エキスパート混合モデルの場合、アクティブなエキスパート）をメモリから読み出す必要があります。プリフィル（プロンプトの処理）は計算制約であるため、挙動が異なります。 This is why the two memory types trade off differently:- 専用GDDR（RTX 4090、5090、および類似品）：高帯域幅（おおよそ
1000–1800 GB/s）ですが、容量はカードによって固定されています。 - 統合メモリ（Apple Silicon、Strix Halo）：はるかに大きな容量（最大
128 GB）ですが、帯域幅は低いです（おおよそ256–546 GB/s）。
96 GB unified-memory machine can load a 120B model that would never fit on any single consumer GPU. It will still generate tokens more slowly than a dedicated GPU running a model that fits within the GPU’s own VRAM, because it has less bandwidth to move weights through per token.
他のセットアップから公開されているtok/sの数値に頼らないでください — ハードウェア、ドライバーバージョン、量子化、コンテキスト長、バッチサイズはすべて結果に影響を与えます。llama-benchで独自のデプロイを測定し、モデルが実行された後、デプロイを比較するための再現可能な方法については、デプロイのベンチマークを参照してください。
次のステップ
Tokiosで始める
モデルがハードウェアに適合すると、Tokios はそれをどこからでも呼び出せる安定した API エンドポイントに変換します。
タスクに最適なモデルを選択する
サイズ調整は適合するものを絞り込みます。タスク適合度は、最初にロードすべきファミリーを絞り込みます。