メインコンテンツへスキップ
ローカルLLM推論に最適なハードウェアを選ぼう。以下の各プラットフォームはメモリ、コンピュート、帯域幅、モデル容量ごとに仕様がまとめられているので、一目で比較して該当するセットアップガイドを確認できる。
最終確認日：2026-10-14。価格と入手性は変動するため、購入前に製造元を確認すること。
すでにハードウェアを持っている場合は、クイック比較表で自分のプラットフォームの位置を確認しよう。購入予定の場合は、決定ガイドで予算とユースケースから絞り込もう。

​
ハードウェアプラットフォーム

NVIDIA DGX Spark

大規模MoEモデル向け常時稼働型推論サーバーGrace Blackwellシリコン上で大規模MoEモデルを24/7運用するチームに最適。対応モデル一覧はDGX Sparkモデル互換性を参照。

AMD Strix Halo

最大192 GB統合メモリのコンパクトワークステーション最大192 GBの統合メモリをAMD Ryzen AI Max+ Pro 495開発者プラットフォームで搭載可能。Framework Desktop、ミニPC、ラップトップに採用。
ROCmサポートは限定的。コンシューマーハードウェアでは llama.cpp でVulkanバックエンドを使用するのが最良。

NVIDIA RTX 4090

デスクトップワークステーション、シングルユーザー向け高速推論5090より低価格ながらコンシューマーGPUとして高いメモリ帯域幅を実現。高速なシングルユーザー推論に最適。高スループットなサービングにはvLLM、簡易セットアップにはOllamaとの組み合わせが適している。詳細はRTXワークステーションのセットアップを参照。

NVIDIA RTX A6000

プロフェッショナルワークステーション、マルチユーザーサービング4090の倍のVRAMをより低いピーク帯域幅で実現。70Bモデルを1 GPUで実行可能。

NVIDIA RTX 5090

32 GB GDDR7搭載コンシューマーフラッグシップ約39%高速でRTX 4090を上回る。8Bモデルで145対104 tok/s。8 GBのVRAMで4090を超え、70B Q4は24 GBでは収まらない。推定tok/s：7B ~162、14B ~90、32Bドーンズ ~45、70B ~23。MSRP $1,999。

Apple Mac Studio（M4 Ultra）

macOS上大規模モデル処理、2025年更新70B Q4を約18-24 tok/sで実行。Mac StudioおよびMac Proに搭載。M2 UltraとM5 Ultraの中間に位置するmacOS上大規模モデル推論向け選択肢。

Apple Mac Studio（M5 Ultra）

最大の統合メモリデスクトップ — 最大512 GB帯域幅50%向上（M3 Ultra比）。DeepSeek V4-Flash-0731をネイティブ精度（155 GB）で256 GB構成で実行。LLM推論で約20-25%高速（M2 Ultra比）。Mac Studio M5 Ultraは$5,499から。

Apple Mac Studio（M5 Max）

70Bモデル向けミッドレンジApple Silicon70B Q4モデルに十分な余裕を持って実行可能。Mac Studio M5 Maxは$2,499から。M4 MaxとM5 Ultraの中間に位置するmacOS推論向け強力な選択肢。

Apple Mac Studio（M2 Ultra）

静音動作、macOS上大規模モデル処理192 GBの統合メモリで120Bモデルを静かに実行可能。M4 UltraとM5 Ultraに後継されたが、macOS上大規模モデル推論向け引き続き強力な選択肢。Metalアクセラレーション対応のLM StudioまたはOllamaを使用。詳細はMac Studioのセットアップを参照。

マルチGPU（2x RTX 5090 / 2x RTX 4090 / 2x A6000）

1 GPUでは収まらない大規模モデル2 GPUでテンソル並列を使用。1 GPUでは足りない場合に有効。クラスタリングパターンについては1台 vs 2台のDGX Sparkを参照。

コンシューマーラップトップ（16 GB）

7Bモデル、オフラインAI、旅行向けGPU不要でどのラップトップでも7Bモデルを実行可能。オフラインコーディングアシスタントや旅行時に最適。シンプルなローカルセットアップにはOllamaやllama.cppとの組み合わせが最適で、その後Tokios経由でスマートフォンや他のデバイスからモデルに接続しよう。

スマートフォン／エッジデバイス

デバイス上推論、最大限のプライバシースマートフォン上で直接小規模モデルを実行。ネットワーク不要、クラウド不要、遅延なし。iOSやAndroidのチャットアプリからホームサーバーのモデルに接続する方法はスマートフォンからを参照。
DeepSeek-V4-Flash-0731は特殊なケースである。重量は約162–167 GBで、ほとんどのシングルGPUセットアップを超える。Mac Studio M5 Ultra（256 GB構成）はネイティブ精度で実行可能。2x 96 GB RTX PRO 6000 Blackwellカードも合計VRAMは十分だが、0731はその構成でのコミュニティ検証が必要。ハードウェア購入前にM5 Ultra、2x RTX PRO 6000、2x DGX Spark、2x Strix Haloの構成を比較しよう。

​
クイック比較

トークン速度は7B Q4推論のおおよその見積もりであり、バックエンド、量子化、コンテキスト長によって変動する。デプロイのベンチマークで自身の環境を計測しよう。

​
ランタイム互換性

すべてのランタイムがすべてのプラットフォームで動作するわけではない。各ハードウェア階層で現在利用可能なランタイムを以下に示す。
ハードウェアのランタイムサポートが限られている場合は、Ollamaまたはllama.cppから始めよう。これらが最も幅広いプラットフォームに対応している。

​
消費電力とフォームファクター

ローカル推論ハードウェアはポケットに入るスマートフォンからラックマウントサーバーまで多岐にわたる。デスク上や共有オフィスに設置する場合、消費電力と騒音が重要になる。 共有スペースで24時間7日稼働する場合、低アイドル電力と静かな冷却を優先しよう。Mac StudioとDGX Sparkはオフィス環境向けの常時稼働に最適な選択肢。

​
1台を超えるスケーリング

1台では足りない場合、3つの選択肢がある。
  1. 同じマシン内でテンソル並列（TP=2）を使用して追加GPUを設定する。2x RTX 5090（合計64 GB）、2x RTX 4090、2x A6000で効果的。設定方法はモデルシャーディングを参照。
  2. 複数ノードでクラスターを構築する。例えば、ネットワーク経由で接続した2台のDGX Sparkで、重み・キャッシュ・ランタイムオーバーヘッド合計が256 GB未満の選択的分散モデルをサービング可能。トレードオフについては1台 vs 2台のDGX Sparkを参照。
  3. リモートサーバーにオフロードする。専用GPUサーバーでモデルを実行し、あらゆるクライアントからTokios経由でアクセス。vLLMリモートアクセスとOllamaリモートアクセスを参照。
チーム向けサービングでは、スループットとモデル容量のどちらがより必要かが重要な判断基準となる。追加GPUでどちらとも改善可能だが、スケーリングはモデル、並列戦略、相互接続に依存する。線形スループットを想定せず、ワークロード全体を計測しよう。

​
どのハードウェアを選ぶべきか？

16 GB RAMのコンシューマーラップトップでOllamaまたはllama.cpp経由で7Bモデルを実行しよう。PCIeスロット付きデスクトップなら、中古のRTX 3090（24 GB）が$700-900で高いコストパフォーマンスを提供し、30BモデルをQ4で実行可能。
RTX 5090（32 GB、MSRP $1,999）。32 GB GDDR7で70B Q4モデルを実行可能（4090の24 GBでは収まらない）。小規模モデルで約39%高速な推論。RTX 4090（24 GB）も低価格で見つければ強力な選択肢。コンシューマー向け最高メモリ帯域幅1008 GB/s、Ollama・vLLM・llama.cpp・LM Studioの幅広いバックエンド対応。
Mac Studio M5 Ultra（256-512 GB統合）はデスクトップ最大規模のモデルに対応。120B+ Q4、DeepSeek V4-Flashをネイティブ精度（256 GB構成）で実行。Mac Studio M4 Ultra（192 GB）とMac Studio M2 Ultra（192 GB）も120Bモデルを静かに実行。DGX Spark（128 GB）は70B FP8ネイティブおよび120B MoEモデルを実行。Strix Halo（最大192 GB統合）はVulkan推論によるコンパクトな代替案。
2x A6000にNVLinkを組み合わせると合計96 GB VRAMを確保し、複数ユーザーを同時にサービングできる。2x RTX 5090（合計64 GB）はより高速なコンシューマー代替案。DGX Sparkは128 GB統合メモリでマルチGPU構成が不要なターンキー代替案。
Mac Studio（Apple Silicon）は30-150Wでほぼ無音の冷却。オフィスや家庭での常時稼働推論で最も静かな選択肢。M5 Ultraは最大512 GB統合メモリで最大規模モデルに対応。
Strix Haloは最大192 GB統合メモリをRyzen AI Max+ Pro 495開発者プラットフォームで搭載。Framework Desktop、ミニPC、ラップトップで利用可能。Vulkanバックエンドでllama.cppを使用。コンシューマーハードウェアでのROCmサポートは限定的。詳細はStrix Haloセットアップガイドを参照。
スマートフォン／エッジデバイスでネットワーク不要のデバイス上推論。llama.cpp、MLC-LLM、MediaPipe経由で3B-7Bモデルを実行。

​
メモリとモデルサイズの対応

ローカルLLM推論における最大の制約はメモリ。各量子化レベルで必要なRAMまたはVRAMと一般的なモデルサイズの対応を以下に示す。
KVキャッシュとランタイムオーバーヘッド用に2-4 GBの空きを常に確保すること。70B Q4_K_Mモデルで40 GBのVRAMに「収まる」場合でもコンテキスト用の余裕が必要。合計44-48 GBを見込もう。計算式はKVキャッシュとコンテキストを参照。
Kimi K3（2.8Tパラメータ）などのフロントティアモデルは約1.4 TB必要（4ビット量子化でも）。シングルデスクトップやプロシューマー環境では対応不可。Moonshotは64基以上のアクセラレータを持つスーパーノードを推奨。全体像はKimi K3ハードウェア要件を参照。
モデルサイズをハードウェアに合わせる方法の詳細はハードウェアに合うモデルを見つけるを参照。量子化レベルの意味については量子化の概念を参照。

​
ハードウェア選定でよくある間違い

  • TFLOPSで選び、メモリで選ばない。 4090や5090はA6000より高い演算性能を持つが、A6000の48 GB VRAMは70Bモデルを実行可能で、4090の24 GBでは収まらない。5090の32 GBでも高量子化では70Bにtight。何が実行できるかはメモリで決まり、どのくらい速いかはTFLOPSで決まる。
  • KVキャッシュオーバーヘッドを無視する。 ロード時にVRAMに「収まる」モデルでも、コンテキスト長に応じてKVキャッシュが成長し推論中にOOMになる可能性がある。2-4 GBの余裕を見込もう。
  • マルチGPUはタダだと思う。 2 GPU間のテンソル並列には高速相互接続（NVLinkまたはPCIe 4.0 x16）が必要。PCIe経由では単一の大容量GPU比で10-20%のスループット低下を見込む。
  • 消費電力と冷却を軽視する。 575W RTX 5090や450W RTX 4090を小オフィスで使用すると、かなりの熱と騒音が発生する。24時間7日稼働なら、電気代と騒音影響も考慮しよう。
  • バックエンド確認を省略する。 すべてのランタイムがすべてのGPUに対応しているわけではない。購入前に選定バックエンドがハードウェアで動作するか確認。上記のランタイム互換性を参照。

​
次のステップ

ローカルモデルを選択

ワークフロー、ハードウェア、レイテンシ要件に基づいてモデルとバックエンドを選定。

モデル適合性

GPUまたは統合メモリに収まるモデルサイズと量子化を計算。

モデルシャーディング

1 GPUで足りない場合、複数GPUにモデルを分割。

DGX Sparkモデル互換性

DGX Sparkで動作するモデルと量子化レベルを確認。

Strix Haloモデル互換性

AMD Strix HaloでVulkanおよびROCmバックエンドにより動作するモデルを確認。

デプロイのテスト

トラフィック flowing 後のデプロイ間でレイテンシとスループットを比較。

対応バックエンド

Ollama、LM Studio、llama.cpp、vLLM、SGLangをアップストリームとして設定。

クイックスタート

ゼロから動作するコネクタ、デプロイ、APIキーまで構築。