Skip to main content
ローカルでのLLM推論に最適なハードウェアを選択しよう。以下の各プラットフォームはメモリ、演算能力、帯域幅、モデル容量の面で詳細に仕様が定められており、一目で比較して該当するセットアップガイドへ進むことができる。 すでにハードウェアを所有している場合は、クイック比較表からご自身のプラットフォームの位置を確認してください。購入を検討中の場合は、選定ガイドを利用して予算や用途に合った製品を絞り込むことが可能だ。

​
ハードウェアプラットフォーム一覧

NVIDIA DGX Spark

大規模MoEモデル向け常時稼働型推論サーバーGrace Blackwellシリコン上で大規模なMoEモデル24や7を運用するチームに最適です。対応可能なモデル一覧については、DGX Sparkモデル互換性ページをご覧ください。

AMD Strix Halo（Radeon 8060S）

Compact workstation with 128 GB unified memory
ROCmのサポートは限定的です。最良の結果を得るためにはllama.cppでVulkanバックエンドを利用してください。

NVIDIA RTX 4090

デスクトップワークステーション、単一ユーザー向けの高速推論用一般向けGPUとしては最高水準のメモリ帯域幅を誇る。単一ユーザー向けの高速推論処理に最適だ。高スループットなサービス提供にはvLLM、簡易なセットアップにはOllamaとの組み合わせが適している。詳細は RTXワークステーションのセットアップ を参照のこと。

NVIDIA RTX A6000

プロフェッショナル向けワークステーション、複数ユーザーでの利用に対応Double the VRAM of a 4090 at lower peak bandwidth. Fits 70B models on 1 GPU.

Apple Mac Studio（M2 Ultra）

静音動作、macOS上での大規模モデル処理デスクトップ用としては最大規模の統合メモリを備え、120B個のモデルを静かに実行可能。LM StudioまたはOllamaをMetalアクセラレーション機能付きで利用可能。 Mac Studioのセットアップもご参照ください。

マルチGPU対応（2x RTX 4090／2x A6000）

Models too large for 1 GPUUse tensor parallelism across 2 GPUs when 1 GPU is not enough. See 1 vs 2 DGX Sparks for clustering patterns.

一般向けノートパソコン（16ギガバイト）

7B種類のモデル、オフラインAI、旅行用途GPUがなくてもどのノートパソコンでも7B種類のモデルを実行可能。オフラインでのコーディング補助や旅行時にも最適だ。Pair with Ollama or llama.cpp for the simplest local setup, then connect through Tokios to reach the model from your phone or another device.

スマートフォン／エッジデバイス

デバイス上での推論処理によりプライバシーが最大限に保護される小規模なモデルをスマートフォン上で直接実行できる。ネットワークもクラウドも不要で、遅延も生じない。iOSやAndroidのチャットアプリからホームサーバーのモデルに接続する方法については、スマートフォンからをご覧ください。
DeepSeek-V4-Flash-0731は特殊なケースです。その重量はおよそ162–167 GBで、上記のマルチGPU構成の例よりも重くなります。2台の96 GB RTX PRO 6000 Blackwell GPUを組み合わせれば合計VRAMは十分ですが、その構成が実用可能かどうかは0731でコミュニティの検証が必要です。ハードウェアを購入する前に、2台のRTX PRO 6000、2台のDGX Spark、そして2台のStrix Halo構成を比較してください。

​
簡易比較表

トークン処理速度は7B Q4推論時のおおよその見積もり値であり、使用するバックエンドや量子化方式、コンテキスト長によって変動します。ご自身の環境で実際の性能を確認するには、デプロイのベンチマークをご利用ください。

​
ランタイムの互換性

すべてのランタイムがすべてのプラットフォームで動作するわけではありません。現在各ハードウェア階層で利用可能なランタイムは以下の通りです。
お使いのハードウェアの対応範囲が限られている場合は、最も多くのプラットフォームに対応しているOllamaまたはllama.cppから試してみることをお勧めします

​
消費電力とフォームファクター

ローカル推論用のハードウェアは、ポケットに入るスマートフォンからラックマウント型サーバーまで多岐にわたります。デスク上や共有オフィスで使用する場合は消費電力や騒音も重要な要素となります 共有スペースで 24/7 を稼働させる場合、待機時の消費電力の低さや静かな冷却性能が重要です。オフィス環境向けの常時稼働用マシンとしては、Mac StudioやDGX Sparkが最適な選択肢です。

​
Scaling beyond 1 machine

When 1 box is not enough, you have 3 options:
  1. Add a second GPU in the same machine using tensor parallelism (TP=2). Works well with 2x RTX 4090 or 2x A6000. See Model sharding for the configuration.
  2. 複数ノードでクラスターを構築する方法です。例えば、ネットワーク経由で接続された 2 台のDGX Sparkを利用すれば、重みやキャッシュ、実行時オーバーヘッドが合計で 256 GB未満となる特定の分散型モデルを運用できます。各方式のメリット・デメリットについては 1 と 2 DGX Sparkの比較 を参照してください。
  3. リモートサーバーにオフロードする方法です。専用のGPUサーバー上でモデルを実行し、あらゆるクライアントからTokios経由でアクセスできます。設定方法については vLLMのリモートアクセス および Ollamaのリモートアクセス をご覧ください。
チーム向けのサービス提供においては、より高いスループットが必要か、それともより大規模なモデル容量が必要かが重要な判断基準となります。追加のGPUはどちらも向上させられますが、スケーリングの可否はモデルの特性や並列処理戦略、相互接続性に依存します。線形的なスループット向上を想定せず、実際のワークロード全体を測定することが不可欠です。

​
どのようなハードウェアを選ぶべきでしょうか？

Use a consumer laptop with 16 GB RAM running 7B models through Ollama or llama.cpp. If you have a desktop with a PCIe slot, a used RTX 3090 (24 GB) offers strong value at $700-900 and fits 30B models at Q4.
RTX 4090 (24 GB)。消費者向け製品としては最高水準のメモリ帯域幅である 1008 GB/sを誇り、高速なトークン生成が可能です。また Ollama、vLLM、llama.cpp、LM Studioなど幅広いバックエンドに対応しています。30B個の Q4モデルを問題なく扱えます。
Mac Studio (192 GB unified) fits the largest models of any desktop — 120B at Q4. DGX Spark (128 GB) runs 70B FP8 natively and 120B MoE models. Strix Halo (128 GB unified) is a compact alternative with Vulkan-based inference.
Mac Studioは60から150ワットで動作し、冷却時の騒音もほとんどありません。オフィスや家庭内で常時推論処理を行う場合、最も静かな選択肢となります。
Strix Haloには128ギガバイトの統合メモリが搭載されている。このプラットフォームではROCmのサポートが限定的なため、Vulkanバックエンドと共にllama.cppを利用してください。詳細については、Strix Haloのセットアップガイドをご参照ください。
スマートフォンやエッジデバイスを利用すれば、ネットワークなしでもデバイス上で推論が可能だ。3Bから7Bまでのモデルを llama.cpp、MLC-LLM、または MediaPipeを通じて実行できる。

​
メモリとモデルサイズの対応関係

ローカル環境でのLLM推論において最大の制約となるのはメモリです。ここでは、各量子化レベルにおいて必要となるRAMまたはVRAMと、一般的なモデルサイズとの対応関係を紹介します。
Always leave 2-4 GB free for the KV cache and runtime overhead. A 70B Q4_K_M model that “fits” in 40 GB of VRAM still needs headroom for context — plan for 44-48 GB total. See KV cache and context for the math.
Frontier-scale models like Kimi K3 (2.8T parameters) need ~1.4 TB even at 4-bit quantization — no single desktop or prosumer setup fits them. Moonshot recommends a supernode with 64+ accelerators. See Kimi K3 hardware requirements for the full picture.
ご使用のハードウェアに適したモデルを選ぶ方法については、ハードウェアに合ったモデルを見つけるをご覧ください。また、量子化レベルの意味については量子化の概念も参照してください。

​
ハードウェア選定におけるよくある失敗例

  • Buying for TFLOPS, not memory. A 4090 has more raw compute than an A6000, but the A6000’s 48 GB VRAM fits 70B models that the 4090’s 24 GB cannot. Memory determines what runs; TFLOPS determines how fast.
  • KVキャッシュのオーバーヘッドを見落とす。 ロード時点ではVRAMに収まるように見えるモデルでも、コンテキスト長が増えるにつれてKVキャッシュが肥大化し、推論時にメモリ不足に陥る可能性がある。余分に2～4GB程度のメモリを確保しておくべきだ。
  • Assuming multi-GPU is free. Tensor parallelism across 2 GPUs requires fast interconnect (NVLink or PCIe 4.0 x16). Over PCIe, expect 10-20% throughput loss versus a single larger GPU.
  • 電力消費と冷却を軽視する。 小規模なオフィス環境で使用する場合、450WのRTX 4090は相当な熱と騒音を発生させる。筐体が24時間/7時間稼働するなら、電気代や騒音の影響も考慮する必要がある。
  • バックエンドの確認を怠る。 すべてのランタイムがすべてのGPUをサポートしているわけではない。購入前に、選定したバックエンドがご使用のハードウェアに対応しているか必ず確認してください。詳細は上記のランタイムの互換性を参照のこと。

​
次のステップ

ローカルモデルを選択する

ご自身のワークフローやハードウェア、レイテンシ要件に基づいてモデルとバックエンドを選定してください。

モデルの適合性

ご使用のGPUまたはユニファイドメモリに収まるモデルサイズや量子化レベルを算出しましょう。

モデルのシャーディング

Split models across multiple GPUs when 1 GPU is not enough.

DGX Sparkにおけるモデル互換性

DGX Sparkで利用可能なモデルや対応する量子化レベルを確認できます。

Strix Haloにおけるモデル互換性

AMD Strix Halo環境でVulkanおよびROCmバックエンドを利用可能なモデルを調べられます。

デプロイのベンチマーク実施

実際にトラフィックが発生した後、各デプロイ間でのレイテンシやスループットを比較できます。

対応するバックエンド一覧

Ollama、LM Studio、llama.cpp、vLLM、SGLangをアップストリームモデルIDとして設定可能です。

クイックスタートガイド

手順に従うだけで、コネクターの設定からデプロイ、APIキーの取得まで完了できます。