オンプレミスAIサーバーの買い方：4つの構成帯、代表的な機種、設備条件

「オンプレミスAIサーバーはどれを買うべきか」に単一の答えはありませんが、導き出す順序は明確です。このページでは市場のマシンをシングルGPUワークステーションから8GPUのフラッグシップまでの4つの構成帯に整理し、各帯で動かせるモデル、必要な電力、限界に達する条件、次の帯へ移行する判断基準を順に説明します。ハードウェア仕様はすべてNVIDIA公表データに基づきます。価格は構成、流通経路、時期によって大きく変動するため、あえて記載していません。

マシンを見る前に決めるべき3つのこと

ハードウェア仕様は選定の出発点ではなく、導き出された結果です。マシンを見始める前に以下の3点を書き出しておけば、この先の各構成帯の判断に基準ができます。

1. 動かすモデルと精度：モデルの重みが占めるVRAMは、おおよそパラメータ数×1パラメータあたりのバイト数です（FP16で約2バイト、4ビット量子化で約0.5バイト）。70Bモデルは4ビット量子化で約35GB、FP16では約140GB（10進のGB表記で、量子化のメタデータや実行時バッファは含みません）となり、必要なマシンはまったく異なります。
2. 同時利用者数とコンテキスト長：KVキャッシュは同時実行数とコンテキスト長に応じて増加し、重みのサイズとは一定の比例関係にありません。Llama 3のようなGQAアーキテクチャでKVキャッシュをFP16とした場合、70Bモデルは128Kコンテキスト、バッチサイズ1でKVキャッシュだけで約40GBを要します。アーキテクチャが異なる場合や量子化したKVキャッシュを用いる場合、結果は大きく変わります。10人が短い質問を同時に投げる場合と、1人が契約書全文を投入する場合とでは、メモリへの負荷がまったく違います。
3. 設備が供給できる電力と冷却：最も見落とされやすく、最もプロジェクトを止める要因です。一般的なオフィスのサーバールームのラック配電では、8枚構成のマシン1台すら収容できないことが少なくありません。納品後に回路の敷設し直しが必要と判明すれば、スケジュールは数週間伸びます。

4つの構成帯の一覧

ハードウェア仕様はNVIDIA公表データに基づき、2026年8月時点で整理したものです。同一型番でも版（ワークステーション版、サーバー版、Max-Q）によって消費電力の設定が異なります。総VRAMは1枚あたりの容量に枚数を掛けた理論値であり、フレームワークとシステムのオーバーヘッドを差し引いた実際の利用可能量はこれを下回ります。購入前に出荷仕様と実測値をサプライヤーにご確認ください。前世代のL40S（48GB、350W）は現在、既存の機器や中古市場が中心となっており、新規購入はRTX PRO 6000 Blackwell Server Editionへ移行しています。NVIDIAは推論性能で最大6倍と表記しています。

ワークステーション帯：まず社内で価値を証明する

シングルGPUワークステーションの価値は性能ではなく、「このモデルは自社のデータに対して本当に役立つのか」という問いに最小のコストで答えられる点にあります。96GBの1枚は量子化した70Bを載せることができ（どれだけ余裕が残るかは量子化形式、コンテキスト長、KVキャッシュの精度によります）、複数の中小規模モデルを同時に常駐させて各部門に試用させることもできます。多くの場合、一般的なオフィスの電源で動作し、サーバールームに手を入れる必要もありません。ただしシステム全体の消費電力にはCPUと周辺機器が加わるため、発注前に回路の容量をご確認ください。

限界に達したサインは明確です。2つ目、3つ目の部門が利用待ちの列を作り始めるか、長い文書が途中で失敗するという報告が出てくるかです。前者は同時実行数の不足、後者は多くの場合コンテキストによってKVキャッシュを消費し尽くしたことを意味します。どちらか一方でも現れたら、次の帯へ移る時期です。

タワー型とエントリーラック：初めての本格的な共有マシン

この帯が、多くの企業が実際に落ち着く位置です。96GBのカード4枚で合計384GBとなり、70Bクラスのモデルをより長いコンテキストで1つの部門に安定して提供でき、複数のモデルを同時に常駐させる余裕もあります。タワー型の筐体は独立した空調のある小規模なサーバールームに設置でき、エントリーラック型は既存のラックにそのまま収容できます。

注意すべきは、RTX PRO 6000 Blackwellはどの版（Server Editionを含む）もNVLinkに対応しておらず、マルチGPU間の通信は常にPCIe Gen5 x16を経由するという点です。単一のモデルを複数枚に分割すると、カード間の転送がボトルネックになります。現実的な使い方は、各カードにモデルの完全なコピーを持たせ、枚数を単一モデルの規模ではなく同時実行数に充てることです。

ラック帯：AIが全社インフラになるとき

H200 8枚のHGXプラットフォームは合計1,128GBのVRAMを備え、大規模モデルを複数同時に常駐させ、部門をまたぐ同時実行を支え、単一の大規模モデルを非常に長いコンテキストで動かすこともできます。この帯のカード間はNVLinkで相互接続されるため、モデルを複数枚に分割する際のコストはPCIe構成よりはるかに小さくなります。

本当の障壁は設備です。最大消費電力設定では8枚のGPUだけで約5.6kWを消費し、CPU、ファン、電源変換損失を加えれば1台あたりの実消費電力はさらに上がり、多くの企業の既存ラック配電では収容できません。この帯に進む場合、電気設備と空調の評価はハードウェア選定と同時に進める必要があり、納品後に着手しては間に合いません。

フラッグシップシステム：多くの推論用途はこの帯を必要としません

DGX B300クラスのシステムは、B300を8枚、GPUメモリ合計2.3TB（ホストメモリは別途）を備え、表記される消費電力は14.5kW、システム最大は15kWです。これは10RUのラックマウント型システムであり、ラック1本まるごとではありません。この水準のシステムは学習、ファインチューニング、推論のいずれにも対応しますが、要件が推論のみであれば、全社規模の推論であっても通常は一つ下の帯で満たせ、追加の予算が体感できる差につながることはありません。

判断は単純です。自社モデルの学習やファインチューニングを行っている人がおらず、その計画もないのであれば、この帯への予算は通常見合いません。推論ができないからではなく、一つ下の帯ですでに足りるからです。予算はハードウェアに積むよりも、データ整備とアプリケーション開発に回すべきです。オンプレミスAIプロジェクトの成否を分ける主な要因はそちらにあります。

必ず比較対象になる4つの選択肢：RTX 5090、DGX Spark、Mac Studio、AMD Instinct

上記の4つの帯はNVIDIAのデータセンター製品ラインに沿ったものですが、実際の検討ではほぼ必ず別の4つのプラットフォームが議題に上がります。これらが変えるのは性能の順位ではなく、メモリ容量とメモリ帯域のトレードオフ、そしてソフトウェア環境に支払うコストです。

仕様は各メーカーの公表データに基づき、2026年8月時点で整理したものです。AMDの前世代Instinct MI325Xは256GB HBM3E、6TB/s、TDP 1,000Wであり、調達期間が長い場合は両世代を併せて見積もる価値があります。

容量が「収まるか」を決め、帯域が「どれだけ速いか」を決める

この表で最も注目すべきは、2列目と3列目の差です。モデルが読み込めるかどうかはメモリ容量の問題であり、読み込んだ後に毎秒何トークン生成できるかは、デコード段階では主にメモリ帯域に支配されます。DGX Sparkの128GBとMac Studioの256GBは、いずれも5090では収まらないモデルを載せられますが、帯域はそれぞれ273GB/sと819GB/sであり、1,792GB/sの5090と比べると同じモデルの生成速度は明らかに遅くなります。

これにより役割は明確になります。大容量・低帯域のプラットフォームは「この大規模モデルの出力品質が使えるかどうか」を確認する用途に適しており、複数の利用者が同時にオンラインで使う段階になれば、やはり高帯域のデータセンターカードに戻ることになります。逆に5090は帯域こそ優れていますが、32GBという容量が選択肢を中小規模モデルまたは高度に量子化した版に限定します。

MoEかdenseかが、ユニファイドメモリの適否を決める

前段の帯域に関する結論には、重要な前提が一つあります。どのアーキテクチャを動かすのかという点です。denseモデルは1トークンを生成するたびに重み全体をメモリから読み出すため、生成速度はメモリ帯域にほぼ直結します。一方MoE（Mixture of Experts）モデルはパラメータを多数のエキスパートに分割し、トークンごとにその一部だけを活性化するため、読み出すべきデータ量はモデル全体よりはるかに小さくなります。

Gemma 4は31B denseと26B-A4Bの両方を提供しています。総パラメータ量は近いものの、トークンごとに読み出す量は数倍異なり、最も明快な対照となります。モデル情報は各プロジェクトの公表内容に基づき、2026年8月時点で整理したものです。

これこそがユニファイドメモリの適所です。Mac StudioとDGX Sparkは容量が大きく帯域は控えめという特性を持ち、MoEモデルの形と噛み合います。モデル全体をメモリに収めるだけの容量が必要である一方、トークンごとに読むのは一部にすぎないため、帯域の低さによる不利がはるかに小さくなります。Qwen3-235B-A22BはQ4_K_M量子化で約130GBであり、256GBのMac Studioに収まり、KVキャッシュ用の余裕も残ります。

逆もまた成り立ちます。ユニファイドメモリのマシン上のdenseモデルは帯域に足を引っ張られます。容量は足りていても、トークンごとに重み全体を読むため、生成は速くなりようがありません。dense の70Bクラスを動かし応答速度を重視するのであれば、選ぶべきは大容量のユニファイドメモリではなく高帯域のGPUです。

したがって、これらのプラットフォームを検討する前に一点を確定させてください。動かすのはMoEかdenseか、です。DeepSeekやQwen3のような大規模MoEであれば、ユニファイドメモリは費用対効果の高い選択肢です。Gemmaのようなdenseモデルでスループットを求めるのであれば、前述の4つのGPU帯に戻ることになります。

ライセンスとエコシステムのコストも計算に入れる

これら3つのプラットフォームには、仕様表には現れないものの実現可能性を直接左右する制約があります。RTX 5090はコンシューマー向け製品であり、NVIDIAのドライバライセンスはデータセンターでの利用を認めず、保証も商用GPUクラスタでの用途を対象外とするため、本番サービスでの役割は限定されます。Mac Studioの課題はハードウェアではなくエコシステムにあります。主流の企業向け推論フレームワークとCUDAツールチェーンが利用できないため、実務ではMLXまたはllama.cppという経路をたどることになり、チームはその前提を持つ必要があります。AMD Instinctのハードウェア仕様は十分に競争力がありますが、その代償としてソフトウェア構成全体がROCmとなるため、導入前に使用予定の推論フレームワーク、量子化形式、モデルがすべて対応リストにあることを個別に確認しなければなりません。

この4つを検討する際は、問いを3段階に分けて順に答えることをお勧めします。容量が収まるか、帯域が十分に速いか、ソフトウェア環境にどれだけの工数がかかるか。最初の2つは仕様表で判断できます。プロジェクトの期間を実際に決めるのは3つ目です。

シングルGPUとマルチGPU：カードを増やすべき場合とそうでない場合

カードを増やすことは万能の解決策ではありません。カード同士をどう接続するかが、それらを1台の大きなマシンとして使えるかどうかを決めます。NVIDIAのNVLink 5はGPU 1枚あたり最大1.8TB/sの双方向帯域を提供する一方、PCIe 5.0 x16の理論双方向帯域は128GB/sであり、その差は約14倍です。

この差が2つの使い方の境界を決めます。1枚に収まらないモデルを複数枚に分割して実行する場合（テンソル並列）、カード間で中間結果を頻繁にやり取りするため、PCIeの帯域がボトルネックとなり、NVLinkプラットフォームの価格に見合う価値が生まれます。逆に、モデルがもともと1枚に収まり、単に利用者が多すぎるだけであれば、各カードにモデルの完全なコピーを走らせてロードバランサーで振り分けるほうが効率が良く、相互接続のために追加費用を払う必要もありません。

したがって順序はこうなります。まずモデルが1枚に収まるかを問う。収まるなら、カードの追加は同時実行数のためであり、PCIeで十分です。収まらないなら、カードの追加は容量のためであり、その時点で初めてNVLinkを真剣に検討すべきです。

設備チェックリスト：発注前に確認すべき7項目

オンプレミスAIプロジェクトの遅延は、モデル選定の誤りよりも、マシンが届いたのに稼働できないことに起因する場合が多くあります。発注前にこの7項目を確認しておけば、最も高くつく種類の待ち時間を回避できます。

• ラック配電：既存回路が供給できるkW数、専用回路の新設が必要か、コンセント規格がマシンの要求と合致するか。
• 冷却能力：サーバールームの空調が追加される熱負荷を吸収できるか、気流の方向がラックの前後配置と整合するか。
• ラックの奥行きと耐荷重：GPUサーバーは一般的なサーバーより奥行きがあり重量も大きいため、既存のラックに収まらない場合があります。
• 無停電電源：UPSの容量が追加負荷をカバーするか、停電時にどのサービスを優先して維持するか。
• ネットワーク帯域：利用者からサーバーへの接続、およびモデルとデータの転送経路が十分か。
• 予備品と保証：故障時に予備品がどれだけ早く届くか、メーカー保証か、オンサイトサービスが含まれるか。
• 運用要員：誰がドライバとファームウェアを更新し、誰が温度と稼働状態を監視し、誰が深夜のアラートに対応するか。

自作、サーバー購入、AIアプライアンス：3つの選択肢

同じハードウェア仕様でも入手方法は3つあり、違いは統合と運用の責任を誰が負うかにあります。

自作はハードウェアコストが最も低い一方、互換性の検証、ファームウェアとドライバの保守を自社で負担し、保証も複数のサプライヤーに分散するため、問題発生時に責任の所在が曖昧になりがちです。すでにサーバー運用能力のあるチームに向いています。

サーバー購入は、サーバーベンダーから検証済みの機種を調達する方法で、ハードウェア層の互換性と保証の窓口が一本化されます。ただしOSより上の推論エンジン、モデル管理、権限監査は自社で構築する必要があります。現在最も一般的な方法です。

アプライアンスはハードウェア、推論エンジン、管理ソフトウェアを一括で提供します。単価は最も高くなりますが、導入から運用までの責任窓口が一本化され、ソフトウェア構成を自力で探る時間も不要になります。専任のAIインフラチームを持たずに本格導入する企業に向いています。

QubicX：ハードウェア、推論エンジン、管理機能を一括提供

QubicXは上記のアプライアンスに該当します。LargitDataは企業が実際に動かすモデルと同時実行の要件からハードウェア構成を設計し、最適化済みのGPUハードウェア、繁体字中国語に最適化されたモデルのプリロード、企業向けの権限管理と監査ログ、内蔵のナレッジベースRAGエンジンを含めて提供します。導入から日々の運用まで、台湾拠点のチームが一貫して支援します。

どの構成帯が必要かをまだ検討中の場合は、実際のモデルと同時実行の条件に基づく仕様試算と実測検証を先に行い、アプライアンスを選ぶかどうかはその後に判断いただけます。

関連記事

• GPUサーバー vs クラウドAPI：企業向けAIインフラの選定：そもそも機器を購入すべきかを確認できます。損益分岐点の試算はこちらのページに掲載しています。
• オンプレミスAIソリューション概要と比較 — 企業導入完全ガイド：マシンが決まった後、その上でどのソフトウェアを動かすか。
• MLX推論フレームワークのベンチマーク：Apple Siliconで大規模モデルを動かす：Macという選択肢を取る場合、フレームワーク選定とメモリ構成の実測データはこちらにあります。