地端 AI 伺服器怎麼買：四種級距、代表機種與機房條件

「地端 AI 伺服器要買哪一台」沒有單一答案，但有明確的推導順序。這頁把市面上的機器整理成四種級距，從單卡工作站到八卡旗艦系統，逐層說明每一層跑得動什麼模型、需要多少電、什麼時候會撞牆，以及升級到下一層的觸發條件。所有硬體規格以 NVIDIA 官方公布資料為準，不含價格，因為報價會隨配置、通路與時間大幅變動。

買哪一台，先確認三件事

硬體規格不是選型的起點，是推導的結果。開始看機器之前，先把下面三件事寫下來，後面每一層的取捨才有判準。

1. 要跑的模型與精度：模型權重佔用的顯示記憶體，約等於參數量乘以每個參數的位元組數（FP16 約 2 bytes，4 bit 量化約 0.5 byte）。70B 模型在 4 bit 量化下約 35 GB，以 FP16 載入則約 140 GB（十進位 GB，且不含量化中繼資料與執行時緩衝），兩者需要的機器完全不同。
2. 同時使用人數與上下文長度：KV cache 會隨著併發數與上下文長度成長，和權重大小沒有固定比例。以 Llama 3 這類 GQA 架構、KV cache 使用 FP16 估算，70B 模型在 128K 上下文、批次 1 的條件下，光是 KV cache 就約需 40 GB；換一種架構或改用量化的 KV cache，結果會差很多。十個人同時問短問題，和一個人餵進整份合約，對記憶體的壓力不一樣。
3. 機房能給的電與散熱：這是最常被忽略、卻最常擋住專案的一項。一般商辦機房的機櫃配電，往往裝不下一台八卡機；等機器到貨才發現要重拉電路，時程就會多好幾週。

四種級距一覽

硬體規格以 NVIDIA 官方公布資料為準，整理時間為 2026 年 8 月。同一型號會因為版本（工作站版、伺服器版、Max-Q）而有不同的功耗設定，總 VRAM 為單卡容量乘以張數的理論值，實際可用量會扣掉框架與系統開銷；採購前請向供應商確認出貨規格與實測數據。前一代的 L40S（48 GB、350W）目前多見於既有機隊與二手市場，新採購已由 RTX PRO 6000 Blackwell Server Edition 接手，官方標示的推論效能最高可達 L40S 的六倍。

工作站級：先證明這件事對公司有用

單卡工作站的價值不在效能，在於它讓團隊用最低的代價回答「這個模型對我們的資料到底有沒有用」。96 GB 的單卡足以承載量化後的 70B（實際餘裕取決於量化格式、上下文長度與 KV cache 精度），也能同時掛著幾個中小模型讓不同單位試用，而且多數情況下插在一般辦公環境的電源上就能跑，不必動到機房；不過整機的總功耗還要加上 CPU 與周邊，下單前仍要確認該迴路的容量。

撞牆的訊號很明確：開始有第二、第三個單位排隊等著用，或是有人抱怨長文件跑到一半就失敗。前者是併發不足，後者通常是 KV cache 被上下文吃光。出現任一個，就該往上一層走。

塔式與入門機架：第一台真正的共用機器

這一層是多數企業實際落地的位置。四張 96 GB 的卡合計 384 GB，足以讓 70B 級模型搭配較長的上下文穩定服務一個部門，也放得下同時常駐多個模型。塔式機箱可以放在有獨立空調的小型機房，入門機架則能直接進既有機櫃。

要注意的是，RTX PRO 6000 Blackwell 全系列（包含 Server Edition）都不支援 NVLink，多卡之間一律走 PCIe Gen5 x16。單一模型跨多張卡切分時，卡與卡之間的傳輸會成為瓶頸；比較務實的用法是讓每張卡各自承擔完整的模型副本，用數量換併發，而不是用數量換單一模型的規模。

機架式：當 AI 變成全公司的基礎設施

八張 H200 的 HGX 平台合計 1,128 GB VRAM，可以同時掛載多個大模型、支撐跨部門的併發，也能讓單一大模型搭配很長的上下文。這一層的卡之間以 NVLink 互連，跨卡切分模型的代價遠低於 PCIe 方案。

真正的門檻在機房。八張卡在最高功耗設定下光 GPU 就約 5.6 kW，加上 CPU、風扇與電源轉換損耗之後，單台機器的實際用電會更高，多數企業既有的機櫃配電容納不下。走到這一層，機電與空調的評估要和硬體選型同時進行，不能等機器到了再說。

旗艦系統：多數推論需求不必走到這裡

DGX B300 這一級的系統，八張 B300 的 GPU 記憶體合計 2.3 TB（主機記憶體另計），NVIDIA 標示的消費功率為 14.5 kW，系統最大 15 kW；它是 10U 的機架式系統，不是一整座機櫃。這類系統同時支援訓練、微調與推論，但如果需求只有推論，即使是全公司規模的推論，通常在上一層就能滿足，多花的預算不會換到對應的體感差異。

判斷方法很簡單：如果沒有人在訓練或微調自己的模型，也沒有計畫要做，這一層的預算通常花得不值得，不是因為它做不到推論，而是因為上一層已經夠用。與其把預算壓在硬體，不如留給資料整備與應用開發，那才是地端 AI 專案成敗的主要變因。

四種常被拿來比較的替代平台：RTX 5090、DGX Spark、Mac Studio、AMD Instinct

上面四層走的是 NVIDIA 資料中心產品線，但實際評估時，另外四種平台幾乎一定會被提出來討論。它們改變的不是效能高低，而是「記憶體容量」與「記憶體頻寬」之間的取捨，以及軟體生態要付出的代價。

規格以各原廠公布資料為準，整理時間為 2026 年 8 月。AMD 前一代的 Instinct MI325X 為 256 GB HBM3E、6 TB/s、TDP 1,000W，若採購時程較長，兩代都值得一併詢價。

容量決定放不放得下，頻寬決定跑多快

這張表最值得看的是第二欄和第三欄的落差。模型能不能載入，看的是記憶體容量；載入之後每秒能吐幾個字，在解碼階段主要受記憶體頻寬支配。DGX Spark 的 128 GB 與 Mac Studio 的 256 GB 都能塞進 5090 放不下的模型，但頻寬分別只有 273 GB/s 與 819 GB/s，對照 5090 的 1,792 GB/s，同一個模型的生成速度會明顯較慢。

所以這兩類機器的定位很清楚：大容量低頻寬的平台適合「先確認這個大模型的輸出品質可不可用」，一旦要讓多位使用者同時線上使用，還是得回到高頻寬的資料中心卡。反過來，5090 的頻寬很好看，但 32 GB 的容量會把選擇限制在中小模型或高度量化的版本。

MoE 還是 dense，決定統一記憶體適不適合你

上一段的頻寬結論還有一個關鍵前提：你要跑的是哪一種架構。dense 模型每產生一個 token，都要把整組權重從記憶體讀過一遍，所以生成速度幾乎直接被記憶體頻寬綁死。MoE（混合專家）模型則是把參數拆成許多專家，每個 token 只啟用其中一小部分，需要讀的資料量遠小於模型的總大小。

Gemma 4 同時提供 31B dense 與 26B-A4B 兩種版本，總參數量接近，但每個 token 要讀的量差了好幾倍，是最乾淨的對照組。模型資訊以各專案官方公布為準，整理時間為 2026 年 8 月。

這正是統一記憶體平台的甜蜜點。Mac Studio 與 DGX Spark 的特徵是容量大、頻寬低，剛好對上 MoE 的形狀：需要足夠的容量把整個模型放進記憶體，但每個 token 只讀一小部分，低頻寬的懲罰因此小很多。以 Qwen3-235B-A22B 為例，Q4_K_M 量化後約 130 GB，256 GB 的 Mac Studio 放得下，還留得出 KV cache 的空間。

反過來，dense 模型在統一記憶體機器上會被頻寬拖住：容量明明夠，但每個 token 都要讀完整組權重，生成速度就是快不起來。要跑 dense 的 70B 級模型並且在意回應速度，該選的還是高頻寬的 GPU，而不是大容量的統一記憶體。

所以在看這些平台之前，先確認一件事：你打算跑的是 MoE 還是 dense。要跑 DeepSeek、Qwen3 這類大型 MoE，統一記憶體是性價比很好的一條路；要跑 Gemma 這類 dense 模型並追求吞吐，就回到前面四層的 GPU 方案。

授權與生態的代價要算進去

三個平台各有一項不在規格表上、但會直接影響可行性的限制。RTX 5090 是消費級產品，NVIDIA 的驅動授權條款不允許資料中心部署，保固也排除商用 GPU 叢集用途，這使它在正式服務上的角色受限。Mac Studio 的問題不在硬體而在生態：主流的企業推論框架與 CUDA 工具鏈都不適用，實務上要走 MLX 或 llama.cpp 這條路，團隊要有心理準備。AMD Instinct 的硬體規格很有競爭力，代價是整條軟體堆疊走 ROCm，導入前必須逐項確認你要用的推論框架、量化格式與模型都在支援清單上。

評估這四個平台時，建議把問題拆成三段依序回答：容量放不放得下、頻寬夠不夠快、軟體生態要付多少工。前兩項看規格表就能判斷，第三項才是真正決定專案時程的地方。

單卡與多卡：什麼時候該加卡，什麼時候不該

加卡不是萬用解。多張卡之間怎麼連，決定了它們能不能當成一台大機器用。NVIDIA 的 NVLink 5 提供每張 GPU 最高 1.8 TB/s 的雙向頻寬，而 PCIe 5.0 x16 的理論雙向頻寬是 128 GB/s，兩者差距約 14 倍。

這個差距決定了兩種用法的分界。要把一個放不進單卡的模型切開跨卡執行（張量並行），卡與卡之間必須頻繁交換中間結果，這時候 PCIe 的頻寬會成為瓶頸，NVLink 平台才划算。反過來，如果模型本來就放得進單卡，只是人多不夠用，那麼讓每張卡各跑一份完整模型、用負載平衡分流，效率通常比切分更好，也不必為了互連規格多付錢。

所以順序是：先問模型放不放得進單卡。放得進，加卡是為了併發，PCIe 就夠；放不進，加卡是為了容量，才需要認真評估 NVLink。

機房檢查清單：下單之前先確認七件事

地端 AI 專案延誤的原因，常常不是模型選錯，而是機器到了卻上不了線。下單前把這七項確認完，可以省下最貴的那種等待。

• 機櫃配電：既有迴路能提供多少 kW，是否需要新拉專用電路，插座規格與機器要求是否相符。
• 散熱能力：機房空調能否吃下新增的熱負載，氣流方向與機櫃前後配置是否相容。
• 機架深度與承重：GPU 伺服器通常比一般伺服器更深更重，既有機櫃不一定放得下。
• 不斷電系統：UPS 容量是否涵蓋新增負載，以及斷電時要優先保住哪些服務。
• 網路頻寬：使用者到伺服器的連線，以及模型與資料的傳輸路徑是否足夠。
• 備品與保固：故障時備品多久能到、是否為原廠保固、是否含到府服務。
• 維運人力：誰負責更新驅動與韌體、誰監控溫度與健康狀態、誰在半夜處理告警。

自建 AI 伺服器、整機採購，還是 AI 一體機？三種取得方式

同樣的硬體規格，可以用三種方式取得，差別在於誰承擔整合與維運的責任。

自組的硬體成本最低，代價是相容性測試、韌體與驅動維護都要自己來，保固分散在不同供應商手上，出問題時容易互相推責。適合已經有伺服器維運能力的團隊。

整機採購從伺服器廠商買已驗證的機型，硬體層的相容性與保固有單一窗口，但作業系統之上的推論引擎、模型管理、權限稽核仍然要自行建置。這是目前最常見的做法。

一體機把硬體、推論引擎與管理軟體一起交付，單價最高，換到的是從安裝到維運的單一責任窗口，以及不必自行摸索軟體堆疊的時間。適合沒有專職 AI 基礎設施團隊、但需要正式導入的企業。

QubicX：把硬體、推論引擎與管理一起交付

QubicX 屬於上述的一體機類型。LargitData 依企業要跑的模型與併發需求規劃硬體配置，交付時已含預優化的 GPU 硬體、預載繁體中文優化模型、企業級的權限管理與稽核日誌，以及內建的知識庫 RAG 引擎，並由台灣在地團隊負責從安裝到維運的全程支援。

如果貴單位還在確認需要哪一層級距，我們可以先依實際的模型與併發條件做一次規格試算與實測驗證，再決定要不要走一體機這條路。

延伸閱讀

• GPU 伺服器 vs 雲端 API：企業 AI 基礎設施選型：先確認該不該買機器，這頁有完整的損益平衡試算。
• 地端 AI 方案總覽與比較：企業部署完整指南：機器決定之後，上面要跑哪一套軟體。