LargitData — 企業情報與風險 AI 平台

最後更新:

GPU 伺服器 vs 雲端 AI API:企業 AI 基礎建設費用完整試算指南

「自購 GPU 伺服器到底合不合算?」是企業導入 AI 時最常提出的財務問題。雲端 AI API 的低門檻誘人,但隨著使用量增加,帳單也快速攀升。本文以真實的硬體規格與 API 費率為基礎,提供企業決策者完整的財務試算方法,包括損益平衡點計算、電費與維護隱藏成本、以及現金流比較,協助您做出最符合財務效益的決定。

GPU 伺服器採購成本解析

企業級 GPU 伺服器的採購成本差距懸殊,從數十萬台幣到數千萬台幣不等,主要取決於 GPU 型號、數量和配套硬體。以下以幾個常見的企業部署配置進行成本解析:

部署規格 GPU 配置 硬體採購成本估算 可運行的模型規模 每月最大推論量(估)
入門型(中小企業) 2× RTX 4090(各 24GB) NT$40~60 萬(含伺服器主機) 7B~13B 量化模型 約 2~5 億 tokens
標準型(中型企業) 4× NVIDIA L40S(各 48GB) NT$200~300 萬(含伺服器) 70B 量化模型 約 10~30 億 tokens
企業型(大型企業) 8× NVIDIA A100-80G(SXM) NT$700~1,000 萬(DGX A100) 70B 全精度 / 405B 量化 約 50~200 億 tokens
旗艦型(AI 中心) 8× NVIDIA H100-80G(SXM5) NT$1,200~2,000 萬(DGX H100) 405B 全精度 / 訓練微調 約 100~500 億 tokens

以「標準型」4× L40S 配置為例,硬體成本約 NT$250 萬,按 5 年折舊計算,月均折舊費用約 NT$4.2 萬。加上平台軟體年費(約 NT$40 萬/年)和電力成本(每月約 NT$1.5 萬),月均總持有成本約 NT$9~10 萬。若這套系統每月能產生 10 億 tokens 的推論量,則每百萬 tokens 的成本約為 NT$9~10 元。

需注意,以上採購成本估算基於 2024~2025 年的市場行情,GPU 市場因 AI 需求旺盛仍有波動。企業採購時建議向多家系統整合商詢價,並確認是否包含作業系統授權、3 年硬體保固和安裝調試服務。部分廠商提供 GPU 伺服器的金融租賃(Financing Lease)方案,可將大筆資本支出轉為每月固定費用,改善現金流。

雲端 AI API 費用結構與試算

雲端 AI API 的費用結構通常以「每百萬 tokens」計費,分為輸入(input)和輸出(output)兩部分,輸出 tokens 通常比輸入貴 2~5 倍。以下列出主要雲端 AI 服務的費率(以 2025 年市場價格為參考):

服務 模型 輸入費率(/百萬 tokens) 輸出費率(/百萬 tokens) 1 億 tokens 月費估算(3:1 輸入輸出比)
OpenAI GPT-4o USD $2.50 USD $10.00 約 NT$19,000~25,000
OpenAI GPT-4o mini USD $0.15 USD $0.60 約 NT$1,200~1,600
Anthropic Claude 3.5 Sonnet USD $3.00 USD $15.00 約 NT$23,000~30,000
Google Gemini 1.5 Pro USD $1.25 USD $5.00 約 NT$9,500~13,000
Azure OpenAI GPT-4o USD $2.50 USD $10.00 約 NT$19,000~25,000(同 OpenAI)

以每月使用 1 億 tokens、GPT-4o 為例(3:1 輸入輸出比,即 7,500 萬輸入 + 2,500 萬輸出),月費計算如下:輸入費用 = 75 × $2.50 = $187.5,輸出費用 = 25 × $10.00 = $250,合計 $437.5 USD,約 NT$14,000。全年費用約 NT$17 萬,3 年約 NT$50 萬,5 年約 NT$85 萬。

但若使用量成長到每月 10 億 tokens(中型企業的實際使用量),同樣的試算結果會是:月費約 NT$14 萬,年費約 NT$170 萬,5 年累計費用約 NT$850 萬——這已超過一套標準型地端 GPU 伺服器(NT$250 萬)的 5 年總持有成本。這個對比清楚說明了為何高使用量的企業傾向選擇地端部署。

損益平衡點計算方法

損益平衡點(Break-Even Point)是地端部署累計成本等於雲端 API 累計成本的時間點。以下提供計算公式與範例:

計算公式

設定:地端固定成本 = H(硬體採購)+ S(軟體平台年費)× N 年 + E(電費)× N 年 + L(人力)× N 年;雲端變動成本 = P(每 token 費率)× M(月使用量)× 12 × N 年。損益平衡點即求解 H + (S+E+L) × N = P × M × 12 × N。

試算範例一:月使用量 2 億 tokens,使用 GPT-4o

  • 地端(標準型 4× L40S):硬體 NT$250 萬 + 軟體 NT$40 萬/年 + 電力 NT$18 萬/年 + 人力 NT$30 萬/年 = 固定 NT$250 萬 + 年運營 NT$88 萬
  • 雲端(GPT-4o,2 億 tokens/月):月費約 NT$28 萬 → 年費約 NT$336 萬
  • 損益平衡:250 + 88×N = 336×N → N ≈ 1.0 年(約 12 個月後地端累積成本低於雲端)

試算範例二:月使用量 5,000 萬 tokens,使用 GPT-4o

  • 雲端年費:約 NT$84 萬
  • 損益平衡:250 + 88×N = 84×N → 此情境雲端成本低於地端年運營成本,地端不合算(除非有其他合規或安全要求)

此試算顯示,月使用量在 5,000 萬 tokens 以下時,使用入門級雲端模型(如 GPT-4o mini)的成本遠低於地端。月使用量在 1~2 億 tokens 以上、且使用中高端模型時,地端部署在 1~2 年內達到損益平衡。月使用量超過 5 億 tokens 的大型企業,地端部署的成本優勢相當顯著。

電費與維護的隱藏成本

地端 GPU 伺服器的持有成本中,電費和維護費用是容易被低估的隱藏支出,必須在 TCO 試算中完整納入。

電費計算

4 卡 NVIDIA L40S 伺服器的典型滿載功耗約為 3,000W(含 CPU、記憶體、儲存和散熱),推論工作負載下平均使用率約 60~70%,平均功耗約 2,000W。以台電商業電費(約 NT$4.0/度)計算,每月電費 = 2kW × 24小時 × 30天 × NT$4.0 = NT$5,760,約 NT$6,000/月,年電費約 NT$72,000。

8 卡 A100-80G 伺服器(DGX A100)的滿載功耗可達 6.5kW,年電費可能達到 NT$18~25 萬。高效能機房通常還有 PUE(Power Usage Effectiveness)係數的額外電力損耗(冷氣和基礎設施用電),實際電費應再乘以 PUE 值(一般機房約 1.4~1.7)。

硬體維護與保固

新購 GPU 伺服器通常含 3 年原廠保固。保固期後的年維護費用估算:伺服器本身約 NT$5~10 萬/年(維護合約或備品費用)。此外需考慮散熱風扇、電源供應器等易耗品的更換費用。高端 GPU(如 A100、H100)較少在保固期內故障,但一旦故障維修成本相當高,建議購買延長保固或備用卡。

機房空間成本

若企業在自有機房部署,需計算機房租金(或攤銷)和空間成本。若使用 IDC 機房租用機櫃,一個標準 42U 機櫃含電力和頻寬的月租費在台灣約 NT$15,000~50,000,依電力規格和機房等級而異。這部分成本在 TCO 試算中常被遺漏,但對最終數字有顯著影響。

現金流與財務影響分析

除了總擁有成本的絕對數字,現金流時序(Cash Flow Timing)對企業財務規劃同樣重要。地端採購需要在採購時一次支付大額資本支出,對企業的流動資金有立即影響;雲端服務則將費用分散在使用期間,財務壓力較小。

融資採購 vs 直接採購

許多 GPU 伺服器供應商和銀行提供設備融資方案,企業可以選擇 3~5 年期的分期付款,將大筆資本支出轉為每月固定費用。以 NT$300 萬的設備為例,5 年融資(年息約 3~5%)的月付款約 NT$5.5~6 萬。這與月使用量達到一定規模後的雲端月費相比,融資後的月付金額可能更具競爭力。

折舊攤銷與稅務效益

GPU 伺服器屬於固定資產,可依稅法規定進行折舊扣除。台灣稅法下的電腦設備折舊年限為 3 年(直線法或加速折舊),意味著 NT$300 萬的硬體每年可攤銷 NT$100 萬,對應節稅效益(以 20% 企業所得稅率計算)每年約 NT$20 萬。5 年期的累積節稅效益約 NT$40~50 萬(依折舊方法和稅率而異)。

雲端 vs 地端 5 年現金流比較

以月使用量 3 億 tokens、GPT-4o 等級模型為基準:雲端方案每月固定支出約 NT$42 萬(年費 NT$504 萬),5 年累計支出約 NT$2,520 萬;地端方案(以標準型配置)5 年累計支出包括硬體 NT$250 萬 + 軟體 NT$200 萬 + 電力 NT$90 萬 + 人力 NT$150 萬 = 約 NT$690 萬,5 年節省約 NT$1,830 萬,投資回報率相當顯著。

適合自購 GPU 的企業條件判斷

綜合以上分析,以下清單協助企業判斷是否適合投資自購 GPU 伺服器:

  • 月 LLM 推論使用量穩定在 1 億 tokens 以上(以中高端模型計算)
  • 有明確的 AI 應用場景,且預期使用量在未來 2~3 年持續增長
  • 處理的資料有資安合規要求,不適合外送雲端服務(加速財務合理性)
  • 企業具備或可取得基本的伺服器維運能力(或有供應商提供一站式服務)
  • 有機房空間(自有或IDC租用),且電力供應足夠(至少 5kVA 可用)
  • 財務上能接受前期資本支出(或有融資方案支持)

若以上條件符合 4 項以上,自購 GPU 伺服器很可能是更具長期財務效益的選擇。若符合 2 項以下,雲端 AI API 可能是現階段更合適的起點,待使用量和需求明確後再評估是否轉換地端部署。

LargitData 的 QubicX 方案提供明確的 TCO 試算服務——企業只需提供當前和預期的使用量數據,我們的顧問即可提供詳細的 5 年財務比較分析,協助您做出基於數據的決策,而非僅依賴感性判斷。

延伸閱讀

常見問題

運行 70B 量化模型(如 Llama 3.1-70B Q4)需要約 40~48GB VRAM,可以使用 2× RTX 6000 Ada(各 48GB)或 1× NVIDIA L40S-48G + 1× L40S-48G(多 GPU 推論)等配置。完整伺服器(含 CPU、記憶體、儲存)的採購成本大約在 NT$150~300 萬之間。若使用 1~2 張 A100-80G(各 80GB,可完整容納 70B 模型而不量化),成本則在 NT$200~400 萬。
以 4 卡 L40S 伺服器為例,推論負載下的平均功耗約 2~2.5kW,以台電商業電費 NT$4.0/度計算,月電費約 NT$6,000~8,000。8 卡 A100 伺服器的月電費約 NT$15,000~25,000。這個金額相對於雲端 API 費用通常是小數目,但在長期 TCO 試算中仍需納入。若在 IDC 機房,還需加計機房服務費。
幾個常見的雲端 API 費用優化方式:1. 根據任務複雜度選擇合適的模型等級(簡單分類任務用 mini 模型,複雜推論才用旗艦模型)。2. 使用 Prompt 緩存(Prompt Caching)減少重複的系統提示 tokens 費用。3. 批次 API(Batch API)通常比同步 API 便宜 50%。4. 壓縮系統提示和少樣本示例的 tokens 數量。這些優化可節省 30~60% 的 API 費用,但當使用量達到一定規模後,仍不如地端部署的長期成本低。
可以。多種金融工具可用於 GPU 伺服器採購:1. 設備融資貸款(Equipment Loan):銀行或設備廠商提供,3~5 年期,通常需要設備本身作為擔保,年利率約 3~6%。2. 融資租賃(Finance Lease):租賃公司購入設備後出租,企業每月付租金,租期結束後可以象徵性價格取得設備所有權,可整批費用化改善財報。3. 廠商分期(Vendor Financing):部分 GPU 伺服器廠商或系統整合商提供直接分期付款,手續較簡便。LargitData 可協助評估並對接合作的金融方案。
企業級 GPU(如 A100、H100)因設計壽命長,在帳面折舊完成後通常仍有實際使用價值和二手市場殘值。NVIDIA 資料中心 GPU 的二手市場相對活絡,5 年後的二手價值估計約為原價的 20~40%(依市場供需和世代差距)。這個殘值在 TCO 計算中可視為「地端部署」的成本抵減,進一步改善投資回報率。雲端服務則完全沒有殘值。

參考資料

  1. OpenAI (2025). "OpenAI API Pricing." openai.com/api/pricing
  2. NVIDIA Corporation (2024). "NVIDIA L40S GPU Datasheet." nvidia.com
  3. 台灣電力公司 (2025).「電費費率表(商業用電)」. taipower.com.tw
  4. Varia, J., & Mathew, S. (2014). "Overview of Amazon Web Services." Amazon White Paper.

想取得精準的地端 vs 雲端費用比較試算?

告訴我們您目前每月的 AI 使用量和使用的雲端服務,LargitData 顧問將提供根據實際數據的費用比較分析,助您做出最佳投資決策。

申請費用試算