LargitData — 企業情報與風險 AI 平台

部落格 — LargitData AI 與大數據技術文章

MLX 推論框架基準測試：Apple Silicon M5 Max 跑 35B LLM 實測比較

  • LargitData
  • MLX,Apple Silicon,LLM benchmark,QubicX,地端AI,M5 Max,大數軟體
  • May 10, 2026, 2:43 p.m.
MLX 推論框架基準測試：Apple Silicon M5 Max 跑 35B LLM 實測比較

在 Apple M5 Max（64 GB 統一記憶體）上以 35B 量化 MoE 模型實測 rapid-mlx、omlx、dflash-mlx、mlx-vlm 四大 MLX 推論框架，涵蓋 64 至 32K Tokens 七個上下文長度的解碼速度、TTFT 與穩定度比較，並提供企業地端 AI 選型建議。原始基準測試資料由 ywchiu/mlx_benchmark_lab 開源公開。

閱讀更多

MLX Inference Benchmark: 4 Frameworks on Apple M5 Max with 35B LLM

  • LargitData
  • MLX,Apple Silicon,LLM benchmark,QubicX,on-premise AI,M5 Max,LargitData
  • May 10, 2026, 2:43 p.m.
MLX Inference Benchmark: 4 Frameworks on Apple M5 Max with 35B LLM

Real benchmark of four MLX inference frameworks (rapid-mlx, omlx, dflash-mlx, mlx-vlm) on Apple M5 Max with 64 GB unified memory using a 35B quantized MoE model across seven context lengths (64 to 32K tokens). Decode speed, TTFT, stability, and enterprise on-premise AI selection guide. Source data from ywchiu/mlx_benchmark_lab.

閱讀更多

OpenAI終於真正開源！GPT-OSS模型引領企業AI私有化風潮

  • 大數軟體
  • OpenAI GPT-OSS MAC DGX-Spark QubicX 企業AI轉型 開源大型語言模型
  • Aug. 11, 2025, 11:23 p.m.
OpenAI終於真正開源！GPT-OSS模型引領企業AI私有化風潮

OpenAI推出兩款採用MOE架構的開源大型語言模型OSS 120B和OSS 20B，其中OSS 120B雖有120B參數但實際運行只需啟用5.1B，大幅降低了硬體需求！代表從過去動輒兩三百萬的GPU投資，降到只需20-30萬的Mac電腦即可運行。搭配大數軟體的QubicX平台，企業可快速部署AI對話、RAG知識管理、OCR語音轉文字、自動合約生成等應用，且能在本地部署確保資料隱私。這標誌著企業AI私有化時代的來臨，讓中小企業也能以可負擔的成本享受頂尖AI能力，是企業進行AI轉型的最佳時機。

閱讀更多