繼先前宣布加入NVIDIA NVLink Fusion生態系,使其Xeon CPU能與NVIDIA GPU加速運算系統更緊密結合之後,Intel在稍早的OCP Summit 2025期間展示一套客製化的混合式AI機架系統,其中採用NVIDIA B200 GPU、ConnectX-7網路卡與BlueField-3 DPU,甚至也結合博通的Tomahawk 5 51.2Tb/s交換器晶片。
鎖定「分離式推論」,Gaudi 3 負責解碼、B200 負責預填
這套系統展示名為「分離式推論」 (disaggregated inferencing) 架構,其核心概念是將AI推論工作負載的不同階段,交給最擅長的硬體處理。
在此架構下,由Intel Gaudi 3專注於其設計上具優勢的「解碼」 (Decode) 任務,而NVIDIA B200則負責其具有壓倒性效能的「預填」 (Prefill)任務。Intel方面宣稱,透過這種明確分工,能讓系統整體效率大幅提升。
Intel just took another step on combining forces 🔥 with NVIDIA by integrating their new Gaudi3 rack scale systems together with NVIDIA B200 via disaggregated PD inferencing. Intel claims that compared their B200 only baseline, and inferencing system using Gaudi3 for decode part… pic.twitter.com/jAKin6rgZx
— SemiAnalysis (@SemiAnalysis_) October 18, 2025
宣稱TCO提升1.7 倍
具體規格方面,這套運算機架搭載16個機架模組,每個機架模組包含2組Xeon CPU、4組Gaudi 3 AI晶片、4組ConnectX-7 400 GbE網路卡,以及1組NVIDIA BlueField-3 DPU。
Intel宣稱,這套混合式系統的TCO (總體擁有成本),相比全數使用B200 GPU的系統,能顯著提升1.7倍。
Gaudi未來成謎
不過,目前Intel Gaudi 3仍面臨軟體支援相容性不成熟的根本問題,同時依照目前Intel內部重整等情況來看,接下來是否仍會繼續發展Gaudi這條產品線,暫時還無法確認。
另一方面,NVIDIA預期會在明年上半年公布B200加速系統後繼產品,顯然也讓Intel提出此款混合式系統更像是為了清除Gaudi產品庫存,但也展示其未來XPU混合加速的技術藍圖樣貌,尤其在系統設計額外採用博通的Tomahawk 5 51.2Tb/s交換器晶片,而非直接採用NVIDIA Mellanox InfiniBand交換器設計,代表Intel即使獲得NVIDIA高額投資,依然不會僅全面採用NVIDIA提供設計方案。