隨著生成式AI與預(yù)測式AI技術(shù)的蓬勃發(fā)展,AI服務(wù)器面臨著前所未有的性能與能效挑戰(zhàn)。在這一背景下,NVIDIA推出了其最新的DGX B300 AI加速系統(tǒng),攜手Intel至強6系列處理器,共同定義了AI計算的新標(biāo)桿。
NVIDIA DGX B300系統(tǒng)內(nèi)置雙路Intel至強6776P處理器,作為主控CPU,至強6776P以其64個核心(128線程)、高達(dá)4.6GHz的PCT睿頻能力,為AI加速系統(tǒng)提供了強大的任務(wù)管理和預(yù)處理性能。這一組合不僅確保了AI模型訓(xùn)練過程中數(shù)據(jù)的高效供給,還維持了AI處理器的理想運行狀態(tài)。
至強6系列處理器的IO性能同樣令人矚目,支持多達(dá)96條PCIe 5.0通道,為不同加速器和擴(kuò)展卡提供了充足的帶寬和靈活性。此外,其內(nèi)存支持也達(dá)到了新的高度,不僅支持DDR5-6400內(nèi)存,還率先引入了MRDIMM內(nèi)存技術(shù),頻率可高達(dá)8800MHz,為內(nèi)存敏感性AI負(fù)載提供了無與倫比的帶寬與容量。
在AI加速系統(tǒng)中,數(shù)據(jù)預(yù)處理和卸載是CPU的重要職責(zé)之一。至強6系列處理器通過支持AMX(高級矩陣擴(kuò)展)指令,新增對FP16數(shù)據(jù)格式的支持,有效提升了這一過程的效率。隨著MoE、MLP等模型的流行,CPU上卸載部分工作已成為趨勢,至強6系列處理器正為此做好了準(zhǔn)備。
除了強大的性能外,至強6系列處理器還具備出色的RAS(可靠性、可用性、可維護(hù)性)特性,這對于工作站、服務(wù)器和數(shù)據(jù)中心硬件至關(guān)重要。通過多項高級管理功能,至強6系列處理器能夠大大減少大規(guī)模停機時間,避免高額損失。
NVIDIA DGX B300系統(tǒng)與Intel至強6776P處理器的結(jié)合,不僅展現(xiàn)了雙方在技術(shù)上的深厚積累,更為AI加速系統(tǒng)提供了理想的選擇。這一組合在工作負(fù)載性能、總體擁有成本之間達(dá)到了理想的平衡,為AI計算開啟了新的篇章。無論是從性能、能效還是兼容性的角度來看,Intel至強6系列處理器都是AI加速系統(tǒng)中主控CPU的理想之選。