展覽 市場動態 處理器 頭條話題

代號「Hopper」,NVIDIA揭曉新一代加速運算等級H100 GPU
同步揭曉DGX H100與DGX SuperPOD with DGX H100等產品

如先前市場傳聞,NVIDIA正式在此次GTC 2022揭曉代號「Hopper」的新一代加速運算等級H100 GPU。

-
▲代號「Hopper」的新一代加速運算等級H100 GPU

依照說明,代號「Hopper」的GPU將涵蓋800億組電晶體,並且對應第四代NVLink技術,相比PCI Gen 5的傳輸頻寬增加7倍,本身則是以台積電客製化4N製程技術打造,對應每秒4.9TB傳輸頻寬,透過新增加的Transformer Engine設計,在對應全球最大單一規模、具備5300億組參數的變形金剛 (Transformer)語言模型MT-NLG (Megatron Turing Natural Language Generation Model),能有6倍運算效能表現,同時在機密運算、數位影像解析等運算提高應用範疇。

代號「Hopper」的H100 GPU在FP8精度運算效能為4000 TFLOPS,相較先前以Ampere架構打造的A100 GPU提高6倍運算效能,而FP16半精度運算效能則是2000 TFLOPS,相比A100 GPU提高3倍,至於在TF32單精度則達1000 TFLOPS,在FP64雙精度運算效能為60 TFLOPS,兩者相比A100 GPU均提高3倍運算效能。

而其他部分,則包含採用對應每秒3TB資料傳輸量的HBM高頻寬記憶體,可透過SXM介面形式,或是搭配資料傳輸量達每秒128GB的PCIe Gen 5連接埠卡式設計,本身更可透過第四代NVLink技術對應每秒達900GB的資料互連傳輸效率,SXM介面下的總熱設計功耗則是700W。

另外,H100 GPU也搭載第二代多執行個體GPU技術 (Multi-Instance GPU,MIG),可將單一GPU虛擬成七個完全獨立運作的執行個體,藉此以多工形式處理各類執行項目,因此也能更有利於執行各類雲端運算需求。

而透過DPX指令集,將可透過最佳決策運算提高執行效率,藉此讓人工智慧推論運算大幅加速。

至於實際供貨時間,NVIDIA預計會在今年第三季正式提供,並且配合Atos、BOXX Technologies、Cisco、Dell、富士通、技嘉、新華三 (H3C)、HPE、浪潮 (Inspur)、聯想、Nettrix與Supermicro等伺服器產品推出,並且將應用在阿里雲、AWS、百度智能雲、Google Cloud、微軟Azure、Oracle Cloud與騰訊雲等雲端服務。

-
▲以SXM介面設計的H100 GPU

配合此次公布H100 GPU,NVIDIA也宣布推出以8組H100 GPU構成、對應企業級人工智慧運算需求的DGX H100,以及透過32組DGX H100構成的新版DGX SuperPOD with DGX H100,最高對應1 EFLOPS AI運算能力,並且對應更大規模的超算運作模式建置設計,其中同樣以第四代NVLink技術串接,結合Quantom-2 InfiniBand交換器與高達20TB HBM3高頻寬記憶體。

-
▲以H100 GPU為基礎擴展的DGX H100、DGX SuperPOD with DGX H100,以及包含H100 CNX等加速運算產品

此外,NVIDIA此次也宣布以576組DGX H100構成名為EOS的超級電腦,透過500組Quantom-2 InfiniBand交換器、360組NVLink交換器串接構成,藉此對應各類雲原生運算需求使用,並且標榜能以隔離運算型態確保資料安全。

EOS相較目前以A100 GPU驅動的Summit超級電腦快上275 PFLOPS運算效能,並且在人工智慧運算對應18.4 EFLOPS效能表現,相較日本富岳超級電腦對應人工智慧處理效能約快上4倍。

針對主流伺服器產品加速運作需求,NVIDIA此次也宣布推出名為H100 CNX的聚合型加速器,透過PCI Gen 5連接埠形式相容既有伺服器產品,藉此實現運算加速需求。

-
▲H100 CNX聚合型加速器
-
▲透過NVLink交換器串接運算效能
楊又肇 (Mash Yang)
mashdigi.com網站創辦人兼主筆,同時也是科技新聞業流浪漢。

發表迴響