Tag: NVLink

Arm宣布將進一步增強與NVIDIA的技術合作，正式將NVIDIA的互連技術NVLink Fusion整合至Arm旗下的資料中心級處理器平台Neoverse中，將讓採用Neoverse架構的生態系夥伴，能夠選擇NVLink高速互聯技術進行異構與協同運算，藉此消除AI系統在記憶體與頻寬上的瓶頸，並且為客戶提供更多元的資料中心架構彈性。 透過AMBA CHI C2C實現高頻寬連接 具體技術細節上，NVLink Fusion將為生態系夥伴提供AMBA CHI C2C (Chip-to-Chip)的對接介面。這項技術定義CPU與加速器 (或GPU) 之間建立一致且高頻寬連接的關鍵協定。 Arm表示，將為Neoverse平台提供最新的AMBA CHI C2C協議，並且確保與NVLink Fusion的C2C相容性。這意味採用NVLink Fusion設計方案的客戶，將能更快速地完成系統整合並加速產品上市，直接受惠於高頻寬連接所帶來的AI效能提升。 有利AWS、Google等大廠自研晶片整合 目前包括AWS、Google、微軟、甲骨文與Meta等大型資料中心與系統業者，都已先後藉由Arm Neoverse架構設計自主伺服器處理器。 雖然NVIDIA本身也投入基於Neoverse的CPU開發 (例如Grace)，但透過此次深化合作，NVIDIA將允許這些將重心放在「自行設計CPU」的大型客戶，即使不採用 NVIDIA CPU，也能透過NVLink Fusion獲得與NVIDIA GPU完整且高效的加速性能。 暗示NVIDIA加速重心仍在大規模GPU 而此策略也被解讀為NVIDIA可能暗示其技術發展重心仍聚焦於GPU本身。 對於其他Arm架構CPU業者而言，除非像Qualcomm此類早期宣布加入NVLink Fusion聯盟的客戶，多數業者可能仍會面臨市場優先選擇NVIDIA官方「CPU+GPU」完整組合方案的競爭壓力。 ...

NVIDIA於Computex 2025期間宣布推出NVLink Fusion半客製化人工智慧基礎建設解決方案計畫，讓第三方晶片業者能使用其NVLink與NVLink-C2C連接技術，開放其他業者將其客製化處理器與NVIDIA的Blackwell GPU，甚至是下一代Rubin CPU結合，藉此創造更符合客製化需求的人工智慧運算平台，而包含Alchip (世芯)、Marvell、Marvell、Qualcomm、Cadence (益華)、Synopsys (新思科技)在內業者都已經與NVIDIA建立合作關係。 而在Hot Chips活動上進一步說明中，NVIDIA表示NVLink Fusion並非僅能搭配NVIDIA產品連接，意味使用此設計方案的晶片業者能以此連接客製化處理器及任何加速運算元件，例如GPU、NPU、XPU等，藉此擴展更多異構運算應用可能性，同時也能加速NVIDIA NVLink技術普及化應用。 此舉也意味NVLink Fusion將成為NVIDIA擴展其技術全新平台，除了吸引更多業者藉由NVLink建構更多異構運算平台，另一方面也能吸引業者藉由NVLink技術串接NVIDIA的加速運算產品，例如當前的Blackwell顯示架構GPU，或是NVIDIA以Arm架構打造的Grace CPU產品，藉此擴大與市場業者緊密合作。 彈性組合支援各式CPU/XPU配置 NVIDIA表示，NVLink Fusion可支援三種組合模式，分別包含客製化CPU、客製化XPU，或是CPU與XPU的組合，其中XPU更指任何運算元件，藉此提供更高組合配置彈性。 若其中一端為單一XPU，則可透過開放的UCIe連接介面進行橋接，並且透過NVLink連接其他運算元件，並非僅能受限使用NVIDIA運算產品。 而如果是客製化處理器搭配NVIDIA GPU組合的情況，NVIDIA則建議在處理器採用NVLink-C2C技術，藉此實現原生高速互聯效果。不過，若兩端都是第三方客製化處理器的情況，目前NVIDIA具體說明實際連接架構，但預期仍可透過NVLink-C2C技術進行互連。 異構運算需求帶動晶片互聯創新 隨著AI與HPC系統對運算頻寬需求急速上升，晶片間高速互聯的重要性愈發凸顯。NVLink Fusion的開放策略，允許晶片廠客製化處理器藉由NVLink技術串接更多異構運算元件，藉由已經在市場成熟化的NVLink技術，將能藉由建構生態系統加速晶片協同運算與系統整合成長。 目前NVLink Fusion聯盟成員各有不同應用方向，其中聯發科利用NVLink提供車用晶片，並且與NVIDIA合作打造GB10運算平台，而Qualcomm則計畫藉由NVLink技術再次佈局資料中心發展，預計會在今年於夏威夷舉辦的Snapdragon Summit大會公布相關產品，至於富士通則在與日本理化學研究所合作中，預計在下一代超級電腦「富岳Next」以NVLink技術結合NVIDIA GPU設計。   開放生態加速機架級系統佈署 ...

公布新一代人工智慧基礎架構打造的Jericho4乙太網路交換式路由器平台之後，博通資深副總裁暨核心交換器部門總經理Ram Velaga在台北舉辦的2025 OCP APAC Summit (2025開放運算計畫亞太峰會)期間進一步說明採開放架構的網路平台優勢，並且強調能比NVIDIA藉由自身提出的NVLink技術，以及後續收購Mellanox取得InfiniBand及Spectrum技術所建構網路架構更具競爭力。  ▲博通資深副總裁暨核心交換器部門總經理Ram Velaga Ram Velaga表示，過去大型分散運算式架構主要用於複雜運算、能源探勘，或是諸如Google Search等大規模資料搜尋服務，而目前則是廣泛用於大型人工智慧運算，對應超過100萬組加速器規模，並且支撐大型語言模型運作。 在運算架構中，目前主流作法會以GPU作為加速器，並且透過堆疊方式提高單一運算叢集執行效能，同時再以網路連接方式橫向擴展運算規模，藉此形成更龐大的運算資源。不過，除了NVIDIA是以GPU加速為主，市場也有不少加速運算是透過CPU堆疊，甚至透過ASIC形式打造的運算元件 (例如Google的TPU)作為設計，藉此對應不同的運算佈署需求。 因此相較NVIDIA是以其NVLink技術將自身GPU產品與不同CPU連結，藉此達成加速運算效能垂直提升，並且透過InfiniBand、Spectrum技術橫向擴展運算規模，Ram Velaga強調博通看重的是以開放架構的乙太網路 (Ethernet)系統，建構更具彈性且符合低延遲需求的加速運算系統，同時避免相關技術受限於特定廠商的運作方式。 Ram Velaga指出，即使NVIDIA在今年Computex 2025宣布提出進一步開放與更多運算平台合作的NVLink Fusion，標榜能讓合作夥伴以其偏好、設計的運算平台，結合NVIDIA的GPU發揮更高執行運算效能，但整體來看仍會受限於NVIDIA願意開放多少資源，因此強調在全面開放、採業界標準設計的乙太網路系統才能推動更大加速運算生態。 在進一步說明中，Ram Velaga表示即使在NVLink技術下的延遲時間更低，但博通在日前提出的Tomahawk Ultra交換器處理晶片也能對應相當低的資料傳輸延遲表現，同時在可連接加速器數量更多，而對應的傳輸頻寬表現也更高，加上採用開放架構的乙太網路系統，將能更不受特定廠商技術限制地建構超大規模加速運算系統。 ▲博通針對不同運算需求個別提出Tomahawk Ultra、日前更新的Tomahawk 6，以及此次更新的Jericho4乙太網路交換式路由器晶片 Ram Velaga認為乙太網路的開放架構將是未來加速運算發展基礎，同時也能藉由更容易連結不同加速器，配合不同運算需求進行彈性佈署，而非僅能選擇特定廠商的少數技術資源。 另一方面，Ram Velaga也強調博通提出產品提供更高資料交換時的傳輸頻寬，因此能使網路系統的交換路徑進一步簡化，意味可讓整體傳輸延遲大幅降低、減少資料傳輸壅塞問題，同時也能藉由簡化傳輸路徑減少線路分布、交換器數量等所產生成本，更容易讓用戶能將分散在各地的小型資料中心以網路連結整合成大型運算叢集。 ...

在日前於中國舉辦的RISC-V Summit China高峰會中，NVIDIA硬體工程副總裁Frans Sijsterman表示將使CUDA加入支援RISC-V架構處理器，意味這套深度學習與GPU加速應用的關鍵技術，將可在更多元的處理器生態中運行，進一步擴展異構運算的可能性。 過去CUDA主要用於x86或Arm架構處理器平台運作，此次宣布支援RISC-V架構處理器，除了呼應NVIDIA在其GPU產品的CPU搭配選擇保持開放策略，更凸顯NVIDIA對於中國市場的重視，尤其在當前中美關係日趨緊張，加上Arm架構授權成本持續增加等情況下，不少中國業者開始以開源的RISC-V架構處理器取代過往x86架構或Arm架構處理器設計，而擴大支援RISC-V架構處理器也能讓NVIDIA擁抱更多發展機會。 Exciting news from #RISCVSummitChina, as Frans Sijstermans from NVIDIA announces CUDA is coming to RISC-V! This port will enable a RISC-V CPU to be the ...

CXL (Compute Express Link)技術規格是由Intel在2019年3月主導，由諸多業者加入合組聯盟，期望透過此高速介面標準解決CPU與加速器如GPU或FPGA之間溝通延遲，以及傳輸頻寬不足等問題，藉此因應日趨複雜的運算工作需求，尤其是當前日漸增長的人工智慧應用發展。 ▲CXL為超高速互連標準，解決不同運算元件之間溝通延遲，以及傳輸頻寬不足等問題(圖片來源：Samsung Semiconductor官網) 什麼是CXL？ 傳統運算架構中，CPU與GPU之間溝通是透過PCIe通道與PCIe設計協議，雖然PCI-SIG逐年推進PCIe規格設計，但顯然仍趕不上當前更龐大的數據運算需求，因此CXL技術規格的誕生，實際上就是為了改善CPU、GPU等運算元件之間溝通延遲、傳輸頻寬不足問題。 即便市場已經有NVIDIA提出其NVLink技術，但其僅適用於NVIDIA的GPU之間溝通，而CXL技術則可對應更多運算元件，同時也能夠成更大市場生態，藉此推動更多複雜運算應用發展。 CXL技術規格建立在既有PCIe 5.0、6.0規範，已經提出CXL 1.0、1.1、2.0，以及目前的3.0版本，其中1.0、1.1版本允許CPU直接與其他運算元件直連，但單次僅能實現一對一連結，直到2.0版本才能做到多對多連結，藉此增加更多運算配置彈性，同時更可動態分配記憶體使用區塊，藉此增加運算使用彈性，另外也增加資料加密機制，藉此提供更安全的運算表現。 ▲CXL技術規格已經對應多層式交換連接，更加入網狀(Mesh)或環狀(Ring)等非樹狀的交換連接架構，讓CPU能更具彈性地與更多運算元件進行溝通連結，並且改善多重存取能力(圖片來源：Samsung Semiconductor官網) 而目前進展的CXL 3.0版本，則是提供多層式交換連接，更加入網狀 (Mesh)或環狀 (Ring)等非樹狀的交換連接架構，讓CPU能更具彈性地與更多運算元件進行溝通連結，並且改善多重存取能力，藉此實現更複雜、規模更龐大的運算元件連接溝通。 相比1.0、1.1與2.0版本是以PCIe 5.0通道建立連結，最高可在單向傳輸實現最高每秒63GB的資料傳輸頻寬，或是在雙向時實現最高每秒126GB的資料傳輸頻寬，目前推進的3.0版本則改為PCIe 6.0通道規格，資料傳輸頻寬約比先前的版本提升一倍。 CXL技術以開放標準架構推動運算資料高速傳輸 CXL技術本身採開放標準架構設計，並且由Intel、三星、VMware在內業者共同推動其生態成長，並且能用於各類處理器、加速器、記憶體緩衝區塊，甚至各類I/O連接設計，藉此實現高速傳輸與低延遲數據通訊，讓當前記憶體容量、傳輸頻寬能突破既有規格瓶頸，並且帶動更大運算效能。 例如，Intel作為為CXL技術主要推動者之一，目前已經在其代號Sapphire Rapids的第四代Xeon Scalable系列處理器採用CXL設計，而AMD也在其代號「Genoa」的第四代EPYC處理器導入CXL技術，三星等記憶體大廠也積極開發支援CXL技術的DRAM記憶體模組，除此之外，記憶體模組、CXL控制器IP、伺服器ODM/OEM等業者也有所進展，顯示2025年相關軟硬體生態系成形，邁入實用化。 三星藉由CXL技術結合其DRAM記憶體設計打造的CMM-D (CXL Memory Module–DRAM)模組，可依照運算需求動態擴充記憶體容量配置，藉此符合數據密集型工作負載需求，同時也能因應日後算力需求增加擴充記憶體容量。而三星打造符合CXL ...

Qualcomm稍早宣布與英國晶片設計公司Alphawave Semi達成協議，將由Qualcomm Incorporated的間接全資子公司Aqua Acquisition Sub LLC進行收購，並且持有Alphawave Semi所有已發行與即將發行的普通股，所有交易金額約為24億美元。 而Qualcomm表示此筆交易將加速其進軍資料中心腳步，並且進一步強化其Oryon CPU及Hexagon NPU設計，同時滿足資料中心使用客製化處理器的需求。 Qualcomm執行長Cristiano Amon表示，Alphawave Semi開發的高速有線連接和運算算技術，對於Qualcomm在高性能CPU、NPU核心設計發展將能帶來相得益彰成效，同時Alphawave Semi總裁暨執行長Tony Pialis也指出，此筆交易將成為Alphawave Semi發展重要里程碑，並且將能為其客戶創造更大價值，更可讓Qualcomm的客製化處理器與資料中心工作負載完美契合。 此筆交易預計會在2026年第一季完成，同時合併後的團隊將以共同設計數據，推動資料中心運算處理器發展。不過，此筆交易仍需特定監管機構批准，同時也需要獲得多數Alphawave Semi投資者同意收購，以及英國高等法院裁決收購是否構成市場影響。 至於英國市場方面則認為次筆交易將對英國科技業發展造成衝擊，加上Alphawave Semi原本也是Arm全面設計生態系統重要合作夥伴之一，若Qualcomm順利收購Alphawave Semi，對於Arm推動其生態系統發展可能也會產生一定影響。 而Qualcomm在今年Computex 2025期間宣布與NVIDIA提出的NVLink Fusion設計合作，將以NVIDIA的NVLink技術讓Qualcomm CPU與NVIDIA GPU組合成資料中心加速運算架構，但此次宣布收購Alphawave Semi、強化資料中心應用佈局，顯然也是避免在此塊市場發展受限於仰賴NVIDIA技術。

在此次Computex 2025公布消息中，NVIDIA提出的NVLink Fusion半客製化人工智慧基礎建設解決方案，並且宣布與聯發科、Qualcomm在內業者合作成為亮點，但其中並未包含過往也與NVIDIA合作的博通 (Broadcom)，因此在NVIDIA執行長黃仁勳的全球媒體與分析師問答環節自然也有人對此提問。 ▲NVIDIA執行長黃仁勳 以開放態度歡迎博通隨時加入合作 不過，黃仁勳並未說明NVIDIA當前是否與博通之間是否形成競爭，而是強調以開放態度歡迎博通隨時加入合作。 黃仁勳表示NVIDIA的NVLink技術已經是第五代更新，並且在晶片對晶片之間的高速互聯累積不少經驗，因此熟知相關應用技術，尤其在當人工智慧技術發展趨勢下，可以藉由NVLink技術將諸多加速運算資源串接，進而形成更大規模的算力提升。 而宣布推出NVLink Fusion解決方案，藉此與聯發科、Qualcomm等業者合作，透過NVLink技術將合作夥伴的ASIC、CPU等運算元件串接，不僅能進一步讓NVIDIA的解決方案進入更多人工智慧應用場景，同時也能活用NVIDIA的加速運算資源，對NVIDIA後續發展都更為有利。 至於提出NVLink Fusion解決方案，某種形式上也會影響博通與Intel、AMD、Google、Meta、微軟、Cisco與HP在內業者共同提出網路互聯標準UALink (Ultra Accelerator Link)，或許正是基於此原因才導致博通並未出現在NVLink Fusion解決方案的合作名單內。 實際上就NVIDIA先前收購Mellanox，並且成為其網路業務的情況來看，NVIDIA雖然也維持與博通合作網路技術，但顯然在人工智慧應用的伺服器市場同時也會是市場競爭關係，若加上此次以NVLink Fusion解決方案與UALink競爭市場，更使NVIDIA與博通之間同為合作，又是競爭的關係變得更為顯著。 僅以ASIC設計難以支撐人工智慧快速發展節奏 而在提及NVLink Fusion解決方案時，黃仁勳同時也分享其對於ASIC特定應用積體電路發展看法。 黃仁勳認為ASIC設計發展同樣重要，但目前有多達90%的ASIC設計最後都以失敗收尾，原因在於此類設計通常是針對特定運算需求打造，在當前的人工智慧快速發展節奏下難以競爭。 以Google打造的TPU為例，此為Google以ASIC形式打造的加速運算元件，但主要用於Google旗下服務運算加速，若是其當前推動的Gemini人工智慧模型則依然是建立在NVIDIA的GPU加速資源上，並且針對不同運算形式提供加速效果。 因此，在談及NVIDIA旗下產品時，黃仁勳強調設計都是建立在相容結構，並且配合CUDA等軟體因應需求進行調整。黃仁勳表示，雖然NVIDIA每年都會讓產品運算效能提升，但客戶不一定需要每年跟著更新，透過軟體調整即可讓NVIDIA的運算產品符合使用需求，並且在一定使用週期更換後，仍可快速銜接先前運算應用需求。

除了在Computex 2025期間宣布與台灣生態鏈持續合作，並且公布台灣新辦公室將座落台北市北投士林地段，NVIDIA執行長黃仁勳更宣布推出為NVLink Fusion的半客製化人工智慧解決決案，標榜藉由NVLink高速連接設計，開放其他業者將其客製化處理器與NVIDIA的Blackwell GPU，甚至是下一代Rubin CPU結合，藉此創造更符合客製化需求的人工智慧運算平台。 ▲NVIDIA提出NVLink Fusion半客製化人工智慧基礎建設解決方案 而此方案實際上就是以先前與聯發科合作項目為基礎，目前包含Alchip (世芯)、Marvell、Marvell、Qualcomm、Cadence (益華)、Synopsys (新思科技)在內業者都已經與NVIDIA建立合作關係。 透過NVLink高速互連特性，NVIDIA將透過此半客製化人工智慧基礎建設解決方案設計，讓更多ASIC特殊應用處理器、客製化處理器能與NVIDIA提供運算資源結合，諸如NVLink-C2C、Grace CPU、Blackwell GPU，或是接下來將推出的Rubin CPU，除了進一步使其運算資源更加活用，同時也能讓更多合作夥伴藉由NVIDIA加速運算資源推動更豐富的人工智慧運算發展。 ▲透過NVLink高速互連特性，NVIDIA將透過此半客製化人工智慧基礎建設解決方案設計，讓更多ASIC特殊應用處理器、客製化處理器能與NVIDIA提供運算資源結合 ▲除了ASIC特殊應用處理器、客製化處理器，NVIDIA預期透過半客製化人工智慧基礎建設解決方案創造更多元的人工智慧運算平台 目前此方案將鎖定人工智慧工廠建置，或是針對特定運算需求客製化運算平台需求，但暫時還無法確認此解決方案是否會進一步擴展至消費級市場產品應用。另一方面，在目前公布合作合作夥伴名單中並未包含博通，似乎顯示雙方在AI市場佈局雖然互為合作關係，但也存在一定競爭情形 (不久前，博通強調會與更多市場合作夥伴共同推動AI生態鏈)。 ▲NVIDIA提出NVLink Fusion半客製化人工智慧基礎建設解決方案

Intel、AMD、Broadcom、Google、Meta、微軟、Cisco與HP在內業者稍早宣布共同提出網路互聯標準，並且以Ultra Accelerator Link (UALink)為稱，藉此讓運用不同處理器設計的伺服器能以相同方式串聯擴充，藉此加速人工智慧等超算應用速度。 在目前提出的UALink1.0連接標準中，將可在單一人工智慧運算叢集連接多達1024組加速器。至於UALink 1.0標準預計會在今年第三季對外公布，屆時將吸引更多業者合作加入。 在此之前，市場其實已經有Ultra Ethernet Consortium標準提出，主要透過乙太網路堆疊方式，讓資料中心伺服器能快速串聯，藉此形成更龐大運算效能。而此次提出的Ultra Accelerator Link標準，則是希望加入更多連接使用模式，並且讓不同品牌設備能快速互聯。 不過，此標準合作成員並未包含NIDIA，原因可能與其擁有自身推出的NVLink連接設計，加上本身在人工智慧加速運算擁有超過80%的市佔，因此即便未加入其他標準，依然能以NVLink連結設計快速建構龐大規模的伺服器運算叢集。

今年維持以線上形式舉辦的GTC 2021期間，NVIDIA正式揭曉以Arm架構打造的「Grace」CPU，並且宣布擴展Arm在智慧型手機以外的市場生態規模。而為什麼在此時推出「Grace」CPU，對於NVIDIA而言會是至關重要？ ▲Grace Hopper (圖／擷自維基百科) 「Grace」CPU不是用來取代現有x86架構CPU 簡單回顧一下「Grace」CPU的設計，本身是以台積電5nm製程打造，並且以美國知名女性電腦科學家，同時也是當時美國海軍准將身分的Grace Hopper為稱，設計上則採用Arm Nerverse架構。 實際上，關於「Grace」CPU的深入細節，NVIDIA在此次GTC 2021並未進一步說明，僅透露採用對應Arm新版指令集與全新核心設計。而在NVIDIA釋出設計圖像中，「Grace」CPU是以MCM (Multi-Chip Module,多晶片模組)形式與NVIDIA據說是下一款GPU封裝於單一板模，同時也整合對應CPU使用的LPDDR5X ECC記憶體模組，以及提供GPU使用的顯示記憶體，至於對於下一款GPU的相關細節，目前NVIDIA也未多作說明。 不過，NVIDIA說明中詮釋一個重要想法，就是依然認為縱使GPU運算效能再強大，依然需要配合CPU協助處理資料存取、執行指令集，GPU本身定位依然是作為運算加速用途，因此在對外說明時仍強調會繼續維持與x86、Power架構設計處理器維持合作，意味就算推出「Grace」CPU，與Intel、AMD及IBM等處理器業者合作關係並不會改變。 ▲「Grace」CPU 並非NVIDIA第一款CPU，亦非第一款Arm架構產品 而「Grace」CPU實際上也並非NVIDIA第一款以Arm架構打造的CPU產品，早在之前就已經推出多款Tegra處理器，甚至也曾應用在手機、機上盒等產品，只是後來考量競爭優勢與公司業務發展方向轉型，因此Tegra處理器後續便轉往自動化應用、車載平台設計發展為主。 ▲早期推出的Tegra處理器就是以Arm架構設計 此次推出「Grace」CPU的用意，實際上是針對人工智慧與超算使用需求打造，其中又以打通GPU藉由CPU存取系統記憶體設計，藉此改善過往x86架構CPU受限PCIe頻寬情況，讓GPU處理大量運算資料時，可直接借助系統記憶體資源大幅提高資料運算處理效率。 為了讓更多CPU資源可用於資料處理上，NVIDIA甚至在設計上整合旗下Bluefield DPU設計，以子系統形式協助處理原本由CPU執行的I/O埠控管、資料傳輸安全等需求，避免佔用CPU運算資源。 ▲藉由Arm架構特性，可讓GPU直接存取系統記憶體資源 ▲在x86架構CPU受限PCIe傳輸頻寬情況下，GPU與CPU之間溝通效率明顯低了不少 NVLink技術無法突破的障礙 對NVIDIA持續關注的人應該會提出質疑，先前明明已經提出NVLink的技術，讓GPU之間可以透過串接共享更大顯示記憶體資源，甚至也能用於GPU與CPU之間溝通，但問題就在於顯示記憶體價格成本明顯比系統記憶體昂貴許多，而GPU與CPU之間藉由NVLink技術溝通，實際上也要看x86架構CPU業者是否願意與NVIDIA進行此方面合作。 例如，Intel本身就提出CXL開放架構推動伺服器超算能力，而AMD方面也提出智慧存取記憶體 (Smart Access Memory)技術，藉此消除受限PCIe頻寬的數據傳輸效率，藉此提高CPU與GPU之間溝通運算效能。 ...