Tag: GB300

隨著AI模型規模日益龐大，政府與大型企業對於數據主權 (Data Sovereignty) 與合規性的需求也越來越高。AWS此次在re:Invent 2025大會上宣布推出全新AI工廠 (AI Factories)服務，將AWS的AI基礎設施，包含最新的NVIDIA加速運算平台與AWS自研Trainium晶片直接佈署至客戶既有資料中心內，協助其快速建立高效能、合規且合乎主權的AI運算環境。 ▲AWS宣布推出全新AI工廠 (AI Factories)服務，將AWS的AI基礎設施，包含最新的NVIDIA加速運算平台與AWS自研Trainium晶片直接佈署至客戶既有資料中心內 解決自建痛點，運作如「私有AWS區域」 AWS指出，對於受監管產業與公共部門而言，自建大規模AI基礎設施將面臨巨大的資本投入與採購週期挑戰。AWS此次提出AI工廠服務的核心概念，是將AWS的全套AI堆疊 (包含高速網路、儲存、資安及Bedrock、SageMaker等服務) 直接搬進客戶機房，並且由AWS負責營運。 ▲AWS此次提出AI工廠服務的核心概念，是將AWS的全套AI堆疊 (包含高速網路、儲存、資安及Bedrock、SageMaker等服務) 直接搬進客戶機房，並且由AWS負責營運 這使得該環境運作起來就像是一個「私有AWS區域」 (Private AWS Region)，客戶可利用既有的電力與空間，同時享有AWS的管理服務與模型存取權，無需自行與多個供應商談判授權，大幅縮短佈署時間，並且滿足數據在地化的法規要求。 深化NVIDIA合作，將導入Grace Blackwell及後續即將推出的Vera Rubin 在硬體層面，AWS與NVIDIA的合作將進一步深化。AWS AI工廠服務將整合NVIDIA全端AI軟體與加速運算平台，其中包含支援最新的NVIDIA Grace Blackwell加速運算架構，以及接下來即將推出的NVIDIA Vera Rubin運算平台。 ...

繼上週確認與OpenAI達成380億美元的雲端協議後，亞馬遜旗下雲端服務AWS與OpenAI進一步公布此戰略合作細節，其中將由AWS為OpenAI提供其世界級的基礎設施，以「立即開始」運行其先進的AI工作負載。 此項涉及380億美元規模的協議，將在未來七年內持續增長。這意味OpenAI在結束與微軟的獨家雲端協議後，正式將AWS納為其核心的AI基礎設施供應商之一。 導入EC2 UltraServers，搭載數十萬顆GB200/GB300 GPU 根據AWS公布細節，此次合作的技術核心內容包含： 硬體規模： • AWS將為OpenAI提供Amazon EC2 UltraServers運算叢集，並且搭載數十萬顆最先進的NVIDIA GPU (包含GB200s與GB300s)。 • AWS強調其營運大規模AI基礎設施的經驗 (叢集超過50萬顆晶片)，並表示此佈署未來還能擴展至數千萬顆CPU，藉此滿足代理AI (Agentic AI)工作負載的龐大規模化需求。 佈署時程： • OpenAI將立即開始使用AWS運算資源。 • 協議中的所有運算容量，目標在2026年底前佈署完畢，並且保留2027年後進一步擴展的能力。 架構設計： AWS指出，其為OpenAI建構的基礎設施採用了複雜的架構設計，透過EC2 UltraServers將NVIDIA GPU運算叢集在同一網路上互連，實現低延遲效能，使其能高效運行包含ChatGPT推論 (inference) 與下一代模型訓練 (training) ...

微軟稍早宣布，已經與澳洲基礎設施營運商IREN簽署一份價值高達97億美元、為期五年的合約，將確保更多的AI雲端運算能力，以滿足客戶對AI服務的強勁需求。 此舉是微軟繼上個月與雲端新創業者Nscale達成協議後，再次為確保AI基礎設施所進行的大規模採購。 鎖定GB300運算力，IREN將向Dell採購58億美元設備 根據協議，此合約將讓微軟取得採用NVIDIA GB300 GPU所建構的運算基礎設施。IREN計畫在2026年期間，於其位於德州柴爾德雷斯 (Childress) 的設施分階段完成佈署，該設施規劃將支援高達750 MW (百萬瓦) 規模的運算容量。 為此，IREN也表示將另外斥資約58億美元，向Dell採購所需的GPU與相關設備。 微軟積極擴充AI基礎設施 微軟近期在確保AI運算力方面動作頻頻，例如在今年10月時候，微軟才剛為其Azure雲端服務推出首個採用NVIDIA GB300 NVL72系統的生產叢集，該系統專為推論模型、代理式 AI (agentic AI) 與多模態生成式AI進行最佳化。 此外，微軟在10月也剛與Nscale簽署協議，計畫採購約20萬顆NVIDIA GB300 GPU，預計佈署於歐美四座資料中心。 IREN：從比特幣挖礦轉型AI獲利豐厚 值得注意的是，IREN的背景與CoreWeave等新興AI雲端供應商相似，最初也是一家比特幣挖礦營運商。在意識到其擁有的大量GPU，更適合用於AI工作負載需求，並且從中受益，甚至能取得更大獲益之後，IREN變從原本聚焦比特幣挖礦的營運模式，轉變成提供AI運算資源服務業者。 根據彭博新聞報導指稱，IREN執行長Daniel Roberts預期，此次與微軟的交易僅佔用該公司總算力吞吐量約10%，但預計每年將可產生約19.4億美元的年化收入，凸顯AI業務當前的驚人回報率。 而跟IREN一樣，微軟先前合作的Nscale，前身為比特幣礦商Arkon Energy的一部分，同樣隨著AI工作負載算力需求激增，因此在2022年自Arkon Energy拆分，成為AI基礎設施提供商。

美光今日 (3/25)針對日前在GTC 2025期間宣布用於NVIDIA GB300 Grace Blackwell Ultra超級晶片的SOCAMM記憶體設計，以及針對NVIDIA HGX B300 NVL16及GB300 NVL72平台打造的HBM3E 12H 36GB進行說明，強調其產品背後帶動產值，同時也說明接下來將持續推動符合JEDEC標準的模組化LPDDR5X記憶體應用生態系統。 SOCAMM記憶體設計是美光與NVIDIA合作，針對NVIDIA GB300 Grace Blackwell Ultra超級晶片打造的記憶體模組，本身基於模組化LPDDR5X記憶體解決方案設計，主要針對CPU部分的數據存取使用，而HBM3E高頻寬記憶體則是對應GPU處理數據使用。 同時，美光更強調其記憶體解決方案將涵蓋多個人工智慧應用場景，除了伺服器、網路、車載系統、工業物聯網等，甚至也包含廣泛用於筆電、PC等裝置應用需求，標榜在人工智慧技術應用發展扮演幕後推手。 此次推出與NVIDIA合作打造的SOCAMM記憶體模組，標榜對應傳輸最快、體積最小、功耗最低，同時具有最高容量特性，藉此對應人工智慧伺服器與資料密集運算應用需求，同時也標榜能比其他競爭對手 (例如三星)提供更大產品價值，其中包含供比RDIMM記憶體高出2.5倍的資料傳輸頻寬，藉此更快存取龐大訓練資料集與更複雜的模型，佔用體積也變更小、電力功耗更少，並且能以4組16層LPDDR5X記憶體模組堆疊，讓最高容量增加至128GB。 而此次推出的HBM3E 12H 36GB，標榜在相同體積設計下提供更高記憶體容量，同時也比競爭對手推出產品對應更低電力功耗，容量也變得更大，藉此讓伺服器端的GPU能以更高記憶體容量、傳輸頻寬對應更即時的人工智慧運算效率。 雖然此次與NVIDIA獨家合作SOCAMM記憶體模組，但美光也不排除與Intel、AMD等處理器業者合作，藉此打造更多用於伺服器端運算的記憶體解決方案。不過，目前SOCAMM記憶體模組僅會用於伺服器產品，筆電等產品主要還是會以先前提出的LPCAMM2記憶體模組應用為主，另外也預期以LPDDR5X記憶體設計為基礎，推出更多符合JEDEC標準的模組化記憶體解決方案，藉此在諸多運算場景提供更完整的記憶體技術。