Tag: TPU

針對此次公布鎖定人工智慧「思考」加速打造、迄今為止性能最高的第7代TPU「Ironwood」，Google Cloud副總裁暨人工智慧及運算基礎架構業務總經歷Mark Lohmeyer在受訪時表示當前的雲端基礎架構雖然會因應人工智慧技術應用需求作調整，但整體上仍會依照市場不同需求提供合適的基礎架構。 ▲Google在此次Next’25大會活動上公布代號「Ironwood」、標榜性能最高，同時更針對人工智慧「思考」加速打造的第7代TPU 不會因為人工智慧需求全面改變雲端基礎建設 Mark Lohmeyer指出，雖然此次確實因應人工智慧運算需求加入第7代TPU「Ironwood」設計，標榜可對應42.5 Exaflops算力表現，約為目前全球最大規模超級電腦El Capitan對應算力的24倍，同時資料傳輸頻寬高達7.2 Tbps，相比前一代「Trillium」高出4.5倍，但針對更多雲端應用需求仍保留先前推出的TPU硬體架構，同時也與Intel、AMD與NVIDIA合作運算晶片，甚至此次更預告將取得NVIDIA接下來將推出的代號「Vera」CPU，以及代號「Rubin」的下一代GPU。 ▲Google與NVIDIA合作，分別在其A4、A4X VM虛擬機器環境增加NVIDIA B200及 GB200 NVL72 GPU的選擇 而雖然目前當前不少基礎架構都是為了人工智慧運算作準備，但Mark Lohmeyer強調Google Cloud依然保留應用多元性，並且讓使用者能有更多選擇，包含從硬體基礎架構便提供自身TPU加速運算設備，甚至也能選擇以Arm架構打造的「Axion」CPU，或是依照需求選擇其他合作供應商提供運算晶片，而Vertex AI平台也彙整諸多開源人工智慧模型資源，以及Google提供的Gemini人工智慧模型與應用工具。 意味使用者能在Google Cloud雲端平台以更大彈性建構應用服務，同時也有更大選擇佈署應用彈性，甚至Google本身更秉持開放態度，讓使用者能更輕易地使其服務與建構在其他雲端平台的服務連動，讓使用者能更安心地在Google Cloud服務環境建構各類應用服務。 因此相較過往基礎建構設計模式，Mark Lohmeyer認為實際上沒有太大差異，主要是針對人工智慧運算應用發展增加更多選擇，例如增加TPU在內加速硬體、針對人工智慧訓練所需資料儲存提供相應解決方案等，但即使使用者建構服務並非使用人工智慧，同樣能在Google Cloud環境穩定運作。 雲端基礎建設與服務預期不受關稅政策影響 至於針對近期川普政府提出新關稅政策 (註)，是否可能會造成一定影響，甚至促使調整雲端基礎架構設計，Mark Lohmeyer的看法則認為目前暫時還看不出來會造成衝擊，因此在雲端基礎架構設計上並不會作改變，另外也表示雲端服務的基礎建設佈署與一般整機引進銷售情形還是有些不同，因此預期實際受到影響程度不會太大。 ...

去年在Google I/O 2024揭曉、代號「Trillium」的第6代TPU之後，Google在此次Next'25大會活動上公布代號「Ironwood」、標榜性能最高，同時更針對人工智慧「思考」加速打造的第7代TPU。 相較過往設計聚焦在推論加速，Google強調「Ironwood」不僅是歷年推出性能最高，同時也更節省電耗設計的TPU，更可針對人工智慧模型進行「思考」、主動提供見解時進行加速，藉此讓更多人工智慧代理服務能更快執行運作。 「Ironwood」以9216組液冷晶片組成，並且透過晶片間互連網路介面 (ICI)串接，可對應42.5 Exaflops算力表現，約為目前全球最大規模超級電腦El Capitan對應算力的24倍，同時也能對應最大規模的人工智慧工作負載平行處理能力，而每組晶片的峰值算力均可達4614 TFLOPS。 除了推出以9216組液冷晶片組成版本，「Ironwood」也額外針對不同運算規模需求提供256組液冷晶片組成版本。 同時，Google強調「Ironwood」的記憶體及網路架構可確保運算資料正確性，並且具備專門用於處理進階排名與推薦工作負載的增強型SparseCore加速核心，可應用於更大規模人工智慧模型運作，或是處理科學、金融相關數據。 而藉由Google DeepMind團隊開發的Pathways人工智慧框架，更可讓開發者更容易運用「Ironwood」算力，甚至能將數十萬組「Ironwood」構成「Ironwood Pod」，透過更龐大算力推動人工智慧執行效能。 相比去年推出代號「Trillium」的第6代TPU，「Ironwood」標榜在每瓦性能提升2倍，代表在相同電力情況下能發揮更高人工智慧算力，配合更進一步調整的晶片設計與液冷方案，更可維持更高人工智慧工作負載表現，同時節能表現更比2018年推出的第1代TPU高出將近30倍。 其他數據，則包含每組「Ironwood」配置192GB高頻寬記憶體 (HBM)，比「Trillium」增加6倍，藉此能處理規模更大的人工智慧模型與資料集，同時降低頻繁傳輸資料且能進一步提高執行效率。 隨著增加高頻寬記憶體資料傳輸頻寬，更使得每組「Ironwood」資料傳輸頻寬增加為7.2 Tbps，比「Trillium」高出4.5倍，同時也透過晶片間互連網路介面設計，讓晶片之間通訊傳輸頻寬增加為雙向1.2 Tbps，比「Trillium」高出1.5倍，進而提高大規模高效分散式訓練及推論效率。 Google預計會在今年底之前正式佈署應用「Ironwood」，藉此對應更密集運算需求，以及市場需求量持續增加的人工智慧運算發展。同時，Google也證實日前宣布推出的Gemini 2.5人工智慧模型，以及新版AlphaFold蛋白質結構預測程式都會在「Ironwood」加速架構上運作。 另一方面，Google也宣布以「Ironwood」構成的超級電腦，將能支撐幾乎所有的人工智慧工作負載，並且提供更高的執行成本效益，例如在每1美元價格下的執行效率成本，Gemini Flash 2.0能比OpenAI的GPT-4o高約24倍，更比DeepSeek-R1高出5倍左右。 除了提供以TPU構成的超級電腦運算資源，Google在日前舉辦的GTC 2025活動上也宣布與NVIDIA合作，分別在其A4、A4X VM虛擬機器環境增加NVIDIA B200及 GB200 ...

The Information網站引述台積電與博通消息來源指稱，Google計畫與聯發科合作打造造價成本更低的TPU，預計從2026年開始生產。 在此之前，曾有消息指稱Google可能會在2027年以前結束原本與博通之間的TPU設計合作關係。而此次傳出Google可能轉與台積電合作打造造價成本更低的TPU，部分原因與報價低於博通有關。 不過，雖然Google可能轉向與台積電合作，但原本與博通之間合作關係可能仍會維持，意味博通必須與台積電拆分Google的TPU訂單。 從相關人士取得消息指出，下一款TPU依然是由Google完成絕大部分設計，聯發科則主要提供TPU與相關元件之間的通訊輸入、輸出設計，並且協助確認生產品質控制，同時也擔任向台積電下單角色。 而先前Google與博通合作模式，則是由博通協助開發TPU核心細節，因此這次傳出Google轉與聯發科合作，其模式與博通合作模式有明顯不同。 去年時，Google公布其代號Trillium的第6代TPU，並且說明用於加速旗下諸多網路服務，同時也作為Google Cloud服務諸多加速運算方式的一種選擇，其他也包含與Intel、AMD、NVDIA等業者合作提供處理器，以及後續加入以Arm Neroverse架構打造的客製化處理器「Axion」，藉此滿足不同客戶在運算佈署需求的差異。

針對去年在Google I/O 2024揭曉、代號Trillium的第6代TPU，Google Cloud產品群經理Mohan Pichika稍早對此做了進一步說明，並且強調目前在Google Cloud服務提供更多元加速運算元件選擇，藉此滿足不同客戶在服務佈署應用需求。 ▲代號Trillium的第6代TPU TPU只是Google Cloud加速運算一環 對於目前市場目標發展的通用型人工智慧 (AGI)，衍生是否能以統一加速元件支撐運算需求的看法，Mohan Pichika認為現階段還沒有辦法實現此理想，因此最主要還是會針對不同運算需求提供合適的加速元件。 例如目前在Google Cloud服務中，除了提供自身TPU加速元件之外，實際上也與Intel、AMD、NVDIA等處理器業者合作，後續也提供以Arm Neroverse架構打造的客製化處理器「Axion」，藉此滿足不同客戶在運算佈署需求的差異。 而自2015年提出的第1代TPU設計，主要是針對Google自有服務如YouTube、Google Search等進行大規模運算加速。而從2018年推出第2代TPU開始，Google便將其TPU與後續迭代更新版本開放全球所有Google Cloud客戶使用 (包含台灣)，其中也包含去年推出、以代號Trillium為稱的第6代TPU，只是各個服務區域上線提供時間會有落差，但基本上都能讓所有Google Cloud客戶選用。 不過，Mohan Pichika也說明不同加速元件能處理項目會有最佳化差異，加上性能與價格成本上的考量，因此在Google Cloud服務仍維持提供不同加速元件選項，讓不同客戶能挑選最佳加速元件佈署服務，同時也能對應不同人工智慧模型規模運算需求。 在去年的Google NEXT’24期間說明中，Google Cloud副總裁暨運算與人工智慧/機器學習架構業務總經理Mark Lohmeyer更透露未來可能計畫推出更多客製化處理器，意味Google接下來也會針對不同運算需求提供功能差異設計的客製化處理器。 ▲以Arm Neroverse架構打造的客製化處理器「Axion」 TPU本身以大規模運算加速、提升機器學習效率為目標 ...

Google在今年Google I/O 2024期間宣布推出全新開源模型Gemma 2，本身針對TPU、GPU加速最佳化，並且能輸出2倍高的模型運行效能，最多更可對應270億組參數，但同時也提供可對應90億組參數的小規模版本，接下來也會提供更小規模設計的26億組參數版本，將可在手機端執行。 在稍早說明中，Gemma 2可透過數據建模與數據分析競賽平台Kaggle取得，或是透過全名為Colaboratory的網頁編寫程式平台Colab免費服務取用，而學術研究人員也能透過研究計畫申請使用。 從相關模測流程中，Gemma 2 270億組參數版本在微調模式中的執行效能，可超越700億參數規模的Llama 3，同時也超越3400億組參數的Nemotron 4，以及Claude 3 Sonnet、Command R+、Qwen 72B等模型，至於90億組參數版本更成為當前150億組參數以下規模最佳效能模型。 ▲Gemma 2對比其他模型效能 依照說明，90億組參數版本的Gemma 2在4096組TPU v4構成運算叢集訓練，270億組參數規模版本則是在TPU v5p運算叢集上訓練，總計使用6144組晶片。而整體架構上，Gemma 2採重新設計形式打造，導入類似Gemma 1.1的運算模式，但是加上更多學習監督與模型合併，使Gemma 2在編成、數學、推理及安全等項目對比Gemma 1.1均有明顯提升。 此外，Gemma 2 270億組參數規模版本可在Google Cloud TPU伺服器、NVIDIA ...

除了在服務與Google長期合作，蘋果在此次WWDC 2024期間宣布推出的「Apple Intelligence」技術背後，其實也使用Google的TPU進行前期訓練。 從相關技術文件顯示，蘋果工程師除了在「Apple Intelligence」採用蘋果自有處理器等硬體，搭配自有軟體框架之外，在人工智慧模型前期訓練更以自有GPU結合Google TPU張量加速器進行加速訓練。 不過，蘋果方面並未對此作回應，而相關文件也未透露以Google何種規格的TPU進行訓練，另外也未說明Google TPU在整體訓練使用佔比。 以目前蘋果公布的「Apple Intelligence」技術架構，除了採用與OpenAI合作的人工智慧模型，未來也會加入其他業者合作模型，其中也包含蘋果自行建立模型，並且以蘋果自有處理器作為硬體基礎架構，而透過雲端協同運算的「Private Cloud Compute」也同樣採用蘋果自有處理器與軟體架構，藉此確保資料使用安全。 之所以未採用NVIDIA或AMD推崇的GPU加速方案，顯示蘋果接下來仍會考慮轉以自有人工智慧模型運作為主，藉此降低過度依賴他人提供資源的情況，同時也能在人工智慧技術應用發展維持主導權。 而此次傳出藉由Google TPU訓練其人工智慧模型，顯然也代表蘋果同時也使用Google Cloud雲端服務，或是與Google有更進一步的合作模式。

在此次Google I/O 2024中，Google宣布推出代號Trillium的第6代TPU，預計會在今年底透過Google Cloud服務提供，另外也宣布今年4月於Google Cloud Next'24活動上公布代號「Axion」的客製化處理器將於年底前上線，而與NVIDIA合作的Blackwell GPU則會在2025年初提供使用。 相比先前推出的TPU v5e，Google表示第6代TPU將能提升4.7倍的加速效能，同時在設計強化矩陣乘法單元 (MXU)，並且提高運作時脈，以及藉由增加1倍的HBM高密度記憶體頻寬與容量加速資料運算傳輸效率。 此外，第6代TPU更具備加快處理排序及推薦工作負載的第三代SparseCore嵌入式加速器，並且透過客製化光通訊技術讓晶片對晶片互連頻寬相比TPU v5e增加一倍。而第6代TPU能以256組構成單一Pod，並且可擴展至數百萬個Pod規模，同時所有TPU都能以每秒達PB級別傳輸速度互連運作。 Google強調其提供更完整的運算架構選擇，並且藉由開源軟體形式簡化開發難度，其建構基礎架構環境更以液冷維持穩定運作，同時更透過海底光纖電纜串接位於全球各地的數據中心，藉此讓建構在Google Cloud環境的雲端運算服務能以更快反應速度運作。 而當前除了透過自有TPU進行加速運算，Google也與NVIDIA、AMD及Intel在內業者合作，甚至本身也推出以Arm Neoverse架構打造的「Axion」客製化處理器，藉此滿足更多開發者不同硬體環境佈署應用需求。

針對雲端協同運算最佳化，以及人工智慧基礎架構配置，Google宣布去年底公布的新一代人工智慧運算加速器TPU v5p已經在全球地區開放使用，同時也將從5月開始導入以NVIDIA代號「Hopper」的H100加速元件，藉此打造名為A3 Mega的運算設備，另外也計畫引進NVIDIA近期揭曉代號「Blackwell」的新一代加速運算元件，預計在2025年初導入GB200 NVL72運算系統。 ▲Google將從5月開始導入以NVIDIA代號「Hopper」的H100加速元件，藉此打造名為A3 Mega的運算設備 先前介紹新一代TPU v5p時，Google標榜對應可擴展、具彈性佈署特性，同時也是Google至今為止最具效能的張量加速器，可在單一處理器實現2倍算力、3倍以上記憶體頻寬，以及貼近線性成長的資料運算吞吐量，並且可對應4倍規模大小的新一代人工智慧模型，同時用於訓練既有模型，縮可縮減2.8倍時間。 單座TPU v5p pod將以8960組晶片構成，相比TPU v4 pod採用2倍以上晶片數量，藉此對應更大規模的人工智慧運算需求。 ▲Google至今為止最具效能的張量加速器TPU v5p 除了用於推動人工智慧運算，Google也強調新一代TPU讓更多雲端任務加速運作，同時也進一步提升Google旗下諸如搜尋、YouTube、Gmail、Google Maps，以及包含Google Play Store等線上服務執行效率，更能讓許多Android裝置結合雲端協同運算的應用服務能有更快執行效率，並且結合裝置端運算，讓使用者有更便利的使用體驗。 而人工智慧運算除了導入自有TPU、NVIDIA加速運算元件，Google也將持續與AMD合作導入其加速運算產品，藉此提供更多元的人工智慧加速運算選擇。 ▲預計在2025年初導入GB200 NVL72運算系統 除了持續以自身TPU加速人工智慧運算效率，Google目前也計畫以客製化Arm Neoverse V2核心架構處理器「Axion」加速整體運算效率，相較傳統x86架構處理器分別在執行效率提升50%，並且在電力損耗降低60%，更強調相較當前應用在雲端協同運算的Arm架構處理器多出30%執行效能，藉此大幅降低碳排放量。 ▲以客製化Arm Neoverse V2核心架構處理器「Axion」加速整體運算效率，相較傳統x86架構處理器分別在執行效率提升50%，並且在電力損耗降低60% 另一方面，Google依然與Intel持續合作導入第五代Xeon Scalable可擴展伺服器處理器，藉此打造可供預覽的C4，以及目前開放全球地區使用的N4虛擬機器，另外也將推出以裸機形式使用的C3虛擬機器。 ...

Google先前因為其運算加速器TPU設計與私有新創業者Singular Computing產生侵權訴訟，稍早已經由雙方達成和解，但並未公布具體協議細節。 此訴訟原本由Singular Computing向Google提出高達70億美元求償，但在後續法院審理過程將求償金額下修為16.7億美元。 Singular Computing創辦人John Bates指稱，Google在2010年至2014年間與其會面，希望將其技術用於Google服務，但在後續推出的TPU涉及則是採用Singular Computing旗下技術，因此求償16.7億美元賠償金額。 不過，Google否認曾與Singular Computing洽談，同時也強調其TPU設計均以自有技術打造。而針對Singular Computing提出與Google科學家Jeff Dean往返電子郵件，Google更表示其研發團隊並未與John Bates等人會面。 Google更表示Singular Computing曾多次與亞馬遜、微軟、Meta、OpenAI等業者洽談合作機會，但卻未獲得Google正面回應，同時也說明在TPU使用技術與Singular Computing技術有著根本上的不同。 而此次雙方達成和解，法院並未公布具體細節，但Google發言人Jose Castaneda強調公司並未侵害Singular Computing相關專利。

總部位於美國麻薩諸塞州劍橋的私有新創業者Singular Computing，日前指控Google的運算加速器TPU設計涉及侵害其技術專利，相關訴訟由波士頓地方法院進行審理。 Singular Computing創辦人John Bates指稱，Google在2010年至2014年間與其會面，希望將其技術用於Google服務，但在後續推出的TPU涉及則是採用Singular Computing旗下技術，因此求償16.7億美元賠償金額。 不過，Google否認曾與Singular Computing洽談，同時也強調其TPU設計均以自有技術打造。而針對Singular Computing提出與Google科學家Jeff Dean往返電子郵件，Google更表示其研發團隊並未與John Bates等人會面。 Google更表示Singular Computing曾多次與亞馬遜、微軟、Meta、OpenAI等業者洽談合作機會，但卻未獲得Google正面回應，同時也說明在TPU使用技術與Singular Computing技術有著根本上的不同。 目前法院尚未針對Singular Computing提出訴訟做出裁決，而市場看法認為相關審理將會持續數個星期。