Tag: TPU

NVIDIA近期隨CUDA 13.1版本更新提出的CUDA Tile架構，表面上是程式開發模型的更新，但若深入觀察其市場策略，這無疑是NVIDIA繼硬體算力市場擴大佈局，日前更宣布入股電子設計自動化業者Synopsys後，更進一步針對軟體生態系祭出的最重磅防禦——藉由抽象化層讓GPU在執行AI運算時，能「偽裝」成一顆TPU (張量處理單元)，試圖在程式開發的易用性上，徹底抹平競爭對手ASIC (特殊應用積體電路) 的優勢。 策略一：吸收ASIC優勢，讓GPU具備「雙重人格」 過去，GPU的強項在於SIMT (單指令多執行緒) 架構，適合處理圖形渲染或高彈性的平行運算，這也是CUDA稱霸多年的基礎。但隨著AI模型 (特別是Transformer架構)對矩陣乘法與張量運算的需求暴增，Google TPU或AWS Trainium這類專為「矩陣磚塊」 (Tile)運算設計的ASIC，因其架構更貼近AI演算法邏輯，在能效與特定開發場景上對NVIDIA構成威脅。 但目前NVIDIA的策略顯然並非放棄SIMT架構，而是透過CUDA Tile架構讓GPU能具備「雙重人格」。 • 保有通用性：需要彈性時，它仍是那顆無所不能的GPU。 • 模擬專用性：當處理AI張量時，透過CUDA Tile IR (虛擬指令集)，它能像TPU一樣以「磚塊」為單位進行資料搬移與運算，無需開發者手動管理執行緒。 這意味NVIDIA直接在軟體層面「吃掉」ASIC的架構優勢，開發者不再因為覺得TPU比較好寫相應程式、效率比較高而跳槽，因為現在NVIDIA GPU也能用同樣的邏輯運作。 策略二：降低門檻，鞏固Python/AI開發者生態 目前的AI開發主流語言是Python (及其函式庫 NumPy、PyTorch)，而傳統CUDA開發則需要精通C++與底層硬體知識 (如記憶體管理、執行緒同步)，因此門檻極高。 ...

在今年re:Invent 2025大會上，AWS不僅端出了效能強悍的第五代自研處理器Graviton5，更再次罕見地請來蘋果台背書。針對AWS在客製化晶片的佈局想法，以及面對 ASIC (特殊應用積體電路)發展浪潮的看法，AWS副總裁暨傑出工程師、同時也是以色列Annapurna Labs共同創辦人Nafea Bshara在接受採訪時，給出了相當獨到的見解，更直言不認為ASIC會是帶動下一波AI浪潮的單一解決方案，強調提供多元選擇、滿足不同佈署需求才是王道。 ▲亞馬遜自研處理器Trainium4 Graviton5獲蘋果率先導入，證明客製化晶片價值 亞馬遜自2015年收購Annapurna Labs後，便開啟其自研晶片發展。此次預覽的Graviton5採用台積電3nm製程，效能比前一代提升25%。Nafea Bshara表示，透過客製化晶片，AWS能更直接收到客戶的反饋，並且迅速在硬體層面做出最佳化回應。 此次蘋果的現身說法便是最佳例證。作為Graviton的大型用戶，蘋果利用其支撐每日10億人次存取的iCloud服務與Swift編碼開發。Nafea Bshara指出，這證明AWS的客製化晶片能滿足一線科技業者對其效能與成本的嚴苛要求。 此外，AWS更是目前唯一針對蘋果開發環境提供專屬解決方案 (Amazon EC2 Mac instances) 的雲端業者，讓開發者能更輕易地在雲端建置macOS環境，這也是其他雲端服務業者並未提供項目，因此也凸顯AWS針對不同應用佈署需求提供相應解決方案。 ▲AWS副總裁暨傑出工程師、同時也是以色列Annapurna Labs共同創辦人Nafea Bshara 不走Google TPU的路，強調「通用性」大於「專用性」 面對Google Cloud積極發展專為自家TensorFlow等框架打造的TPU，Nafea Bshara提出了不同的想法。他認為，AI的發展日新月異，硬體設計不應只順著特定軟體或模型架構走，強調「我們不會為了特定軟體打造專屬硬體」。 他以近期熱門的生成式AI應用為例，直言「Google的TPU就難以執行像Decart這種需要即時渲染處理的工作負載」， Nafea Bshara強調，雖然AWS會針對新模型架構 ...

Google 稍早正式宣布啟用位於台北士林的全新辦公室，並且將其定名為「Google 台灣 AI 基礎建設研發中心」。此新據點的落成，不僅代表 Google 對台灣投資的持續深化，更確認該處將成為 Google Cloud 業務在美國總部以外最大的辦公室。Google 強調，台灣團隊規模已較過去成長 3 倍，匯聚了來自全球的頂尖人才，顯示台灣在全球 AI 與雲端基礎建設供應鏈中的關鍵地位。 ▲Google 正式宣布啟用位於台北士林的全新辦公室，並且將其定名為「Google 台灣 AI 基礎建設研發中心」。此新據點的落成 Google 總部高階主管今日也特地來台，與 Google 台灣團隊主管及政府貴賓共同見證此一里程碑。 落腳士林承德路，符合 LEED 白金級認證 這座全新的研發中心座落於台北市士林區承德路四段 168 號。Google ...

Anthropic稍早宣布，將大幅擴展與Google Cloud的合作夥伴關係。雙方已簽訂一項價值達數百億美元的協議，Anthropic計畫大規模採用Google Cloud技術，其中包含將使用高達一百萬顆Google的TPU (Tensor Processing Unit)加速器。 此合作預計將在2026年為Anthropic增加超過1GW (吉瓦)規模的龐大算力，藉此支持持續推進AI技術研究與產品開發。 AI算力軍備競賽加劇，Anthropic押注Google TPU Anthropic此作法凸顯當前大型AI模型開發對於運算資源的極度渴求，如同其主要競爭對手OpenAI近期不僅與AMD建立合作，更與博通共同開發自研AI晶片，凸顯確保足夠算力已經成為AI公司維持競爭力的關鍵要素。 而此次協議的規模堪稱驚人，取得一百萬顆TPU將使Anthropic的運算能力提升至全新層級，使其得以訓練更龐大、更複雜的基礎模型 (Foundation Models)，並且加速其Claude系列AI服務等產品的迭代更新與擴大佈署。 另一方面，與Anthropic合作也再次鞏固Google Cloud作為大型AI公司關鍵基礎設施供應商的地位，同時也因為Google持續擴張TPU應用服務，更為其合作夥伴帶來顯著業務增長。其中，美國晶片設計業者博通 (Broadcom)與台灣聯發科預期將成為主要受益者，使得其2026年營運前景備受看好。

產業消息指出，Google持續擴張的TPU (張量處理器)應用服務，正為其合作夥伴帶來顯著業務增長。其中，美國晶片設計業者博通 (Broadcom)與台灣聯發科預期將成為主要受益者，使得其2026年營運前景備受看好。 企業客戶積極擁抱TPU服務 Google推出的「TPU即服務」 (TPU as a Service)正吸引越來越多企業客戶擴大合作規模，顯示這項專門為AI與機器學習工作負載設計的硬體服務，已經獲得市場廣泛認可。隨著企業對AI運算需求持續攀升，Google的TPU服務平台已成為許多公司首選的雲端AI基礎設施解決方案。 半導體供應鏈受益 在這波TPU需求增長浪潮中，博通作為Google的關鍵晶片設計合作夥伴，憑藉其在特殊應用積體電路 (ASIC)領域的專業能力，持續為Google的TPU產品提供技術支持。同時，聯發科也因與Google的深度合作關係，在AI晶片相關領域獲得新的成長動能。 市場前景看好 業界分析認為，隨著Google持續擴大其AI雲端服務版圖，對專用TPU硬體的需求將只增不減。這不僅鞏固了Google在AI基礎設施市場的競爭地位，也為其半導體合作夥伴創造了穩定的訂單來源。 而博通與聯發科在技術實力和生產規模上的優勢，將使Google能夠充分把握這波AI硬體需求熱潮。 隨著2026年全球AI市場預計將持續強勁成長，Google與其合作夥伴的TPU生態系可望在競爭激烈的AI硬體領域中佔據重要地位，並為相關企業帶來可觀的營收貢獻。

自2015年收購Annapurna Labs以來，亞馬遜在AWS資料中心逐步深化自製晶片設計，並且以「系統最佳先」的想法橫貫整合硬體與軟體，從應用需求回推到晶片架構。與傳統先有晶片再配合軟體的形式不同，這種做法讓晶片更能針對特定工作負載 (特別是AI訓練)發揮極致效能。 以Trainium晶片為例，其設計就如同一座縮小的城市。晶片中央的「市中心」是被稱為Systolic Array的核心運算網格，宛如高樓林立的商業區，數千個計算單元同時進行運算，並且以脈動節奏交換資料，讓AI訓練所需的巨量浮點運算能不間斷地進行。而環繞市中心的則是「外圍記憶體區」，像是城市的住宅與倉儲，隨時將數據傳送至核心進行處理。 晶片內的資料通道，則猶如城市道路網絡。寬廣的「高速公路」負責高頻率資料傳輸，窄小的「巷弄」則處理低優先訊息。 設計良好的路徑避免資料壅塞，確保每一筆資料能以接近光速的效率抵達目的地。支撐這一切的，還有隱藏在最底層的Interposer，就像地下電力與水管網，為不同功能區精準輸送電力與連線，讓整座「城市」得以協調運轉。 一顆Trainium晶片能一秒完成數兆次運算，遠超過人類肉眼所能感知極限。但真正的關鍵，在於當這些「城市」相互串聯時所能形成的龐大「都會群」。 在AWS資料中心中，一台伺服器能配置16顆Trainium晶片，而四台伺服器再進一步整合，便形成名為UltraServer的系統，讓64顆Trainium晶片協同處理大量AI運算工作。當數十萬顆晶片透過多座資料中心連結時，所組成的龐大算力網路，已經具備支撐全球最強AI訓練平台的潛力。 這樣的設計不僅展現了半導體工程師在奈米級距上的精密規劃，更凸顯雲端服務供應商在AI浪潮下的戰略佈局。對使用者而言，背後的複雜細節或許難以感知，但未來無論是更智慧的生成式AI、或是更高效的雲端應用，其實都奠基於這些掌中微縮「城市」的協作。 產業競爭與影響 AWS的自研晶片布局並非孤軍奮戰，Google早已推出其針對AI加速訓練使用的TPU (Tensor Processing Unit)，並且將其深度整合至Google Cloud服務平台，而NVIDIA更憑藉A100、H100等GPU加速方式主導目前AI訓練市場，成為雲端與企業端運算的關鍵供應商。相比之下，AWS的Trainium與Inferentia雙晶片策略，更強調「客製化 + 垂直整合」，希望以低成本、高效率的方式，直接讓AWS雲端環境的AI工作負載運作最佳化。 在這場生成式AI的算力軍備競賽中，每一家巨頭都以晶片為核心展開差異化策略。對開發者與企業來說，未來選擇的不只是雲服務平台，更是背後運算引擎的效能與成本效益。AWS將晶片比作「掌中之城」的故事，說明這場競爭已經不再只是硬體堆疊，而是全面的系統設計與資源調度能力之爭。 觀點：以晶片為核心的下一步棋 從AWS的角度來看，自製晶片並非只是為了降低成本或追求效能極限，更是一場長遠的布局。 當生成式AI成為驅動雲端服務需求的核心引擎時，誰能掌握算力、誰就能掌握產業話語權。透過Trainium、Inferentia等晶片，AWS嘗試將算力優勢深度綁定在自家雲端平台，打造出差異化且難以被取代的生態系。 不過，Google、NVIDIA、微軟等競爭對手同樣在加速推進硬體與雲端的整合，未來競爭的不僅是晶片效能表現，而是能否提供更完整、更靈活的AI開發與應用環境。對產業而言，這場競爭的結果，將直接影響全球企業能以多快的速度，落地AI驅動的創新服務。 可以預見的是，AWS 所謂的「掌中之城」將持續擴張，不僅支撐生成式 AI 的算力需求，也將成為推動新一波雲端革命的基石。而對使用者來說，最終關心的或許不是晶片本身，而是這些微縮世界所釋放出來的無限可能。

公布新一代人工智慧基礎架構打造的Jericho4乙太網路交換式路由器平台之後，博通資深副總裁暨核心交換器部門總經理Ram Velaga在台北舉辦的2025 OCP APAC Summit (2025開放運算計畫亞太峰會)期間進一步說明採開放架構的網路平台優勢，並且強調能比NVIDIA藉由自身提出的NVLink技術，以及後續收購Mellanox取得InfiniBand及Spectrum技術所建構網路架構更具競爭力。  ▲博通資深副總裁暨核心交換器部門總經理Ram Velaga Ram Velaga表示，過去大型分散運算式架構主要用於複雜運算、能源探勘，或是諸如Google Search等大規模資料搜尋服務，而目前則是廣泛用於大型人工智慧運算，對應超過100萬組加速器規模，並且支撐大型語言模型運作。 在運算架構中，目前主流作法會以GPU作為加速器，並且透過堆疊方式提高單一運算叢集執行效能，同時再以網路連接方式橫向擴展運算規模，藉此形成更龐大的運算資源。不過，除了NVIDIA是以GPU加速為主，市場也有不少加速運算是透過CPU堆疊，甚至透過ASIC形式打造的運算元件 (例如Google的TPU)作為設計，藉此對應不同的運算佈署需求。 因此相較NVIDIA是以其NVLink技術將自身GPU產品與不同CPU連結，藉此達成加速運算效能垂直提升，並且透過InfiniBand、Spectrum技術橫向擴展運算規模，Ram Velaga強調博通看重的是以開放架構的乙太網路 (Ethernet)系統，建構更具彈性且符合低延遲需求的加速運算系統，同時避免相關技術受限於特定廠商的運作方式。 Ram Velaga指出，即使NVIDIA在今年Computex 2025宣布提出進一步開放與更多運算平台合作的NVLink Fusion，標榜能讓合作夥伴以其偏好、設計的運算平台，結合NVIDIA的GPU發揮更高執行運算效能，但整體來看仍會受限於NVIDIA願意開放多少資源，因此強調在全面開放、採業界標準設計的乙太網路系統才能推動更大加速運算生態。 在進一步說明中，Ram Velaga表示即使在NVLink技術下的延遲時間更低，但博通在日前提出的Tomahawk Ultra交換器處理晶片也能對應相當低的資料傳輸延遲表現，同時在可連接加速器數量更多，而對應的傳輸頻寬表現也更高，加上採用開放架構的乙太網路系統，將能更不受特定廠商技術限制地建構超大規模加速運算系統。 ▲博通針對不同運算需求個別提出Tomahawk Ultra、日前更新的Tomahawk 6，以及此次更新的Jericho4乙太網路交換式路由器晶片 Ram Velaga認為乙太網路的開放架構將是未來加速運算發展基礎，同時也能藉由更容易連結不同加速器，配合不同運算需求進行彈性佈署，而非僅能選擇特定廠商的少數技術資源。 另一方面，Ram Velaga也強調博通提出產品提供更高資料交換時的傳輸頻寬，因此能使網路系統的交換路徑進一步簡化，意味可讓整體傳輸延遲大幅降低、減少資料傳輸壅塞問題，同時也能藉由簡化傳輸路徑減少線路分布、交換器數量等所產生成本，更容易讓用戶能將分散在各地的小型資料中心以網路連結整合成大型運算叢集。 ...

曾長期依賴微軟Azure雲端資源的OpenAI，如今正式宣佈將擴大合作對象，首次採用Google Cloud支撐其ChatGPT與API服務的龐大運算需求，此舉不僅象徵OpenAI雲端部署策略的重大轉向，也透露與微軟之間的合作關係正悄悄調整。 雖然微軟依然是OpenAI重要合作夥伴，並且保有API獨家授權權益與優先拒絕供應權，但OpenAI目前也開始同步使用包含Google Cloud、CoreWeave、甲骨文等雲端供應商的基礎設施，以因應日益龐大的用戶需求與生成式AI計算壓力。 Google Cloud將於美國、日本、荷蘭、挪威，以及英國等區域向OpenAI提供雲端服務資源。對於Google來說，這不僅是單筆合作案，更象徵其在雲端市場的突破與競爭力提升，尤其在AWS與Azure長期主導市場下，Google Cloud規模雖然相對較小，但成長動能快速，這次成功與OpenAI合作，對其推廣TPU等獨家硬體方案也有助益。 事實上，OpenAI執行長Sam Altman早在今年4月就曾公開表示，隨著AI應用加速普及，OpenAI面臨嚴重的算力瓶頸，甚至一度尋求額外GPU算力支援。而在今年3月時，OpenAI也已經與雲端服務商CoreWeave簽署價值近120億美元的五年合作協議，展現出強烈擴充基礎設施的意圖。 先前雖有媒體指出OpenAI已「大規模」租用Google的TPU算力資源，但當時OpenAI僅表示是進行初步測試，如今正式選擇與Google Cloud合作，意味著未來其對於TPU的採用幅度將進一步擴大，強化整體AI模型的部署與訓練效率。 整體而言，OpenAI將運算資源策略轉向多供應商模式，不僅能提升其服務穩定性與彈性，也讓其在雲端運力調度上更具主動性。對微軟而言，雖然失去獨家雲端地位，但仍掌握核心授權優勢，而Google方面則透過這次合作，在生成式AI發展競局中再下一城，強化雲端運算布局。

在Google NEXT'25活動中，Google進一步說明其打造TPU加速元件背後想法，最主要是為了實現更純粹的運算加速，並且在諸多運算模式提供性價比更高的加速效果。 ▲Google進一步說明其打造TPU加速元件背後想法 TPU始終鎖定更純粹的加速表現 除了TPU，其實Google過去以來就投入諸多客製化處理器設計，例如用於YouTube等服務的影片轉換編碼元件，以及用於Pixel手機等硬體的VPU影像運算元件，另外也包含用於量子運算的Willow，或是針對以客製化微控制器與分層橫向擴展卸載，藉此分散網路封包卸載及安全架構打造的Titanium，以及去年提出基於Arm Neoverse V2架構架構設計的「Axion」處理器，藉此對應不同運算加速需求。 而從2015年率先針對其服務打造首款純粹以加速為目的的TPU (Tensor Processing Unit,張量處理元件)，便是藉由ASIC (特殊架構晶片)形式製作，鎖定高效能、更低成本與電力損耗，並且能無縫擴充使用特性，藉此對應更大規模人工智慧模型及資料庫運算加速，同時能在性能輸出與成本損耗取得最佳平衡。 Google最早在2015年對外宣布使用TPU，當時主要用於Google Search等自有服務加速運算，並且在2018年推出v2版本加入能疊加組成Pod運算架構，以及分散式共享記憶體架構，而在2020年推出的v3版本讓疊加規模加倍，同時也開始加入水冷設計，2022年推出的v4版本則是透過增加光纖互連設計，使其在Pod組合數量規模可大幅疊加，另外也開始逐年更新TPU設計。 在2023年推出的v5e與v5p版本，則是目前唯一在同一年內推出兩種衍生設計的TPU產品，分別對應不同運算加速需求。而在2024年推出的「Trillium」，更是鎖定新世代的人工智慧模型運算，並且標榜達v2版本算力的100倍。 「Ironwood」的意義在於提升人工智慧模型推論加速表現 今年宣布推出的「Ironwood」則是標榜藉由整合192GB高頻寬記憶體，藉此能處理規模更大的人工智慧模型與資料集 (可直接將模型資料全數讀入HBM記憶體內)，同時降低頻繁傳輸資料且能進一步提高執行效率，峰值效能更達4614 TFLOPS，每瓦輸出效能更是第一代TPU的近30倍。 另一方面，Google也宣布以「Ironwood」構成的超級電腦，將能支撐幾乎所有的人工智慧工作負載，並且提供更高的執行成本效益，例如在每1美元價格下的執行效率成本，Gemini Flash 2.0能比OpenAI的GPT-4o高約24倍，更比DeepSeek-R1高出5倍左右。 投入TPU高度客製化晶片設計，Google表示藉此對應每瓦輸出性能更高的運算表現，同時更標榜硬體架構建立在更符合Google的軟體運算模式，藉此對應更高的運算加速輸出效益。 ▲Google DeepMind人工智慧部門首席科學家Jeff Dean說明TPU背後設計的運算想法 Google預計會在今年底之前正式佈署應用「Ironwood」，藉此對應更密集運算需求，以及市場需求量持續增加的人工智慧運算發展。同時，Google也證實日前宣布推出的Gemini 2.5人工智慧模型，以及新版AlphaFold蛋白質結構預測程式都會在「Ironwood」加速架構上運作。 同時，應用在雲端基礎架構運算需求，Google也說明讓用戶能在Intel、AMD、NVIDIA運算晶片有更多選擇，並且能對應更純粹加速表現，例如將TPU加速運算用於內容排序推薦、電商平台內容搜尋等，更可進一步節省運算加速成本。 ▲「Axion」是Google第一款針對雲端運算運作打造的客製化處理器，相比TPU僅提供純粹加速效能特性，更額外多了執行數據輸入、輸出運算能力，同樣標榜能在每瓦輸出效益發揮更高表現 ...