Tag: re:Invent

針對此次在re:Invent 2024更新的Amazon Q自動生成式人工智慧助理平台，AWS人工智慧市場行銷負責人David Pessis進一步說明此平台是以更直覺、簡單方式提供使用，透過智慧助理方式協助用戶進行資料檢索、回答，甚至可以處理工序複雜的操作項目，而隨著持續互動、反饋修正，甚至持續導入像是此次推出的亞馬遜自有人工智慧模型Nova，都能讓Amazon Q變得越來越聰明。 ▲Amazon Q自動生成式人工智慧助理平台可隨著接入不同模型、數據資料，並且在多次互動、微調變得更聰明 Amazon Q前身就是代號「CodeWhisperer」的服務，目前更區分對應開發者使用的Amazon Q Developer，以及對應各行各業使用的Amazon Q Business。而整體應用如同微軟提出的GitHub Copilot，可藉由接入不同人工智慧模型、數據資料，進而快速建造專屬人工智慧數位助理。 David Pessis更強調，即使是毫無編碼經驗的用戶也能透過步驟指示，以Amazon Q平台打造合適的人工智慧數位助理，同時也強調不會拿用戶資料進行後續學習，因此即便擁有大量機敏資訊的金融行業、政府機構，或是醫療單位，都能以此建造能安全輔助工作的數位助理功能。 ▲AWS人工智慧市場行銷負責人David Pessis 不過，David Pessis並未透露Amazon Q平台背後具體訓練使用數據來源，僅強調是以合法取得數據進行訓練，同時用戶在建構合適的助理服務時亦可選擇不同人工智慧服務，其中也包含亞馬遜此次公布的全新自有Nova系列模型，並且能依照採用模型規模、數據資料量，讓助理能有不同互動體驗，因此也有可能打造一款「Super Q」數位助理服務。 而此次在Amazon Q平台更新，包含在Amazon Q Developer、Amazon Q Business都加入支援識別諸如影片、聲音等非結構性資料功能，另外也能透過QuickSight、index功能快速擷取資料重點，並且進行標示，更可透過執行合理性確認資料是否正確，而透過持續互動校正也能讓數位助理服務運作維持精準性。 ▲此次更新讓Amazon ...

在此次re:Invent 2024活動上，蘋果相當罕見地由機器學習與人工智慧業務總監Benoit Dupin站台，並且強調蘋果過去以來已經藉由AWS雲端平台建置iCloud、Apple Music、地圖、Mail、Apple TV+、Apple News、App Store、Siri等服務，甚至也包含其搜尋服務。 ▲蘋果相當罕見地為合作夥伴活動站台，或許代表AWS是蘋果相當重要客戶 雖然蘋果過去與AWS已有超過10年使用合作關係，而蘋果諸多應用服務也都是在AWS雲端平台上託管運作，但此次特別為AWS活動站台其實相當罕見，因此也足見與AWS的合作，對蘋果而言相當重要。 雙方除了包含各項網路服務託管運作合作之外，包含搜尋服務也是藉由AWS雲端平台運作，另外當前推行的「Apple Intelligence」服務也是透過Amazon Trainium2晶片進行訓練，而諸多服務更是建構在AWS的Inferentia與Graviton系列自製處理器運作，標榜能在相同效能減少更大功耗。 ▲目前iCloud、Apple Music、地圖、Mail、Apple TV+、Apple News、App Store、Siri等服務都是託管在AWS網路平台運作 不過，蘋果先前也透露以Google的TPU加速「Apple Intelligence」服務訓練、運作，此次由Benoit Dupin站台時，透表明接下來也會以AWS的新款自製處理器訓練「Apple Intelligence」服務，或許更意味蘋果之後與AWS合作導入服務的比重將會大幅增加。 ▲以AWS的新款自製處理器訓練「Apple Intelligence」服務 ▲Graviton3目前是用於訓練「Apple Intelligence」服務的設備之一 AWS指出，為了支撐諸多企業、新創對於雲端平台使用需求，目前持續更新其服務平台，其中包含透過導入Graviton系列自製Arm架構處理器，使其伺服器運作效能大幅提升之餘，更可降低整體耗電量，並且能減少碳排放量。 至於對應人工智慧推論使用需求，AWS除了需將以新推出的Trainium2自製處理器提升運算效能，更以4組搭載此處理器的Amazon EC2 Trainium2 Instance伺服器，堆疊構成運算效能更高的超級伺服器「Amazon ...

除了宣布擴大自製處理器應用範疇，並且在伺服器導入更多因應人工智慧執行需求的客製化設計，AWS在re:Invent 2024活動上除了宣布將在其全新Amazon EC2 P6 Instances伺服器導入NVIDIA代號「Blackwell」GPU設計，更透露將於明年正式推出以3nm製程設計的Trainium3處理器，並且針對AWS雲端服務基礎架構進行大幅升級，讓用戶能有更多創新「選擇」。 ▲AWS持續針對用戶使用行為進行創新，更藉由協助新創加速技術成長 針對AWS用戶使用行為提出創新 從現任亞馬遜執行長Andy Jassy手中接下AWS執行長職位的Matt Garman表示，雖然此為其以AWS執行長身分首度參與re:Invent活動，但強調過去以來也見證AWS多年針對雲端應用發展所推動改變，並且持續針對用戶使用行為進行創新，更藉由協助新創加速技術成長。 而透過技術堆疊呼應AWS以「Building Blocks」為口號的發展模式，Matt Garman更表示目前已經透過數以百計的AWS應用技術協助更多企業藉由雲端平台加速成長，其中包含彙整熱門趨勢及點子想法的Pinterest、以ESM3模型研究蛋白質結構的EvolutionaryScale，甚至蘋果也是AWS長期合作夥伴，更以AWS雲端平台支撐其iCloud等服務運作，其中更包含近期推出的「Apple Intelligence」服務，乃至於其搜尋服務。 為了支撐諸多企業、新創對於雲端平台使用需求，AWS也持續更新其服務平台，其中包含透過導入Graviton系列自製Arm架構處理器，使其伺服器運作效能大幅提升之餘，更可降低整體耗電量，並且能減少碳排放量。 強調仍與NVIDIA維持合作，但也持續擴展自製基礎架構 同時，AWS表示仍與NVIDIA維持深度合作，在Google、微軟先後宣布在伺服器導入NVIDIA代號「Blackwell」GPU設計之後，AWS在此次re:Invent 2024也宣布會在其新款Amazon EC2 P6 Instance伺服器採用此GPU設計，預計2025年第一季開始佈署應用。 ▲新款Amazon EC2 P6 Instance伺服器採用NVIDIA代號「Blackwell」GPU設計 至於對應人工智慧推論使用需求，AWS除了需將以新推出的Trainium2自製處理器提升運算效能，更以4組搭載此處理器的Amazon EC2 Trainium2 Instance伺服器，堆疊構成運算效能更高的超級伺服器「Amazon EC2 ...

在re:Invent 2024大會演講中，亞馬遜執行長Andy Jassy宣布名為Nova的自有多模態自動生成式人工智慧模型，並且區分Micro、Lite、Pro及Premier四種規模版本，另外更針對影像生成需求推出名為Nova Canas的模型，同時也宣布推出可自動生成影片內容的Nova Reel。 此次揭曉四種規格版本，包含Micro、Lite、Pro都已經可提供AWS用戶使用，而Premier則要等到2025年第一季才會對外開放。 亞馬遜標榜Nova系列模型能帶來高達75%的成本效益，並且能以更快速度產生內容，更可透過微調方式提高生成準確性。 其中，規模最小、僅對應文字內容生成的Nova Micro，在整體精度表現比起Google Gemini 1.5Flash 8B、Meta Llama 3.1 8B更高，而Nova Lite雖然在視覺理解表現略輸Claude 3.5 Sonnet V2、GPT-4o、Gemini 1.5 Pro及Llama 3.2 90B，但整體表現依然較好。 而同步推出的影像生成模型Nova Canas，則是針對藝術創作使用需求打造，並且強調比Dall-E 3、Stable Diffusion 3.5 Large能有更高生成準確率，更可在短時間內生成輸出。 至於對應影片生成的Nova ...

在re:Invent 2024期間，Marvell宣布與AWS簽訂為期5年的合作協議，將在此期間向AWS提供多款資料中心半導體應用產品，包含客製化人工智慧處理器、光學訊號處理器、主動式有源電纜 (AEC)訊號處理器、資料中心互連光纖模組，以及乙太網路交換器矽半導體解決方案等。 透過此合作，Marvell表示將使AWS進一步推動資料中心運算架構更新，同時也能進一步推動網路傳輸與儲存架構升級，並且使其用戶能獲得更高效率、更低持有成本的網路服務使用體驗，更可縮減多款網路應用服務進入市場所需時間。 另一方面，Marvell也將透過AWS雲端服務、可擴展運算架構加速晶片產品設計效率，並且藉由降低整體工作負載，讓Marvell能有額外資源投入更多晶片設計，並且加快其產品上市時間。 在此次re:Invent 2024活動中，AWS除了表示因應人工智慧運算背後帶動效能與節能平衡需求，將進一步簡化其資料中心架構，藉此降低整體碳排放量，同時也在伺服器導入更多因應人工智慧執行需求的客製化設計，不僅以自製推論處理器堆疊人工智慧運算能力，更透過晶片對晶片直連技術加速資料運算效率，以及配合自製網路系統加快人工智慧執行效率，其中顯然也與Marvell進行相當程度合作有關。

除了宣布持續在全球地區擴建資料中心，並且透過簡化其資料中心架構，使其在效能與節能之間取得平衡，AWS在此次re:Invent 2024活動上更說明調整資料中心運作架構的重要性，並且宣布以去年宣布揭曉自製推論處理器Trainium2建構超級人工智慧推論伺服器「AWS Trainium2 UltraServer」，同時也宣布與人工智慧新創Anthropic深入合作。 ▲以4組Amazon EC2 Trainium2 Instance伺服器構成「AWS Trainium2 UltraServer」 其中，AWS將以16組Trainium2處理器構成Amazon EC2 Trainium2 Instance伺服器，藉此對應20.8 PetaFLOPS的FP8精度運算效能表現，同時也將以4組Amazon EC2 Trainium2 Instance伺服器構成「AWS Trainium2 UltraServer」，藉由總數達64組Trainium2處理器構成83.2 PetaFLOPS的FP8精度運算效能。 ▲藉由總數達64組Trainium2處理器構成83.2 PetaFLOPS的FP8精度運算效能 另一方面，AWS也強調藉由晶片對晶片直連技術NeuroLink，實現每秒2TB資料傳輸頻寬，以及小於1μs (微秒)的傳輸延遲表現，配合Trainium2整合96GB HBM高頻寬記憶體，在「AWS Trainium2 UltraServer」更具備6TB HBM記憶體容量與每秒可對應185TB的資料傳輸量，使得人工智慧運算執行效率可以大幅提升。 AWS效用運算部門資深副總裁Peter ...

AWS在此次re:Invent 2024活動上宣布在其資料中心導入全新設計，藉此因應人工智慧運算發展背後帶動效能與節能之間平衡需求，另外也透過進一步簡化資料中心架構設計降低整體碳排放量。 過去18年以來，AWS持續精進其資料中心設計，並且在其中13年內推動搭載GPU加速的人工智慧工作負載伺服器，進而在全球累積達數百萬名活躍用戶，同時也有數十萬名用戶藉由AWS雲端平台建構人工智慧與機器學習服務，更以Bedrock服務建構自動生成式人工智慧應用內容，使得AWS也必須持續更新其資料中心設計。 而在此次re:Invent 2024期間提出設計，AWS表示將在新資料中心設計導入簡化配電與機械結構，並且使其使用可靠性達99.9999%，同時也讓機架可能因配電問題影響運作的數量減少89%。 另一方面，AWS也透過簡化配電降低過往因電力轉換、分配系統等節點造成耗電、故障等問題，同時也減少機架備用電源與散熱風扇配置數量，並且利用負壓等方式排散伺服器運作產生熱氣，進而降低整體耗電問題。 為了配合AWS新推出的客製化人工智慧推論處理器Trainium2，以及諸如NVIDIA以Blackwell顯示架構打造的GB200 NVL72運算方案，AWS也提出全新結合氣冷與水冷散熱設計，使其人工智慧推論系統能更穩定運作，同時也能以最大限度使用電力推動運算效能，並且能使AWS減少原本必須預留電力，讓電力使用效率可大幅提升。 配合新散熱設計，AWS預期可在未來2年內讓伺服器機架執行功率密度提高6倍，並且在後續進一步提高3倍。而在此設計調整之後，AWS預期可讓每個運算節點的工作負載額外提高12%執行效能，並且以更少伺服器即可實現相同執行算力。 其他更新，則包含採用全新控制系統，並且能透過即時分析、自動故障排除，讓伺服器能維持最佳運作表現，使得其可靠性維持達99.9999%。而藉由減少機械複雜結構，更可讓資料中心整體運作能耗降低46%，同時也透過調整資料中心建築使用混凝土成分與低碳鋼材質，並且使用再生柴油驅動備用發電設施，使其整體潛藏碳排放量可降低35%。 因應新資料中心設計，AWS更與透過人工智慧技術開發先進材料的Orbital Materials達成多年合作協議，預計在2025年底協助AWS建造更低碳排放的數據中心，而本身也會採用Amazon SageMaker HyperPod訓練人工智慧模型，並且在AWS雲端平台對外開源提供使用，讓更多業者能以此研究電池、半導體相關先進材料與製程技術。

AWS宣布推出安全事件回應服務，藉此加快企業發現網路安全攻擊問題，並且縮減從攻擊中恢復所需時間。 此服務主要防範帳號竊取、資料外洩、勒索等入侵攻擊行為，將自動針對亞馬遜威脅偵測服務Amazon GuardDuty，以及相容支援的第三方網路安全工具的偵測結果進行分類，並且透過AWS Security Hub平台彙整資訊，讓企業能更快察覺網路攻擊行為，同時確認攻擊活動情形、回顧歷史攻擊紀錄，更可藉由AWS客戶事件回應小組提供24小時全年無休服務協助解決問題。 企業可針對攻擊行為設定自動回應功能，並且可依照需求建立不同處理權限，藉此讓自動回應功能處理不同攻擊情況，同時進行自動系統修復。若是出現無法修復情形，此服務將自動建立安全回報，並且通知企業內相應管理者進行後續處理。 目前此服務將在AWS全球12個雲端服務區域提供，包含美國東部 (北維吉尼亞、俄亥俄州)、西部 (俄勒岡州)，以及加拿大中部、亞太地區 (南韓首爾、新加坡、澳洲雪梨、日本東京)與德國法蘭克福、愛爾蘭、英國倫敦、瑞典斯德哥爾摩等歐洲地區提供。 雖然市場上已經有不少類似服務，但AWS強調此服務能與其雲端平台高度整合，對於使用AWS服務的企業將能簡化安全攻擊回應佈署流程，同時也能更快識別安全攻擊行為，並且縮減處理問題所需時間，讓服務能更快從攻擊中恢復運作。 隨著市場諸多服務逐漸與網路服務平台深度整合，因此對於網路攻擊主動識別防禦的需求也逐年增加，因此投入此服務佈局預期將使AWS帶來更多發展機會。而AWS更說明美國美國職業高爾夫球系列賽事PGA巡迴賽已經率先採用此服務，藉此阻止大量網路安全攻擊行為。

過去在re:Invent大會活動曾提出移動式儲存伺服器Snowball，以及藉由大型卡車運送伺服器的Snowmobile等大量資料移動解決方案之後，亞馬遜在此次re:Invent 2024再次向AWS服務用戶提供全新資料傳輸解決方案，透過建置在各地區建築大樓內的AWS Data Transfer Terminals服務，讓用戶能將重要資料快速上傳至AWS雲端服務存放。 此項服務自然不是針對小量資料上傳需求設計，而是針對動輒TB容量規模以上，甚至在PB容量規模的資料上傳需求打造，主要目的是加快AWS服務用戶將資料上傳至Amazon S3或Amazon EFS等雲端位置存放的速度。 畢竟許多客戶要將大量資料上傳至雲端時，往往會受限自身租用、架設網路頻寬，可能需要花費不少時間才能將資料全數上傳，而此項服務標榜能以高達400Gbps傳輸速度，讓客戶能更快將資料上傳至雲端使用或備存。 目前此服務僅先在美國紐約及洛杉磯提供，而確保用戶資料隱私安全，此服務僅能透過AWS管理控制台申請預約日期時段，屆時將由AWS方面安排相關作業流程與提供技術協助的資料傳輸專家，並且在指定日期時段由大樓工作人員帶領至相應大樓樓層的房間，即可透過房間內提供設備 (包含用於確認資料傳輸情形的PC)進行資料上傳作業。 而提供此服務的建築大樓與房間將不會配置任何有關亞馬遜或AWS標誌，主要希望惡意人士不會因為此類識別方式將建築大樓列為鎖定攻擊目標，或是避免其他非必要問題產生。 至於使用此項服務，將會針對各個傳輸連接埠以每小時計費，即使在預約時段內未傳輸任何資料也必須支付相關費用。而目前在美國境內進行資料傳輸 (上傳至美國境內的AWS資料中心)，每個傳輸連接埠使用費為300美元，若是從美國傳輸到歐洲地區的話，則會針對每個傳輸連接埠收取500美元費用，但目前並未公布傳輸到其他國家地區所需費用。

亞馬遜稍早公布截至今年9月底的2024財年第三季財報，其中敬收達1589億美元，相較去年同期成長11%，營收則達174億美元，而淨利則達153億美元，而可自由使用的現金流更增加至477億美元。 亞馬遜執行長Andy Jassy更透露，將針對接下來的年底購物節做好準備，同時也預期日前對外揭曉的全新Kindle系列將吸引更多消費族群使用，並且帶動亞馬遜內容服務成長。 此外，Andy Jassy更預告接下來將於美國拉斯維加斯舉辦的AWS re:Invent活動上，將會公布超過100個雲端基礎設施與人工智慧應用功能更新，藉此強化亞馬遜在人工智慧應用發展。 而先前藉由Prime Big Deal Days購物活動，亞馬遜強調在銷售額、商品售出數量，以及Prime會員參與度均創歷史新高，加入折扣促銷品牌更首度包含AllSaints、Beats x Kim、雅詩蘭黛、Kate Spade等，更為Prime會員節省超過10億美元的折扣金額，同時此次折扣優惠更首度向Prime會員提供燃油折扣優惠。 亞馬遜更宣布計劃在2025年底前在美國其他20個城市加速開設新藥房，並且在2025年內使亞馬遜藥房當日送達服務擴展到美國近一半的地區。 在自動生成式人工智慧發展部分，亞馬遜也宣布其人工智慧購物助理服務Rufus已經在加拿大、法國、德國、印度、義大利、西班牙和英國推出，另外也針對賣家推出Project Amelia服務，讓賣家更容易掌握銷售機會，並且向廣告主提供自動生成影片、影像的工具，藉此製作更吸引人關注的廣告內容。 在AWS業務發展方面，亞馬遜也宣布在Amazon Bedrock及Amazon SageMaker服務增加更多基礎模型，包含AI21 Labs的Jamba 1.5 系列、Anthropic的升級版Claude 3.5 Sonnet、Meta的Llama 3.2、Mistral Large 2與多個Stability AI模型，另外更針對用於AWS雲端服務的Graviton4處理器進行記憶體最佳化、運算最佳化，使其相比前一代設計在記憶體頻寬增加75%，運算效能提高30%。 目前更與甲骨文、Databricks達成合作，使其客戶能更容易將工作負載、自訂模型能在AWS基礎建設環境運作，並且與澳盛銀行、Booking.com、第一資本、Datadog、Epic Games、日本迅銷 ...