Tag: re:Invent 2024

負責與Amazon S3相關儲存及雲端資料遷移技術的AWS副總裁Mai-Lan Tomsen Bukovec，針對此次在re:Invent 2024所介紹Amazon S3儲存服務相關更新，強調從儲存端協助用戶推動人工智慧技術創新。 ▲透過Amazon S3迭代更新簡化用戶雲端儲存難題 由於儲存在雲端服務扮演重要功能，而如何更有效率存取資料也變成服務發展關鍵，尤其在目前人工智慧技術應用發展趨勢下，如何在短時間讓人工智慧服務更快找到正確資料，進而生成正確解答，背後與資料如何儲存息息相關。 而在人工智慧訓練方面，如何透過高品質資料訓練人工智慧模型，其實也與儲存息息相關，因此也讓Amazon S3持續成為AWS重要服務項目。 不過，隨著各類服務持續成長，每天產生資料也持續以倍數成長累加，使得企業、開發者必須慎重思考儲存架構如何規劃，尤其在人工智慧技術發展下所產生資料量更是超乎想像龐大，如何更有效率存取資料，並且再從龐大資料有效用於人工智慧發展，顯然就變得更加重要。 因此在此次re:Invent 2024活動中，AWS標榜透過Amazon S3 Intelligent-Tiering儲存類別協助用戶節省超過40億美元的儲存開銷，另外也加入支援Apache Iceberg開源儲存表格格式，並且增加可提高3倍儲存速度的Amazon S3 Tables表格系統，更可透過Amazon S3 Metadata管理系統，以元數據比對方式更快找到正確儲存資料，即便資料日後有所異動也能正確找到。 其他更新也包含針對提供全球地區使用服務的資料處理需求，提出透過衛星校正不同時區導致資料處理時間所產生誤差，讓所有資料能正確釐清各自儲存、修改時間，進而可做出不同處理決策，並且透過Aamzon DynamoDB全域表 (global tables)使用全受管、無伺服器、對應多區域、多用途且具99.999%可用性的資料庫，另外也提出更快的分散式SQL資料庫系統Aamzon Aurora SQL。 非結構化資料對於人工智慧發展至關重要 Mai-Lan Tomsen ...

在此次re:Invent 2024活動期間，橘子集團策略長暨AI創新實驗室負責人陳冠宇，針對橘子集團在今年7月底推出的Vyin AI解決方案進行詳細介紹，同時也說明在此背後如何藉由AWS解決方案建造此人工智慧模型。 ▲(圖／擷自Vyin AI LinkedIn頁面) 認為市面上多數人工智慧模型技術是在挑戰「黑盒子」的不可控性 陳冠宇表示，相較市場目前多數人工智慧多半是以開放人工智慧模型為基礎，並且進行一定程度上的微調、蒸餾 (distill)等客製化作法構成，但大致上都算是「貼皮」為主的設計，原因在於核心的大型語言模型仍是不可調整，加上相關調整也是以自動生成方式進行處理，使其可控程度僅能維持在一定範圍，而此作法宛如在挑戰僅能知道輸入及輸出關係，卻無法知曉內部結構的「黑盒子」。 而橘子集團在Vyin AI解決方案的作法，則是將其拆分「控制」、「語言」、「知識」、「情境」及「動作」等五大中樞，甚至未來有需要的話，還會將其進一步細分。這樣的好處，在於人工智慧模型可以控制項目增加，同時不會相互干擾，因此也不會出現人工智慧模型常見「幻覺」現象。 ▲為了最到更高可控性，Vyin AI將其結構細化拆分 (圖／擷自橘子集團官網) 在橘子集團內部實作結果中，陳冠宇說明在《新楓之谷》線上遊戲導入此人工智慧模型的客服系統，其自主解決問題的正確率高達97%，同時使用滿意度更達98%，相比多數以人工智慧模型驅動的線上客服有更好互動表現。 能有這樣的表現，陳冠宇表示歸功於將人工智慧模型進行拆分，使其能對應不同控制調整，同時在日後升級也更具彈性，無須重新從頭進行訓練，可在加入更新數據之後增加人工智慧模型的「知識」，以及相應互動處理方式。 因為可控程度高，因此能在盡可能避免風險問題下快速升級 橘子集團現階段將Vyin AI解決方案用於Vyin Brain文字客服機器人，以及Vyin Sales互動式對話服務兩種模式，前者主要用於全自動化線上客服系統，後者則對應互動對話使用情境，應用場景則包含線上商品推薦、線上互動內容等。 目前Vyin AI解決方案在遊戲應用部分主要藉由橘子集團自身持有數據進行訓練，而未來對外擴展用於零售、餐飲等產業，甚至用於未來會有大量需求的老年照護等情境，則會接入相關合作數據，讓人工智慧模型可以更符合應用場景所需知識。 在此類應用場景下，人工智慧模型拆分結構作法就會有更大優勢，在不影響既有操作、語言、情境等情況下，即可持續擴充不同領域相應知識，快速套用在不同應用場景，同時也能在之後持續進行升級。 同時，因為在許多細節上做到可控，相對也能讓人工智慧模型產生錯誤風險降低，同時也因為將許多架構拆分細化處理，因此在人工智慧模型面臨處理非結構化資料時更為有利，使得聲音、影像、文字等都能變成推動人工智慧技術應用的重要資料來源。 不像其他以開源人工智慧模型包裝、調整的技術，僅能以可控程度較低的自動生成方式識別此類非結構化資料，導致實際產生結果會出現許多不可控因素，進而形成更大風險。 ▲橘子集團策略長暨AI創新實驗室負責人陳冠宇 透過AWS等雲端服務進行協同訓練，讓模型訓練可在成本效益之間取得平衡 至於在人工智慧模型訓練部分，陳冠宇表示目前橘子集團主要透過AWS等雲端服務進行協同訓練，藉此讓模型訓練可在成本效益之間取得平衡，因此與AWS等雲端服務也維持深度合作模式。 橘子集團當前在Vyin ...

為了進一步推動培育技術人才，AWS在re:Invent 2024活動中宣布啟用教育平等計畫，標榜在未來5年內提供價值1億美元的AWS雲端學習積分，並且由AWS技術專家提供技術指導，希望透過支持全球數百個非營利組織，協助推動在地編程等電腦技能教育。 ▲AWS在re:Invent 2024活動中宣布啟用教育平等計畫 甚至有必要的話，AWS也將提供相關資源這些非營利組織建制、推廣技術人才培育。 藉由與AWS合作，提供免費編程技術教育資源的非營利組織Code.org表示，藉由AWS技術資源建構的人工智慧助理等方式協助教學，使得許多未曾接觸電腦科學教育的老師也能輕鬆勝任，進而可以更廣泛推動未來技術人才培育。 ▲與提供免費編程技術教育資源的非營利組織Code.org合作 除了與Code.org持續合作，AWS更在10個不同國家地區內與50個非營利組織合作，其中也包含與總部位於印度的非營利組織Rocket Learning合作，讓更多位於偏鄉的兒童能有更多現代化的科技教育資源。 ▲與總部位於印度的非營利組織Rocket Learning合作，讓更多位於偏鄉的兒童能有更多現代化的科技教育資源 而此次宣布在未來5年內提供價值1億美元的AWS雲端學習積分，並且由AWS技術專家提供技術指導，AWS希望透過長尾效益催生更多技術人才，並且填補人工智慧技術人才教育的鴻溝。 同時透過此協助計畫，AWS也預期能讓更多企業組織可以更進一步導入正確合適的人工智慧應用資源，以更具實質意義的方式協助推動人工智慧技術創新及成長。 ▲填補人工智慧技術人才教育的鴻溝

因應市場對於自動生成式人工智慧應用需求增加，AWS在此次re:Invent 2024活動宣布推出全新Amazon SageMaker機器學習平台，同時也將更多人工智慧模型、工具應用整合至Amazon Bedrock平台，同時也藉由整合更多Amazon Q技術應用，讓更多AWS平台用戶能更容易建造人工智慧應用服務。 ▲此次re:Invent 2024將更多更新放在Amazon SageMaker、Amazon Bedrock更新，另外也整合Amazon Q技術資源，目的都是為了讓人工智慧建置訓練、佈署應用門檻降低 讓人工智慧模型建立、訓練變得更有效率 針對Amazon SageMaker更新部分，除了強調會透過統一介面協助以最佳工具協助分析數據，挑選合適人工智慧模型，讓用戶能更容易客製化建造、佈署合適的人工智慧應用服務，並且能藉由Amazon SageMaker HyperPod擴展、加速建構自動生成式人工智慧模型。 ▲Amazon SageMaker希望讓用戶能更容易建構、訓練人工智慧模型 而在目前市場需求瞬息萬變、資料內容也持續更新情況，人工智慧模型訓練需求變得必須更有效率，因此AWS此次更針對Amazon SageMaker HyperPod提出彈性訓練方案，讓用戶能在不影響既有服務運作情況下，更有效率地持續訓練人工智慧模型，標榜能提耕高達90%以上效率。 另外，Amazon SageMaker HyperPod也能藉由新增加的任務治理功能，以動態執行方式維持既有服務運作，但是能讓人工智慧模型訓練、微調與推論學習更有效率，並且連帶降低整體成本開銷。 為了進一步強化Amazon SageMaker平台應用資源，AWS目前也在此平台納入合作夥伴提供人工智慧應用服務，同時也強調在Amazon SageMaker平台確保資料與隱私安全，讓用戶能藉由這些應用服務建造更負責任的人工智慧模型。 包含Comet、deepchecks、fiddler AI、LAKERA AI等人工智慧技術公司，目前都已經藉由AWS SageMaker平台訓練、佈署其人工智慧模型應用資源，而Autodesk也強調透過AWS平台資源建構諸多人工智慧應用服務。 ...

針對此次在re:Invent 2024更新的Amazon Q自動生成式人工智慧助理平台，AWS人工智慧市場行銷負責人David Pessis進一步說明此平台是以更直覺、簡單方式提供使用，透過智慧助理方式協助用戶進行資料檢索、回答，甚至可以處理工序複雜的操作項目，而隨著持續互動、反饋修正，甚至持續導入像是此次推出的亞馬遜自有人工智慧模型Nova，都能讓Amazon Q變得越來越聰明。 ▲Amazon Q自動生成式人工智慧助理平台可隨著接入不同模型、數據資料，並且在多次互動、微調變得更聰明 Amazon Q前身就是代號「CodeWhisperer」的服務，目前更區分對應開發者使用的Amazon Q Developer，以及對應各行各業使用的Amazon Q Business。而整體應用如同微軟提出的GitHub Copilot，可藉由接入不同人工智慧模型、數據資料，進而快速建造專屬人工智慧數位助理。 David Pessis更強調，即使是毫無編碼經驗的用戶也能透過步驟指示，以Amazon Q平台打造合適的人工智慧數位助理，同時也強調不會拿用戶資料進行後續學習，因此即便擁有大量機敏資訊的金融行業、政府機構，或是醫療單位，都能以此建造能安全輔助工作的數位助理功能。 ▲AWS人工智慧市場行銷負責人David Pessis 不過，David Pessis並未透露Amazon Q平台背後具體訓練使用數據來源，僅強調是以合法取得數據進行訓練，同時用戶在建構合適的助理服務時亦可選擇不同人工智慧服務，其中也包含亞馬遜此次公布的全新自有Nova系列模型，並且能依照採用模型規模、數據資料量，讓助理能有不同互動體驗，因此也有可能打造一款「Super Q」數位助理服務。 而此次在Amazon Q平台更新，包含在Amazon Q Developer、Amazon Q Business都加入支援識別諸如影片、聲音等非結構性資料功能，另外也能透過QuickSight、index功能快速擷取資料重點，並且進行標示，更可透過執行合理性確認資料是否正確，而透過持續互動校正也能讓數位助理服務運作維持精準性。 ▲此次更新讓Amazon ...

在此次re:Invent 2024活動上，蘋果相當罕見地由機器學習與人工智慧業務總監Benoit Dupin站台，並且強調蘋果過去以來已經藉由AWS雲端平台建置iCloud、Apple Music、地圖、Mail、Apple TV+、Apple News、App Store、Siri等服務，甚至也包含其搜尋服務。 ▲蘋果相當罕見地為合作夥伴活動站台，或許代表AWS是蘋果相當重要客戶 雖然蘋果過去與AWS已有超過10年使用合作關係，而蘋果諸多應用服務也都是在AWS雲端平台上託管運作，但此次特別為AWS活動站台其實相當罕見，因此也足見與AWS的合作，對蘋果而言相當重要。 雙方除了包含各項網路服務託管運作合作之外，包含搜尋服務也是藉由AWS雲端平台運作，另外當前推行的「Apple Intelligence」服務也是透過Amazon Trainium2晶片進行訓練，而諸多服務更是建構在AWS的Inferentia與Graviton系列自製處理器運作，標榜能在相同效能減少更大功耗。 ▲目前iCloud、Apple Music、地圖、Mail、Apple TV+、Apple News、App Store、Siri等服務都是託管在AWS網路平台運作 不過，蘋果先前也透露以Google的TPU加速「Apple Intelligence」服務訓練、運作，此次由Benoit Dupin站台時，透表明接下來也會以AWS的新款自製處理器訓練「Apple Intelligence」服務，或許更意味蘋果之後與AWS合作導入服務的比重將會大幅增加。 ▲以AWS的新款自製處理器訓練「Apple Intelligence」服務 ▲Graviton3目前是用於訓練「Apple Intelligence」服務的設備之一 AWS指出，為了支撐諸多企業、新創對於雲端平台使用需求，目前持續更新其服務平台，其中包含透過導入Graviton系列自製Arm架構處理器，使其伺服器運作效能大幅提升之餘，更可降低整體耗電量，並且能減少碳排放量。 至於對應人工智慧推論使用需求，AWS除了需將以新推出的Trainium2自製處理器提升運算效能，更以4組搭載此處理器的Amazon EC2 Trainium2 Instance伺服器，堆疊構成運算效能更高的超級伺服器「Amazon ...

除了宣布擴大自製處理器應用範疇，並且在伺服器導入更多因應人工智慧執行需求的客製化設計，AWS在re:Invent 2024活動上除了宣布將在其全新Amazon EC2 P6 Instances伺服器導入NVIDIA代號「Blackwell」GPU設計，更透露將於明年正式推出以3nm製程設計的Trainium3處理器，並且針對AWS雲端服務基礎架構進行大幅升級，讓用戶能有更多創新「選擇」。 ▲AWS持續針對用戶使用行為進行創新，更藉由協助新創加速技術成長 針對AWS用戶使用行為提出創新 從現任亞馬遜執行長Andy Jassy手中接下AWS執行長職位的Matt Garman表示，雖然此為其以AWS執行長身分首度參與re:Invent活動，但強調過去以來也見證AWS多年針對雲端應用發展所推動改變，並且持續針對用戶使用行為進行創新，更藉由協助新創加速技術成長。 而透過技術堆疊呼應AWS以「Building Blocks」為口號的發展模式，Matt Garman更表示目前已經透過數以百計的AWS應用技術協助更多企業藉由雲端平台加速成長，其中包含彙整熱門趨勢及點子想法的Pinterest、以ESM3模型研究蛋白質結構的EvolutionaryScale，甚至蘋果也是AWS長期合作夥伴，更以AWS雲端平台支撐其iCloud等服務運作，其中更包含近期推出的「Apple Intelligence」服務，乃至於其搜尋服務。 為了支撐諸多企業、新創對於雲端平台使用需求，AWS也持續更新其服務平台，其中包含透過導入Graviton系列自製Arm架構處理器，使其伺服器運作效能大幅提升之餘，更可降低整體耗電量，並且能減少碳排放量。 強調仍與NVIDIA維持合作，但也持續擴展自製基礎架構 同時，AWS表示仍與NVIDIA維持深度合作，在Google、微軟先後宣布在伺服器導入NVIDIA代號「Blackwell」GPU設計之後，AWS在此次re:Invent 2024也宣布會在其新款Amazon EC2 P6 Instance伺服器採用此GPU設計，預計2025年第一季開始佈署應用。 ▲新款Amazon EC2 P6 Instance伺服器採用NVIDIA代號「Blackwell」GPU設計 至於對應人工智慧推論使用需求，AWS除了需將以新推出的Trainium2自製處理器提升運算效能，更以4組搭載此處理器的Amazon EC2 Trainium2 Instance伺服器，堆疊構成運算效能更高的超級伺服器「Amazon EC2 ...

在re:Invent 2024大會演講中，亞馬遜執行長Andy Jassy宣布名為Nova的自有多模態自動生成式人工智慧模型，並且區分Micro、Lite、Pro及Premier四種規模版本，另外更針對影像生成需求推出名為Nova Canas的模型，同時也宣布推出可自動生成影片內容的Nova Reel。 此次揭曉四種規格版本，包含Micro、Lite、Pro都已經可提供AWS用戶使用，而Premier則要等到2025年第一季才會對外開放。 亞馬遜標榜Nova系列模型能帶來高達75%的成本效益，並且能以更快速度產生內容，更可透過微調方式提高生成準確性。 其中，規模最小、僅對應文字內容生成的Nova Micro，在整體精度表現比起Google Gemini 1.5Flash 8B、Meta Llama 3.1 8B更高，而Nova Lite雖然在視覺理解表現略輸Claude 3.5 Sonnet V2、GPT-4o、Gemini 1.5 Pro及Llama 3.2 90B，但整體表現依然較好。 而同步推出的影像生成模型Nova Canas，則是針對藝術創作使用需求打造，並且強調比Dall-E 3、Stable Diffusion 3.5 Large能有更高生成準確率，更可在短時間內生成輸出。 至於對應影片生成的Nova ...

在re:Invent 2024期間，Marvell宣布與AWS簽訂為期5年的合作協議，將在此期間向AWS提供多款資料中心半導體應用產品，包含客製化人工智慧處理器、光學訊號處理器、主動式有源電纜 (AEC)訊號處理器、資料中心互連光纖模組，以及乙太網路交換器矽半導體解決方案等。 透過此合作，Marvell表示將使AWS進一步推動資料中心運算架構更新，同時也能進一步推動網路傳輸與儲存架構升級，並且使其用戶能獲得更高效率、更低持有成本的網路服務使用體驗，更可縮減多款網路應用服務進入市場所需時間。 另一方面，Marvell也將透過AWS雲端服務、可擴展運算架構加速晶片產品設計效率，並且藉由降低整體工作負載，讓Marvell能有額外資源投入更多晶片設計，並且加快其產品上市時間。 在此次re:Invent 2024活動中，AWS除了表示因應人工智慧運算背後帶動效能與節能平衡需求，將進一步簡化其資料中心架構，藉此降低整體碳排放量，同時也在伺服器導入更多因應人工智慧執行需求的客製化設計，不僅以自製推論處理器堆疊人工智慧運算能力，更透過晶片對晶片直連技術加速資料運算效率，以及配合自製網路系統加快人工智慧執行效率，其中顯然也與Marvell進行相當程度合作有關。

除了宣布持續在全球地區擴建資料中心，並且透過簡化其資料中心架構，使其在效能與節能之間取得平衡，AWS在此次re:Invent 2024活動上更說明調整資料中心運作架構的重要性，並且宣布以去年宣布揭曉自製推論處理器Trainium2建構超級人工智慧推論伺服器「AWS Trainium2 UltraServer」，同時也宣布與人工智慧新創Anthropic深入合作。 ▲以4組Amazon EC2 Trainium2 Instance伺服器構成「AWS Trainium2 UltraServer」 其中，AWS將以16組Trainium2處理器構成Amazon EC2 Trainium2 Instance伺服器，藉此對應20.8 PetaFLOPS的FP8精度運算效能表現，同時也將以4組Amazon EC2 Trainium2 Instance伺服器構成「AWS Trainium2 UltraServer」，藉由總數達64組Trainium2處理器構成83.2 PetaFLOPS的FP8精度運算效能。 ▲藉由總數達64組Trainium2處理器構成83.2 PetaFLOPS的FP8精度運算效能 另一方面，AWS也強調藉由晶片對晶片直連技術NeuroLink，實現每秒2TB資料傳輸頻寬，以及小於1μs (微秒)的傳輸延遲表現，配合Trainium2整合96GB HBM高頻寬記憶體，在「AWS Trainium2 UltraServer」更具備6TB HBM記憶體容量與每秒可對應185TB的資料傳輸量，使得人工智慧運算執行效率可以大幅提升。 AWS效用運算部門資深副總裁Peter ...