Tag: Red Hat

Red Hat近期宣布推出全新開源專案llm-d，旨在回應未來生成式AI (Gen AI)最關鍵的大規模推論需求。 此專案由創始貢獻者CoreWeave、Google Cloud、IBM Research與NVIDIA共同發起，並且獲得AMD、Cisco、Hugging Face、Intel、Lambda和Mistral AI 等業者，以及加州大學柏克萊分校和芝加哥大學等學術機構參與，目標讓生產環境中的生成式AI應用像Linux一樣無所不在。 llm-d運用突破性的生成式AI大規模推論技術，並且採用原生Kubernetes架構、基於vLLM的分散式推論，以及智慧型AI感知網路路由，打造出強大的大型語言模型 (LLM)推論雲端，以滿足最嚴苛的生產服務水準目標 (service-level objectives，SLO)。 Red Hat資深副總裁暨AI技術長Brian Stevens表示：「由眾多AI領導者支持的 llm-d 社群的啟動，象徵著我們正處於滿足可擴展生成式AI推論需求的關鍵時刻，亦為企業實現更廣泛的AI應用時必須克服的重大挑戰。透過運用vLLM的創新技術和Kubernetes經驗證的能力，llm-d協助企業更順暢地在擴展的跨混合雲環境中實現分散式、可擴展且高效能的AI推論，能夠支援任何模型、任何加速器，在任何雲端環境中運行，協助實現 AI 無限潛力的願景。」 借助 llm-d 滿足對可擴展生成式 AI 推論的需求 為應對上述挑戰，Red Hat 攜手業界夥伴共同推出 llm-d。這項具前瞻性的專案不僅能強化 ...

Red Hat宣布與AMD擴大策略合作，雙方將結合Red Hat在開放原始碼與AI軟體平台的領導優勢，以及AMD在高效能運算架構的深厚技術，共同為企業用戶提供更靈活且具備效能優勢的AI與虛擬化解決方案，協助因應日益多樣化的混合雲與生成式AI佈署需求。 在 AI 工作負載方面，Red Hat表示其OpenShift AI解決方案已經全面支援AMD Instinct GPU，企業無需投入大量資源，即可透過高效能的GPU進行加速，並且在跨混合雲架構中快速導入、佈署生成式AI模型。 雙方也在微軟Azure ND MI300X v5平台上，搭載AMD Instinct MI300X GPU，成功展示基於Red Hat Enterprise Linux AI的小型與大型語言模型推論能力，能於單一虛擬機器上佈署多個GPU，有效降低跨多虛擬機部署的複雜度與成本。 針對vLLM (開源高效語言模型推論框架)，Red Hat與AMD更積極參與上游社群協作，透過最佳化Triton核心、FP8支援與核心函式庫上游化，提升模型推論效能，強化多 GPU環境下的集體通訊與負載調度表現。 而Red Hat也將推出自家企業級vLLM發行版「Red Hat AI Inference ...

由Misha Herscu及Skyler Thomas於2022年創立的紐約人工智慧新創Cake，目前已經與人工智慧生物科學新創Altis Labs、數據智慧保險科技公司Ping等合作，目前已經獲得1300萬美元資金，其中包含剛創立時獲得的300萬美元種子融資，更包含近期由Google旗下Gradient Ventures領投的1000萬美元資金。 Cake的技術，主要利用人工智慧確保資料傳輸介面框架如Apache Hadoop，以及資料處理平台如Apache Kafka、資料標籤識別機制如Label Studio、資料庫系統如Milvus或Neo4j，或是Anthropic等人工智慧運算API應用資源能正常運作，並且可讓此類網路應用資源更容易使用。 Cake執行長Misha Herscu指出，目前多數服務建置最大挑戰並非在於相關技術堆疊，而是在諸多運作環節會需要串接許多關鍵元件，例如資料傳輸介面、數據處理方式，以及資料庫管理、運作方式。 例如大型金融服務公司會有數百萬個複雜金融要意資料，若服務必須提供具RAG檢索強化生成的資料搜尋功能，藉此對應更直覺得自然語言互動，或是數位助理應用服務，往往必須透過多個不同服務元件組件服務，因此也會造成後續管理、維護或日後升級上的麻煩。 因此在Cake提供服務中，將透過以人工智慧技術結合託管方式，讓企業能以更簡約專案方式打造應用服務，使其能更直覺管理、調整。由於目前許多企業通常無法自行建構各類服務元件，通常會考量技術及時間成本直接選擇外部業者提供服務，因此也讓自身建立專案變得相對複雜，使得Cake認為其技術能有更大發展機會。 而Cake技術長Skyler Thomas認為，自身提供技術比較像是Red Hat協助企業彙整Linux生態中諸多開源應用資源，使其能以更簡單方式導入用於各類專案，並且確保能以安全形式使用各類應用資源。 目前Cake提供技術仍需由導入企業在自建環境執行運作，但未來也計畫以全託管形式提供使用，藉此吸引更多運作管理相對具彈性的中小企業導入，並且透過上雲形式建置各類應用服務。

Red Hat近期宣布收購自動生成式人工智慧軟體及演算法業者Neural Magic，藉此推動在跨混合雲環境中任何位置都能實現高效能人工智慧工作負載。 目前多數人工智慧都是透過大型自然語言模型 (LLM)支撐運作，同時多半是由大型科技業者打造、營運，一般企業多半不太有足夠資源支撐自建、維護大型自然語言模型，因此較難使用全客製化、佈署就緒且具安全性的人工智慧技術。 而藉由Neural Magic在vLLM推論框架的技術發展，結合Red Hat在跨混合雲環境的人工智慧技術產品組合，將協助企業以更開放形式打造客製化人工智慧技術應用，並且能藉由跨混合雲環境佈署於任何位置運作。 Neural Magic於2018 年自麻省理工學院 (MIT)獨立，旨在開發高效能的深度學習 (deep learning)推論軟體。Neural Magic的技術和效能工程專業加上 Red Hat的人工智慧技術產品組合，將驅動Red Hat加速實現人工智慧未來願景。 Red Hat 總裁暨執行長 Matt Hicks 表示：「無論企業的資料位於跨混合雲中的任何位置，人工智慧工作負載皆必須能正常運行。因此，靈活、標準化且開放的平台和工具成為必然，賦能企業得以選擇最符合其營運和資料需求的環境、資源和架構。很高興能透過 Neural Magic 突破性的人工智慧創新完善我們專注於混合雲的人工智慧產品組合，驅使我們不僅做為開源的『Red Hat』，也成為人工智慧領域的『Red Hat』。」 Neural ...

今年5月在丹佛舉辦的技術大會中公布以開源形式加速推動自動生成式人工智慧成長的Red Hat Enterprise Linux AI服務平台，並且更新Ansible自動化平台，讓人工智慧可在混合雲環境以符合特定原則運作，Red Hat今日 (11/5)活動上表示未來的人工智慧技術發展將建構在混合雲環境下成長，而混合雲架構也將使人工智慧能輕易佈署於任何場景使用。 ▲左起：Red Hat 台灣區總經理孫媛音、Red Hat 全球副總裁暨大中華區總裁曹衡康、Red Hat首席資深解決方案架構經理游政杰 Red Hat全球副總裁暨大中華區總裁曹衡康指出，目前市場對於人工智慧的需求，就如同過去眾人談論的數位轉型，但是相較近年諸多人認為發展人工智慧必須先堆疊硬體軍備的情況，目前有更多人開始思考需要什麼樣的人工智慧，以及應該使用哪些人工智慧。 曹衡康認為，目前許多人工智慧技術應用主要建構在既有功能加強，許多企業其實都還是在探討「人工智慧能作什麼」，因此認為當前的人工智慧技術發展更傾向協助提升工作效率，後續才會逐漸全面朝向具代理性質的人工智慧應用發展。 而在此情況下，以GPU、CPU等硬體堆疊更高的算力就不見得是必備要素，甚至在既有硬體架構上佈署人工智慧就已經能滿足相應需求，同時相關應用佈署也能先投入規劃，並且視實際應用狀況再來建構更高執行算力。 就目前市場發展來看，曹衡康表示金融、保險等產業導入人工智慧的速度會較快，至於更具體的人工智慧應用則預計會在未來3-5年才有較大爆發情況。 另外，就目前各地區法規不同情況，曹衡康也指出目前各地政府都陸續針對人工智慧技術應用提出相關法規，尤其在歐洲、中東等地區對於隱私等內容管控較敏感地區會有不同規範，甚至像是美國地區可能還會涉及晶片相關供應議題，因此也預期未來的人工智慧技術應用發展可能會因地而異，使得目前市場仍大致處於觀望階段。 針對目前台灣市場發展部分，Red Hat台灣區總經理孫媛音則強調接下來將會持續強化人工智慧加速導入，並且推動結合容器化與虛擬化技術應用發展，另外也將整合Ansible自動化平台推動代理人工智慧應用佈局，而這些發展都將建立在開放架構的混合雲平台，同時也與Red Hat諸多合作夥伴生態推動龐大的人工智慧應用導入成效。

強調以開源技術加速推動人工智慧應用發展之餘，Red Hat技術長Chris Wright說明相比過往全面以應用服務發展的情形，當前企業發展已經處於一半維持應用服務，另一半則已經轉向人工智慧應用的趨勢，而Red Hat接下來也會持續藉由開源方式持續探索未來人工智慧技術應用可能性。 ▲Red Hat技術長Chris Wright說明持續藉由開源方式持續探索未來人工智慧技術應用可能性 同時，Chris Wright更預期從2023年到2026年這段時間內，人工智慧應用需求將會有10倍以上的成長幅度。 ▲當前企業發展已經處於一半維持應用服務，另一半則已經轉向人工智慧應用的趨勢 ▲預期從2023年到2026年這段時間內，人工智慧應用需求將會早多達10倍以上成長幅度 以開源理念加速推動應用服務在各個環境佈署 在目前發展規劃中，Red Hat持續以開源形式推動各類技術發展，並且相信藉由開源吸引更多資源加入，將能加速推動人工智慧技術成長。而Red Hat扮演角色，則是透過其Red Hat Enterprise Linux AI、OpenShift AI平台持續媒合諸多技術資源，讓企業能以更快速度投入人工智慧技術發展。 而與Intel、NVIDIA、AMD及三星等硬體業者，以及諸如AWS、微軟Azure、Google Cloud等雲端服務與眾多伺服器業者深入合作，Red Hat秉持理念是讓企業能更容易依照需求將服務佈署在不同位置，甚至可藉由混合雲、跨雲型態運作。 在與這些業者的合作中，將深入核心層級，因此將使企業透過Red Hat平台佈署其應用服務時，能使難度門檻大幅降低，得以用更快速度、更少成本進行建置，另外也能藉由開源形式縮短服務更新時間，讓新服務可以更快進入市場提供使用。 無伺服器形式發展並非當前主軸，原因在於企業仍有不同選擇需求 至於被問到是否進一步考慮投入無伺服器形式發展，亦即透過雲端平台形式讓企業用戶無須進行佈署、組建服務運作模式，同時也無須額外花費時間等成本管理、維護伺服器，所有服務背後編碼程式內容均由雲端平台運作。 Chris Wright對此表示，由於企業仍有不同服務佈署應用需求，因此現階段目標還是協助讓企業有更多選擇，例如將服務佈署於地端，或是應用在公有雲環境，甚至以混合雲架構形式運作。而若企業服務有更大的無伺服器形式運作需求，目前會傾向透過其OpenShift平台提供的Kubernetes容器化服務對應，使其能有更多元佈署應用選擇。 ▲藉由OpenShift平台提供的Kubernetes容器化服務對應無伺服器形式運作需求，使其能有更多元佈署應用選擇 ...

針對Red Hat當前發展模式，Red Hat執行長Matt Hicks在此次Red Hat技術大會上說明開源依然是其發展主軸，但由於人工智慧技術應用服務不一定採開源形式運作，同時即便以開源形式也不見得適用於所有基礎架構環境，因此Red Hat重心匯聚在與更多軟硬體業者合作，並且透過其開源平台協助更多企業輕易導入人工智慧技術應用資源，使其能更快推出各類人工智慧應用服務。 ▲Red Hat執行長Matt Hicks強調開源依然是Red Hat發展主軸 Matt Hicks表示，雖然Red Hat隸屬IBM雲端業務部門，但本身仍維持獨立運作，同時與IBM團隊也有諸多合作，透過開源方式讓諸多人工智慧可在各類執行環境佈署運作，並且維持一定運算效能。 在此次公布消息裡，Red Hat也宣布與諸多公有雲、軟硬體業者合作，使其服務平台能在眾多執行環境使用，並且透過開源形式簡化佈署難度，同時也能藉由開源社群加快功能更新效率，另一方面也能藉由開源形式支援更多硬體，以利結合未來推出硬體架構加速人工智慧執行效率。 ▲Red Hat扮演協助企業簡化導入各類人工智慧技術的角色 Matt Hicks認為，由於市場技術變化速度相當快，當前採用的基礎架構環境隨時會面臨改變，必須藉由開源形式加快服務更新速度，而相較過往市場多數採閉源形式發展往往需要相當長時間才會進行調整，在開源架構下的調整速度幾乎一天內就能完成功能更新，因此也讓越來越多企業開始轉向藉由開源架構加快其服務更新週期，以便支撐越來越快的市場改變速度。 除了加快服務更新速度，Matt Hicks更說明可藉由開源形式吸引更多人一同加入改善，進而從中挖掘更多應用發展可能性，並且創造全新市場價值。而IBM目前也相信開源帶動發展機會，與Red Hat當前發展理念不謀而合，因此也讓Red Hat在技術應用推廣能有更大助益。 同時，Matt Hicks表示人工智慧技術持續發展趨勢下，最明顯帶動改變在於加速更多技術成長，其中也包含讓傳統工作流程變得更有效率，例如Red Hat內部已經開始採用人工智慧技術輔助編寫程式，透過下指令形式讓傳統編碼速度加快，進而讓工作人員有時間投入更多創新發展。

針對當前企業導入人工智慧技術應用需求，Red Hat亞太地區企業銷售副總裁Daniel Aw認為在當前以軟體定義加速運算成長的情況下，透過開源及軟硬體整合形式加快人工智慧技術應用將會變成主流方式。 如同此次Red Hat在技術大會中強調與諸多業者整合，並且透過開源形式讓開發者、企業能更容易在任何位置佈署人工智慧，Daniel Aw說明Red Hat當前提供服務就是讓開發者、企業能以更簡單、快速方式推出人工智慧應用服務，同時也能輕易地移轉到其他位置。 不過，Daniel Aw表示並非代表硬體會成為人工智慧佈署應用的限制，而是企業本身應該先了解自身需要建立什麼樣的人工智慧應用服務，從而在現有資源選擇最佳建置、佈署平台。 以當前人工智慧應用市場發展來看，除了多數業者自行提出人工智慧技術、公有雲業者提出人工智慧佈署應用方案等資源，已經能讓企業可針對不同需求選擇合適方案佈署人工智慧，而Red Hat扮演角色則是協助企業打破傳統軟體與硬體之間隔閡，透過開源方式讓企業能更容易投入人工智慧應用發展，同時也能在佈署應用上有更多選擇。 藉由與三星記憶體業務合作為例，在許多人工智慧應用服務背後驅動的硬體設備都會使用記憶體模組，一旦企業有針對特定人工智慧運算需求時，不僅可能會採用客製化處理器架構設計，連帶地也會讓記憶體模組設計有所不同。 因此，Red Hat去年底與三星合作以CXL標準打造的記憶體模組，藉此對應其Red Hat Enterprise Linux 9.3平台環境，讓企業能在此平台環境以更具彈性形式佈署各類應用服務與人工智慧應用內容。 若是建構在閉源環境，或是僅針對特定應用需求建置的軟硬體架構，對企業而言在佈署人工智慧等應用服務相對就會有不少限制，同時也可能伴隨產生更多管理維護成本，進而導致無法以更快速度推動各類應用服務發展。 Daniel Aw表示，過去開源運算並不普及，因此市場多半採閉源運算架構形式運作，而雖然閉源運算在特定領域仍有其必要性 (例如涉及數據安全、隱私維護等情形)，但相比開源運算發展速度就會緩慢許多，因此目前開始有越來越多發展項目轉向開源架構，並且透過眾人力量推動加速成長。 以Red Hat的發展理念聚焦在開源情況下，希望持續透過與眾人合作推動各類運算型態發展，其中自然也包含當前主流的自動生成式人工智慧技術應用。

除了宣布以開源形式推動人工智慧技術應用成長，Red Hat也針對自動化應用的Ansible平台進行更新，加入原則即程式碼功能 (policy as code)，讓企業能在混合雲架構環境執行符合特定原則的人工智慧自動化運作。 ▲Red Hat更新Ansible自動化平台 由於在越來越多人工智慧技術應用情況下，自動化將會變得更加重要，但同時也會讓管理變得更具挑戰，尤其在自動生成式人工智慧技術大量導入中，將使運算管理日趨複雜且需在短時間內完成因應不同情況調整。 ▲加入原則即程式碼功能 (policy as code)，讓企業能在混合雲架構環境執行符合特定原則的人工智慧自動化運作 因此自動化也會變得更加重要，並且成為推動人工智慧應用發展背後重要基礎。而Red Hat此次在其Ansible自動化平台增加的原則即程式碼功能，便是讓多個人工智慧應用運作時維持相同原則，並且在自動生成應用內容維持一致性，避免產生無預期的風險問題。 確保營運安全成為企業導入人工智慧技術重要基礎，同時也成為自動化重點原則，並且讓服務符合企業管理需求、降低運作風險，更使其能具備管理合規性，另外也能在移轉至不同位置佈署應用時，依然能快速維持相同執行原則，藉此減少營運管理所付出成本，同時也能讓人工智慧應用控制在可預期範圍內。 而此次公布消息中，更包含藉由Red Hat Ansible Lightspeed加速自動生成式人工智慧應用於混合雲環境，以及透過Podman AI Lab工具簡化開發者將主要開源工具與人工智慧模型帶到地端開發環境門檻。 ▲藉由Red Hat Ansible Lightspeed加速自動生成式人工智慧應用於混合雲環境 ▲透過Podman AI Lab工具簡化開發者將主要開源工具與人工智慧模型帶到地端開發環境門檻

在此次Red Hat技術大會中，Red Hat除了宣布釋出Red Hat Enterprise Linux AI服務平台預覽內容，更進一步擴大其OpenShift AI平台資源應用整合範疇，另外也強調將持續助企業藉由橫跨混合雲的基礎架構佈署各類人工智慧應用服務。 ▲Red Hat強調將持續助企業藉由橫跨混合雲的基礎架構佈署各類人工智慧應用服務 如同Red Hat Enterprise Linux AI (RHEL AI)服務平台，藉由開源形式讓企業能更容易存取各類自動生成式人工智慧模型，以平台即服務 (PaaS)形式運作的OpenShift AI平台也同樣透過開源加快企業及開發者取用各類人工智慧資源的流程。 Red Hat表示，當前的人工智慧技術應用已經不再處於評估階段，各個企業已經開始構思應該何時導入人工智慧技術，因此提供更快、更容易取用人工智慧技術資源的服務平台就顯得更加重要，並且透過橫跨混合雲的基礎架構，使其能在任何位置佈署人工智慧應用服務，並且依照需求進行擴展或微調。 ▲強調以其平台資源協助企業加速佈署人工智慧應用服務 在此次更新的OpenShift AI平台中，企業可將邊緣運算模型佈署於單一節點，藉此強化各類邊緣運算應用，另外也加入支援基於Kubernetes的機器學習服務模型服務框架KServe，藉此讓企業更容易取用各類大型自然語言模型，進而佈署多元自動生成式人工智慧技術，並且從中簡化佈署應用流程，進而讓服務佈署成本降低。 而針對分散式工作負載方面，則是增加支援IBM的無伺服器開源框架CodeFlare，以及在Kubernetes集群佈署Ray加速框架的開源工具組KubeRay，讓多個運算叢集節點能對應更快、更有效率的資料處理與模型訓練。 ▲以橫跨混合雲基礎架構形式加速人工智慧應用成長 目前IBM已經在其企業級人工智慧工具集watsonxwatsonx.ai整合OpenShift AI平台資源，同時Red Hat也持續與各個業者、機構合作，例如整合Run:ai、Stability AI、Elastic、Intel、AMD、NVIDIA等業者的人工智慧模型或平台資源，透過開源方式讓更多人工智慧應用服務能在更多場景佈署使用，同時也更多平台可取用更多人工智慧技術，並且協助推動更多人工智慧服務創新，包含與瑞典政府推動的AI ...