Tag: Edge Computing

Qualcomm宣布收購全球知名的開源硬體與軟體平台Arduino，這項舉措不僅意味Qualcomm將更深入連結廣大的開發者生態圈，也彰顯其在邊緣運算與人工智慧應用的長遠佈局。 ▲Qualcomm宣布收購全球知名的開源硬體與軟體平台Arduino 收購Arduino擴大邊緣運算與開發者社群 Arduino目前擁有超過3300萬開發者社群，在全球創客、教育與工業應用市場扮演舉足輕重的角色。透過這次整合，Arduino社群將能直接利用高通的先進運算技術，包括圖形處理、電腦視覺與AI能力，打造從雲端到邊緣的全端平台。Qualcomm強調，這項收購延續其近年來對Edge Impulse與Foundries.io的投資與整合，凸顯公司「讓開發者更容易掌握AI與邊緣運算」的戰略方向。 隨著物聯網與AI裝置的普及，市場對於能同時滿足高效能運算與即時控制的平台需求不斷增加。Qualcomm指出，Arduino的加入，將使開發者更容易在單一平台上實現從概念到產品落地的完整過程，進一步拓展創新應用的可能性。 ▲Qualcomm指出，Arduino的加入，將使開發者更容易在單一平台上實現從概念到產品落地的完整過程，進一步拓展創新應用的可能性 什麼是Arduino？ Arduino最早在2005年於義大利Ivrea誕生，由一群設計學院師生共同發起，初衷是讓非工程背景的學生也能輕鬆接觸電子電路與程式設計。透過開源硬體架構與簡單直觀的開發環境，Arduino很快就成為教育訓練、快速原型設計的重要工具。 這樣的理念，也推動了後來創客運動的興起，讓更多人能以低成本方式將創意化為可行的實驗成果。如今，Arduino不僅是學習與實驗的入口，更成為全球創新生態系中不可或缺的一環。 ▲Arduino不僅是學習與實驗的入口，更成為全球創新生態系中不可或缺的一環 ▲目前Arduino已經推出多款開發板規格 整合Qualcomm Dragonwing運算平台 為了呼應這次收購，Qualcomm與Arduino於義大利舉辦發表會，並且宣布推出全新開發板UNO Q。這是首款搭載Qualcomm Dragonwing QRB2210的「雙腦」 (dual-brain)設計開發板，能同時結合高效能的Linux運算，並且以即時微控制器精準操控表現。 藉由此設計，UNO Q被定位為智慧家居、工業自動化與邊緣AI領域的理想平台，並且將「快速AI」 (instant AI)的概念推向更具體的應用場景。 ▲Qualcomm與Arduino宣布推出全新開發板UNO Q ▲UNO Q搭載Qualcomm Dragonwing QRB2210的「雙腦」 (dual-brain)設計 ...

驅動全球五十餘國的鐵路系統的日立軌道公司 (Hitachi Rail)，透過NVIDIA的工業邊緣運算平台技術，藉此降低鐵路公司的保養成本、縮短列車空轉時間，並且為乘客提高運輸的可靠性。 日立軌道公司在旗下全新的HMAX平台中採用NVIDIA IGX平台，透過即時處理感測器和攝影機資料，消除資料蒐集與分析之間的延遲時間，藉此協助日立軌道公司的客戶更快速地偵測需要維修的列車軌道、監控架空電力線老化情況，並且更容易評估列車與號誌設備是否正常運作。 日立軌道公司估計，主動維護的成本比起基礎設施意外故障後緊急維修降低了約七倍左右。其現有人工智慧監控系統已經將服務延誤率降低20%，列車保養成本降低15%，更將列車機廠的燃料成本降低40%，大幅減少能源消耗量。 日立軌道公司軌道車輛部門執行董事暨技術長我妻浩二 (Koji Agatsuma)表示：「使用先前的數位監控系統，需要多日來處理資料和發現要注意的問題。如果我們能夠改用NVIDIA的技術來即時預測，那就能夠避免服務中斷，並且大幅改善安全性、可靠性與營運成本。」 在現有HMAX應用程式集的基礎上，日立軌道公司利用NVIDIA IGX與NVIDIA AI Enterprise軟體平台創造全新人工智慧加速應用程式，目前HMAX應用程式集已經在2000輛列車、共8000節車廂的資料上運行，並且處理來自列車上感應器、現有系統或從客戶已經在使用的第三方軟體所匯入大量資料，藉此協助各鐵路公司監控列車車隊與基礎設施。 日立軌道公司在列車頂部安裝攝影機，還能監控架空電力線，以發現老化的電纜，有助於避免發生故障造成服務中斷。過去得花上十天才能處理列車一天收集到的視訊資料量，NVIDIA 的技術可以加快處理感測器所產生的資料，便能即時在邊緣處理，僅將相關資訊傳回行車控制中心，以便進行分析和採取行動。 以英國為例，每輛日立軌道公司列車上的感應器至多每五分之一秒就會回報近五萬個資料點。當列車或鐵路線的某個零組件需要保養時，與這些資料流保持同步的 AI 基礎設施可及時通報火車公司。AI 所產生出的見解同樣可以透過聊天機器人介面取得，協助營運商輕鬆找出趨勢與機會，以排出最佳的保養時間等。 我妻浩二表示：「萬一沒有及時發現和解決潛在問題，就可能中斷服務，為我們的客戶帶來重大的經濟損失，還有影響依賴這些運輸線路的乘客。NVIDIA 的 AI 基礎架構讓我們首次能夠即時通報數千英哩長鐵路路線的狀況，我們預計這將減少乘客移動的延誤和中斷。」

2015年創立於美國聖地亞哥、聚焦邊緣人工智慧運算解決方案的耐能 (Kneron)，今日 (8/15)在台宣布推出新款人工智慧晶片KL730，將以此驅動輕量級邊緣運算與GPT級別應用解決方案。 在此之前，耐能曾於2021年推出第一款支援Transformer人工智慧語言框架的邊緣人工智慧晶片KL530，而此次推出的KL730則結合車輛等級NPU與影像處理器，提供可達0.35-4 TOPS的運算效能，並且支援輕量級GPT大型自然語言模型運算，分別可佈署於邊緣伺服器、智慧家居，以及汽車輔助駕駛系統等應用場景。而KL730相比耐能過往推出晶片在運算效能提升3-4倍，同時也比市場同級產品提高1.5-2倍效能表現。 KL730以第三代KDP系列可重構NPU架構打造，本身則採用Arm Cortex-A55 CPU設計，並且能透過內建DSP加速語音處理等工作，本身則以台積電12nm製程生產，可對應Cafee、Tensorflow、Tensorflowlite、Pytorch、Keras、ONNX運算框架，以及包含CNN、Transformer、RNN Hybrid等在內人工智慧運算模型，可應用在智慧安全、自動駕駛、視訊會議、工業相機、商用機器人等運算場景。 KL730可讓佈署應用服務以部分或完全離線形式於終端運行GPT模型，並且搭配耐能的私有安全邊緣人工智慧網路KNEO，讓人工智慧能更安全地在邊緣設備上運作，進而達成隱私安全保護效果。五運作模式適用於企業伺服器解決方案、智慧駕駛車輛，或是以人工智慧驅動的醫療設備，在安全性增加情況下提高裝置之間協作能力。 耐能創辦人兼執行長劉峻誠表示：「運行人工智慧功能需要專用晶片，其體系架構與我們以前瞭解的晶片完全不同。簡單地重新使用相鄰技術 (如圖形處理專用的GPU晶片)，無法很好地勝任這項工作，而KL730將是邊緣人工智慧運算的革新者，憑藉其前所未有的效率和對Transformer等人工智慧語言框架的支持，可為各行各業提供強大的人工智慧運算能力，並且在極具安全性和保護資料隱私的情況下充分發揮人工智慧潛力。」 KL730預計在之後開始向設備製造商提供樣品進行測試，並且應用佈署於相關邊緣運算裝置。

Intel執行長Pat Gelsinger在說明公司2023財年第二季財報時表示，將把人工智慧技術帶到旗下每一個產品。 Pat Gelsinger表示，未來各類人工智慧應用將會更將普及化，同時相比目前許多人工智慧必須仰賴雲端協同運算的情況，接下來將有更多裝置基於運算效率、個人隱私等考量，使得所有人工智慧運算都必須在裝置端完成。 同時，Pat Gelsinger更預期人工智慧將會無所不在，並且帶動更多邊緣運算應用發展。 在此之前，Intel已經說明將在下一款代號「Meteor Lake」的處理器產品加入VPU運算元件，藉此提高類神經網路運算能力，同時也是Intel第一款結合人工智慧運算的消費級別處理器產品。 而在Intel採此設計之前，包含Qualcomm、蘋果在內業者都已經在其處理器產品整合人工智慧運算功能，AMD在近期推出產品也加入相同設計，藉此提高邊緣運算能力。 在Intel稍早公布的2023財年第二季財報中，顯示上一季營收達129億美元，相比去年同期下滑15%，淨利則達15億美元，但強調在營收與淨利表現均超出原本預期，更強調接下來將在製程技術發展、產品設計與代工服務有所提升，另外更預測2023財年第三季營收介於129億美元至139億美元之間。

去年宣布在對應伺服器等級的Neoverse系列核心設計中，新增對應高效能運算需求的V系列，並且將原本核心設計歸屬於N系列，作為基礎設施核心技術擴展。Arm在稍早說明中確認代號「Perseus」 (宙斯之子，英仙座)的Neoverse N2核心設計，將會是第一款對應Armv9指令集設計的核心架構，同時也支援雲端至邊緣運算應用場景，強調在安全性、功耗效率與運算表現均有顯著提升。 從2018年擬定未來年發展佈局，並且強調將以每年提升30%效能速度增長，而從基於Cortex-A72核心設計、代號「Cosmos」 (宇宙)的基礎平台設計，進展至代號「Ares」 (戰神)的Neoverse N1核心設計，效能足足提升60%比例，因此也讓Arm更有信心持續佈局Neoverse核心發展，並且在去年宣布增加讓單執行緒效能大幅提昇、加入支援向量延伸指令集 (SVE)與支援2組256位元頻寬向量值運算的Neoverse V系列核心，同時也推出此系列首款核心設計、代號「Zeus」 (宙斯)的Neoverse V1。 而去年更新中，Arm則是在代號「Poseidon」 (波賽頓)的下一款產品與Neoverse V1之間，增加代號為「Perseus」的核心架構設計，並且以Neoverse N2作為正式名稱。Arm確認Neoverse N2將以Armv9指令集設計打造，相比Neoverse N1在相同能耗情況下的IPC效能提升40%，在非同步框架網頁伺服器的大規模雲端運算應用的執行效能則可提升1.3倍，在基於5G網路邊緣運算架構的DPDK (Data Plane Development Kit)所對應L3封包處理效率則可提升1.2倍。 至於今年預計有更多應用的Neoverse V1核心架構設計，則可藉由向量延伸指令集在相同編碼下完成自動向量化，同時鎖定百萬兆級運算需求打造，相比Neoverse N1在高效能運算等效能表現約可提升50%，機器學習效能則可提升4倍，並且可在各種向量工作負載提升1.8倍運算效率，更可透過向量延伸指令集使浮點運算吞吐量提升2倍。 另外針對建構異質運算所需部分，Arm則是提出延續Neoverse CMN-600的Neoverse CMN-700設計，同樣對應可擴充、多核心、高效能運作表現，藉此讓每個運算向量對應效能與連接功能大幅提升，其中包含可對應核心數量、快取記憶體容量、可對應記憶體容量，以及I/O埠連接裝置類型及數量，其中加入支援DDR5記憶體與HBM記憶體模組設計，並且加入支援CXL (Compute Express Link)記憶體共享設計，藉此讓多組處理器整合時能更容易透過記憶體資源共享加快運算效率。 ...

過去已經有不少用於輔助視障人士便於行走的科技設計，例如透過手機鏡頭拍攝、搭配連線真人客服指示的Aira服務，或是像微軟提出以眼鏡拍攝、配合人工智慧技術識別前方場景的概念式智慧眼鏡「Pivothead SMART」，而美國喬治亞大學人工智慧研究所的研究人員Jagadish Mahendran則是打造一款可協助視障人員「導航」的背包，透過人工智慧驅動的影像識別，搭配藍牙耳機接收聲音指示，藉此能順利避開路上障礙物、行走段差較明顯的階梯，或是留意道路號誌等。 由Jagadish Mahendran所打造的這款背包設計裡，採用Luxonis採OAK-D (OpenCV AI Kit D)規格設計的空間感知人工智慧相機，其中搭載Intel旗下Movidius VPU，並且搭配使用針對邊緣運算人工智慧推論應用的OpenVINO開發工具，讓配置在胸前的相機可以捕捉前方場景影像，並且透過影像識別方式判斷需要避開障礙，或是需要留意道路號誌等。 同時，透過連接GPS定位也能協助系統更快判斷使用者所在位置，配合既有地圖資訊判斷使用者應該正確行進方向，或是預先知曉哪些入口會有高度段差問題。而使用者也能透過藍牙耳機即時接受系統發出提示，或是藉由耳機進行互動。 依照Jagadish Mahendran說明，這組設計方案最長約可對應8小時電力續航使用時間，同時也因為可配合不同背包、穿搭使用，因此在使用上也有一定彈性，甚至也能讓突兀感相對降低。 目前此設計方案可以快速識別道路上的垃圾桶、入口階梯，以及重點道路標誌，並且能以簡單指令提醒使用者避開障害，或是停下，另外也能透過指令要求系統描述特定方位物品，例如描述10點鐘方向的車輛、12點鐘的行人等特徵，若使用者需要紀錄當前所在位置座標，或是從現有位置導航至特定餐廳，都是這項設計方案可實現功能。 不過，目前此項設計方案仍處於初期發展階段，但Jagadish Mahendran研究團隊希望能將此設計方案變成正式產品。

針對邊緣運算應用需求，微軟過往除了藉由Azure人工智慧感知服務 (AI Cognitive Services)，以及人工智慧模組強化邊緣運算應用，在此次以線上形式舉辦的Ignite 2021中，更宣布推出能以更簡單方式，將人工智慧佈署應用於邊緣運算的Azure Percept平台。 Azure Percept平台包含一組具備智慧攝影機的開發套件組「Azure Percept Vision」，以及Azure Percept Studio軟體工具，標榜無須深厚編碼技術能力也能將人工智慧應用佈署於邊緣運算，藉此打造各類機器學習應用，或是運用人工智慧技術的運算方式。 舉例來說，企業可以透過Azure Percept平台打造產線檢驗系統，透過機器學習、電腦視覺技術讓系統能以人工智慧運算方式快速檢視產品是否有瑕疵，藉此在實際出貨之前，用更有效率方式確保產品品質，並且減少因瑕疵問題而被退貨情況。 除了「Azure Percept Vision」，微軟也計畫額外提供以聲音應用為主的Azure Percept平台開發套件組「Azure Percept Audio」，同樣藉由Azure平台對應人工智慧運算需求，並且鎖定語音識別，或是聲音辨識等應用，同樣能以更簡單方式佈署應用在邊緣運算需求。 為了擴大配合硬體加速的邊緣運算應用模式，微軟也確定與更多晶片廠商與設備商合作，藉此擴展Azure Percept平台應用生態，將人工智慧更廣泛應用於邊緣運算。

今年在上半年的GTC活動宣布推出採用Ampere GPU的EGX Edge AI平台，NVIDIA表示將與眾多電腦視覺運算、5G網路架構、網路安全、基礎架構及系統業者合作，並且佈署更多邊緣運算應用，更進一步宣布推出新款Jetson Nano 2GB版本開發板，藉此深入更多入門等級人工智慧邊緣運算與機器人自動化應用需求。 相比去年在GTC 2019推出的Jetson Nano，此次推出的Jetson Nano 2GB版本僅搭載2GB記憶體，定位上則比Jetson Nano更為入門，但是同樣可執行各類人工智慧運算框架與模型，另外也能相容既有CUDA叢集，並且對應各類雲端原生應用服務。 NVIDIA表示，Jetson Nano 2GB版本可讓開發者藉由相同設計思維、工具打造應用服務，同時也能因應運算需求、規模進行擴展與延伸，意味小至物聯網裝置，大到數據中心運算規模，都能透過一致設計方式打造服務內容。 而此次推出的Jetson Nano 2GB版本，建議售價僅為59美元，相比先前推出的Jetson Nano開發板建議售價為129美元，將能以更親民價格吸引更多開發者使用，並且以此擴展邊緣運算應用。

Arm針對AIoT裝置與次世代企業運算型儲存解決方案設計需求，推出新款Cortex-R82處理器，並且以64位元架構、整合Linux作業系統能力設計，並且能讓裝置儲存端對應更高運作效能與記憶體存取效率。 相比先前產品，Arm強調Cortex-R82將提供兩倍效能提昇，並且能在裝置端進行完成前期運算，藉此讓人工智慧、機器學習等應用能以更低延遲表現運作，同時也能合併使用Arm Neon技術進行運算加速。 Cortex-R82以64位元架構設計，最多可對應存取1TB容量記憶體容量，並且整合Linux作業系統能力，讓裝置儲存端就能直接進行數據運算，藉此加快物聯網、機器學習或人工智慧技術運作，讓邊緣運算處理速率加快，讓交通訊號控制、自動化運作等需求能以更高效率運作。 而Cortex-R82最高能以8核心形式設計，並且能以更具彈性形式串接不同軟體應用，藉此對應多元運算需求，並且確保一定擴充彈性，同時也能降低建置成本。此外，由於本身整合Linux作業系統能力，因此也能快速串接Docker、Kubernetes等容器架構，讓使用者能快速佈署不同網路應用服務。 同時，Cortex-R82也支援Arm TrustZone安全技術，藉此確保設備使用安全，並且將硬體韌體與軟體運作進行隔離，確保韌體不受外部攻擊。

過去推出不少應用在資料運送的Snow系列儲存設備後，AWS宣布推出針對資料搬移、邊緣運算或邊緣儲存使用的小型設備Snowcone，強調其重量僅2公斤，同時體積佔據空間不大，本身更具備堅固耐用特性，方便隨身攜帶使用。 雖然過去也曾推出小型資料運送使用的儲存設備，但此次AWS推出的Snowcone不僅體型更小、重量更輕，更可藉由內建電池運作，或是直接以USB-C連接線供電使用。 Snowcone透過兩組處理器、4GB記憶體與8TB儲存容量，並且可透過無線或有線方式存取使用，主要針對邊緣運算、物聯網，或是遠距儲存需求打造，本身更以TPM安全晶片加密，同時也支援AWS旗下金鑰管理服務 (KMS)進行加密。 服務部分則可對應AWS EC2 (Elastic Compute Cloud)，以及AWS IoT Greengrass，分別可佈署應用在資料運送、醫療、工業、物流、物聯網、內容分流，或是其他需要更大彈性調整的邊緣運算及儲存需求。 即便目前藉由網路搬遷資料相當便利，但可能還是會網路頻寬，以及安全傳輸問題，加上如果要搬遷大量數據內容的話，可能還會有傳輸費時問題。因此AWS提出的Snow系列儲存設備，便是透過可被運送、安全加密、確保堅固等特性，讓使用者能直接透過車輛、飛機等運輸工具載送Snow系列儲存設備，藉此更快將大量資料從A點運送到B點。 除了用於資料搬遷，目前Snow系列儲存設備也成為佈署邊緣運算、彈性擴充臨時儲存需求的裝置。而類似設計，目前包含微軟、Google也都有提出相關產品，藉此滿足不同資料儲存使用需求。