Tag: Edge Computing

針對邊緣運算應用需求，NVIDIA在Computex 2019展前活動宣布推出名為NVIDIA EGX的邊緣運算平台，其中可藉由Jetson Nano進行低功耗的影像辨識，或是針對複雜人工智慧應用NVIDIA T4進行更具彈性運算效能佈署。 此次宣布推出的NVIDIA EGX邊緣運算平台，主要針對各類邊緣運算需求打造，分別可對應5G網路基地台、自動化倉儲、智慧商店、自動化工廠等運作需求打造，並且可透過堆疊方式建構更具彈性的運算規模。 其中可以藉由體積極小的Jetson Nano運算平台，以更小電功耗執行每秒可達5萬億兆次浮點運算 (TOPS)效能，藉此對應影像識別等邊緣運算，而藉由可堆疊建構的NVIDIA T4伺服器，對應每秒超過1萬兆次浮點運算效能，則可對應即時語音識別等人工智慧技術應用。 目前包含宏碁、華擎、華碩、源訊、Cisco、Dell EMC、富士通、技嘉、HPE、聯想、廣達、泰安在內廠商均與NVIDIA EGX邊緣運算平台設計合作。 另外，NVIDIA也與目前隸屬IBM的Red Hat攜手合作，將NVIDIA旗下邊緣堆疊技術與企業級Kubernetes容器編譯平台的OpenShift功能進行整合、優化，藉此讓各類邊緣運算可以透過NVIDIA旗下GPU產品進行硬體加速。

針對去年大幅度提倡的邊緣運算，微軟稍早宣布針對物聯網裝置帶動的邊緣運算需求，分別提出Azure SQL Database Edge，以及IoT Plug and Play應用項目，另外也針對人工智慧運算應用加強Azure感知服務，並且進一步簡化機器學習應用模式，讓開發者能更容易在FPGA架構、ONNX執行緒，或是在NVIDIA TensorRT、Intel nGraph推理環境下建構反應更快的人工智慧系統。 由於邊緣運算成微軟目前雲端應用重點項目，同時在接下來的5G連網應用時代即將有更多裝置彼此連接，因此更凸顯邊緣運算的重要性，而非僅只是仰賴雲端運算整合應用。 在此次公布的Azure SQL Database Edge中，微軟將進一步加強邊緣裝置端的資料存取效率，藉此讓邊緣裝置運算也能銜接Azure SQL資料庫與SQL Server運算能力。另外，藉由IoT Plug and Play應用項目，更可讓物聯網裝置更容易與雲端服務連接運作，無需像以往必須搭配特別撰寫軟體系統進行串接，進而可加快物聯網裝置佈署效率。 而在採用相同架構設計之下，開發者也能更容易將服務從雲端佈署到邊緣裝置，同時僅需藉由相同開發工具完成從雲到端的所有服務建置，除了可讓物聯網服務規模擴大之外，更能將鞮物平台維護難度。 除此之外，微軟也將擴展Azure雲端服務平台與機器學習應用項目，其中包含將Azure DevOps與MLOps功能整合，藉此提昇端到端的機器學習自動化準確度，更可在硬體加速模式下建構FPGA架構、ONNX執行緒，或是在NVIDIA TensorRT、Intel nGraph推理環境下建構反應更快的人工智慧系統。

在MWC 2019期間，Arm副總裁暨客戶事業部總經理Nandan Nayampally對於接下來的5G網路發展，從Arm角度來看接下來的市場發展會有什麼樣的期待。 對於許多看法認為5G網路帶來更大頻寬、傳輸速度顯杜提升之下，越來越多運算可以交由雲端處理，裝置端僅需做簡單資料處理即可，Nandan Nayampally認為這樣的說法並不完全對，主要還是看實際應用服務而定，否則裝置端的運算依然還是重要。 舉例而言，雖然在5G網路情況下可以實現更高解析影像的即時線上遊戲串流遊玩，但在裝置端依然需要有足夠效能處理即時傳遞資訊，例如在即時回傳使用者操作結果，同時將操作結果反饋呈現在裝置端，並且持續處理網路端所傳遞資訊內容，因此裝置端的運算效能依然有其提升必要性，特別像是資訊處理量更龐大的連網汽車，勢必要藉由更高運算效能對應每秒數以萬計以上的資訊處理量，藉此確保車輛在行進間的安全與行進正確度。 因此，就Nandan Nayampally的看法認為，即便在5G網路時代，裝置端的效能提升依然有其必要性，主因在於裝置端同時必須處理的資料量將會增加許多。 但這方面自然還是看服務應用需求而定，確實部分內容服務型態可以將裝置端運算需求，逐漸移轉到以雲端產生更大協同運算效果，而不見得必須在裝置端完成所有運算流程，裝置端可能僅只是用於呈現整體運算結果，例如透過5G網路傳輸高解析影像內容時，事實上多數處理都是發生在雲端，裝置端僅只是對應內容播放，而無需進行任何編碼處理或即時數據回傳。 而隨著網路傳輸頻寬提升，Nandan Nayampally也預期將會催生更多不同型態的全新服務應用模式，進而推動手機產品產生更大使用模式改變。 舉例而言，此次MWC 2019期間不少廠商提出的螢幕可凹折手機設計，雖然現階段仍無法感受太大實用性，但或許在5G網路持續普及應用之下，將會帶動消費者對於同時可使用更大螢幕的需求增加，勁而讓螢幕可凹折手機的實用性增加。 Nandan Nayampally表示，目前許多看法認為螢幕可凹折手機並沒有實質應用性，最大因素在於尚未建立使用需求，但一旦找到符合此類裝置使用模式的話，市場需求自然就會建立起來，而這也是5G網路預期可在現行發展所帶來改變，甚至可能催生現行手機設計型態改變。 在接下來更多網路技術發展中，Nandan Nayampally預期運算模式將會持續改變，但始終會需要一個運算媒介，一如Google想像接下來的運算可能會是以聲控為主，但總要有個裝置接收操作者所下達指令。以近期的發展趨勢來看，智慧型手機依然會扮演使用者重要運算媒介，但未來或許會持續分散至手錶、眼鏡，甚至家中智慧喇叭等裝置，因此在互動方式改變之下，勢必也會推動更多硬體裝置衍生不同形式發展。 至於在這些發展趨勢之下，Arm的立場必然會針對此類需求提出對應設計方案，而就連結與資料安全方面也會持續加強。 只是，不同於Intel等處理器廠商經常會在市場建立全新產品類別，Arm的想法還是在於市場有哪些需求，便會朝向這些需求打造更好解決方案。

呼應亞馬遜所推出的AWS IoT平台，以及微軟所打造的Azure IoT平台，Google在Google Cloud NEXT 2018活動中宣布推出Google Cloud IoT Edge服務平台，其中將包含Edge IoT Core、Edge ML軟體元件，同時也針對端點運算推出結合人工智慧運算技術的Edge TPU，預計在今年10月推出開發板，預計藉由軟硬體整合方式進攻物聯網應用市場。 推出Google Cloud IoT Edge服務平台，自然是鎖定亞馬遜、微軟先前已經進駐物聯網應用市場，並且進一步與本身物聯網平台Android Things緊密結合，將Google Cloud應用與廣泛物聯網裝置銜接。 而此次釋出的Edge IoT Core、Edge ML軟體元件，除了可在Android、Android Things平台運作，更可對應Linux架構相容平台使用，藉此讓開發者、企業端能快速藉由雲端連接方式將各類服務快速佈署至各類終端裝置，並且透過端點學習方式加快裝置運算效率，藉由Edge ML更可讓各類透過TensorFlow學習模型訓練的終端裝置具備快速反應、預測，並且能持續學習特性，預期能讓物聯網應用更具效率，同時也能確保安全。 除軟體應用，Google此次也宣布同步推出針對端點運作使用的學習加速器Edge TPU，預計將在今年10月推出開發板。 Edge TPU針對端點裝置應用需求打造，本身尺寸遠小於1美分，除了可用於端點訓練學習之外，本身也能對應執行TensorFLow Lite或TensorFLow學習框架，並且對應超低功率運作表現，因此可以廣泛應用在各類裝置。不過，Google方面並未透顧Edge ...

如同蘋果在macOS High Sierra、iOS 11導入更好空間管理與存取效率，同時加入加密機制的APFS檔案系統，華為稍早也宣布推出採開源架構設計的EROFS (Extendable Read-Only File System)Linux檔案系統，或許將使新款手機檔案讀取使用效率更快。 華為工程人員Gao Xiang針對Android平台所打造一款基於Linux系統結構的開源檔案系統EROFS，標榜將能大幅提昇Android平台檔案讀取速度，藉此提昇多數基於Android平台智慧型手機檔案使用效率。 就相關文件說明，由於目前絕大部分檔案仍以單純讀取居多，因此EROFS檔案系統設計便是以純粹的讀取使用為主，藉此加快Android平台裝置檔案資料讀取使用效率，同時也能透過新壓縮技術節省更多裝置儲存空間。 透過使用Linux平台伺服器與使用Kirin 970處理器的Android裝置進行比對，相比傳統ext4檔案系統在壓縮檔按文件連續讀取與隨機讀取效率表現，EROFS檔案系統幾乎有明顯讀綠效率優勢。而藉由增加檔案讀取效率，不但可讓內容讀取速度提昇，同時也有助於裝置端的深度學習應用效率提昇，讓手機端的人工智慧技術發展能有更快速度成長。 不過，由於EROFS檔案系統仍處於早期研發階段，因此暫時還無法確定華為是否將其應用在實際市售產品，或是否將與Google合作將EROFS檔案系統納入Android作業系統，讓更多Android平台裝置可大幅提昇檔案取用效率。 而從先前華為也傳出考慮打造自有作業系統的情況來看，華為也有可能選擇將EROFS檔案系統用於自有設計平台內，藉此強化自有作業系統競爭優勢。

2016年由Intel出資收購後，Movidius旗下VPU技術便成為Intel在影像視覺應用重要項目。 在此次AI DEVCON活動裡，Movidius市場部門主管Gary Brown再次說明可驅動電腦視覺應用的VPU特色，其中包含藉由1W電功耗即可帶來高達1TFLOPS的運算效能，同時本身形式也採微縮設計，因此能輕易讓各類裝置使用影像識別與物件偵測技術。 以目前旗下Myriad VPU發展至第二代版本情況來看，Gary Brown表示已經可以對應相當廣泛的物聯網應用，至於是否計畫推出第三代版本，則是目前仍無法透露部分，但預期併入Intel體系後，未來依然會著重VPU產品所帶動效益，並且在物聯網應用發展扮演重要角色。 Movidius市場部門主管Gary Brown 就Intel在物聯網應用架構裡，VPU將成為終端裝置運算重要元件，例如先前在與微軟合作Windows ML學習框架之下，便使VPU能進一步進入一般消費端PC使用，藉此產生更多應用可能性，而不一定僅能仰賴GPU協助運算。 但未來是否計畫將VPU套用在手機等行動裝置，Gary Brown的看法則認為目前行動處理器廠商其實已經有作類似應用，同時強調以Movidius的VPU運算能力來看的話，對於現行手機產品事實上是有些過剩，因此在導入成本與使用功耗等考量下，並不認為會是最好設計方案。 不過，若是針對手機產品額外附屬配件，例如外接360度環景相機，或是其他應用影像視覺技術的配件，Gary Brown認為或許針對此類需求導入VPU作為輔助運算，就會相當適合。 而對於Google在去年推出的Pixel 2採用名為Pixel Visual Core的獨立影像處理器，是否就是使用Movidius VPU技術，Gary Brown則是笑著表示無法對此透露具體細節。 從Intel的角度來看，VPU將扮演端點運算相當重要角色，主要對應影像分析、自動化學習、無人機自動導航、機器人電腦視覺等端點運算需求，藉此讓終端裝置即可完成預先運算，藉此降低整體物聯網運作延遲問題，並且讓執行效率可大幅提昇。

在此次北京活動裡，除了針對新款Mali多媒體IP套件更新項目做說明外，ARM再次針對稍早前推出的終端裝置學習設計平台Project Trillium進一步做說明，強調將會針對小至物聯網設備，大到雲端伺服器設備的端點學習應用做優化，並且以此將人工智慧應用推廣到更多元市場應用層面。 就稍早ARM方面說明，Project Trillium設計平台的目標是將更多人工智慧應用帶進各類終端裝置，甚至可讓規模大至雲端伺服器的裝置也能藉由機器學習方式達成更具效率的運算效果，而就連小至行動裝置或物聯網設備也能藉由人工智慧技術應用加快運作反應速度。 以Project Trillium設計平台細節來看，其中包含藉由包含Cortex-A系列、Cortex-M系列及Mali系列既有ARM架構處理器的配置模式，或是搭配獨立學習運算元件ARM ML架構處理器，以及ARM OD架構處理器，分別對應數據推理或影像識別為主的機器學習應用，搭配市場常見的TensorFlow、Caffe或Android NN等軟體端學習框架，藉此發揮更大機器學習效率，同時也能針對裝置設計需求，或是實際應用需求配置不同組合，例如藉由既有硬體，或是額外搭配ARM ML架構處理器、ARM OD架構處理器對應特定領域運算需求。 ARM資深市場營銷總監Ian Smythe表示，市場開始越來越重視端點運算的原因包含藉由網路頻寬進行協同運算方式仍可能帶來延遲、增加額外開銷，以及包含額外增加電力損耗、建置成本、可靠度與安全等考量，因此開始有廠商開始藉由既有硬體搭配學習框架，或是透過額外獨立學習運算元件達成裝置端學習應用效果，藉此讓裝置端整體運算效率可進一步做提昇，並且產生不同運算應用。 因此，就ARM本身基於技術授權供應角色立場，自然也會針對此類應用需求提供最佳設計方案，而Project Trillium設計平台便是為了提供更具彈性的應用需求所打造，讓合作夥伴能更容易打造各類基於機器學習應用的終端設備，藉此將人工智慧技術推廣至更多裝置使用情境。 而針對部分合作夥伴如Qualcomm認為裝置端的學習運算模式將會先在高階硬體設備普及應用，之後才會陸續推廣置中階或入門機種，ARM方面的看法則認為並不盡然，主要還是看實際應用模式，例如在物聯網設備端的學習應用雖然不比智慧型手機需要更複雜運算模式，但同樣可藉由簡單或特定模式的機器學習方式推動更具效率的運算效果，因此認為裝置端的學習應用將會更快廣泛普及。 至於導入機器學習應用設計是否讓裝置端的設計成本額外增加，Ian Smythe表示這部份主要還是取決終端裝置實際應用需求，並且在設計成本與最終效益間進行考量，而當然在未來更加普及應用之後，也將使整體設計研發成本可具體降低，進而讓人工智慧成為未來主要運算使用模式。 在未來學習應用處理器發展模式，Ian Smythe表示最主要還是會觀察市場應用趨勢、客戶需求，以及ARM本身對於未來發展看法研究，藉此推展更多學習應用處理器規格，並且比照既有Cortex-A、Cortex-M等處理器有更多元應用設計，而不僅侷限在既有設計框架。

針對稍早針對裝置端學習應用需求所打造的Project Trillium設計平台，ARM機器學習事業群總經理Jem Davies在此次MWC 2018接受訪談時表示，裝置端的學習運算將會是未來發展趨勢，應用層面更從物聯網、手機等小型裝置，大至自動駕駛車輛、機器人，或是數據中心與智慧城市等大型規模「設備」，預期將可藉由深度學習方式優化數據傳輸、降低延遲，進而從中獲取建置成本優化與安全提昇等優勢。 就ARM日前宣佈推出的Project Trillium設計平台，主要基於ARM ML架構設計的處理器能有更快的機器學習效率，同時也能藉由基於ARM OD架構設計的處理器更快感知辨識物件變化，例如精準判斷人臉以外的動作、手勢，甚至身上配戴物件，再透過名為ARM NN的軟體串接諸如TensorFlow、Caffe或Android NN等學習框架，並且利用硬體運算效能加速學習效果。 而不同之前藉由CPU、GPU協同作業達成機器學習效率，藉由Project Trillium設計平台的學習數據吞吐量幾乎可達2-4倍以上，其中更可透過1080p@60fps畫面形式捕捉影像，進而讓終端裝置可以學習正確辨識人臉，甚至進一步學習判斷表情變化、手勢等肢體動作，或是配合識別人臉以外的裝飾物。 根據Jem Davies說明，基於ARM ML架構設計的處理器最高可在行動裝置上產生4.6TFLOPS運算量，或是以3TFLOPS相對更具效率方式運作，並且能比一般數位訊號處理元件提供快上80倍的處理速度，同時基於ARM OD架構設計的處理器更可對應工業等級物件識別效果。 同時，在Project Trillium設計平台中，若開發者希望藉由既有硬體與軟體框架打造端點學習運算模式，ARM也同樣提供相關技術解決方案，意味在ARM的看法裡，無論是藉由獨立學習運算元件達成加速效果，或是藉由既有CPU、GPU等元件，搭配軟體學習框架運作方式，其實都能是不錯的端點運算學習應用模式，最主要還是看實際應用層面，畢竟不同使用情境依然有最佳合適學習應用模式。 例如需要更快即時識別速度的話，搭配專屬學習加速處理元件可能會是較好作法，而若是需要依據不同使用情況彈性變動運算模式的話，藉由既有CPU、GPU等元件，配合學習框架以FPGA可程化指令集架構運作，反而能有更大運算優勢。 ARM機器學習事業群總經理Jem Davies 裝置端學習應用將驅動全新運算模式 以目前來看，包含華為、蘋果等廠商均採用專屬學習運算元件輔助加速，藉此縮減傳統運算時所產生遲滯現象，同時聯發科稍早揭曉的Helio P60也在影像識別應用加上專屬APU獨立運算元件，藉此對應速度更快的人臉識別成效。 而Qualcomm等廠商則認為透過專屬學習運算元件加速的設計雖然重要，但考量要讓絕大多數的硬體設計都能維持在相同架構模式運作，採用獨立運算元件輔助加速的作法勢必會在軟硬體版本更新時面臨侷限，進而造成應用服務無法正常相容，或是無法達成效率最佳化，甚至可能造成產品設計時的額外成本增加，因此認為透過既有硬體配合軟體運算方式，藉此達成相近或更高的學習加速效果會是更符合效益作法。 但從ARM的角度來看，雖然市場提出不同作法，但基本上都是源自旗下合作廠商，因此本身也會針對此類需求提出更便利的設計應用參考方案，讓更多合作夥伴能藉由此類設計平台快速打造應用產品，或是進一步調整創造全新技術，本身主要還是在此發展中扮演技術供應端角色。 Jem Davies認為，裝置端的學習加速應用與5G連網技術發展沒有絕對關連，而是在裝置端的對於運算效率、隱私安全與貼身使用等需求成長下，進而從過往仰賴雲端協同運算情況開始轉向在裝置端即可以學習加速完成前期運算，同時配合雲端服務完成更大規模的數據運算應用，藉此縮減從裝置端到雲端之間協同運算的延遲現象。 同時，Jem Davies也預期裝置端的學習加速應用將改變傳統運算模式，不僅涵蓋目前ARM現行擅長的行動裝置、監控設備或更多物聯網應用市場，未來也可能進一步改變PC裝置使用模式。

在既有800系列、600系列、400系列，以及200系列行動運算平台產品線中，Qualcomm再次宣布增加介於中階與高階處理器之間的Snapdragon 700系列行動運算平台，希望能在更進一步細分的產品線裡提供整合人工智慧技術應用選項，讓OEM廠商能有更多元選擇。 雖然Qualcomm並未具體說明相比600系列行動運算平台的效能表現，但在Snapdragon 700系列將導入800系列才會使用的Snapdragon NPE (Neural Processing Engine)人工智慧引擎將帶來2倍運算效率提昇，並且同樣提供Spectra圖像處理元件 (ISP)，而CPU核心設計也將採用Kryo自主客製化架構，以及整合Hexagon協同處理元件與Adreno GPU，整體電力損耗將比Snapdragon 660低約30%，同時也能藉由人工智慧技術推動更多端點運算應用。 此外，Snapdragon 700系列也將藉由人工智慧運算模式強化相機拍攝表現，而除了藉由自主架構核心設計、Spectra圖像處理元件與Adreno GPU輔助下大幅降低電力損耗，更將導入QC 4.0快速充電機能，並且提供Bluetooth 5支援與Qualcomm引以為傲的LTE連接能力。 在目前越來越多市場應用開始講究端點運算，同時因應Google等廠商開始推動擴增實境，以及行動裝置端的虛擬實境應用，使得終端裝置也必須增加更多以人工智慧驅動的運算能力，藉此提昇整體執行效能，因此預期Qualcomm希望能藉由推出Snapdragon 700系列行動運算平台，讓OEM廠商能以此打造更多具備人工智慧技術驅動的終端裝置產品，同時也能讓Qualcomm尋求更多全新發展機會。 目前Qualcomm表示採用Sandspragon 700系列行動運算平台的終端裝置將會在今年上半年內問世，至於先前有不少傳聞的Snapdragon 670，不過確定是否就是指此次推出的Snapdragon 700系列，或是仍屬於未發表產品。

在各自提出行動裝置端上的學習框架TensorFlow Lite，以及Core ML之後，目前Google宣布將使TensorFlow Lite也能支援蘋果提出Core ML學習框架，藉此讓iOS平台開發者也能藉由Core ML學習框架部署TensorFlow學習模型。 雖然彼此為行動裝置平台競爭關係，但Google仍有不少服務藉由iOS平台發展，因此對於開發者而言，若能有更容易開發設計環境，將有更大吸引力。所以從過去以來，Google其實持續針對Android、iOS平台給予開發者相當便利的工具資源，使其可用最容易、直覺方式開發各類軟體與服務。 而此次宣布讓TensorFlow Lite也支援蘋果Core ML學習框架，同時在Android、iOS平台設計內容的開發者，僅需透過相同資源即可設計跨平台內容，而對於iOS平台開發者也能利用TensorFlow學習模型設計各類裝置端學習應用服務。 此外，Google也計畫針對iOS平台設計需求，提供可將TensorFlow學習模型內容轉換成Core ML學習模型，藉此免除開發者必須透過其他程序轉換學習模型資料的困擾。 使TensorFlow Lite加入支援Core ML，其實Google也從蘋果方面獲得不少協助，藉此讓開發者能進一步簡化設計流程，同時也能避免不從平台間轉換所產生問題，進而讓更多軟體服務與內容能更快推出。