Tag: Project Trillium

不久前宣布推出新款Mali-D77顯示處理器，藉此對應更穩定虛擬視覺之後，Arm在Computex 2019展前活動進一步宣布推出全新Cortex-A77 CPU架構設計，以及新款Mali-G77 GPU，同時也強調將擴大提供機器學習處理器設計，讓行動裝置能發揮每瓦達5兆次運算效能表現，進而提昇邊緣運算效益。 因應5G網路趨勢伴隨成長，Arm認為未來將會有更高的智慧型手機效能使用需求，藉此因應更多元的運算模式，同時也將帶動更多裝置端的人工智慧運算應用，甚至針對更多虛擬實境、擴增實境、高畫質串流應用需求提供足夠效能。 此次宣布推出全新Cortex-A77 CPU架構設計，相比先前推出的Cortex-A76架構設計約提昇20%效能，其中更直接在完整處理器架構設計導入針對人工智慧技術應用需求打造的獨立NPU，讓採用Cortex-A77 CPU架構設計的處理器，可在機器學習等應用效能表現大幅提昇，相比過去兩個世代打造的處理器產品約可提昇35倍的人工智慧運算效能表現。 Cortex-A77 CPU架構相比先前Cortex-A76 CPU架構，在相同基礎上加上支援Arm v8.2指令集、加倍設計的分支預測頻寬，並且提昇預測精度，同時也提昇分支目標緩衝快取，分別在L1加大4倍、在L2加大2倍，另外更提昇亂序核心運算頻寬提昇，而整數執行頻寬也加大50%，記憶體子系統效能也進一步作提昇，並且相容Arm DynamIQ運作模式設計。 ㄠ 另外，在此次推出的Mali-G77 GPU，則相比先前推出的Mali-G76 GPU提昇約40%效能，並且導入Valhall架構設計，同時針對渲染引擎、紋理處理流程，以及存取快取效率大幅提昇讓每瓦效能提昇約30%。 而藉由Mali-G77 GPU進行機器學習運算加速，約可提昇60%效率，並且讓人工智慧運算中使用推論與神經網路執行效率增加，藉此讓裝置端的顯示效能更為流暢。 在此次Computex 2019展前活動上，Arm也表示將持續與聯發科深入合作，未來將持續針對人工智慧技術應用、5G連網應用運算推動發展，同時在人工智慧技術應用領域與商湯、曠視攜手發展，藉此創造行動裝置更大成長機會。 藉由先前提出的Project Trillium設計，Arm開始將人工智慧運算導入行動裝置，並且相容Android NN軟體框架，讓行動裝置能發揮每瓦達5兆次，以及每秒32兆次運算效能表現，並且讓電力使用效率提昇兩倍，記憶體壓縮率提昇三倍，進而提昇邊緣運算效益。 依照Arm規劃，藉由Cortex-A77 CPU架構、Mali-G77 GPU、Arm ML處理器、Arm NN軟體框架，並且搭配日前推出的Mali-D77顯示處理器，讓終端裝置能夠發揮更高運算效能，並且對應5G連網時代更高運算效能需求，同時也能配合常時連網與雲端協作實現更全面運算效益。

在此次北京活動裡，除了針對新款Mali多媒體IP套件更新項目做說明外，ARM再次針對稍早前推出的終端裝置學習設計平台Project Trillium進一步做說明，強調將會針對小至物聯網設備，大到雲端伺服器設備的端點學習應用做優化，並且以此將人工智慧應用推廣到更多元市場應用層面。 就稍早ARM方面說明，Project Trillium設計平台的目標是將更多人工智慧應用帶進各類終端裝置，甚至可讓規模大至雲端伺服器的裝置也能藉由機器學習方式達成更具效率的運算效果，而就連小至行動裝置或物聯網設備也能藉由人工智慧技術應用加快運作反應速度。 以Project Trillium設計平台細節來看，其中包含藉由包含Cortex-A系列、Cortex-M系列及Mali系列既有ARM架構處理器的配置模式，或是搭配獨立學習運算元件ARM ML架構處理器，以及ARM OD架構處理器，分別對應數據推理或影像識別為主的機器學習應用，搭配市場常見的TensorFlow、Caffe或Android NN等軟體端學習框架，藉此發揮更大機器學習效率，同時也能針對裝置設計需求，或是實際應用需求配置不同組合，例如藉由既有硬體，或是額外搭配ARM ML架構處理器、ARM OD架構處理器對應特定領域運算需求。 ARM資深市場營銷總監Ian Smythe表示，市場開始越來越重視端點運算的原因包含藉由網路頻寬進行協同運算方式仍可能帶來延遲、增加額外開銷，以及包含額外增加電力損耗、建置成本、可靠度與安全等考量，因此開始有廠商開始藉由既有硬體搭配學習框架，或是透過額外獨立學習運算元件達成裝置端學習應用效果，藉此讓裝置端整體運算效率可進一步做提昇，並且產生不同運算應用。 因此，就ARM本身基於技術授權供應角色立場，自然也會針對此類應用需求提供最佳設計方案，而Project Trillium設計平台便是為了提供更具彈性的應用需求所打造，讓合作夥伴能更容易打造各類基於機器學習應用的終端設備，藉此將人工智慧技術推廣至更多裝置使用情境。 而針對部分合作夥伴如Qualcomm認為裝置端的學習運算模式將會先在高階硬體設備普及應用，之後才會陸續推廣置中階或入門機種，ARM方面的看法則認為並不盡然，主要還是看實際應用模式，例如在物聯網設備端的學習應用雖然不比智慧型手機需要更複雜運算模式，但同樣可藉由簡單或特定模式的機器學習方式推動更具效率的運算效果，因此認為裝置端的學習應用將會更快廣泛普及。 至於導入機器學習應用設計是否讓裝置端的設計成本額外增加，Ian Smythe表示這部份主要還是取決終端裝置實際應用需求，並且在設計成本與最終效益間進行考量，而當然在未來更加普及應用之後，也將使整體設計研發成本可具體降低，進而讓人工智慧成為未來主要運算使用模式。 在未來學習應用處理器發展模式，Ian Smythe表示最主要還是會觀察市場應用趨勢、客戶需求，以及ARM本身對於未來發展看法研究，藉此推展更多學習應用處理器規格，並且比照既有Cortex-A、Cortex-M等處理器有更多元應用設計，而不僅侷限在既有設計框架。

針對稍早針對裝置端學習應用需求所打造的Project Trillium設計平台，ARM機器學習事業群總經理Jem Davies在此次MWC 2018接受訪談時表示，裝置端的學習運算將會是未來發展趨勢，應用層面更從物聯網、手機等小型裝置，大至自動駕駛車輛、機器人，或是數據中心與智慧城市等大型規模「設備」，預期將可藉由深度學習方式優化數據傳輸、降低延遲，進而從中獲取建置成本優化與安全提昇等優勢。 就ARM日前宣佈推出的Project Trillium設計平台，主要基於ARM ML架構設計的處理器能有更快的機器學習效率，同時也能藉由基於ARM OD架構設計的處理器更快感知辨識物件變化，例如精準判斷人臉以外的動作、手勢，甚至身上配戴物件，再透過名為ARM NN的軟體串接諸如TensorFlow、Caffe或Android NN等學習框架，並且利用硬體運算效能加速學習效果。 而不同之前藉由CPU、GPU協同作業達成機器學習效率，藉由Project Trillium設計平台的學習數據吞吐量幾乎可達2-4倍以上，其中更可透過1080p@60fps畫面形式捕捉影像，進而讓終端裝置可以學習正確辨識人臉，甚至進一步學習判斷表情變化、手勢等肢體動作，或是配合識別人臉以外的裝飾物。 根據Jem Davies說明，基於ARM ML架構設計的處理器最高可在行動裝置上產生4.6TFLOPS運算量，或是以3TFLOPS相對更具效率方式運作，並且能比一般數位訊號處理元件提供快上80倍的處理速度，同時基於ARM OD架構設計的處理器更可對應工業等級物件識別效果。 同時，在Project Trillium設計平台中，若開發者希望藉由既有硬體與軟體框架打造端點學習運算模式，ARM也同樣提供相關技術解決方案，意味在ARM的看法裡，無論是藉由獨立學習運算元件達成加速效果，或是藉由既有CPU、GPU等元件，搭配軟體學習框架運作方式，其實都能是不錯的端點運算學習應用模式，最主要還是看實際應用層面，畢竟不同使用情境依然有最佳合適學習應用模式。 例如需要更快即時識別速度的話，搭配專屬學習加速處理元件可能會是較好作法，而若是需要依據不同使用情況彈性變動運算模式的話，藉由既有CPU、GPU等元件，配合學習框架以FPGA可程化指令集架構運作，反而能有更大運算優勢。 ARM機器學習事業群總經理Jem Davies 裝置端學習應用將驅動全新運算模式 以目前來看，包含華為、蘋果等廠商均採用專屬學習運算元件輔助加速，藉此縮減傳統運算時所產生遲滯現象，同時聯發科稍早揭曉的Helio P60也在影像識別應用加上專屬APU獨立運算元件，藉此對應速度更快的人臉識別成效。 而Qualcomm等廠商則認為透過專屬學習運算元件加速的設計雖然重要，但考量要讓絕大多數的硬體設計都能維持在相同架構模式運作，採用獨立運算元件輔助加速的作法勢必會在軟硬體版本更新時面臨侷限，進而造成應用服務無法正常相容，或是無法達成效率最佳化，甚至可能造成產品設計時的額外成本增加，因此認為透過既有硬體配合軟體運算方式，藉此達成相近或更高的學習加速效果會是更符合效益作法。 但從ARM的角度來看，雖然市場提出不同作法，但基本上都是源自旗下合作廠商，因此本身也會針對此類需求提出更便利的設計應用參考方案，讓更多合作夥伴能藉由此類設計平台快速打造應用產品，或是進一步調整創造全新技術，本身主要還是在此發展中扮演技術供應端角色。 Jem Davies認為，裝置端的學習加速應用與5G連網技術發展沒有絕對關連，而是在裝置端的對於運算效率、隱私安全與貼身使用等需求成長下，進而從過往仰賴雲端協同運算情況開始轉向在裝置端即可以學習加速完成前期運算，同時配合雲端服務完成更大規模的數據運算應用，藉此縮減從裝置端到雲端之間協同運算的延遲現象。 同時，Jem Davies也預期裝置端的學習加速應用將改變傳統運算模式，不僅涵蓋目前ARM現行擅長的行動裝置、監控設備或更多物聯網應用市場，未來也可能進一步改變PC裝置使用模式。

近年來在終端運算有所著墨的ARM，稍早針對裝置端的人工智慧應用提出名為Project Trillium的軟硬體整合設計平台，藉此讓基於ARM ML架構設計的處理器能有更快的機器學習效率，同時也能藉由基於ARM OD架構設計的處理器更快感知辨識物件變化，例如精準判斷人臉以外的動作、手勢，甚至身上配戴物件，再透過名為ARM NN的軟體串接諸如TensorFlow、Caffe或Android NN等學習框架，並且利用硬體運算效能加速學習效果。 ARM稍早宣布結合旗下資源打造的軟硬體整合設計平台Project Trillium，最主要透過基於ARM ML架構設計的處理器，以及基於ARM OD架構設計的處理器，再搭配名為ARM NN的軟體串接TensorFlow、Caffe或Android NN再內學習框架，藉此讓裝置端能有更具效率的機器學習應用。 根據ARM方面表示，不同之前藉由CPU、GPU協同作業達成機器學習效率，藉由Project Trillium設計平台的學習數據吞吐量幾乎可達2-4倍以上，其中更可透過1080p@60fps畫面形式捕捉影像，進而讓終端裝置可以學習正確辨識人臉，甚至進一步學習判斷表情變化、手勢等肢體動作，或是配合是別人臉以外的裝飾物。 而提出Project Trillium設計平台的目的，自然在於越來越多終端裝置學習應用模式投入發展，因此ARM也開始著重讓手機端能完成更多學習運算，而不需要過度依賴雲端協作的運算模式，一來可以提昇終端裝置端的運算精準度，同時也能讓運算反應時間縮短，使得手機可以越來越懂得使用需求。 除了將使Project Trillium設計平台用於智慧型手機，ARM也表示此項設計平台同時也能套用在智慧喇叭或物聯網產品，預計要在今年4月間才會提供更具體預覽內容，同時實際應用產品最快將會在2018年年中進入市場。