Tag: ML

彭博新聞記者Mark Gurman報導指稱，蘋果內部已經著手打造類似ChatGPT的聊天機器人服務，同時被工程人員以「Apple GPT」為稱。 此聊天機器人服務據說建立在Google深度學習框架Jax之上，因此內部以「Ajax」為稱，預計作為與當前市場逐漸興盛的自動生成式人工智慧技術應用服務抗衡。 而蘋果最初以安全為由，反對內部繼續發展此項目，後續又恢復內部使用，但必須經過特殊申請之後才能使用，同時更嚴禁將自動生成內容用於任何面向消費者、客戶的功能。 目前蘋果主要以此服務作為產品開發、設計，似乎尚未計畫將此服務成為對外提供使用產品。至於曾經使用此服務的蘋果內部員工透露，「Ajax」整體設計與ChatGPT、Google Bard相似，甚至僅以簡潔網頁介面呈現。 對於人工智慧技術應用，蘋果執行長Tim Cook在日前受訪時曾多次表示看好此類技術發展，同時蘋果雖然在近期產品發表上均未特別強調採用人工智慧技術，但確實說明透過深度學習、機器學習等方式讓產品服務更懂消費者當下需求，如在諸多相片中找到某年某月時的自己，或是讓Apple Watch知曉自己是否意外跌倒等。

Google稍早透過藝術與文化實驗室推出名為「Viola the Bird」的實驗項目，讓使用者能直接透過滑鼠、觸控板即可快速演奏貝多芬、巴哈等古典音樂家創作樂曲，或是以freestyle形式自由演奏。 「Viola the Bird」實驗項目背後是以類神經網路系統，搭配深度學習方式即時合成小提琴及大提琴的弦音，而訓練資料則是Google與諸多大提琴、小提琴音樂家合作錄製聲音，藉此詮釋更自然的演奏聲音表現。 而使用方式很簡單，只要透過滑鼠、觸控板在畫面上左右拖曳，即可依照個人拖曳速度呈現不同聲音節奏表現。除了選擇演奏古典音樂家創作曲目，使用者也能選擇自由演奏模式，即可隨意演奏。 另外，「Viola the Bird」實驗項目中的鳥，本身動作表現其實也是透過深度學習方式訓練而成，因此在實際呈現動作姿態相當自然，不會顯得死板。 類似設計，Google先前也曾推出名為「Blob Opera」的實驗項目，讓使用者能以滑鼠、觸控板左右、上下拖曳，藉此呈現男高音、男低音、女高音或女低音的演唱效果。

原本在蘋果擔任下一代機器學習要職的Ali Farhadi，目前將加入由已故微軟共同創辦人Paul Allen於2014年創立的非營利機構艾倫人工智慧研究所 (Allen Institute of Artificial Intelligence,AI2)，並且擔任執行長職位。 在此之前，Ali Farhadi曾在2017年創立人工智慧新創公司Xnor.ai，並且在2020年由蘋果以2億美元價格收購，其後則加入蘋果負責機器學習相關研究。 而在更早之前，Ali Farhadi其實就曾在艾倫人工智慧研究所任職，並且擔任研究管理人員，同時其創辦的Xnor.ai原本也是艾倫人工智慧研究所內部新創項目，其後才獨立運作。 Ali Farhadi強調現階段的人工智慧必須以開放、透明形式運作，並且能讓所有人公平地使用，同時也將以此理念持續建構下一代人工智慧技術。 ▲Ali Farhadi 蘋果目前機器學習與人工智慧技術由前Google主管John Giannandrea帶領發展，但期間已經經歷多次改革及重組，甚至不少員工認為公司作法趨於保守、難以留下技術人才，因此讓人工智慧技術應用發展相對受限。

Google宣布先前以Project Sparrow為稱，並且以KataOS作為正式名稱的作業系統，將用於確保結合機器學習應用的嵌入式設備運作安全。 KataOS本身對應Rust程式語言，並且對應seL4微核心架構設計，更可支援RISC-V架構處理器，或是Google旗下推動的OpenTitan開放原始碼微處理器運作環境，更強調本身著重安全使用體驗。 Google目前透過GitHub將KataOS作業系統開源，希望開放更多設計結合機器學習應用的嵌入式設備使用，同時也能確保嵌入式設備運作時的資料安全。 依照Google說明，KataOS作業系統採可驗證安全平台設計，並且從硬體層就提供高度安全防護，其中包含結合seL4 CAmkES框架，以及藉由Rust框架設計，從設備開機過程即可確保系統正常運作。

因為公司要求員工每週陸續增加重返辦公室的決策，使得蘋果負責機器學習總監Ian Goodfellow決定離開。 蘋果方面尚未公布Ian Goodfellow即將離開的消息，而就The Verge網站記者Zoë Schiffer取得內容顯示，Ian Goodfellow離開的原因或許與蘋果開始要求重返辦公室工作有關。 在Ian Goodfellow向內部員工寄送電子郵件內容提到，認為更彈性的工作型態才符合其團隊最佳運作模式，顯然與蘋果當前要求員工重返辦公室的政策衝突，可能因此成為Ian Goodfellow決定離開蘋果的因素。 尤其在目前越來越多公司決定開放彈性辦公，讓員工可以自行決定是否以遠距形式工作，或是依照需求回到辦公室，加上Ian Goodfellow專長在機器學習相關技術，更是目前許多公司希望擴大發展項目，因此離開蘋果之後，或許會有更多發展機會。 在加入蘋果之前，Ian Goodfellow曾在Google任職多年，除了擔任軟體工程師之外，後來更擔任資深研究科學家，並且投入生成對抗對抗網路技術，藉此提高機器學習精度表現。

依照AWS人工智慧設備總經理Mike Miller說明，先前提出的DeepRacer競賽，是透過1/18比例的自動駕駛賽車，搭配使用AWS旗下機器學習等技術資源，讓使用者能以此打造能在賽道上以更快速度奔馳的計畫，而背後更希望透過這樣的方式讓更多人熟稔深度學習等人工智慧技術。 Mike Miller表示，目前透過DeepRacer競賽計畫，已經吸引諸多學生、企業等族群參與，並且藉AWS旗下機器學習相關資源建造各類人工智慧技術應用，進而可讓迷你賽車能透過電腦視覺、深度學習等方式縮短完成賽道單圈所需時間。 如同真實自駕車輛一樣，AWS推出以1/18比例打造的自動駕駛賽車一樣可透過LiDAR光達元件、視訊鏡頭對應電腦視覺，以及加速器與陀螺儀等感測元件判斷當前行駛狀況，並且完成前方影像識別，讓車輛能自動判斷如何以最佳行進路線完成單圈繞行，同時推進最短完成時間。 而藉由DeepRacer計畫實作，更可讓參與者更容易了解機器學習等人工智慧技術實際運作原理，進而可套用在更多應用領域，例如自動化工程、電腦視覺分析等應用，同時也能擴大應用在智慧製造、智慧醫療、車聯網、智慧城市等應用場景，並且讓人工智慧技術能更快普及應用。 在DeepRacer計畫背後，AWS更提供諸如DeepLens、DeepComposer等應用資源，甚至使用者亦可透過AWS SageMaker等工具打造應用模式，而在今年Re:Invent 2021期間，AWS也提出以無編碼形式設計方式，讓使用者僅需構思實際應用模式，即可透過直覺式的圖像導向操作，透過簡單點按、拖曳等方式快速完成人工智慧技術應用設定。 ▲AWS人工智慧設備總經理Mike Miller 至於DeepRacer競賽計畫背後技術應用是否有其侷限，Mike Miller則認為主要還是在於使用者如何發揮創意打造實際內容，並且強調此項計畫更重要的是讓更多人接觸、學習人工智慧技術原理，同時能快速銜接更廣泛的人工智慧應用技術。

不久前宣布推出新款Mali-D77顯示處理器，藉此對應更穩定虛擬視覺之後，Arm在Computex 2019展前活動進一步宣布推出全新Cortex-A77 CPU架構設計，以及新款Mali-G77 GPU，同時也強調將擴大提供機器學習處理器設計，讓行動裝置能發揮每瓦達5兆次運算效能表現，進而提昇邊緣運算效益。 因應5G網路趨勢伴隨成長，Arm認為未來將會有更高的智慧型手機效能使用需求，藉此因應更多元的運算模式，同時也將帶動更多裝置端的人工智慧運算應用，甚至針對更多虛擬實境、擴增實境、高畫質串流應用需求提供足夠效能。 此次宣布推出全新Cortex-A77 CPU架構設計，相比先前推出的Cortex-A76架構設計約提昇20%效能，其中更直接在完整處理器架構設計導入針對人工智慧技術應用需求打造的獨立NPU，讓採用Cortex-A77 CPU架構設計的處理器，可在機器學習等應用效能表現大幅提昇，相比過去兩個世代打造的處理器產品約可提昇35倍的人工智慧運算效能表現。 Cortex-A77 CPU架構相比先前Cortex-A76 CPU架構，在相同基礎上加上支援Arm v8.2指令集、加倍設計的分支預測頻寬，並且提昇預測精度，同時也提昇分支目標緩衝快取，分別在L1加大4倍、在L2加大2倍，另外更提昇亂序核心運算頻寬提昇，而整數執行頻寬也加大50%，記憶體子系統效能也進一步作提昇，並且相容Arm DynamIQ運作模式設計。 ㄠ 另外，在此次推出的Mali-G77 GPU，則相比先前推出的Mali-G76 GPU提昇約40%效能，並且導入Valhall架構設計，同時針對渲染引擎、紋理處理流程，以及存取快取效率大幅提昇讓每瓦效能提昇約30%。 而藉由Mali-G77 GPU進行機器學習運算加速，約可提昇60%效率，並且讓人工智慧運算中使用推論與神經網路執行效率增加，藉此讓裝置端的顯示效能更為流暢。 在此次Computex 2019展前活動上，Arm也表示將持續與聯發科深入合作，未來將持續針對人工智慧技術應用、5G連網應用運算推動發展，同時在人工智慧技術應用領域與商湯、曠視攜手發展，藉此創造行動裝置更大成長機會。 藉由先前提出的Project Trillium設計，Arm開始將人工智慧運算導入行動裝置，並且相容Android NN軟體框架，讓行動裝置能發揮每瓦達5兆次，以及每秒32兆次運算效能表現，並且讓電力使用效率提昇兩倍，記憶體壓縮率提昇三倍，進而提昇邊緣運算效益。 依照Arm規劃，藉由Cortex-A77 CPU架構、Mali-G77 GPU、Arm ML處理器、Arm NN軟體框架，並且搭配日前推出的Mali-D77顯示處理器，讓終端裝置能夠發揮更高運算效能，並且對應5G連網時代更高運算效能需求，同時也能配合常時連網與雲端協作實現更全面運算效益。

從先前發表人工智慧技術論文透露投入人工智慧技術應用，並且持續在iOS、macOS平台藉由Core ML資源強化裝置端學習能力，甚至也傳出投入自駕車系統研發之後，蘋果在人工智慧技術發展布局顯然將持續擴大，稍早更宣布參與位於加拿大蒙特略舉辦的2018年神經網路資訊處理系統會議 (NeurIPS)，預計與全球各地區的人工智慧技術專家交流。 目前舉辦超過32年的神經網路資訊處理系統會議，已經成為全球規模最大，同時也具有相當影響力的機器學習與人工智慧會議，蘋果今年宣布參與此項活動，意味未來將會進一步擴展更多人工智慧技術應用項目，同時也可能透過此項活動招募更多人工智慧技術專家。 現在蘋果旗下服務包含相簿、地圖、新聞、輸入法、郵件，乃至於眾人經常使用的數位助理服務Siri均使用人工智慧技術，讓系統更能理解使用者當下操作需求，並且用更具效率方式協助使用者找到所需要的照片、特定文件中的附加檔案，或是銜接先前投入的工作流程，甚至也能進一步識別未接電話可能是誰打來的。 另一方面，蘋果也計畫透過人工智慧技術改善數據中心能源使用模式，同時針對目前已經投入的自駕車系統也將使用人工智慧技術，並非僅將人工智慧應用在旗下消費性產品，而是將人工智慧應用在多數服務，以跨平台、跨裝置形式進行垂直整合。 而在今年7月時，蘋果宣布成立全新機器學習與人工智慧部門，並且由從Google挖角的人工智慧專家John Giannandrea負責領軍。 除了蘋果大幅投入人工智慧技術，包含Google、微軟、Facebook、亞馬遜在內科技廠商也同樣藉由人工智慧技術讓服務變得更具效率，同時也更能符合使用者操作需求。

在此次北京活動裡，除了針對新款Mali多媒體IP套件更新項目做說明外，ARM再次針對稍早前推出的終端裝置學習設計平台Project Trillium進一步做說明，強調將會針對小至物聯網設備，大到雲端伺服器設備的端點學習應用做優化，並且以此將人工智慧應用推廣到更多元市場應用層面。 就稍早ARM方面說明，Project Trillium設計平台的目標是將更多人工智慧應用帶進各類終端裝置，甚至可讓規模大至雲端伺服器的裝置也能藉由機器學習方式達成更具效率的運算效果，而就連小至行動裝置或物聯網設備也能藉由人工智慧技術應用加快運作反應速度。 以Project Trillium設計平台細節來看，其中包含藉由包含Cortex-A系列、Cortex-M系列及Mali系列既有ARM架構處理器的配置模式，或是搭配獨立學習運算元件ARM ML架構處理器，以及ARM OD架構處理器，分別對應數據推理或影像識別為主的機器學習應用，搭配市場常見的TensorFlow、Caffe或Android NN等軟體端學習框架，藉此發揮更大機器學習效率，同時也能針對裝置設計需求，或是實際應用需求配置不同組合，例如藉由既有硬體，或是額外搭配ARM ML架構處理器、ARM OD架構處理器對應特定領域運算需求。 ARM資深市場營銷總監Ian Smythe表示，市場開始越來越重視端點運算的原因包含藉由網路頻寬進行協同運算方式仍可能帶來延遲、增加額外開銷，以及包含額外增加電力損耗、建置成本、可靠度與安全等考量，因此開始有廠商開始藉由既有硬體搭配學習框架，或是透過額外獨立學習運算元件達成裝置端學習應用效果，藉此讓裝置端整體運算效率可進一步做提昇，並且產生不同運算應用。 因此，就ARM本身基於技術授權供應角色立場，自然也會針對此類應用需求提供最佳設計方案，而Project Trillium設計平台便是為了提供更具彈性的應用需求所打造，讓合作夥伴能更容易打造各類基於機器學習應用的終端設備，藉此將人工智慧技術推廣至更多裝置使用情境。 而針對部分合作夥伴如Qualcomm認為裝置端的學習運算模式將會先在高階硬體設備普及應用，之後才會陸續推廣置中階或入門機種，ARM方面的看法則認為並不盡然，主要還是看實際應用模式，例如在物聯網設備端的學習應用雖然不比智慧型手機需要更複雜運算模式，但同樣可藉由簡單或特定模式的機器學習方式推動更具效率的運算效果，因此認為裝置端的學習應用將會更快廣泛普及。 至於導入機器學習應用設計是否讓裝置端的設計成本額外增加，Ian Smythe表示這部份主要還是取決終端裝置實際應用需求，並且在設計成本與最終效益間進行考量，而當然在未來更加普及應用之後，也將使整體設計研發成本可具體降低，進而讓人工智慧成為未來主要運算使用模式。 在未來學習應用處理器發展模式，Ian Smythe表示最主要還是會觀察市場應用趨勢、客戶需求，以及ARM本身對於未來發展看法研究，藉此推展更多學習應用處理器規格，並且比照既有Cortex-A、Cortex-M等處理器有更多元應用設計，而不僅侷限在既有設計框架。

針對稍早針對裝置端學習應用需求所打造的Project Trillium設計平台，ARM機器學習事業群總經理Jem Davies在此次MWC 2018接受訪談時表示，裝置端的學習運算將會是未來發展趨勢，應用層面更從物聯網、手機等小型裝置，大至自動駕駛車輛、機器人，或是數據中心與智慧城市等大型規模「設備」，預期將可藉由深度學習方式優化數據傳輸、降低延遲，進而從中獲取建置成本優化與安全提昇等優勢。 就ARM日前宣佈推出的Project Trillium設計平台，主要基於ARM ML架構設計的處理器能有更快的機器學習效率，同時也能藉由基於ARM OD架構設計的處理器更快感知辨識物件變化，例如精準判斷人臉以外的動作、手勢，甚至身上配戴物件，再透過名為ARM NN的軟體串接諸如TensorFlow、Caffe或Android NN等學習框架，並且利用硬體運算效能加速學習效果。 而不同之前藉由CPU、GPU協同作業達成機器學習效率，藉由Project Trillium設計平台的學習數據吞吐量幾乎可達2-4倍以上，其中更可透過1080p@60fps畫面形式捕捉影像，進而讓終端裝置可以學習正確辨識人臉，甚至進一步學習判斷表情變化、手勢等肢體動作，或是配合識別人臉以外的裝飾物。 根據Jem Davies說明，基於ARM ML架構設計的處理器最高可在行動裝置上產生4.6TFLOPS運算量，或是以3TFLOPS相對更具效率方式運作，並且能比一般數位訊號處理元件提供快上80倍的處理速度，同時基於ARM OD架構設計的處理器更可對應工業等級物件識別效果。 同時，在Project Trillium設計平台中，若開發者希望藉由既有硬體與軟體框架打造端點學習運算模式，ARM也同樣提供相關技術解決方案，意味在ARM的看法裡，無論是藉由獨立學習運算元件達成加速效果，或是藉由既有CPU、GPU等元件，搭配軟體學習框架運作方式，其實都能是不錯的端點運算學習應用模式，最主要還是看實際應用層面，畢竟不同使用情境依然有最佳合適學習應用模式。 例如需要更快即時識別速度的話，搭配專屬學習加速處理元件可能會是較好作法，而若是需要依據不同使用情況彈性變動運算模式的話，藉由既有CPU、GPU等元件，配合學習框架以FPGA可程化指令集架構運作，反而能有更大運算優勢。 ARM機器學習事業群總經理Jem Davies 裝置端學習應用將驅動全新運算模式 以目前來看，包含華為、蘋果等廠商均採用專屬學習運算元件輔助加速，藉此縮減傳統運算時所產生遲滯現象，同時聯發科稍早揭曉的Helio P60也在影像識別應用加上專屬APU獨立運算元件，藉此對應速度更快的人臉識別成效。 而Qualcomm等廠商則認為透過專屬學習運算元件加速的設計雖然重要，但考量要讓絕大多數的硬體設計都能維持在相同架構模式運作，採用獨立運算元件輔助加速的作法勢必會在軟硬體版本更新時面臨侷限，進而造成應用服務無法正常相容，或是無法達成效率最佳化，甚至可能造成產品設計時的額外成本增加，因此認為透過既有硬體配合軟體運算方式，藉此達成相近或更高的學習加速效果會是更符合效益作法。 但從ARM的角度來看，雖然市場提出不同作法，但基本上都是源自旗下合作廠商，因此本身也會針對此類需求提出更便利的設計應用參考方案，讓更多合作夥伴能藉由此類設計平台快速打造應用產品，或是進一步調整創造全新技術，本身主要還是在此發展中扮演技術供應端角色。 Jem Davies認為，裝置端的學習加速應用與5G連網技術發展沒有絕對關連，而是在裝置端的對於運算效率、隱私安全與貼身使用等需求成長下，進而從過往仰賴雲端協同運算情況開始轉向在裝置端即可以學習加速完成前期運算，同時配合雲端服務完成更大規模的數據運算應用，藉此縮減從裝置端到雲端之間協同運算的延遲現象。 同時，Jem Davies也預期裝置端的學習加速應用將改變傳統運算模式，不僅涵蓋目前ARM現行擅長的行動裝置、監控設備或更多物聯網應用市場，未來也可能進一步改變PC裝置使用模式。