Tag: ARKit

在近年來持續推廣以ARKit打造的擴增實境內容應用，蘋果稍早也宣布將在全球的Today at Apple課程中加入擴增實境項目，並且將以T名稱於全球蘋果直營店提供報名參與。 在T系列課程中，將包含展示世界頂級當代藝術家作品的互動式漫步、透過Swift Playgrounds製作擴增實境應用內容的基礎知識課程，以及可在全球每家Apple Store店內欣賞的擴增實境藝術裝置。 為了設立這些課程，蘋果更與紐約當代藝術博物館New Museum合作，並且挑選包含Nick Cave、Nathalie Djurberg與Hans Berg、Cao Fei、John Giorno、Carsten Höller，以及Pipilotti Rist在內七名藝術家，一同參與針對大眾免費開放的體驗計畫。 其中，互動式漫步將把這些藝術家作品與倫敦特拉法加廣場、舊金山Yerba Buena Gardens，或是紐約中央公園的Grand Army Plaza在內公共場所串連，讓參與者能藉由蘋果裝置以不同方式感受這些藝術家創作作品。 而在Today at Apple課程中，則將由紐約藝術家、NEW INC成員 (New Museum 的文化孵化器)，同時身為教育者身分的Sarah Rothberg合作開設T系列課程，讓參與者可親身體驗異想天開的物件，以及身歷其境的聲音，並且能透過Swift Playgrounds在長達90分鐘課程中學習如何製作屬於自己的擴增實境體驗。 至於在全球任何一間Apple ...

Google在去年的Google I/O 2018展示AR版Google Maps導航功能，並且開始在稍早前於美國地區開始測試之後，蘋果或許也準備藉由擴增實境 (AR)技術打造全新地圖應用功能。 在稍早向美國專利與商標局提出專利設計，顯示蘋果可能計畫透過擴增實境技術提供更直觀的地圖導航功能，將讓使用者能在即時拍攝畫面中以虛擬圖像指引行進路線，同時也會在畫面中顯示當前行進速度。 除此之外，專利說明中也描述如何在複雜路口正確指引使用者前進，以及在畫面上標示正確行進路線與當前所在道路名稱。 從蘋果近期持續加強擴增實境技術應用，加上不久前也確認收購Spektral、Akonia Holographics等擴增實境技術應用相關的新創公司，今年在WWDC 2019也有不少比重闡述擴增實境應用，顯然蘋果相當看重擴增實境應用。 先前有消息指稱蘋果計畫推出擴增實境眼鏡裝置，藉此進軍不同使用體驗發展，而此次提出專利設計申請，或許是其中一項技術應用，是否會有更多不同應用，或許就看今年秋季新品發表會是否會有額外驚喜。

在稍早釋出更新的iOS 13 beta測試版本中，蘋果開始在FaceTime設定選項中加入名為「FaceTime螢幕注視修正 (FaceTime Attention Correction)」的選項，開啟之後將會藉由人臉辨識與ARKit技術應用，讓使用者可能偏離螢幕的目光「變成」更專注於通話對象。 過去使用手機與他人進行視訊通話時，應該有不少人會認為通話對象的目光不斷飄移，而無法給人有專心談論的感覺，但也許是談話者確實在通話過程容易分心，或是因為其他因素而環顧周遭環境。 顯然蘋果是為了改善這樣的尷尬，因此在iOS 13 beta版本新測試更新加入「FaceTime螢幕注視修正」選項，讓使用者在設定選項開啟後，即可在日後與他人進行FaceTime視訊通話時，可讓自己的目光始終維持「聚焦」在通話對象，避免讓人有目光偏移的失禮感受。 蘋果並未特別透露此項技術應用原理，但有可能是藉由人臉辨識，搭配ARKit技術應用，讓使用者的目光看起來像是持續注視螢幕，並且專注於手機通話對象。 而此項功能目前僅在安裝新釋出iOS 13 beta測試更新的iPhone XS，以及iPhone XS Max，不確定是否因為硬體限制，還是現階段僅針對這兩款手機提供測試。

在此次WWDC 2019的更新中，雖然並未出現市場推測的擴增實境頭戴裝置，但蘋果依然花了不少時間介紹全新ARKit 3.0，以及此次新增加的RealityKit與Reality Composer，並且邀請微軟旗下Mojang實際展示即將於夏季推出的《我的世界：地球 (Minecraft:Earth)》，藉此凸顯新版ARKit 3.0應用效果。 就現場詢問，此次ARKit 3.0最大更新就是在於增加People Occlusion與Motion Capture功能，以去年開始增加雙人可在相同擴增實境場景互動的設計基礎下，讓另一名使用者能以全身姿態「進入」擴增實境影像，並且能與擴增實境互動。 藉由機器學習讓擴增實境影像貼和更自然 而之所以能實現這樣的功能，其中也得利於此次新增加的RealityKit與Reality Composer工具資源，讓擴增實境影像能以更自然、無縫形式與真實場景影像結合，而不會出現過往擴增實境影像可能產生邊緣不自然，甚至無法貼和景象的問題。 同時透過People Occlusion與Motion Capture功能，更可藉由機器學習識別人像中頭髮、身上配件、衣服邊緣，或是背包等細節，讓全身人像處於擴增實境過程，能以自然貼和影像情況呈現，甚至能即時捕捉全身肢體動作，進而與虛擬物件產生互動。 除此之外，在ARKit 3.0中更可實現讓虛擬物件能環繞特定景象，甚至人像的呈現效果，不致於像過往在舊版ARKit僅能在特定景象前方呈現，例如以前只能將擴增實境影像標定放在桌上呈現，在ARKit 3.0之後就能配合景深資訊量測，即便同樣將擺放位置標定在桌上，依然能讓擴增實境影像順利呈現在桌下的相對顯示效果。 ARKit 3.0或許為了蘋果首款擴增實境頭戴裝製作準備 在此次Mojang實際以《我的世界：地球》展示內容中，其實就可以明顯看見新版ARKit 3.0應用效果，而在新款Mac Pro與Pro Display XDR顯示器展示中，蘋果也透過擴增實境技術配合展示Mac Pro內部機構組成細節，並且能以零件分散方式進行檢視，同樣的方式也能實際讓使用者透過擴增實境影像呈現的虛擬顯示器，確認顯示器支架內部組件，以及顯示器可呈現使用角度。 從ARKit 3.0的技術應用，似乎顯示蘋果期望將擴增實境以更穩定、逼真形式呈現，若蘋果接下來確實準備推出旗下擴增實境頭戴裝置，無論是否藉由iPhone等裝置輸出運算結果，預期都能讓使用者透過雙眼感受更貼近真實的擴增實境虛擬視覺。 讓更多開發者容易打造擴增實境應用內容 ...

針對擴增實境應用，蘋果在近幾年便持續加強ARKit相關設計資源，在此次WWDC 2019更進一步宣佈增加RealityKit、Reality Composer，並且在ARKit 3加入People Occlusion與Motion Capture功能，讓更多擴增實境中的虛擬物件能以更貼近真實效果呈現，同時也能讓使用者更容易「融入」擴增時境內。在此次展示中，蘋果更藉由微軟旗下Mojang打造的擴增實境版《我的世界：地球 (Minecraft:Earth)》。 在此次針對擴增實境應用更新中，雖然並未像市場猜測推出擴增實境應用裝置，而是針對ARKit相關應用進行強化，其中包含可將虛擬物件以更真實、貼近實際物理互動呈現的RealityKit，以及可讓開發者更容易打造擴增實境應用內容的Reality Composer。 另外，在此次更新的ARKit 3.0版本更進一步強化將人像「貼和」進擴增實境應用內容，並且能確保人像與虛擬物件即時互動效果，同時也能藉由即時動作捕捉，讓「貼和」進擴增實境影像的人像能以更自然肢體動作表現。 而新版ARKit也能輕易藉由與Pixar、Adobe合作USDZ檔案格式打造各類擴增實境應用容，並且進一步與新版工具應用產生互動效果。 至於微軟此次也已日前揭曉的擴增實境版《我的世界：地球》於舞台上呈現，其中包含可由兩名玩家進行合作玩法，甚至呈現玩家將個人身影放進遊戲中，並且與遊戲內容產生互動的遊玩體驗。

除了準備揭曉新款iOS、macOS、watchOS，以及tvOS在內作業系統更新，同時也預期揭曉全新Mac Pro產品，蘋果或許還有可能選在WWDC 2019期間揭曉傳聞許久的擴增實境眼鏡裝置。 雖然過去選擇在WWDC開發者大會期間揭曉新款硬體裝置的比例不多，但從近年來蘋果持續在WWDC期間說明ARKit相關應用更新內容，或許今年確實有機會在活動期間看見蘋果旗下擴增實境眼鏡裝置亮相。 至於是否採獨立運作形式，或是必須搭配iPhone連接使用，目前暫時都還無法確認，但預期可讓現有藉由ARKit資源開發應用服務的開發者，能直接將內容套用在蘋果此項新裝置使用。 而從過去產品發表模式來看，蘋果其實甚少選在WWDC期間揭曉新款硬體裝置，甚至幾乎不會在此期間宣佈推出全新類別產品。不過，2017年選在WWDCD期間揭曉的HomePod是個例外，否則依照蘋果過往揭曉Apple Watch、Apple TV，甚至介紹第一款iPhone或iPad時，通常會選在年初，或是秋季發表會，甚至透過單獨發表活動揭曉。

去年在MWC 2018期間釋出1.0版本的ARCore，目前已經由Google釋出至1.7版本，並且加入強化應用的臉部特效，以及更多擴增實境應用設計，使更多Android裝置可以輕易使用擴增實境應用功能。 相比蘋果在ARKit應用發展，Google此次在ARKit 1.7版本更新加入更多臉部特效應用，並且整合更多擴增實境應用場景功能，同時也提昇擴增實境應用的穩定性表現。 在此次更新裡，最主要針對臉部識別應用增加名為Augmented Faces的API項目，讓開發者可藉由總計468點的網格建立完整人臉模型，縱使在沒有景深識別技術輔助之下也能精準將虛擬影像套用在被攝臉譜，並且配合人臉移動與背景無縫整合，藉此打造更自然應用的擴增實境呈現效果。 同時，新版API內容也能直接與Unity或Sceneform開發工具銜接使用，Google也同步提供更多操作介面設計工具與場景範本，讓開發者能更輕易打造各類ARCore應用內容。 而配合全新釋出的ARCore Elements app也能讓開發者透過虛擬互動方式，進而學習如何打造用ARCore的擴增實境服務。

今年在WWDC 2018期間宣布推出ARKit 2.0之後，開始有越來越多開發者透過此項API資源打造應用內容，其中包含可讓使用者透過手持iPhone、iPad與螢幕中的虛擬物件互動，藉此獲得更深層的沉浸體驗，或是透過與真實場景結合對應類似《Pokémon GO》般的遊玩體驗。 這次藉由機會安排，我們實際體驗幾款藉由新版ARKit 2.0打造應用內容，藉此感受蘋果在新版開發工具中，如何讓開發者打造各類擴增實境應用項目，另外也透過《AR Blaster》遊戲開發者方冠良現身說法，說明如何在蘋果開發資源協助下，透過簡短幾行編碼就能解決原本複雜的擴增實境運算需求，甚至輕鬆對應ARKit 2.0中支援多人遊玩相同內容的設計需求。 若以簡單區隔版本差異的話，ARKit 1.0基本上就是建立如何讓iOS裝置可透過相機拍攝識別「平面區塊」位置，並且確認跟相機鏡頭之間的相對位置，藉此作為建立擴增實境呈現時的顯示方位、縮放尺寸的基礎依據，一如過去透過Nintendo 3DS或手機建立擴增實境影像時，都必須先拍攝作為基礎識別的圖像內容，如此才能順利建立一組擬真的擴增實境影像。 而蘋果在ARKit 1.0中，基本上就是讓iPhone或iPad能直接透過相機鏡頭，在一定範圍的平面上建立擴增實境影像，卻無需透過額外圖像作為輔助。不過，由於完全藉由光學方式進行偵測識別，因此無法套用在有明顯反光的鏡面表面，或是過暗表面材質，若有明顯材質特徵如長毛地毯，就相對容易讓ARKit建立基礎擴增實境影像。 進展到ARKit 1.5版本時，蘋果則是在識別效果加入判斷平面的相對垂直面，藉此讓擴增實境影像能對應真實場景的地面與牆壁關係，進而可用在隨著iOS 12推出加入的《測距儀 (Measure)》功能，讓使用者能量測相機拍攝影像中的相對長度，或是長寬相乘所得面積等數據，其他也能讓擴增實境影像能在透放呈現過程有更自然表現。 至於在今年WWDC 2018期間宣布推出ARKit 2.0時，蘋果則是正式加入透過將建立的擴增實境相關數據複製分享給他人使用，藉此提供可讓多人一起在相同擴增實境內互動，同時也進一步加強裝置透過相機識別表面材質、空間景象內容能力，使裝置端的擴增實境應用效率可以因此提昇，同時也能相對穩定，不會像ARKit 1.0可能會有影像跳動、對應位置錯誤等情況。 目前ARKit的應用優勢 蘋果之所以要提供ARKit開發資源，最主要就是希望由本身先將擴增實境所需撰寫編碼、相關技術連接 (例如透過內建陀螺儀、動態感測元件、相機確認裝置相對位置等)，開發者無需自行花費時間與精力研究，直接在編碼內透過簡短幾行描述即可直接存取ARKit API資源，並且連接開發者自行撰寫程式內容，即可快速完成建立一個可使用複雜擴增實境技術的應用服務。 就《AR Blast》開發者方冠良表示，本身過去主要是撰寫相機濾鏡等操作介面項目，後來接觸蘋果提出的ARKit開發工具時，幾乎在短短一個月左右時間就完成打造這款以擴增實境方式遊玩的方塊消除遊戲，甚至在後來更新至ARKit 2.0之後，更進一步加入多人遊玩模式，藉此透過手機營造聚會遊玩樂趣，但實際上在真正編碼內容並沒有想像中複雜，同時開發者也僅需將更大重心放在如何設計一款吸引人的遊戲或應用服務，複雜、難以解決的部分基本上能交由蘋果改善。 《AR Blast》開發者方冠良 ...

就在蘋果宣布於iOS 12內新增名為「Measure (量測)」的應用程式之後，Google稍早確定將原本僅在Tango手機產品內提供的專屬應用程式「Measure」更新至2.0版本，並且開始支援所有對應ARCore技術的手機產品使用。 原本Android平台的「Measure」應用程式僅支援Tango手機產品使用，其中主要配合視訊相機、景深相機、動態感測元件才能精準對應空間中的相對位置距離量測。不過，在後來技術精進之後，目前配合手機內處理器運算能力、基礎感測元件與相機鏡頭設計，就能達成與Tango手機相近或相同功能，因此Google此時將「Measure」應用程式更新，並且開放所有支援ARCore技術的手機使用，某種程度也代表Tango手機產品將漸漸退離市場。 目前對應使用「Measure」應用程式的手機，多半是支援ARCore的高階旗艦手機產品，例如Google本身推行的Pixel 2，或是第三方廠商如三星、HMD Global或小米打造的手機產品，而預期未來也會開放更多中階手機加入支援。 不過，在蘋果宣布於iOS 12內強化擴增實境應用，並且加入同樣名為「Measure」的應用程式，Google在今年MWC 2018期間宣布推出ARCore 1.0正式版本，同時稍早也將「Measure」更新為2.0版本，顯然彼此競爭意味十足。 而在兩者使用差異部分，iOS 12中的「Measure」主要透過手機鏡頭識別量測基準點，並且透過移動手機讓螢幕畫面中的白點移動，藉此進行量測拍攝場景中物件的相對距離，Google鎖提供的「Measure」則可直接透過手指拖曳、縮放虛擬標線長度與方向，進而達成量測拍攝場景中物件相對長度或高度。

此次iOS 12的更新重點之一，應該就是加入多人線上互動功能的ARKit 2.0，並且進一步讓擴增實境應用精準度更高。 從此次釋出更新的ARKit 2.0，可以發現蘋果讓擴增實境的定位精準度變得更高，同時影像識別判斷也更加準確，因此才能推出新款「量測 (Measure)」App，讓使用者能輕易透過手機量測兩點間距離，或是特定物件表層面積。 而在此次展示內容中，更具體詮釋ARKit 2.0中多人互動功能，讓兩人以上使用者可透過iPhone、iPad在相同擴增實境場景中透過彈弓互射，或是一起遊玩樂高積木，相比過去許多擴增實境應用，多半只能讓人「孤單地」在單一擴增實境場景，新版ARKit 2.0將能帶動更多共同體驗樂趣。 對於未來遊戲內容應用，或是商品展售、內容體驗，或許將能透過ARKit 2.0呈現截然不同的使用體驗。