為了協助推動更多應用旗下ToF感測元件的擴增實境技術發展,Sony近期向開發者提供名為「ToF AR」的開源軟體工具組,讓開發者能輕易打造可精準識別手部及手指細微動作的擴增實境應用內容。
Sony說明,對應其ToF感測元件使用的「ToF AR」的開源軟體工具組,將可相容Unity遊戲引擎,以及Google ARCore、蘋果ARKit,因此能與更多遊戲內容結合,同時也能套用在各類軟體服務。
而功能部分除了識別手部及手指細微動作,亦可流暢地識別肢體動作,同時對應3D建模連動,並且可依照景深距離等資訊,將擴增實境內容與拍攝背景無縫貼合,藉此營造更擬真的虛實整合效果。
在此項技術應用中,除了可以對應擴增實境遊戲使用,亦可用於虛擬試妝、虛擬試鞋等應用,或是用於建構虛擬家具實際擺放在家中的情況,另外也能讓使用者在鏡頭下化身虛擬角色與其他人進行線上互動等。
目前此項開發工具已經提供Sony Music、嗶哩嗶哩 (bilibili)營運單位上海寬娛數碼科技,以及前AKB48成員之一的指原莉乃共同展開的Vtuber偶像培育「虛擬灰姑娘計畫」 (Virtual Cinderella Project)。