過去藉由對抗生成網路 (Generative Adversarial Network,GAN)打造簡單線條繪製就能建立擬真影像GauGAN,以及可讓AI了解遊戲玩法,並且重新生成可遊玩遊戲內容的GameGAN之後,NVIDIA此次也將對抗生成網路應用在旗下環境模擬協作平台Omniverse,讓使用者能透過更簡單方式創見擬真3D場景、物件。
相較過往3D場景建模方式,目前藉由人工智慧技術應用,已經可以藉由自動生成方式快速建造,但如果要針對特定細節作調整的話,多半還是會需要花費不少時間手動處理。而在NVIDIA研究團隊近期所做設計,則是將過往用於GauGAN、GameGAN的對抗生成網路技術應用在Omniverse協作平台,讓3D環境下的建模變得更加簡單,甚至可以用於3D動畫影片製作。
在以經典影集《霹靂遊俠》 (Knight Rider)中登場的人工智慧車輛-霹靂車「KITT」 (台灣早期翻譯為「夥計」)為設計,NVIDIA藉由名為GANverse3D的訓練模型學習車輛各部位對應設計、功能及可能材質,例如輪胎材質為橡膠、可以轉動,而車門則會以烤漆、金屬材質打造,而車燈則可點亮或關閉等,並且配合PhysX物理材質工具與Omniverse協作平台開發工具,藉此讓人工智慧學習如何在3D環境裡「建造」一台「KITT」。
此項研究中,NVIDIA藉由55000張車輛影像讓人工智慧系統進行學習,並且可將2D平面影像正確渲染貼附於3D模型上,一旦要調整車輛顏色、材質,甚至車門或輪胎形式,僅需透過簡單點按即可切換。而完成製作模型甚至可以在3D環境中以不同形式呈現,因此也有利於3D影像內容創作,例如應用在廣告製作、動畫及電影拍攝等。
而在進一步說明中,NVIDIA也說明透過GANverse3D訓練的模型並非侷限在車輛,包含其他形狀物體等可以拆解為不同區塊的模型都能進行訓練,至於影像解析度會依照原本訓練素材而定,但之後也能藉由諸如DLSS等技術進行升頻處理,讓最後生成模型可以對應更高解析度顯示或使用需求。
另一方面,雖然目前尚未將3D模型與聲音內容,但或許未來也會考慮結合聲音內容,讓訓練後的3D模型可以更加生動,例如讓車輛對應引擎聲運轉,或是在車輛急停時候產生煞車聲音等。