Tag: GauGan

2018年以GAN生成對抗學習網絡打造GauGAN人工智慧影像生成應用技術，並且推出諸多衍生應用模式之後，NVIDIA近期更將此項技術與《Minecraft》結合，打造名為GANcraft的應用模式，讓使用者能透過《Minecraft》建造像素風格的3D場景，即可快速轉換成媲美3A等級遊戲作品呈現擬真3D環境。 此項應用是由NVIDIA研究團隊與康乃爾大學合作項目，透過人工智慧方式將《Minecraft》建立的3D場景轉換成擬真影像，其中是以監督訓練產生的人工智慧，讓系統能知曉如何將《Minecraft》以像素堆疊的影像，轉換成更加擬真的3D場景，甚至後續還能套用不同濾鏡，讓使用者能建造不同形式的3D場景。 而此項技術預期能協助更多創作者快速建立3D場景，尤其可讓遊戲開發者、3D動畫創作者更有效率完成作品設計，藉此降低內容創作過程可能面臨經類、時間等成本支出問題。 目前NVIDIA已經將GANcraft相關資源放上GitHub提供眾人使用，讓開發者能以此為基礎打造更多應用內容。

NVIDIA在GTC 2019期間展示的GauGAN研究工具，在持續更新為GauGAN2後，目前更加入能以簡單描述字句，即可自動建立精細圖像。 在GauGAN2使用模式中，使用者僅需輸入「有海灘的夕陽」 (sunset at a beach)等字詞即可自動生成精細圖像，甚至可以進一步加入更精準描述，例如「有礁岩海灘的夕陽」 (sunset at a rocky beach)，或是將「夕陽」換成「下午」、「雨天」等字詞，都能讓GauGAN2立即調整生成圖像。 另外，配合先前透過簡單手繪即可讓系統自動生成圖像的功能，在GauGAN2則可讓圖像生成更符合使用者所需結果，例如自動形成使用者所構想海灘形式，以及夕陽呈現位置等。 依照NVIDIA說明，GauGAN2採用分割映射、圖像修復，以及文字描述轉圖像生成功能，並且在原本單一對抗生成網路運算中，加入文字語意識別結果，讓使用者能以更簡單方式進行創作，並且透過手動方式讓生成圖像更為精細。 而在背後運算則採用了NVIDIA Selene超算系統，其中透過1000萬張風景圖像進行學習訓練，並且讓系統能將描述字詞與風景圖像建立關連，藉此快速對應使用者輸入字詞，進而產生相應圖像，藉此簡化過往創作精細圖像需要經歷流程，對於影像創作應用需求將能減少更多時間成本。

如同NVIDIA提出的GauGAN研究工具，讓使用者能透過簡易筆畫快速建立複雜背景影像，Google提出的「幻想生物繪圖器 (Chimera Painter)」也採用相同原理，透過GAN生成對抗網路運算方式，讓使用者能透過簡易筆畫快速創造各類幻想生物。 在「幻想生物繪圖器」裡，Google團隊預先透過數千張生物圖像與標記內容，讓電腦學習識別各類生物特徵，其中包含眼睛、毛髮、肢體、爪、角、牙齒等部位細節，讓使用者能快速透過微軟小畫家般的介面，配合點選各部位選項與簡易筆畫，即可快速創造各種幻想生物。 由於學習大量真實生物特徵，因此系統會針對使用者繪製內容進行調整，過程中也會檢視繪製內容是否合理，藉此讓繪製生成圖像更合乎生物外貌。透過這樣的方式，將有利創作者更快設計生物角色，例如可以應用在遊戲、動畫，或是特定創作應用。 先前NVIDIA提出的GauGAN研究工具中，則是讓電腦系統依照真實物理表現與光影效果呈現變更後的景象內容，例如從原本油綠草地景象變更成冰天雪地場景，場景中的樹木就會以枯樹形式呈現。根據NVIDIA的說法，系統之所以可以正確反映這樣的”自然”現象，其實也是基於持續學習各個影像內容所呈現結果，因此可以學習認知冰天雪地的場景應該只會出現枯樹，而不會有樹葉茂密場景。

去年對外展示以生成式對抗網路 (GAN,Generative Adversarial Network)形式打造，並且能透過預先完成訓練的人工智慧系統，將簡單顏色塗鴉生成擬真圖像的GauGAN研究工具後，NVIDIA旗下研究室再次對外展示名為GameGAN研究工具，強調可在沒有任何遊戲引擎等基礎下，完全藉由深度學習自動產生一個全功能、可遊玩的遊戲內容。 與萬代南夢宮在內遊戲業者合作 為了達成此項研究，NVIDIA更與萬代南夢宮合作，藉由知名經典遊戲《Pac-Man》作為學習範本，讓電腦系統藉由裝載4張GPU的DGX超級電腦進行學習加速，約花費4天時間完成學習包含數百萬組畫面、總計5萬局的《Pac-Man》遊玩內容，並且從零到有建構一套完整、可遊玩的遊戲，其中包含遊戲中的迷宮結構、移動路徑中的點點與無敵藥丸，以及Pac-Man與鬼的移動模式。 而更重要的是讓人工智慧記住遊戲中的遊玩規則，例如玩家操作的Pac-Man與鬼都不能穿越迷宮牆壁，同時Pac-Man行進時會將點點吃掉，並且在吃下無敵藥丸時呈現無敵狀態，而鬼在此時則會變成藍色、呈現逃走狀態，但是如果在一般情況直接碰到鬼的話，Pac-Man就會死掉，遊戲也會跟著結束。 並非複製，而是理解後重新建構遊戲內容 依照NVIDIA說明，整個學習過程包含分析遊戲畫面構成元素、理解遊戲遊玩方式，進而在沒有任何遊戲引擎等基礎情況下，由系統透過深度學習結果自動生成一組可被人遊玩的遊戲。 其中整個過程完全是由人工智慧系統以認知理解結果，重新生成一套遊戲內容，而非透過複製等方式建構。 之所以會選擇用遊戲來訓練人工智慧，自然也是因為許多遊戲採用固定、有規律的玩法，同時可在短時間內結束遊玩，操作過程也涵蓋大量決策判斷，因此相當適合用於人工智慧系統密集訓練需求。 類似情況，先前Alphabet旗下Deep Mind團隊就利用《星海爭霸II》遊戲內容，訓練旗下AlphaStar人工智慧系統，藉此提昇人工智慧決策推論判斷能力。 除了《Pac-Man》，NVIDIA表示目前也與其他遊戲業者合作，讓人工智慧系統能學習更多遊戲內容細節，藉此訓練其分析、認知，進而藉由理解結果重新建構可遊玩的遊戲內容。 為了讓人工智慧學習效率加速，有利於簡化模擬訓練流程 在進一步的說明中，NVIDIA認為打造GameGAN研究工具的目的，是為了讓人工智慧能更進一步深入學習所分析內容、情境，同時也能藉由深入了解，重新組合成可遊玩的遊戲內容。而透過這樣的訓練，NVIDIA最終希望能加快人工智慧對於所分析、學習內容理解效率，進而能套用在使自駕車、工廠自動化生產系統學習識別等領域。 由於目前主要是針對影像內容進行學習，但NVIDIA表示未來也會考慮讓人工智慧系統能進一步識別聲音部分，藉此實現更全面的學習效果。 對遊戲等產業發展也有助益 不過，NVIDIA模擬技術副總裁Rev Lebaredian也強調GameGAN研究工具並非用於取代傳統遊戲開發人力，但確實有助於遊戲內容建置效率，例如讓人工智慧學習理解遊戲中的光影與遊戲場景素材對應關係，進而能節省開發者在遊戲內的場景建置，或是設置角色互動時所需時間。類似情況，其實也能套用在電影、動畫等內容創作，藉此讓創作效率可大幅提昇。 同時，Rev Lebaredian也說明人工智慧學習結果，並不會出現改變遊戲強度，或是協助開發者挖掘遊戲漏洞、錯誤情況，而是完整學習所有遊戲呈現內容，並且透過理解重新生成一組相同，或是細節略有不同的遊戲。 藉由GameGAN研究工具背後技術原理，NVIDIA預期未來針對人工智慧系統的模擬訓練，將可簡化至僅透過「觀看」影片內容即可完成分析學習，而不需要事先花費時間精力建置預期學習成果的訓練場景，以及可能面臨突發改變情況，進而可讓人工智慧系統訓練變得更簡單，同時也更具效率。

在今年GTC 2019期間展示的GauGAN研究工具，NVIDIA在此次SIGGRAPH 2019正式開展前，宣布將開放此項工具讓更多創作者能以此快速建造擬真的背景內容。 GauGAN是以生成式對抗網路 (GAN,Generative Adversarial Network)形式打造，主要可藉由事前完成訓練的學習模型，讓使用者能透過簡單顏色塗鴉生成擬真圖像，例如讓系統預先完成學習什麼是「岩石」，並且指定對應「灰色」，當使用者透過灰色進行繪畫時，系統就會將灰色部分轉換成岩石影像，並且與背景自然縫合，例如以下示範： 而在此次SIGGRAPH 2019，NVIDIA則是宣布將開放此項研究工具，讓更多創作者能以此建立各自學習模型，進而加速創作內容製作效率，例如電影工作者能以此更有效率地建立背景影像，無需像過往必須花費時間逐一繪製，對於遊戲開發者也能更快完成3D場景建立，甚至可以用更簡單方式進行置換調整，讓整個創作流程可以更專注在內容本質。 目前NVIDIA並未計畫讓GauGAN工具以付費形式使用，並且可同時應用在2D平面影像，或是3D立體物件，因此對於影像內容創作者來說，將能增進不少創作效率，例如《魔戒》中磅礡場景即可透過更簡單方式繪製，而不需要一草一木地逐一繪製，甚至可以確保所有場景物件的光影擬真效果，以及彼此對應關係。 在先前示範內容裡，電腦系統依然會依照真實物理表現與光影效果呈現變更後的景象內容，例如從原本油綠草地景象變更成冰天雪地場景，場景中的樹木就會以枯樹形式呈現。根據NVIDIA的說法，系統之所以可以正確反映這樣的"自然"現象，其實也是基於持續學習各個影像內容所呈現結果，因此可以學習認知冰天雪地的場景應該只會出現枯樹，而不會有樹葉茂密場景。

去年宣布以GAN生成對抗學習網絡技術，讓人工智慧可以透過學習不同臉譜特徵，進而創造全新臉譜內容之後，NVIDIA在此次GTC 2019期間更進一步宣布推出全新GauGAN研究工具，透過龐大的影像資料量讓電腦系統進行學習，並且依照特定顏色與簡單字詞描述對應物件、場景，例如以淺藍色對應天空、深綠色對應樹木、淺綠色對應草地，白色對應雲朵等，讓使用者可以透過簡單繪製操作即可快速生成不同擬真景象，甚至可隨著不同顏色替換變更景象呈現結果。 在GauGAN研究工具中，NVIDIA藉由先前預先以龐大影像資料量近學習訓練的模型為基礎，配合特定顏色與簡單字詞描述所對應物件、場景，藉此讓使用者透過簡單色塊繪製，即可立即形成相當清晰的擬真景象，而隨著使用者持續變更色塊繪製形式與選擇顏色，即可形成不同景象內容。 同時，在即時變更的擬真景象中，電腦系統依然會依照真實物理表現與光影效果呈現變更後的景象內容，例如從原本油綠草地景象變更成冰天雪地場景，場景中的樹木就會以枯樹形式呈現。根據NVIDIA的說法，系統之所以可以正確反映這樣的"自然"現象，其實也是基於持續學習各個影像內容所呈現結果，因此可以學習認知冰天雪地的場景應該只會出現枯樹，而不會有樹葉茂密場景。 這樣的技術應用，NVIDIA表示可以諸如遊戲、電影等需要大量產生真實場景的內容創作需求，進而加快內容創作流程。而反過來的話，其實也能讓電腦以更快速度識別真實場景，並且能在更短時間內將影像內容劃分不同區塊，例如應用在自駕車系統時，即可讓電腦系統快速依照識別景象快速標示道路可行進範圍，讓車輛自動駕駛系統可以用更快辨識效率運作，或是加速電腦視覺影像辨識效率。 至於實際推動此類影像應用所需硬體架構，NVIDIA表示最主要仍取決實際應用需求，此次實際展示為了加快渲染流程，因此是透過Titan RTX完成。