市場動態 生活 網路 觀察 軟體

微軟提出NUWA-XL多模自動生成式人工智慧模型,以16組描述句生成11分鐘長度影片
將加快動畫內容製作速度

微軟亞洲研究院近期提出名為NUWA-XL的多模自動生成式人工智慧模型,標榜能以16組描述句即可生成長達11分鐘的影片內容。

微軟, 微軟提出NUWA-XL多模自動生成式人工智慧模型,以16組描述句生成11分鐘長度影片<br><span style='color:#848482;font-size:16px;'>將加快動畫內容製作速度</span>, mashdigi-科技、新品、趣聞、趨勢

微軟亞洲研究院在2021年便提出多模自動生成式人工智慧模型NUWA (女媧),能以自然語言描述生成文字、圖像、影片內容,後續推出的升級版NUWA-Infinity更進一步將生成圖像、影片解析度提高。

而此次提出的NUWA-XL,則是建立在「擴散疊加」 (Diffusion over Diffusion)的運作架構之上,透過全域擴散模型 (Global Diffusion)生成影片所有時間範圍內的關鍵畫面,並且透過局部擴散模型 (Local Diffusion)依據填加關鍵畫面鄰近內容,藉此加快整體內容生成效率,同時也確保生成內容連續性與完整性。

整體流程大約是先依照輸入描述句生成關鍵畫面,再依序針對關鍵畫面生成相應影片,並且透過擴散模型增加影片內容長度,讓影片最初生成的概略章節可以變成完整故事內容。在示範內容中,微軟以《摩登原始人》 (The Flintstones)動畫為基礎,自動生成全新動畫內容。

微軟, 微軟提出NUWA-XL多模自動生成式人工智慧模型,以16組描述句生成11分鐘長度影片<br><span style='color:#848482;font-size:16px;'>將加快動畫內容製作速度</span>, mashdigi-科技、新品、趣聞、趨勢

在微軟此項技術中,原本生成1024個畫面的平均推論時間需要7.55分鐘,變成僅需花費26秒即可生成,整體速度提升高達94.26%。

不過,微軟說明影片生成背後依然需要仰賴足夠品質的影片內容訓練,此次提出的NUWA-XL主要參考專業動畫內容製作流程,藉由先生成關鍵畫面,並且持續生成關鍵畫面衍生內容,進而構成完整動畫影片,並且確保內容連續性與生成品質,進而能加速內容生成速度。

楊又肇 (Mash Yang)
mashdigi.com網站創辦人兼主筆,同時也是科技新聞業流浪漢。

發表迴響