Tag: NVIDIA ACE

NVIDIA宣布，正式開源旗下Audio2Face模型與相關SDK，讓遊戲與3D應用開發者能更輕鬆導入這項先進技術，打造擬真角色動畫與更具臨場感的互動體驗。除了模型與軟體開發工具包，NVIDIA也將提供完整的開源訓練框架，開發者可依照不同應用需求進行微調或客製化，實現高度彈性的使用方式。 隸屬今年初在CES 2025對外展示的Project R2X項目一部分，Audio2Face技術最大亮點在於能以生成式AI自動將語音轉換為栩栩如生的臉部表情與嘴型動作。 無論是遊戲角色對話、客服機器人，甚至是虛擬主播的即時互動，都能透過這套技術展現自然且精準的嘴型同步與情感表達。開發者無需耗費大量時間進行逐格動畫設計，就能快速生成動態臉部動畫，顯著降低人力成本並縮短製作週期。 技術層面上，Audio2Face不僅能精準對應語音中的音位與語調，還能將生成結果以動畫數據串流的形式輸出，進一步用於離線渲染或即時串流。意味此技術既能支援高品質的預先內容製作，也能應用於需要即時反應的互動場景，例如遊戲NPC對話或即時虛擬人直播。 目前，Audio2Face已經被廣泛應用於遊戲與娛樂產業，包含Codemasters、GSC Game World、網易、完美世界等國際遊戲廠商，都已經在自家作品中導入相關技術。而獨立軟體供應商如Convai、Inworld AI、Reallusion、Streamlabs及UneeQ等，目前也透過Audio2Face打造更具沉浸感的虛擬互動解決方案。 NVIDIA表示，透過開源化，將進一步擴大Audio2Face技術應用生態圈，讓更多開發者能在NVIDIA ACE for Games平台上，找到完整的工具資源與應用案例，甚至能將其與其他生成式AI工具結合，打造更全面的數位化身解決方案。 過去，角色臉部動畫往往仰賴專業動畫師反覆調整，不僅耗時費力，也難以滿足即時應用的需求。而隨著Audio2Face的開源化，更多獨立團隊與新創公司將能以低門檻導入此技術，創造出風格獨特卻依然自然流暢的數位角色。對遊戲產業而言，更將有助於NPC角色的互動性大幅提升，而對媒體娛樂與虛擬客服來說，則能提供更擬真的對話體驗，縮短虛擬與現實的距離。 隨著生成式AI在各行各業快速普及，NVIDIA此次開源Audio2Face技術，不僅只是單純釋出工具資源，更進一步推動「數位人」技術走向標準化與普及化。未來無論是遊戲、影視製作，甚至是企業應用，都可能因這套技術而出現更多創新的互動型態。

NVIDIA在今年CES 2025展示的Project R2X，本身結合NVIDIA NIM微服務、NVIDIA Ace、Project G-Assist，以及NVIDIA AI Blueprint，使其能在搭載GeForce RTX系列顯示卡的裝置上以虛擬助理形式呈現，並且藉由人工智慧方式與使用者互動。 ▲NVIDIA以NIM微服務、Ace等技術建構的Project R2X 類似針對遊戲打造的Project G-Assist使用模式，Project R2X標榜能對應更廣泛的形象化虛擬助理服務互動需求。而其背後同樣以NVIDIA NIM微服務、NVIDIA Ace，以及NVIDIA AI Blueprints等技術運作。 ▲透過Ace技術讓虛擬助理採用更貼近真人形象的外觀 使用者能以無編碼形式，藉由拖曳不同服務項目編輯虛擬助理所對應功能，讓Project R2X形成的虛擬助理能依照需求執行相應互動功能，例如協助彙整、播報每日郵件摘要重點，或是回答使用者提問內容。 ▲能以無編碼形式，藉由拖曳不同服務項目編輯虛擬助理所對應功能 另外，由於本身採用NVIDIA Ace設計，能藉由RTX Neural Faces與Audio2Face技術呈現更擬真的臉部表情、微幅身體動作，同時也能以更具情感的說話方式進行互動，同時背後人工智慧模型可選擇串接OpenAI、xAI，甚至開發者或企業自有模型，藉此建構更具個人化的虛擬助理。 IMG_0314 而跟Project G-Assist一樣，Project R2X同樣建構在具備RTX ...

去年在Computex 2024期間展示的遊戲內助理服務Project G-Assist，稍早開始以實驗版本透過NVIDIA App對外提供使用，同時也提供開發者、獨立軟體供應商以此打造應用服務，包含微星、羅技與HP等業者都已經以此打造相關助理服務。 Project G-Assist最早雛形是以NVIDIA過往曾在愚人節提出想法為基礎，結合當前自動生成式人工智慧技術打造，並且以各類微服務建構而成，可在特定規格的「GeForce RTX AI PC」環境下執行運作，同時標榜無須連網也能順利使用，可讓使用者透過聲控、文字輸入指令方式操作裝置設定，或是針對遊戲內容進行遊玩操作等。 而Project G-Assist背後也導入NVIDIA ACE技術，並且結合小型自然語言模型，搭配GeForce RTX顯示卡加速運作，目前僅對應配置12GB以上顯示記憶體的GeForce RTX 30、GeForce RTX 40與GeForce RTX 50系列顯示卡使用，主因必須配合能使用具備80億組參數規模的Llama模型。 目前Project G-Assist將透過NVIDIA App提供使用，同時也允許使用者額外安裝擴充程式增加應用功能，並且能配合「Alt」+「G」按鍵組合快速呼叫，執行過程會佔用一定GPU運算資源，因此可能會影響部分遊戲執行效能。 提供應用功能，則包含針對PC硬體進行狀態診斷與設定建議，並且能針對遊戲設定最佳化，或是針對GPU進行超頻，另外也能製作FPS、延遲、GPU使用率、溫度等資訊製作報告，使用者也能透過聲控或文字互動要求Project G-Assist回答PC硬體或NVIDIA軟體相關問題，甚至可與羅技、Corsair、Nanoleaf等硬體與軟體進行連動。 另外，NVIDIA目前也向開發人員、獨立軟體供應商提供Project G-Assist設計資源，例如微星已經以此打造名為AI Robot的功能，羅技也以此打造名為Streamlabs Intelligent Streaming Assistant的串流直播助理，而HP更以此在Omen ...

NVIDIA在Computex 2023期間揭曉的NVIDIA ACE技術，後來也持續做了不少更新，讓遊戲角色能像真人一樣感知環境、制定計劃，並且玩家進行更貼近真實的互動，而在此次CES 2025期間則是透過KRAFTON的《絕地求生》 (PUBG: BATTLEGROUNDS)，以及其接下來將推出的的生活模擬遊戲《InZOI》，更以Wemade Next的《傳奇5》 (MIR5)進行技術展示。 在《絕地求生》中，遊戲角可透過由NVIDIA ACE驅動方式，透過主動規劃戰略與實施戰術行動，與真人玩家動態合作。而在《InZOI》內Smart Zoi角色，則可根據角色的人生目標和遊戲內事件自主調整行為。 另外，在《傳奇5》中，藉由大型語言模型 (LLM)驅動的頭目級角色可根據玩家行為調整戰術，營造更具動態且具挑戰性的戰鬥體驗。 NVIDIA ACE技術在去年的Computex 2024宣布與NVIDIA NIM微服務結合，使遊戲NPC角色能以自動生成式人工智慧與玩家產生更豐富多元互動體驗之後，NVIDIA更在後續的Gamescom 2024加入支援小型自然語言模型設計，藉此讓遊戲NPC角色對話能力能更進一步提升，同時也讓整體互動速度可以更快。

此次在Gamecom 2024期間，NVIDIA除了宣布擴大GeForce NOW雲端串流遊戲服務發展、強化RTX、DLSS技術應用範疇之外，更宣布讓遊戲NPC角色可真實互動的NVIDIA ACE技術再次提升，並且宣布與聯發科合作G-Sync顯示技術消息。 NVIDIA ACE技術結合小規模自然語言模型 針對Computex 2023期間首度提出，並且在後續持續精進、讓遊戲NPC角色能以人工智慧技術與玩家進行高度互動的NVIDIA ACE技術，在今年Computex 2024宣布進一步與NVIDIA NIM微服務結合，使遊戲NPC角色能以自動生成式人工智慧與玩家產生更豐富多元互動體驗之後，NVIDIA在此次Gamescom 2024更宣布加入支援小型自然語言模型，藉此讓遊戲NPC角色對話能力能更進一步提升，同時也讓整體互動速度可以更快。 在此次Gamscom 2024期間的展示，NVIDIA透過由Amazing Seasun Games、Seasun Games開發及發行的近未來科幻機甲主題多人對戰遊戲《Mecha BREAK》為基礎，加上OpenAI的自動化語音辨識服務Whisper，配合NVIDIA Nemotron-4 4B Instruct人工智慧模型、Audio2Face-3D技術，以及ElevenLas的文字轉語音技術，讓遊戲NPC角色能以更流暢且快速的對話方式與玩家互動。 更多G-Sync技術應用螢幕將問世、與聯發科合作 至於從2013年提出，並且在後續幾年接連加入新技術、規格的G-Sync螢幕抗撕裂顯示技術，在此次Gamescom 2024期間則是加入名為「Pulsar」 (脈衝星)的技術，標榜能使螢幕原本以模糊形式呈現的話，透過修正方式提升4倍清晰度，讓第一人稱射擊或動作類型遊戲透過螢幕顯示時，能以更清晰畫面呈現細節。 NVIDIA更宣布將與聯發科合作G-Sync技術，預期將使聯發科處理器產品也能對應G-Sync技術對應的可變畫面更新率 (VRR)、降低畫面殘影情形的Variable Overdrive功能，以及12位元色彩校正、超低動態模糊、低延遲HDR、Reflex延遲分析，以及此次公布的「Pulsar」技術功能。 不過，對於聯發科預計將G-Sync技術應用在哪些處理器產品，以及此類處理器將用於哪類市售機種，暫時尚未對外公布。 而此次公布內容中，NVIDIA更宣布與AOC、宏碁、華碩在內品牌合作推出更多支援G-Sync技術的螢幕產品，預計會在後續公布上市資訊。

NVIDIA在GDC 2024活動中宣布與Inworld AI合作Covert協定，讓開發者能透過參數輸入，即可透過自動生成式人工智慧讓遊戲NPC角色產生擬真互動。同時，NVIDIA也與Ubisoft巴黎工作室合作名為「NEO NPC」的專案，讓NPC角色能在遊戲中與玩家進行更具沉浸感的互動體驗。 Covert協定主要能讓開發者透過參數設定遊戲NPC角色性格、互動關係、所處場景、存在目的等，藉由大型自然語言模型驅動，以及語音識別、語音輸出，搭配臉部表情及肢體動作自動生成，讓NPC角色能隨著玩家對話等情形產生不同互動結果。 而背後技術，則是源自NVIDIA先前介紹的ACE (Avatar Cloud Engine)相關資源，藉此讓開發者能更快建造活靈活現的遊戲NPC角色，並且讓玩家能在遊戲互動過程獲得更沉浸遊玩體驗。 此次與Ubisoft巴黎工作室合作的「NEO NPC」專案，便是利用此技術資源，讓玩家能在遊戲中與NPC角色產生不同互動，而非侷限過往遊戲僅能以事先輸入對話內容、觸發事件等情況進行互動，藉由自動生成式人工智慧產生內容，能讓NPC角色依照遊戲中性格、扮演身分、劇情走向等情況產生不一樣的互動結果，藉此讓遊戲角色能有更多互動可能性。 Ubisoft巴黎工作室利用技術打造名為「Bloom」及「Iron」兩個NPC角色，背後透過Inworld AI提供大型自然語言模型運作，同時以NVIDIA Audio2Face技術產生擬真表情動作、嘴型等，並且能因為玩家互動、環境感知等情況，產生不同互動反應、對話內容等。 不過，目前此合作仍處於原型階段，但Ubisoft預期會將此技術應用在旗下3A等級遊戲。