NVIDIA宣布推出4款推論平台，並且提供新款NVIDIA L4 Tensor Core GPU，以及NVIDIA H100 NVL GPU作為推論加速應用，更與Google Cloud、快手、D-ID、Cohere等業者合作導入，藉此加速各類自動生成式人工智慧服務發展。
此次提供的推論平台，主要以Ada、Hopper GPU，或是「Grace + Hopper」的Superchip構成，同時更新增NVIDIA L4 Tensor Core GPU與NVIDIA H100 NVL GPU兩款加速運算元件，並且針對不同工作負載進行最佳化，主要對應人工智慧影片、影像生成、大型語言模型部署，以及推薦系統推論使用需求。
其中，NVIDIA L4 Tensor Core GPU相比傳統CPU能提供高出120倍的人工智慧影片生成效能，能源使用效率更高出99%，並且對應處理各類工作負載，同時對應更強大的影片解碼和轉碼能力、視訊串流、擴增實境、生成式人工智慧影片等應用需求。
而NVIDIA H100 NVL GPU則可用於部署像是ChatGPT等大型自然語言模型，本身具備94GB顯示記憶體及Transformer引擎加速功能，在資料中心規模伺服器上執行GPT-3語言模型推論效能是前一代A100 GPU的12倍。
至於Google Cloud則是率先將NVIDIA L4 Tensor Core GPU應用在旗下機器學習平台Vertex AI，同時成為第一個對外提供NVIDIA L4 Tensor Core GPU執行個體的公有雲服務商，包含使用生成式人工智慧協助創作者製作影片和podcast內容的Descript，以及將其人工智慧文字轉數位藝術應用程式命名為「Dream」的WOMBO，都是在Google Cloud雲端平台率先採用NVIDIA L4 Tensor Core GPU應用業者。
其他包含快手 (Kuaishou)、生成式人工智慧技術平台D-ID，以及人工智慧製作工作室Seyhan Lee與語言人工智慧領域業者Cohere，均採用NVIDIA推論平台加速人工智慧技術應用發展。
目前「Grace + Hopper」Superchip及NVIDIA H100 NVL GPU均計畫在今年下半年開始供貨，而NVIDIA L4 Tensor Core GPU則可透過Google Cloud以非公開形式進行預覽測試，或是藉由研華、華碩、源訊、Cisco、Dell、富士通、技嘉、HPE、聯想、雲達科技和Supermicro等業者提供。
