過去針對人工智慧訓練及推論效能表現，NVIDIA已經與學術界、研究實驗室與業界合作，提出可針對硬體、軟體及服務在人工智慧訓練與推論效能表現提供公允量化評估的計算方式MLPerf之後，目前也確定推論效能評估部分已從先前的0.7版本進展至1.0版本，藉此對應詮釋更貼近真實的人工智慧推論效能。
在MLPerf推論效能評估1.0版本中，將可對應雲端或邊緣端的人工智慧推論運算效能，藉由不同使用情境，配合諸如DLRM、BERT、RNN-T、ResNet-50、Single Shot Detector等網路模型，針對不同人工智慧應用的推論效能進行評估。
相比先前推出的0.7版本，NVIDIA表示在短短半年內使推論加速效率提升幅度達45%。
而依照NVIDIA說明，藉由旗下Ampere顯示架構設計的A100 GPU，對比市場諸如Intel Cooper Lake架構的Xeon處理器，或是即將進入市場的Ice Lake架構Xeon處理器，以及賽靈思以FPGA形式打造的VCK5000處理器與Qualcomm日前推出伺服器等級處理器AI 100，幾乎提供高達314倍的推論加速效能，即便在未連網情況下也能有顯著加速效能表現。
就算是日前在GTC 2021期間揭曉針對工作站打造的A10 GPU，或是對應一般伺服器使用的A30 GPU，同樣也比CPU形式的推論加速效能更高。
其中，雖然Qualcomm推出的AI 100處理器也能在影像分類、物件識別有明顯加速效果，但在醫療用影像識別、推薦系統、語音辨識與自然語言處理效率表現，仍無法與NVIDIA採GPU加速的設計比擬，而佈署於邊緣運算的加速效能同樣也是由GPU取得較明顯優勢。
即便Qualcomm AI 100是以耗電更低的Arm架構打造，但是藉由GPU加速的推論效能依然能以更低電力損耗，發揮更高推論加速效能。
NVIDIA更強調藉由多執行個體GPU (MIG)虛擬化應用，在A100 GPU模擬為7組獨立GPU運作，並且個別執行不同推論運算加速時，依然可以維持高達98%效能表現，意味可透過單組A100 GPU同時對應更多人工智慧推論加速。
在Triton推論伺服器相同軟體框架下，NVIDIA更強調可簡化人工智慧推論加速佈署應用流程，並且可依照需求隨時增加運算規模。
目前包含阿里巴巴、Dell EMC、技嘉、HPE、富士通、聯想、Supermicro、浪潮 (Inspur)採用NVIDIA人工智慧推論加速解決方案。
透過GPU協助推論加速運算，奇異醫療藉此在每年1.45億名患者中主動判斷是否罹患心臟疾病，或是在Pinterest中超過3000億筆資料中挖掘熱門趨勢，T-Mobile則藉此打造人工智慧線上客服，微軟則藉此精進旗下拼字檢查功能Grammer服務，美國郵政則以此協助即時分析每年超過70億個郵件包裹。
至於微信則將GPU加速推論效果應用在旗下智慧搜尋功能，美國運通 (American Express)則以此強化詐欺行為即時偵測效果。
