生活 網路 處理器 觀察 軟體

TensorRT 8版本更新,讓自然語言理解互動反應時間縮減至個位數毫秒內

除了將人工智慧技術應用在圖像處理、自駕車運作或超算加速,包含語音識別、電商服務、自動化生產等也是NVIDIA持續佈局應用領域。而隨著TensorRT 8版本的深度學習推論平台更新,同時更藉由A100 GPU讓BERT自然語言理解互動反應時間縮減至個位數毫秒內,意味能讓各類以自然語言為基礎的人工智慧推論速度更快。

, TensorRT 8版本更新,讓自然語言理解互動反應時間縮減至個位數毫秒內, mashdigi-科技、新品、趣聞、趨勢

人工智慧推論運算背後通常涵蓋複雜運算流程,為了能讓推論結果能有更快運算反應,NVIDIA先前就藉由TensorRT對應深度學習推論,而此次更新TensorRT 8版本,則是採用A100 GPU進行加速,相比先前透過V100 GPU進行加速的TensorRT 7版本,幾乎提升2倍推論運算效能,同時在INT8精度推論也是TensorRT 7版本的2倍以上。

同時整體在BERT自然語言理解反應速度更降低至1.2毫秒,相比的TensorRT 7版本所需推論時間更快上2.5倍,藉此對應更多元的語言分析理解應用,以及包含搜尋、聊天機器人與廣告推薦等,另外在學習推論超過1萬組模型時,TensorRT 8版本在推論效能表現更是早期TensorRT版本的100倍以上。

, TensorRT 8版本更新,讓自然語言理解互動反應時間縮減至個位數毫秒內, mashdigi-科技、新品、趣聞、趨勢

另外,NVIDIA也強調TensorRT已經成為相當多人使用的深度學習推論平台,不僅在2020年的開發者人數相比2019年成長3倍,至今更累積超過35萬名以上開發者加入使用,並且用在2萬7500家企業服務,其中包含美國運通、字節跳動、AMP Ronotics、福特、LG、SK TELECOM、美國郵局、NAVER、微信、Verizon等業者,更協助奇異醫療每年分析超過1.45億筆心臟病例數據。

目前人工智慧已經廣泛應用在線上隨選影音內容推薦、電商購物行銷、社群平台內容串接,或是數位廣告內容媒合,這些領域也成為NVIDIA人工智慧技術持續佈局應用項目,同時也強調秉持讓人工智慧推論結果維持公正,避免產生歧視、不公等問題。

楊又肇 (Mash Yang)
mashdigi.com網站創辦人兼主筆,同時也是科技新聞業流浪漢。

發表迴響